Суть МНК заключается в следующем: , где . Заменяя значения , где - ошибка измерений.
Предположим что - независимые нормально распределённые случайные велечины.
Плотность
, при .
Данная задача равносильна: .
Метод наименьших квадратов заключается в том, что оценка неизвестных параметров ищется из условия минимизации суммы квадратов ошибок измерения.
Рассмотрим линейный случай метода наименьших квадратов:
Пусть есть - вектор неизвестных параметров.
. (1)
Ошибки необязательно нормальные: . Ошибки - некоррелированы , где .
Перепишем зависимость (1) в матричной форме: .
, тогда имеем , в связи с этим:
1. .
2. , где - единичная матрица n*n.
.
Наценку параметра будем находить из условия:
. , (*).
Следовательно, полученная оценка является не смещённой. Найдём вариацию оценки :
, т.к.
. Подставляя последнее выражение в соотношение для вариации,
получим:
.
Сформулируем следующую теорему:
Теорема (Оптимальное свойство МНК-оценки): МНК оценка имеют наименьшую дисперсию в классе линейных несмещённых оценок.
|
|
МНК используется в задачах параметризации квадратов использованных в задачах оценки параметров между 2-я и более переменными.
Пример:
Пусть зависимость между и имеет вид:
, где , , - значение
Требуется оценить МНК параметры :
,
.
, .
; ,
Решая последнюю систему относительно и получим:
.
Обозначим: . Получим:
.