Метод наибольшего прадоподобия

МНП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения.

В основе ММП лежит понятие функции правдоподобия выборки

Определение. Пусть имеем случайную величину Y, которая имеет функцию плотности вероятностей P_y(t, a₁,a₂,…,a_k) и случайную выборку Y(y₁,y₂,…,y_n)наблюдений за поведением этой величины. Тогда функцией правдоподобия выборки Y(y₁,y₂,…,y_n) называется функция L, зависящая от аргументов а={a₁,a₂,…,a_k}, и от элементов выборки как от параметров и определяется равенством

Метод наибольшего правдоподобия -- метод поиска модели, наилучшим в каком-то смысле образом описывающей обучающую выборку, полученную с некоторым неизвестным распределением.

Функция правдоподобия

Идея метода.

В качестве оценки неизвестного параметра принимается такое, которое обеспечивает максимум функции правдоподобия при всех возможных значениях случайной величины Y

Математически это выражается так:

ã_j= argmax(L(a₁,a₂,…,a_k, y₁,y₂,…,y_n)

Очевидно, что оценкаã_j зависит от случайной выборки, следовательно, ã_j= f(y₁,y₂,…,y_n),где f есть процедура вычисления оценки ã_j по результатам выборки

Алгоритм решения задачи

Предполагается:

1. Вид закона распределения известен;

2. Функция плотности вероятности гладкая во всей области определения

Последовательность решения:

1. Составляется функция правдоподобия

2. Вычисляется логарифм функции правдоподобия

3. Оценки параметров получаются в результате решения системы уравнений вида:

4. Проверяется условие максимума функции правдоподобия