Метод наибольшего правдоподобия

Метод наибольшего правдоподобия точечной оценки неизвестных параметров заданного распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров.

1. Распределение дискретной случайной величины.

Пусть x – дискретная случайная величина, которая в результате n -опытов приняла возможные значения x₁, x₂,…, x_n, при этом вид закона распределения случайной величины x задан, однако не известен параметр θ, которым определяется этот закон. Требуется найти его точечную оценку θ*.

Обозначим вероятность того, что в результате испытания случайная величина x примет значение x_i как P(x_i, θ).

Функциейправдоподобия дискретной случайной величины x называют L (x₁, x₂,…, x_n, θ)=P(x₁, θ)∙P(x₂, θ) ∙ … ∙ P(x_n, θ), то есть произведение вероятностей.

Оценкой наибольшего правдоподобия параметра θ называют такое значение θ*, при котором функция правдоподобия достигает максимума:

.

Так как функции l и lnL достигают максимума при одном и том же значении θ, то можно вместо отыскания максимума функции l вычислять максимум функции lnL. В ряде случаев это удобнее.

Для отыскания точки максимума функции необходимо вычислить производную функции lnL(θ)/dθ=0.

Решив это уравнение относительно параметра θ, получим значение аргумента θ*, при котором функция правдоподобия достигает экстремума.

Для проверки того, что функция правдоподобия достигает максимума в точке θ*, необходимо вычислить вторую производную lnL(θ)/dθ².

Если она отрицательна, то функция правдоподобия достигает максимума.

2. Распределение непрерывной случайной величины.

Для непрерывной случайной величины считаем, что известна функция плотности вероятности f(x), но не известен параметр θ, которым определяется эта функция.

Функция правдоподобия в этом случае имеет такой же вид, как и для дискретного случая. Поэтому оценку наибольшего правдоподобия неизвестных параметров для распределения непрерывной случайной величины проводят таким же образом, как и для дискретной случайной величины.

Если функция плотности вероятности f(x) определяется двумя неизвестными параметрами θ₁ и θ₂, тофункция правдоподобия является функцией двух неизвестных параметров θ₁ и θ₂

L (x₁, x₂,…, x_n, θ₁, θ₂)=P(x₁, θ₁, θ₂)∙P(x₂, θ₁, θ₂) ∙ … ∙ P(x_n, θ₁, θ₂).

Для отыскания экстремума функции берётся производная по первому и второму параметру и решается система с двумя неизвестными, откуда находят θ*₁ и θ*₂, которые определяют точку, в которой функция правдоподобия достигает максимума:

dL(θ₁, θ₂)/dθ₁=0

dL(θ₁, θ₂)/dθ₂=0.