Простая линейная регрессия

Простаялинейная регрессия используется для исследования зависимости двух переменных. Уравнение простой линейной регрессии можно записать в виде

y_i = a₀ + a₁x_i + e_i(2)

где e₁,…e_n- независимые одинаково распределенные случайные величины, определяющие действие различных неучтенных факторов на изменение результирующего показателя Y.

Для определения оценок параметров в уравнении (2) широко используется метод наименьших квадратов (МНК), суть которого заключается в следующем.

Определим величину e_i следующим образом:

e_i = y_i – (a₀ + a₁x_i).

Величина e_i называется отклонением (остатком) наблюдаемого значения результирующей переменной y_i в i – ом наблюдении от расчетного. Отклонение e_i является оценкой случайной компоненты e_i. По­строим оценку параметров (a₀, a₁) так, чтобы сумма их квадратов отклонений была минимальной:

(3)

Сумму минимимизируем по (a₀, a₁),приравнивая нулю соответствующие производные.В результате получим систему уравнений линейных относительно a₀ и a₁. Ее решение легко находится:

(4) и (5)

Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции r_yx. Для линейной регрессии (-1≤r_yx≤1)

r_yx = a₁s_x/s_y

s_{x =} , s_{y =} ,

здесь s_x и s_y - стандартные (среднеквадратические) отклонения по x и y.