Метод наименьших квадратов

Метод выбранных точек

X 0 1 2 3 4 5 6 x

Рис.4.1. Графики линейной (а) и криволинейной (б) зависимости.

у = а₀ + а₁х + а₂х², (4.8)

но ввести новые переменные так, чтобы в этих переменных интересующая нас зависимость становилась линейной [2].

Для криволинейных зависимостей проще применять метод выбранных точек, суть которого состоит в том, что на сглаженной кривой графика (см. рис. 4.1б) произвольно выбирают точки (две для квадратичной зависимости, три для кубической и т.д.) А и Б с таким расчетом, чтобы кривая делилась на две (для кубической на три) примерно равные части. Для каждой точки составляем уравнение (4.3) с численными координатами из графика:

· для точки А: 4,0 = 2 + а_1* 3 + а_2* 3²;

· для точки Б: 3,5 = 2 + а_1* 7 + а_2* 7².

Получим два уравнения с двумя неизвестными а₁ и а₂, заметив, что а₀ из графика равно числу два в точке пересечения кривой с ординатой (ось у). Решим эти уравнения относительно неизвестных, определив из первого уравнения а₂ и подставив его во второе:

а₂ = (2 – 3а₁) / 9; 3,5 = 2 + 7а₁ + 49_* (2 – 3а₁) / 9.

Найдем из второго уравнения а₁ = 1,005 и из первого а₂ = – 0,113, следовательно частное уравнение, описывающее данную кривую, будет если найденные постоянные а₁ и а₂ подставить в общее уравнение (4.3):

у = 2,0 + 1,005х – 0,113х² (4.9)

Проверим правильность расчета, подставив в уравнение (4.4) любое значение х, например 2: у = 2 + 1,005_* 2 – 0,113_* 2² = 3,558, сравним с показанием графика – 3,6; констатируем – разница незначительная, значит формула верна.

Метод наименьших квадратов (МНК) – основной метод, позволяющий решить, какое из произвольных уравнений дает наилучшее приближение к фактической зависимости.

Сущность МНК заключается в том, что наилучшее приближение к истиной зависимости дает такое уравнение, для которого сумма квадратов отклонений (S²) экспериментальных точек от расчетных данных имеет минимальное значение:

S² = S (y_i – f(x_i))² ® min (4.10)

Для сравнения обычно выбирают уравнения типа (4.1). Величину S рассматривают, как функцию постоянных коэффициентов искомого уравнения.

Необходимым условием минимума является равенство нулю первых частных производных:

¶ S /¶ a₁ = 0; ¶ S /¶ a₂ = 0; … ¶ S /¶ a_k = 0. (4.11)

Эти равенства рассматриваются как система нормальных уравнений, решаемых относительно постоянных коэффициентов выбранного уравнения а₁, а₂,…, a_k.

Метод наименьших квадратов, а также другие методы (например, метод Чебышева) входит составной частью в регрессионный анализ.

Регрессионный анализ – раздел математической статистики, объединяющий практические методы исследования регрессионной зависимости величин по статистическим данным.

Регрессия (от лат. regressio – возвращаюсь) – вероятностная зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин.

Основными задачами регрессионного анализа являются:

§ установление количественной связи между случайными величинами;

§ выбор вида уравнения регрессии, с помощью которой аппроксимируется исследуемая зависимость.

При установлении количественной связи вначале выбирают линейное уравнение у = а₀ + а₁х (кусочек полинома (4.6)), постоянные коэффициенты которых а₀ и а₁ рассчитываются с помощью метода наименьших квадратов (см. п. 4.2.3) по формулам

a₁ = (N S x_i y_i - S x_i S y_i) / (N S x_i² – (S x_i)²); a₀ = (S y_i – a₁ S x_i) / N, (4.12)

где N – количество опытных точек, а суммы (S) берутся из таблиц первичных данных.

Для примера воспользуемся данным рис. 4.6а. На графике имеются семь экспериментальных точек. Выпишем значения (координаты) этих точек в виде таблицы первичных данных.

Таблица 4.1

№ п.п.	У	Х	Х*У	Х2	У2	Ў(расч.)
7 (N)
Сумма (S)

Рассчитаем для этих данных уравнение связи у с х по вышеприведенным формулам (4.7):

а₁ = (7_* 133 – 28_* 29) / (7_* 140 – 28²) = 119 / 196 = 0,607;

а₀ = (29 – 0,607_* 28) / 7 = 12,004 / 7 = 1,715.

Частное уравнение примет следующий вид:

у = 1,715 + 0,607х. (4.13)

По сравнению с уравнением (4.7) оно точнее отражает экспериментальную связь функции у с аргументом х.

Если линейное уравнение (4.13) не удовлетворяет требованиям точности (это будет показано в следующем параграфе: см. корреляционный анализ), то выбирают квадратичное уравнение (4.8), где коэффициенты а₀, а₁ и а₂ рассчитываются уже по более сложным формулам (см. например, [1,2,3]).