Теперь установим почти очевидные соотношения, которые следуют из условии минимума критерия наименьших квадратов. Определим величину
ŷi=a +bx,
— оценку переменной у при оптимальных значениях коэффициентов регрессии и фиксированном значении х в i-ом наблюдении. Такую оценку называют прогнозом зависимой переменной. Тогда, очевидно, ошибка модели в i-ом наблюдении будет равна ei=yi- ŷi и из условия следует, что
,
где
т. е сумма квадратов ошибок оценок переменной у (остатков модели) при оптимальных параметрах регрессии а и b равна нулю.
Далее, вытекает, что
т. е., при оптимальных параметрах регрессии ошибки ортогональны наблюдениям независимой переменной.