Рассмотрим две случайные величины ξ и η и предположим, что когда случайная величина ξ принимает значения X1, X2…., Xn, то случайная величина η принимает соответственно значения Y1, Y2…., Yn.
Линейной регрессионной моделью называют уравнение следующего вида:
При построении линейной регрессионной модели коэффициенты а и b необходимо подобрать так, чтобы влияние случайной погрешности ξ на случайную величину η было как можно меньше.
Из уравнения (1.64) следует, в частности, что
Коэффициенты регрессии а и b чаще всего подбираются методом наименьших квадратов (least squares), который сводится к отысканию значений а и b так, чтобы достигалось наименьшее значение функции
Нетрудно проверить, что наименьшее значение функции (1.65) достигается при
При выборе коэффициентов регрессии указанным выше способом будут выполняться следующие соотношения:
Пример 1.63. Построение линейной регрессионной зависимости доходности среднесрочных корпоративных облигаций одного и того же кредитного рейтинга (η) от доходности 10-летних казначейских облигаций (ξ). Исходная информация и предварительные расчеты приведены в таблице ниже.
Коэффициенты регрессии находят следующим образом:
Уравнение регрессии в данном случае имеет вид:
Из соотношения (1.66) следует, что
Отношение суммы квадратов, объясняемой регрессией, к полной сумме квадратов называют коэффициентом детерминации и обозначают R2. Таким образом,
Коэффициент детерминации всегда находится между 0 и 1, причем чем ближе коэффициент детерминации к единице, тем выше качество регрессионной модели.
Пример 1.64. Оценим качество регрессионной модели, построенной в примере 1.63.
В данном случае коэффициент детерминации может быть найден следующим образом:
Так как коэффициент детерминации очень близок к единице, то качество регрессионной модели достаточно высокое.
Оценка коэффициентов регрессии получена нами в зависимости от выборки значений X1, X2…., Xn независимой случайной величины ξ и соответствующих им значений зависимой случайной величины η. Для другой выборки значений случайной величины ξ будут получены, вообще говоря, другие оценки коэффициентов регрессии и другая случайная погрешность. В связи с этим возникает задача построения доверительных интервалов для коэффициентов регрессии.
Если предположить, что случайные погрешности не коррелируют между собой (т. е. отсутствует автокорреляция), то доверительные интервалы для коэффициентов регрессии с надежностью 95 % строятся следующим образом:
Если