Теорема гаусса маркова

Теорема Гаусса-Маркова

Применение метода наименьших квадратов (МНК) к оценке параметров линейной модели не всегда позволяет получить состоятельные оценки (Напоминаю: состоятельные оценки — обладающие свойством несмещённости при больших объёмах выборки) .

Для получения состоятельных оценок необходимо, чтобы они удовлетворяли ряду условий, эти условия сформулированы в теореме Гаусса-Маркова.

Теорема Гаусса-Маркова формулирует условия, при которых МНК позволяет получить наилучшие оценки параметров линейной модели множественной регрессии.

К.Ф Гаусс (1777-1855) – разработка МНК

А.А. Марков (1856-1922) – сформулировал условия, при которых МНК позволяет получить состоятельные оценки.

Сформулируем постановку задачи:

1) спецификацию модели в виде линейного уравнения множественной регрессии

2) выборку из n наблюдений

Теорема гаусса маркова

Значения переменных в каждом наблюдении связаны между собой по правилу (*)

Система уравнений (5.17) называется системой уравнений наблюдений или схемой Гаусса-Маркова .

В компактной (матричной) записи эта система имеет вид

Теорема гаусса маркова

В матрице Х в первом столбце единицы появляются только в тех случаях, когда спецификация содержит свободный параметр .

Если этот параметр отсутствует, то и в матрице Х этот столбец отсутствует.

Перейдём к задаче.

1. найти значение состоятельных оценок параметров моделей

2. оценку ошибки случайного возмущения

3. оценку наилучшего прогноза с помощью модели (5.17)

4. оценку ошибки прогноза эндогенных переменных

Предпосылки теоремы Гаусса-Маркова следующие:

1) математическое ожидание случайных возмущений во всех наблюдениях равно нулю

2) дисперсия случайных возмущений во всех наблюдениях одинакова и равна const. И свойство однородности случайных возмущений

3) ковариация между парами случайных возмущений в наблюдениях равна нулю

&#85&4; отсутствие автоковариации случайных возмущений

Неравенство нулю (≠0) есть автоковариация

4) ковариация между вектором-регрессором и вектором случайных возмущений равна нулю &#85&4; регрессоры и случайные возмущения НЕ зависят друг от друга

(далее непонятная неведомая фигня)

Если матрица X неколлинеарна, т.е нет ни одного столбца, который можно было бы приставить в виде линейной комбинации других столбцов, то

1) наилучшая оценка вектора параметров линейной модели множественной регрессии вычисляется по правилу

= (5.24) — она (оценка) соответствует МНК

2) значение несмещённых оценок параметров

Ковариационная матрица параметров модели вычисляется

3) дисперсия случайного возмущения равна:

4) наилучший прогноз по модели (5.17) в точке

5) оценка ошибки прогноза эндогенной переменной равна

/ Контрольная работа

1.14 Условие Гаусса-Маркова. Теорема Гаусса — Маркова 3

3.3 Межотраслевая модель 5

1.14 Условие Гаусса-Маркова. Теорема Гаусса — Маркова

Доказано, что для получения по МНК наилучших результатов (при этом оценки bi обладают свойствами состоятельности . несмещенности и эффективности ) необходимо выполнение ряда предпосылок относительно случайного отклонения

Предпосылки использования МНК (условия Гаусса – Маркова)

1. Случайное отклонение имеет нулевое математическое ожидание.

Теорема гаусса маркова

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную.

2. Дисперсия случайного отклонения постоянна .

Теорема гаусса маркова

Из данного условия следует, что несмотря на то, что при каждом конкретном наблюдении случайное отклонение ei может быть различным, но не должно быть причин, вызывающих большую ошибку.

3. Наблюдаемые значения случайных отклонений независимы друг от друга.

Теорема гаусса маркова

Если данное условие выполняется, то говорят об отсутствии автокорреляции.

4. Случайное отклонение д.б. независимо от объясняющей переменной.

Теорема гаусса маркова

Это условие выполняется, если объясняющая переменная не является случайной в данной модели.

5. Регрессионная модель является линейной относительно параметров . корректно специфицирована и содержит аддитивный случайный член.

Теорема гаусса маркова

6. Наряду с выполнимостью указанных предпосылок при построении линейных регрессионных моделей обычно делаются еще некоторые предположения . а именно:

случайное отклонение имеет нормальный закон распределения;

число наблюдений существенно больше числа объясняющих переменных;

отсутствуют ошибки спецификации;

отсутствует линейная взаимосвязь между двумя или несколькими объясняющими переменными.

Теорема Гаусса — Маркова

Теорема. Если предпосылки 1 – 5 выполнены, то оценки, полученные по МНК, обладают следующими свойствами:

1. Оценки являются несмещенными . т.е. M[b0 ] = b0 . M[b1 ] = b1 . Это говорит об отсутствии систематической ошибки при определении положения линии регрессии.

2. Оценки состоятельны . т.к. при n ® µ D[b0 ] ® 0, D[b1 ] ® 0. Это означает, что с ростом n надежность оценок возрастает.

3. Оценки эффективны . т.е. они имеют наименьшую дисперсию по сравнению с любыми другими оценками данных параметров, линейными относительно величин yi .

3.3 Межотраслевая модель

По заданным значениям коэффициентов прямых материальных затрат Теорема гаусса маркова

Теорема гаусса маркова

и вектору конечной продукции Y

Теорема гаусса маркова

определить значения коэффициентов полных материальных затрат и рассчитать баланс производства и распределения продукции в трехотраслевой экономической системе на основе модели В.В. Леонтьева «затраты — выпуск».

Сначала проверим матрицу А на продуктивность. Для этого найдем матрицу (Е-А):

Теорема гаусса маркова

Найдем обратную к (Е-А) матрицу.

Теорема гаусса маркова

Теорема гаусса маркова

Видим, что эта матрица неотрицательна. Следовательно, А продуктивна. Вычисляем вектор полных затрат:

Теорема гаусса маркова

Из продуктивности А вытекает, что Теорема гаусса маркова.X – вектор валового выпуска совпадает с вектором полных затрат.

Ограничения в классической линейной модели регрессии. Свойства оценок коэффициентов при регрессорах, получаемых методом наименьших квадратов. Теорема Гаусса-Маркова.

Корреляция и регрессия взаимосвязаны между собой – корреляция исследует силу(тесноту) связи, регрессия исследует её форму. И та и другая служат для установления соотношения между явлениями, для определения наличия или отсутствия связи. По форме зависимости различают линейную регрессию (уравнение прямой Ῡx = a0 + a1x) и нелинейную ( парабола Ῡx =a0 + a1 * x + a2*x^2, гипербола и т.д.). Направление связи – прямая, обратная.

Целью регрессионного анализа является оценка функциональной зависимости математического ожидания результативного признака У от факторных (х1, х2,…).

Метод наименьших квадратов (МНК, OLS, Ordinary Least Squares) — один из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Метод основан на минимизации суммы квадратов остатков регрессии.

Оценки, полученные по МНК, обладают следующими свойствами:

Оценки параметров являются несмещенными. т. е. M(b1 ) = β1. M(b0 ) = β0 (математические ожидания оценок параметров равны их теоретическим значениям). Это вытекает из того, что M(εi ) = 0, и говорит об отсутствии систематической ошибки в определении положения линии регрессии. Оценка, для которой смещение – разность между значением параметра и его оценкой – стремится к нулю при возрастании выборки – является асимптотически несмещенной.

Оценки параметров состоятельны. если при увеличении объема выборки надежность оценок увеличивается (b1 наверняка близко к β1. b0 — близко к β0 ), т.е. D(b0 ) → 0, D(b1 ) → 0 при n → ∞ .

Оценки параметров эффективны. т. е. они имеют наименьшую дисперсию по сравнению с другими оценками данных параметров, линейными относительно величин yi.

Т.е. МНК-оценки являются несмещенными линейными оценками с минимальной дисперсией, имеющими нормальное распределение.

В полученном уравнении регрессии параметр а0 показывает усредненное влияние на результативный признак неучтенных факторов; параметр а1, а2 и т.д. показывает, насколько в среднем изменяется значение результативного признака при увеличении факторного на единицу собственного измерения.

Теорема Гаусса-Маркова.

Известно, что для получения по МНК наилучших результатов требуется, чтобы выполнялся ряд предпосылок относительно случайного отклонения. Их также называют предпосылками Гаусса-Маркова. Теорема Гаусса-Маркова гласит, что наилучшие оценки параметров уравнения регрессии могут быть получены при обязательном соблюдении следующих предпосылок:

Математическое ожидание случайного отклонения еi равно нулю: M(еi ) = 0 для всех наблюдений.

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную, случайный член может быть положительным или отрицательным, но он не должен иметь систематического смещения.

Дисперсия случайных отклонений постоянна: D(εij ) = σ 2 = const для любых наблюдений i и j.

Условие независимости дисперсии ошибки от номера наблюдения называется гомоскедастичностью (homoscedasticity). Невыполнимость этой предпосылки называется гетероскедастичностью (heteroscedasticity).

Поскольку D(ε)=M((εj — Mεj)) 2 = M(ε 2 ), то эту предпосылку можно переписать в форме: M(е 2 i ) = σ 2 .

Случайные отклонения εi и εj являются независимыми друг от друга для i ≠ j. Выполнимость этой предпосылки предполагает, что отсутствует систематическая связь между любыми случайными отклонениями. Величина и определенный знак любого случайного отклонения не должны быть причинами величины и знака любого другого отклонения.

Выполнимость данной предпосылки влечет следующее соотношение:

Теорема гаусса маркова

Если данное условие выполняется, то можно говорить об отсутствии автокорреляции.

Случайное отклонение должно быть независимо от объясняющих переменных.

Данное условие предполагает выполнимость следующего соотношения:

Теорема гаусса маркова

Заметим, что выполнимость этой предпосылки не столь критична для эконометрических моделей.

Модель является линейной относительно параметров. Для случая множественной линейной регрессии существенными являются еще две предпосылки.

Отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует сильная линейная зависимость.

Случайные отклонения εi, i = 1, 2. n, имеют нормальное распределение.

Выполнимость данной предпосылки важна для проверки статистических гипотез и построения интервальных оценок.

Наряду с этим, есть еще некоторые предположения. Например:

объясняющие переменные не являются случайными величинами;

число наблюдений намного больше числа объясняющих переменных (числа факторов уравнения);

отсутствуют ошибки спецификации, т. е. правильно выбран вид уравнения и в него включены все необходимые переменные.

Билет № 2. Оценка параметров классической линейной модели регрессии методом максимального правдоподобия.

Пример из учебника Доугерти про матожидание между 4 и 6.

Этот метод требует знания общего вида распределения анализируемых случайных величин. Для оценивания неизвестных параметров используется следующий факт: распределение переменной yi, условное по совокупности переменных xi, известно вплоть до небольшого количества неизвестных параметров, и следует подбирать эти параметры таким образом, чтобы получающееся распределение «насколько возможно лучше соответствовало наблюдаемым данным».

Допустим, мы имеем урну, наполненную красными и желтыми шарами. Нас интересует доля p красных шаров. Чтобы получить информацию о p. мы извлекаем случайную выборку из N шаров, yi = 1 если шар красный, и yi = 0 если желтых, P (yi=1) = 1. Предположим, что выборка содержит Теорема гаусса марковакрасных шаров иN – N1 желтых. Вероятность получения такой выборки в заданном виде является

P (N1, N-N1) = p N 1 (1-p) N — N 1. Это выражение, интерпретируемое как функция от неизвестного параметра p. называется функцией правдоподобия. Оценивание методом максимального правдоподобия неизвестного параметра p означает, что мы выбираем такое значение p. что вероятность является максимальной. Это значение является оценкой методом максимального правдоподобия (ММП-оценкой). В вычислительных целях удобно максимизировать натуральный логарифм вероятности. Это приводит к логарифмической ф-ии правдоподобия

Максимизация этой функции даёт условие первого порядка

Теорема гаусса маркова

из которого получается решение для неизвестного параметра p. являющееся оценкой методом максимального правдоподобия

Теорема гаусса маркова

Т.о. ММП-оценка соответствует выборочной доле красных шаров, и, вероятно, соответствует наилучшей догадке о параметре p, основанной на извлеченной выборке.

Теорема гаусса маркова
Главная | О нас | Обратная связь

Теорема Гаусса-Маркова. МНК-оценки параметров линейной регрессии обладают наименьшими дисперсиями среди

МНК-оценки параметров линейной регрессии обладают наименьшими дисперсиями среди множества всех несмещенных и линейно-зависимых от эндогенных переменных оценок в рамках модельных предположений П1-П4.

Кроме задачи оценивания параметров в эконометрике часто представляет интерес задача о значимости параметров, т.е. задача проверки отделимости параметров регрессии от нуля, которая решается проверкой статистических гипотез при выполнении всех предположений модели П1-П5 [5; 11]:

Решающее правило проверки гипотез (2.13) имеет вид следующего алгоритма:

если где – квантиль распределения Стьюдента с надежностью . то отклоняют гипотезу и делают вывод о существенности (значимости) параметра

Наряду с проверкой гипотезы о значимости параметров регрессии важной задачей является проверка адекватности регрессионной модели, т.е. обоснованности выбора принятой в соответствии с моделью регрессии взаимосвязи и

Мерой адекватности регрессии служит коэффициент детерминации, который вычисляется по формуле:

Справедливость правой части формулы (2.14) основана на тождестве:

в котором первое слагаемое описывает вклад в левую часть (TSS ) регрессионного фактора (х ) в зависимости от эндогенной переменной (ESS), а второе слагаемое – вклад остальных случайных факторов (RSS).

Заметим, что в эконометрических выводах часто применяется скорректированный (с учетом степеней свободы) коэффициент детерминации вида:

где – число экзогенных переменных, – число наблюдений.

Решающее правило об адекватности моделей соответствует критерию проверки статистической гипотезы:

если то отвергается гипотеза о неадекватности ПЛР.

Здесь – квантиль порядка закона распределения Фишера.

С помощью коэффициента детерминации можно сделать вывод о степени адекватности модели ПЛР:

а) если . то говорят, что ПЛР полностью отражает зависимость от Геометрически это означает, что все наблюдаемые точки лежат на графике т.е. .
(рис. 4).

б) если то делают вывод о том, что информация о значениях переменной не влияет на изменение результирующего показателя (рис.5):

Следовательно, в случае а) модель абсолютно адекватна, тогда как в условиях б) следует вывод о непригодности ПЛР.

По модели регрессии можно осуществить прогноз зависимой переменной вида:

где – параметр, указывающий на глубину прогноза, – планируемое в будущем моменте времени значение факторной переменной.

Доверительный интервал прогноза переменной может быть представлен в виде [1]:

Изобразим графически доверительные границы:

Из рис.6 нетрудно видеть, что по мере увеличения горизонта прогнозирования (к >9gt;1) увеличивается ширина доверительного интервала, что соответствует уменьшению точности прогнозируемого
значения .

II. Модель множественной линейной регрессии вида ( ) удобно представить в векторно-матричной форме:

Здесь символ «’» обозначает оператор транспортирования.МНК-оценка вектора неизвестных параметров находится как решение задачи:

где – вектор оценок множества неизвестных параметров

Решение задачи (2.18) сводится к нахождению решения системы «нормальных» уравнений:

Все статические выводы, которые имели место для модели ПЛР, сохраняются в рамках модельных предположений П1 – П5 для модели множественной линейной регрессии.

Перечислим их в матричной форме:

1) МНК-оценки вектора параметров МЛР обладают свойством несмещенности, т.е.:

2) Несмещенная оценка дисперсии для случайной переменной имеет вид:

3) Дисперсия МНК-оценок параметров имеет вид:

где символ обозначает диагональный элемент, стоящий на пересечении j -й строки и j -го столбца матрицы .

4) t -статистики для определения значимости параметров имеют вид:

5) Доверительные интервалы параметров имеют вид:

6) Доверительный интервал для прогноза :

7) Адекватность МЛР проверяется с помощью F -критерия.

то гипотеза – неверна.

В противном случае – нет основания на данном уровне надежности отвергать гипотезу

8) МЛР с линейными ограничениями на параметры:

где (ЛОГ), В – заданная матрица полного ранга ( ). bK – заданный вектор размерности k.

Тождество (ЛОГ) определяет систему линейных ограничений на параметры, основными частными случаями которого являются:

Случай 2. Два произвольных параметра совпадают:

Случай 3. Сумма нескольких параметров равна единице:

Случай 4. Подмножество коэффициентов вектора параметров а равно нулю:

Формула оценки МНК-параметров МЛР с учетом линейных ограничений имеет вид:

Пример 2.1. В теории формирования инвестиционного портфеля известна модель оценки капитальных активов (CAPM – Capital Asset Pricing Model), в рамках которой ожидаемая доходность акций некоторой компании определяется по регрессионной модели:

где – ожидаемая доходность акций компании;

– доходность безрисковых ценных бумаг (государственные облигации);

– доходность в среднем на рынке ценных бумаг.

Тогда величина представляет собой рыночную премию за риск при вложении инвестируемого капитала в ценные бумаги;

– премия за риск при вложении капитала в ценные бумаги данной компании. Значение параметра (бета-коэффициента) представляет собой индекс доходности данной компании и оценивается по МНК:

– средняя доходность акций на рынке ЦБ в период t ;

– доходность акций в среднем на рынке ЦБ за все наблюдаемые периоды (n );

– средняя доходность акций компании e за все наблюдаемые периоды.

Тогда, если . делают вывод о равенстве средней степени риска акций данной компании риску, сложившемуся на рынке в целом; если . то ЦБ данной компании более рискованны, чем в среднем на рынке ЦБ.

Задача 2.1. Пусть эконометрическая модель зависимости зарплаты преподавателя от ряда факторов производительности труда имеет вид:

где – оклад i -ого преподавателя в текущем учебном году;

– число его опубликованных книг за весь период работы;

– число его опубликованных статей за весь период работы;

– число его «выдающихся» статей за весь период работы;

– число диссертаций, по которым им осуществлялось научное руководство за последние 5 лет;

– стаж его педагогической работы.

1. Проверьте соответствие знаков при коэффициентах модели вашим ожиданиям.

2. Если профессор имеет дополнительное время, чтобы написать книгу или две «солидные» статьи, или руководить тремя диссертациями, то что Вы ему порекомендуете выбрать?

3. Какие факторы кажутся Вам избыточными?

Задача 2.2. Пусть решается задача описания зависимости региональной зарплаты неквалифицированных рабочих от места работы
в определенном регионе с помощью следующей модели:

где – почасовая зарплата i -ого рабочего;

– качественная (дихотомическая) переменная;

1.Какое условие модели, на Ваш взгляд, пропущено?

2.Какое из следующих утверждений наиболее корректно?

a) модель объясняет лишь 49 % вариаций относительно средней зарплаты рабочих по стране так, что эта модель неадекватна;

б) коэффициенты региональных переменных кажутся одинаковыми, так что эта модель неадекватна.

Задача 2.3. Рассмотрим модель удельного потребления мяса в США:

где – удельное потребление мяса в t -м квартале;

– цена мяса в квартале t ;

– цена заменителя мяса (соя) в квартале t ;

– располагаемый доход на душу населения в t -м квартале;

1. Оцените соответствие знаков первых 3 коэффициентов при экзогенных переменных Вашим ожиданиям.

2. Объясните смысл оценок сезонных факторов . и .

3. Если цены и доход в этой модели преобразовать из номинального масштаба в реальный, то как изменится данная модель (что следует добавить в перечень переменных)?

Задача 2.4. Эконометрическая модель зависимости Y от трех экзогенных переменных . и на основе 30 наблюдений имеет вид:

95 % – дов. границы

1. Заполните пропуски.

2. Что можно сказать о значимости коэффициентов регрессии на уровне значимости ?

Задача 2.5. Рассмотрим следующие данные, описывающие зависимость общего потребления и дохода на конец периода (в млрд руб.):

Предполагая линейную зависимость между C и Y

1. Оцените по табличным данным неизвестные параметры автономного потребления ( ) и предельной склонности к потреблению ( ).

2. Если доход в следующем периоде ожидается на уровне . найдите ожидаемое общее потребление и доверительные границы, в которых будет содержаться этот прогноз с надежностью .

Задача 2.6. Для оценивания размера арендной платы за использование сервера была выбрана степенная модель:

где – ежемесячная арендная плата;

– объем оперативной памяти сервера;

– скорость обмена информацией.

Собранные данные о значениях переменных модели для 5 серверов представлены в таблице:

1) Укажите ожидаемые знаки параметров . и .

2) Линеаризуйте модель и оцените неизвестные параметры . . и по МНК. Проведите анализ их значимости на уровне 5 %.

Задача 2.7. Рассмотрим следующую модель удельного потребления мясопродуктов вида (продолжение задачи 2.3):

(0,5) (0,4) (0,08) (0,2) (0,2) (0,2)

где – удельное потребление мясопродуктов в течение периода t ;

– цена мясопродуктов в период t ;

– цена товара – заменителя мясопродуктов в период t ;

– располагаемый доход в период t ;

– переменная, выделяющая сезонный фактор в s -м квартале текущего года (s= 1, 2, 3).

1. Проанализируйте адекватность модели.

2. Проведите проверку значимости полученных коэффициентов и модели в целом с надежностью .

Задача 2.8. Теорема Гаусса-Маркова утверждает, что МНК-оценки являются несмещенными и эффективными (в смысле минимизации дисперсии). Что бы Вы предпочли:

оперировать несмещенной, но неэффективной оценкой или эффективной оценкой, но обладающей смещением (обоснуйте ваш выбор).

Задача 2.9. Укажите смысл каждого из следующих терминов:

а) нулевая гипотеза;

б) альтернативная гипотеза;

1.5. Теорема Гаусса-Маркова

Оценка МНК является статистикой, т. е. случайной величиной. Разные наблюдения у приводят к разным значениям оценки, причем зависимость а от у линейная линейная оценка). Вычислим математическое ожидание и матрицу ковариаций оценки а. Используя (1.4), получим

Так как по предположению есть матрица детерминированная, то ее можно выносить за знак математического ожидания, т. е.

Таким образом, математическое ожидание оценки равно истинному значению параметра. Итак, оценка МНК несмещена.

Найдем матрицу ковариаций оценки МНК. По определению

Из несмещенности оценки МНК следует

Нельзя считать (1.18) статистикой, поскольку зависит от неизвестного параметра Позднее мы оценим найдем оценку для

Приведем известную теорему Гаусса-Маркова, в которой говорится о важнейших статистических свойствах оценки МНК.

Теорема Гаусса — Маркова 1.2. Пусть предположения выполняются, оценка МНК является

б) эффективной в классе несмещенных оценок, линейных по у.

Доказательство. Несмещенность уже была нами доказана. Докажем линейную эффективность Пусть другая несмещенная оценка, линейная по у. Тогда Ну, где некоторая детерминированная матрица Из условия несмещенности имеем

Обозначим Тогда из условия (1.19)

Вычислим матрицу ковариаций для оценки

Поскольку матрица неотрицательно определена, получаем т. е. разница матриц ковариации любой линейной несмещенной оценки и оценки МНК неотрицательно определена (см. параграф 1.4).

Замечания: 1. Как видно из доказательства, поэтому хотя бы один диагональный элемент матрицы больше нуля. Это, в частности, означает, что если какая-либо другая несмещенная линейная оценка, то дисперсия координаты дисперсии координаты оценки МНК, причем хотя бы для одной координаты

2. Еще раз подчеркнем оптимальность свойств оценок МНК в своем классе. Как следует из предыдущего параграфа, можно построить смещенные оценки, которые для некоторых значений а будут лучше оценок МНК. Существенным условием является требование линейности оценок. Весьма вероятно, что можно построить несмещенные нелинейные оценки, которые будут для всех а более оптимальными, чем оценка МНК. Однако в дальнейшем нами показано, что если распределение 8 нормально, то оценка МНК будет наилучшей в классе всех (линейных и нелинейных) несмещенных оценок.

Дж. Ходжес и Е. Леман доказали минимаксность оценки МНК [129].

Иногда нам интересны не сами оценки вектора параметров а некоторые их линейные комбинации. Допустим, нас интересуют оценки вектора где В — известная матрица неизвестный вектор, подлежащий оцениванию, размерности Можно доказать, что оценка является: а) несмещенной, б) эффективной в классе несмещенных оценок, линейных по у. Это позволяет прояснить еще одно свойство оценки МНК. Предположим, в регрессии нас интересует только один параметр, скажем Мы стараемся получить наилучшую линейную несмещенную оценку только этого параметра. Что это будет за оценка? Как следует из последнего факта, это будет оценка МНК. Действительно, положим матрица тогда и наилучшей оценкой будет т. е. первая координата оценки МНК. Итак, можно сделать вывод: МНК является одновременно эффективным и с точки зрения оценивания индивидуального параметра регрессии, и с точки зрения оценивания всех параметров совместно.

Можно также рассмотреть линейные несмещенные оценки, минимизирующие сумму дисперсий параметров. Эти оценки совпадают с оценками МНК.

До сих пор мы интересовались оцениванием параметров регрессии Однако существует еще один неизвестный параметр — дисперсия отклонений регрессии Как найти удовлетворительную оценку для этого параметра? Обозначим Положим

Теорема 1.3. Статистика несмещенно оценивает

Доказательство дано в параграфе 1.11.

Как мы уже отмечали, выражение (1.18) нельзя считать статистикой, поскольку неизвестно. Теперь, имея оценку можно построить несмещенную оценку для матрицы ковариации оценки МНК:

На практике матрицу ковариаций довольно затруднительно интерпретировать, так как она зависит от единиц измерения оценок, что в свою очередь зависит от единиц измерения переменных . С этой точки зрения удобнее пользоваться матрицей корреляций параметров. Она рассчитывается на основе (1.21), элемент которой равен:

где элемент матрицы По значению мы можем оценить, как координата оценки МНК коррелирует с координатой. Грубо говоря, мы как бы оцениваем линейную взаимозаменяемость параметров регрессии. Поскольку не зависит от выборки у, ее можно считать «абсолютно точной оценкой». Это освобождает нас от необходимости проверять эти коэффициенты на значимость, так как мы сразу получаем истинные значения коэффициентов корреляции между

Найдем статистику матрицу ковариаций и корреляций для регрессии (1.6). В предпоследней и последней колонках табл. 1.1 даны соответственно . Сумма квадратов отклонений поэтому несмещенная оценка дисперсии Используя матрицу вычисленную в параграфе 1.1, найдем оценку матрицы ковариаций оценки МНК:

Исходя из этой матрицы можно найти дисперсию и среднеквадратические отклонения для оценки а (табл. 1,2). Матрица корреляций параметров равна:

Таблица 1.2 (см. скан)

Таким образом, можно утверждать, что коэффициенты корреляции между и приблизительно одинаковы по абсолютной величине. Максимальный коэффициент корреляции равен — 0,987 и соответствует корреляции между Как интерпретировать Рассмотрим, например, Мы получили Это означает, что если повторять наблюдения за у (при фиксированной матрице X) и каждый раз вычислять оценку МНК, то, расположив пару на плоскости, получим облако рассеяния с коэффициентом корреляции, равным — 0,595. Знак минус означает, что при увеличении мы должны скорее ожидать уменьшение и наоборот.

Упражнения 1.5

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *