F-тест
F-тест или критерий Фишера (F-критерий, φ*-критерий) — статистический критерий, тестовая статистика которого при выполнении нулевой гипотезы имеет распределение Фишера (F-распределение).
Статистика теста так или иначе сводится к отношению выборочных дисперсий (сумм квадратов, деленных на «степени свободы»). Чтобы статистика имела распределение Фишера, необходимо, чтобы числитель и знаменатель были независимыми случайными величинами и соответствующие суммы квадратов имели распределение Хи-квадрат. Для этого требуется, чтобы данные имели нормальное распределение. Кроме того, предполагается, что дисперсия случайных величин, квадраты которых суммируются, одинакова.
Тест проводится путём сравнения значения статистики с критическим значением соответствующего распределения Фишера при заданном уровне значимости. Известно, что если [math]\displaystyle{ F \sim F(m,n) }[/math], то [math]\displaystyle{ 1/F \sim F(n,m) }[/math]. Кроме того, квантили распределения Фишера обладают свойством [math]\displaystyle{ F_{1-\alpha}=1/F_{\alpha} }[/math]. Поэтому обычно на практике в числителе участвует потенциально большая величина, в знаменателе — меньшая и сравнение осуществляется с «правой» квантилью распределения. Тем не менее тест может быть и двусторонним, и односторонним. В первом случае при уровне значимости [math]\displaystyle{ \alpha }[/math] используется квантиль [math]\displaystyle{ F_{\alpha/2} }[/math], а при одностороннем тесте — [math]\displaystyle{ F_{\alpha} }[/math][1].
Более удобный способ проверки гипотез — с помощью p-значения [math]\displaystyle{ p(F) }[/math] — вероятностью того, что случайная величина с данным распределением Фишера превысит данное значение статистики. Если [math]\displaystyle{ p(F) }[/math] (для двустороннего теста — [math]\displaystyle{ 2p(F }[/math])) меньше уровня значимости [math]\displaystyle{ \alpha }[/math], то нулевая гипотеза отвергается, в противном случае принимается.
Примеры F-тестов
F-тест на равенство дисперсий
Две выборки
Пусть имеются две выборки объёмом m и n соответственно случайных величин X и Y, имеющих нормальное распределение. Необходимо проверить равенство их дисперсий. Статистика теста
[math]\displaystyle{ F=\frac {\hat{\sigma}^2_X}{\hat{\sigma}^2_Y}~ \sim ~F(m-1,n-1) }[/math]
где [math]\displaystyle{ {\hat{\sigma}^2} }[/math] — выборочная дисперсия.
Если статистика больше критического значения, соответствующего выбранному уровню значимости, то дисперсии случайных величин признаются не одинаковыми.
Несколько выборок
Пусть выборка объёмом N случайной величины X разделена на k групп с количеством наблюдений [math]\displaystyle{ n_i }[/math] в i-ой группе.
Межгрупповая («объяснённая») дисперсия: [math]\displaystyle{ \hat{\sigma}^2_{BG}=\sum^k_{i=1} n_i (\overline {x_i}-\overline {x})^2/(k-1) }[/math]
Внутригрупповая («необъяснённая») дисперсия: [math]\displaystyle{ \hat{\sigma}^2_{WG}=\sum^k_{i=1}\sum^{n_i}_{j=1} (x_{ij}-\overline {x}_i)^2/(N-k) }[/math]
[math]\displaystyle{ F=\frac {\hat{\sigma}^2_{BG}}{\hat{\sigma}^2_{WG}}~\sim~F(k-1,N-k) }[/math]
Данный тест можно свести к тестированию значимости регрессии переменной X на фиктивные переменные-индикаторы групп. Если статистика превышает критическое значение, то гипотеза о равенстве средних в выборках отвергается, в противном случае средние можно считать одинаковыми.
Проверка ограничений на параметры регрессии
Статистика теста для проверки линейных ограничений на параметры классической нормальной линейной регрессии определяется по формуле:
[math]\displaystyle{ F=\frac {(RSS_S-RSS_L)/q}{RSS_L/(n-k_L)}=\frac {(R^2_L-R^2_S)/q}{(1-R^2_L)/(n-k_L)}~\sim ~F(q,n-k_L) }[/math]
где [math]\displaystyle{ q=k_L-k_S }[/math] -количество ограничений, n-объём выборки, k-количество параметров модели, RSS-сумма квадратов остатков модели, [math]\displaystyle{ R^2 }[/math]-коэффициент детерминации, индексы S и L относятся соответственно к короткой и длинной модели (модели с ограничениями и модели без ограничений).
Замечание
Описанный выше F-тест является точным в случае нормального распределения случайных ошибок модели. Однако F-тест можно применить и в более общем случае. В этом случае он является асимптотическим. Соответствующую F-статистику можно рассчитать на основе статистик других асимптотических тестов — теста Вальда (W), теста множителей Лагранжа(LM) и теста отношения правдоподобия (LR) — следующим образом:
[math]\displaystyle{ F=\frac {n-k}{q} W/n ~,~ F=\frac {n-k}{q} \frac {LM} {n-LM} ~,~F=\frac {n-k}{q}(e^{LR/n}-1) }[/math] Все эти статистики асимптотически имеют распределение F(q, n-k), несмотря на то, что их значения на малых выборках могут различаться.
Проверка значимости линейной регрессии
Данный тест очень важен в регрессионном анализе и по существу является частным случаем проверки ограничений. В данном случае нулевая гипотеза — об одновременном равенстве нулю всех коэффициентов при факторах регрессионной модели (то есть всего ограничений k-1). В данном случае короткая модель — это просто константа в качестве фактора, то есть коэффициент детерминации короткой модели равен нулю. Статистика теста равна:
[math]\displaystyle{ F=\frac {R^2/(k-1)}{(1-R^2)/(n-k)}~\sim ~F(k-1,n-k) }[/math]
Соответственно, если значение этой статистики больше критического значения при данном уровне значимости, то нулевая гипотеза отвергается, что означает статистическую значимость регрессии. В противном случае модель признается незначимой.
Пример
Пусть оценивается линейная регрессия доли расходов на питание в общей сумме расходов на константу, логарифм совокупных расходов, количество взрослых членов семьи и количество детей до 11 лет. То есть всего в модели 4 оцениваемых параметра (k=4). Пусть по результатам оценки регрессии получен коэффициент детерминации [math]\displaystyle{ R^2=41.2366\% }[/math]. По вышеприведенной формуле рассчитаем значение F-статистики в случае, если регрессия оценена по данным 34 наблюдений и по данным 64 наблюдений: [math]\displaystyle{ F_1=\frac {0.412366/(4-1)}{(1-0.412366)/(34-4)}=0,70174*10=7,02 }[/math]
[math]\displaystyle{ F_2=\frac {0.412366/(4-1)}{(1-0.412366)/(64-4)}=0,70174*20=14.04 }[/math]
Критическое значение статистики при 1 % уровне значимости (в Excel функция FРАСПОБР) в первом случае равно [math]\displaystyle{ F_{1\%}(3,30)=4,51 }[/math], а во втором случае [math]\displaystyle{ F_{1\%}(3,60)=4,13 }[/math]. В обоих случаях регрессия признается значимой при заданном уровне значимости. В первом случае P-значение равно 0,1 %, а во втором — 0,00005 %. Таким образом, во втором случае уверенность в значимости регрессии существенно выше (существенно меньше вероятность ошибки в случае признания модели значимой).
Проверка гетероскедастичности
См. также
- Проверка статистических гипотез
- Статистический критерий
- Тест Вальда
- Тест отношения правдоподобия
- Тест множителей Лагранжа
- Тест Голдфелда-Куандта
Примечания
- ↑ F-Test for Equality of Two Variances (англ.). NIST. Дата обращения: 29 марта 2017. Архивировано 9 марта 2017 года.