t-критерий Стьюдента
t-критерий Стьюдента — общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на распределении Стьюдента. Наиболее частые случаи применения t-критерия связаны с проверкой равенства средних значений в двух выборках.
t-статистика строится обычно по следующему общему принципу: в числителе — случайная величина с нулевым математическим ожиданием (при выполнении нулевой гипотезы), а в знаменателе — выборочное стандартное отклонение этой случайной величины, получаемое как квадратный корень из несмещённой оценки дисперсии.
История
Данный критерий был разработан Уильямом Госсетом для оценки качества пива в компании Гиннесс. В связи с обязательствами перед компанией по неразглашению коммерческой тайны (руководство Гиннесса считало таковой использование статистического аппарата в своей работе), статья Госсета вышла в 1908 году в журнале «Биометрика» под псевдонимом «Student» (Студент).
Требования к данным
Для применения данного критерия необходимо, чтобы выборочные средние имели нормальное распределение. При маленьких выборках это означает требование нормальности исходных значений. В случае применения двухвыборочного критерия для независимых выборок также необходимо соблюдение условия равенства дисперсий. Существуют, однако, альтернативы критерию Стьюдента для ситуации с неравными дисперсиями.
Также не вполне корректно применять t-критерий Стьюдента при наличии в данных значительного числа выбросов. При несоблюдении этих условий при сравнении выборочных средних должны использоваться аналогичные методы непараметрической статистики, среди которых наиболее известными являются U-критерий Манна — Уитни (в качестве двухвыборочного критерия для независимых выборок), а также критерий знаков и критерий Уилкоксона (используются в случаях зависимых выборок).
Одновыборочный t-критерий
Применяется для проверки нулевой гипотезы [math]\displaystyle{ H_0:E(X)=m }[/math] о равенстве математического ожидания [math]\displaystyle{ E(X) }[/math] некоторому известному значению [math]\displaystyle{ m }[/math].
Очевидно, при выполнении нулевой гипотезы [math]\displaystyle{ E(\overline X)=m }[/math]. С учётом предполагаемой независимости наблюдений [math]\displaystyle{ V(\overline X)=\sigma^2/n }[/math]. Используя несмещённую оценку дисперсии [math]\displaystyle{ s^2_X=\sum^n_{t=1} (X_t-\overline X)^2/(n-1) }[/math] получаем следующую t-статистику:
[math]\displaystyle{ t = \frac{\overline X - m}{s_X / \sqrt{n}}. }[/math]
При нулевой гипотезе распределение этой статистики [math]\displaystyle{ t(n-1) }[/math]. Следовательно, при превышении (в абсолютном измерении) значения статистики критического значения данного распределения (при заданном уровне значимости), нулевая гипотеза отвергается.
Двухвыборочный t-критерий для независимых выборок
Пусть имеются две независимые выборки объёмами [math]\displaystyle{ n_1~,~n_2 }[/math] нормально распределённых случайных величин [math]\displaystyle{ X_1,~X_2 }[/math]. Необходимо проверить по выборочным данным нулевую гипотезу равенства математических ожиданий этих случайных величин [math]\displaystyle{ H_0:~M_1=M_2 }[/math].
Рассмотрим разность выборочных средних [math]\displaystyle{ \Delta =\overline X_1 - \overline X_2 }[/math]. Очевидно, если нулевая гипотеза выполнена, [math]\displaystyle{ E(\Delta)=M_1-M_2=0 }[/math]. Исходя из независимости выборок дисперсия этой разности равна: [math]\displaystyle{ V(\Delta)=\frac {\sigma^2_1}{n_1}+ \frac {\sigma^2_2}{n_2} }[/math]. Тогда, используя несмещённую оценку дисперсии [math]\displaystyle{ s^2=\frac {\sum^n_{t=1}(X_t-\overline X)^2}{n-1} }[/math], получаем несмещённую оценку дисперсии разности выборочных средних: [math]\displaystyle{ s^2_{\Delta}=\frac {s^2_1}{n_1}+ \frac {s^2_2}{n_2} }[/math]. Следовательно, t-статистика для проверки нулевой гипотезы равна
Эта статистика при справедливости нулевой гипотезы имеет распределение [math]\displaystyle{ t(df) }[/math], где [math]\displaystyle{ df = \frac{(s_1^2/n_1 + s_2^2/n_2)^2}{(s_1^2/n_1)^2/(n_1-1) + (s_2^2/n_2)^2/(n_2-1)} }[/math].
Случай одинаковой дисперсии
В случае, если дисперсии выборок предполагаются одинаковыми, то
Тогда t-статистика равна:
Эта статистика имеет распределение [math]\displaystyle{ t(n_1 + n_2 - 2) }[/math].
Двухвыборочный t-критерий для зависимых выборок
Для вычисления эмпирического значения [math]\displaystyle{ t }[/math]-критерия в ситуации проверки гипотезы о различиях между двумя зависимыми выборками (например, двумя пробами одного и того же теста с временным интервалом) применяется следующая формула:
где [math]\displaystyle{ M_d }[/math] — средняя разность значений, [math]\displaystyle{ s_d }[/math] — стандартное отклонение разностей, а n — количество наблюдений.
Эта статистика имеет распределение [math]\displaystyle{ t(n - 1) }[/math].
Проверка линейного ограничения на параметры линейной регрессии
С помощью t-теста можно также проверить произвольное (одно) линейное ограничение на параметры линейной регрессии, оценённой обычным методом наименьших квадратов. Пусть необходимо проверить гипотезу [math]\displaystyle{ H_0:c^Tb=a }[/math]. Очевидно, при выполнении нулевой гипотезы [math]\displaystyle{ E(c^T \hat b-a)=c^TE(\hat b)-a=0 }[/math]. Здесь использовано свойство несмещённости МНК-оценок параметров модели [math]\displaystyle{ E(\hat b)=b }[/math]. Кроме того, [math]\displaystyle{ V(c^T \hat b-a)=c^TV(\hat b)c=\sigma^2 c^T(X^TX)^{-1}c }[/math]. Используя вместо неизвестной дисперсии её несмещённую оценку [math]\displaystyle{ s^2=ESS/(n-k) }[/math], получаем следующую t-статистику:
Эта статистика при выполнении нулевой гипотезы имеет распределение [math]\displaystyle{ t(n-k) }[/math], поэтому если значение статистики выше критического, то нулевая гипотеза о линейном ограничении отклоняется.
Проверка гипотез о коэффициенте линейной регрессии
Частным случаем линейного ограничения является проверка гипотезы о равенстве коэффициента [math]\displaystyle{ b_j }[/math] регрессии некоторому значению [math]\displaystyle{ a }[/math]. В этом случае соответствующая t-статистика равна:
где [math]\displaystyle{ s_{\hat{b}_j} }[/math] — стандартная ошибка оценки коэффициента — квадратный корень из соответствующего диагонального элемента ковариационной матрицы оценок коэффициентов.
При справедливости нулевой гипотезы распределение этой статистики — [math]\displaystyle{ t(n-k) }[/math]. Если значение статистики по абсолютной величине выше критического значения, то отличие коэффициента от [math]\displaystyle{ a }[/math] является статистически значимым (неслучайным), в противном случае — незначимым (случайным, то есть истинный коэффициент вероятно равен или очень близок к предполагаемому значению [math]\displaystyle{ a }[/math]).
Замечание
Одновыборочный тест для математических ожиданий можно свести к проверке линейного ограничения на параметры линейной регрессии. В одновыборочном тесте это «регрессия» на константу. Поэтому [math]\displaystyle{ s^2 }[/math] регрессии и есть выборочная оценка дисперсии изучаемой случайной величины, матрица [math]\displaystyle{ X^TX }[/math] равна [math]\displaystyle{ n }[/math], а оценка «коэффициента» модели равна выборочному среднему. Отсюда и получаем выражение для t-статистики, приведённое выше для общего случая.
Аналогично можно показать, что двухвыборочный тест при равенстве дисперсий выборок также сводится к проверке линейных ограничений. В двухвыборочном тесте это «регрессия» на константу и фиктивную переменную, идентифицирующую подвыборку в зависимости от значения (0 или 1): [math]\displaystyle{ y=a + b D }[/math]. Гипотеза о равенстве математических ожиданий выборок может быть сформулирована как гипотеза о равенстве коэффициента b этой модели нулю. Можно показать, что соответствующая t-статистика для проверки этой гипотезы равна t-статистике, приведённой для двухвыборочного теста.
Также к проверке линейного ограничения можно свести и в случае разных дисперсий. В этом случае дисперсия ошибок модели принимает два значения. Исходя из этого можно также получить t-статистику, аналогичную приведённой для двухвыборочного теста.
Непараметрические аналоги
Аналогом двухвыборочного критерия для независимых выборок является U-критерий Манна — Уитни. Для ситуации с зависимыми выборками аналогами являются критерий знаков и T-критерий Вилкоксона.
Литература
Student. The probable error of a mean. // Biometrika. 1908. № 6 (1). P. 1-25.