Центральная предельная теорема

«Сглаживание» распределения суммированием. Показана функция плотности вероятности одной случайной величины, а также распределения суммы двух, трёх и четырёх случайных величин с такой же функцией распределения.

Какова бы ни была форма распределения генеральной совокупности, выборочное распределение стремится к нормальному, а его дисперсия задается центральной предельной теоремой.

Центра́льные преде́льные теоре́мы (ЦПТ) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.

Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.

Классическая ЦПТ

Пусть [math]\displaystyle{ X_1,\ldots, X_n,\ldots }[/math] есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание [math]\displaystyle{ \mu }[/math] и дисперсию [math]\displaystyle{ \sigma^2 }[/math]. Пусть также

[math]\displaystyle{ S_n = \sum\limits_{i=1}^n X_i }[/math].

Тогда

[math]\displaystyle{ \frac{S_n - \mu n}{\sigma \sqrt n} \to N(0,1) }[/math] по распределению при [math]\displaystyle{ n \to \infty }[/math],

где [math]\displaystyle{ N(0,1) }[/math] — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Определяя выборочное среднее первых [math]\displaystyle{ n }[/math] величин как

[math]\displaystyle{ \bar{X}_n = \frac{1}{n} \sum\limits_{i=1}^n X_i }[/math],

мы можем переписать результат центральной предельной теоремы в следующем виде:

[math]\displaystyle{ \sqrt{n} \frac{ \bar{X}_n - \mu}{\sigma} \to N(0,1) }[/math] по распределению при [math]\displaystyle{ n \to \infty }[/math].

Скорость сходимости можно оценить с помощью неравенства Берри — Эссеена.

Замечания

• Неформально говоря, классическая центральная предельная теорема утверждает, что сумма [math]\displaystyle{ n }[/math] независимых одинаково распределённых случайных величин имеет распределение, близкое к [math]\displaystyle{ N(n\mu, n\sigma^2 ) }[/math]. Эквивалентно, [math]\displaystyle{ \bar{X}_n }[/math] имеет распределение близкое к [math]\displaystyle{ N(\mu,\sigma^2/n) }[/math].
• Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив [math]\displaystyle{ Z_n = \frac{S_n - \mu n}{\sigma \sqrt{n}} }[/math], получаем [math]\displaystyle{ F_{Z_n}(x) \to \Phi(x),\; \forall x \in \mathbb{R} }[/math], где [math]\displaystyle{ \Phi(x) }[/math] — функция распределения стандартного нормального распределения.
• Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
• Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае это имеет место.

Локальная ЦПТ

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин [math]\displaystyle{ \{X_i\}_{i=1}^{\infty} }[/math] абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение [math]\displaystyle{ Z_n }[/math] также абсолютно непрерывно, и более того,

[math]\displaystyle{ f_{Z_n}(x) \to \frac{1}{\sqrt{2\pi}}\, e^{-\frac{x^2}{2}} }[/math] при [math]\displaystyle{ n \to \infty }[/math],

где [math]\displaystyle{ f_{Z_n}(x) }[/math] — плотность случайной величины [math]\displaystyle{ Z_n }[/math], а в правой части стоит плотность стандартного нормального распределения.

Обобщения

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

ЦПТ Линдеберга

Пусть независимые случайные величины [math]\displaystyle{ X_1,\ldots ,X_n, \ldots }[/math] определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: [math]\displaystyle{ \mathbb{E}[X_i] = \mu_i,\; \mathrm{D}[X_i] = \sigma^2_i }[/math].

Пусть [math]\displaystyle{ S_n = \sum\limits_{i=1}^n X_i }[/math].

Тогда [math]\displaystyle{ \mathbb{E}[S_n] = m_n = \sum\limits_{i=1}^n \mu_i,\; \mathrm{D}[S_n] = s_n^2 = \sum\limits_{i=1}^n \sigma_i^2 }[/math].

И пусть выполняется условие Линдеберга:

[math]\displaystyle{ \forall \varepsilon\gt 0,\; \lim\limits_{n\to \infty}\sum\limits_{i=1}^n \mathbb{E}\left[\frac{(X_i-\mu_i)^2}{s_n^2}\, \mathbf{1}_{\{|X_i-\mu_i|\gt \varepsilon s_n \}}\right] = 0, }[/math]

где [math]\displaystyle{ \mathbf{1}_{\{|X_i-\mu_i|\gt \varepsilon s_n \}} }[/math] функция — индикатор.

Тогда

[math]\displaystyle{ \frac{S_n-m_n}{s_n} \to N(0,1) }[/math] по распределению при [math]\displaystyle{ n \to \infty }[/math].

ЦПТ Ляпунова

Пусть выполнены базовые предположения ЦПТ Линдеберга. Пусть случайные величины [math]\displaystyle{ \{X_i\} }[/math] имеют конечный третий момент. Тогда определена последовательность

[math]\displaystyle{ r^3_n = \sum_{i=1}^n \mathbb{E}\left[|X_i-\mu_i|^3\right] }[/math].

Если предел

[math]\displaystyle{ \lim\limits_{n\to \infty} \frac{r_n}{s_n} = 0 }[/math] (условие Ляпунова),

то

[math]\displaystyle{ \frac{S_n-m_n}{s_n} \to N(0,1) }[/math] по распределению при [math]\displaystyle{ n \to \infty }[/math].

ЦПТ для мартингалов

Пусть процесс [math]\displaystyle{ (X_n)_{n\in \mathbb{N}} }[/math] является мартингалом с ограниченными приращениями. В частности, допустим, что

[math]\displaystyle{ \mathbb{E}\left[X_{n+1}-X_n \mid X_1,\ldots,X_n \right] = 0,\; n \in \mathbb{N},\; X_0 \equiv 0, }[/math]

и приращения равномерно ограничены, то есть

[math]\displaystyle{ \exists C\gt 0\, \forall n \in \mathbb{N}\; |X_{n+1}-X_n| \le C }[/math] п.н.

Введём случайные процессы [math]\displaystyle{ \sigma^2_n }[/math] и [math]\displaystyle{ \tau_n }[/math] следующим образом:

[math]\displaystyle{ \sigma_n^2 = \mathbb{E} \left[(X_{n+1}-X_n)^2 \mid X_1 ,\ldots, X_n\right] }[/math]

и

[math]\displaystyle{ \tau_n = \min\left\{k \left\vert\; \sum_{i=1}^k \sigma^2_i \ge n \right. \right\} }[/math].

Тогда

[math]\displaystyle{ \frac{X_{\tau_n}}{\sqrt{n}} \to N(0,1) }[/math] по распределению при [math]\displaystyle{ n \to \infty }[/math].

ЦПТ для случайных векторов

Пусть [math]\displaystyle{ \vec{X_1},\ldots ,\vec{X_n}, \ldots }[/math] последовательность независимых и одинаково распределённых случайных векторов, каждый из которых имеет среднее [math]\displaystyle{ E\vec{X_1}=\vec{a} }[/math] и невырожденную матрицу ковариаций [math]\displaystyle{ \Sigma }[/math]. Обозначим через [math]\displaystyle{ S_n=\vec{X_1}+\ldots+\vec{X_n} }[/math] вектор частичных сумм. Тогда при [math]\displaystyle{ n \to \infty }[/math] имеет место слабая сходимость распределений векторов

[math]\displaystyle{ \vec{\eta_n}=\frac{S_n-na}{\sqrt{n}}\xrightarrow{weak}\vec{\eta} }[/math], где [math]\displaystyle{ \vec{\eta} }[/math] имеет распределение [math]\displaystyle{ N({\vec{0},\Sigma}) }[/math].

См. также

• Закон больших чисел
• Закон повторного логарифма

Ссылки

• Предельные теоремы теории вероятностей. Примеры использования