Неравенство Гаусса

В теории вероятностей неравенство Гаусса даёт верхнюю границу вероятности того, что одномодальная случайная величина выходит за пределы интервала с центром в её моде.

Пусть X — одномодальная случайная величина с модой m и пусть τ² есть математическое ожидание (X − m)². (τ² может также быть выражено как (μ − m)² + σ², где μ и σ являются средним значением и стандартным отклонением X.)

[math]\displaystyle{ \Pr(|X - m| \gt k) \leq \begin{cases} \left( \frac{2\tau}{3k} \right)^2, & \text{if } k \geq \frac{2\tau}{\sqrt{3}}; \\[6pt] 1 - \frac{k}{\tau\sqrt{3}}, & \text{if } 0 \leq k \leq \frac{2\tau}{\sqrt{3}}. \end{cases} }[/math]

Эта теорема была впервые доказана Гауссом в 1823 году.

Доказательство

Без ограничения общности можно считать, что мода находится в нуле, то есть [math]\displaystyle{ m=0 }[/math].

Переход к квантилям

Рассмотрим вероятность того, что выполняется неравенство [math]\displaystyle{ \left\vert X \right\vert \leq x }[/math], как функцию от [math]\displaystyle{ x }[/math]:

[math]\displaystyle{ p\left(x\right)=\int\limits_{-x}^{x}f\left(z\right)dz. }[/math]

Так как [math]\displaystyle{ f\left(x\right) }[/math] является неотрицательной функцией, то [math]\displaystyle{ p(x) }[/math]растёт с ростом [math]\displaystyle{ x }[/math].

Кроме того, по определению определённого интеграла:

[math]\displaystyle{ p\left(0\right)=0. }[/math]

В силу формулы Лейбница:

[math]\displaystyle{ \frac{dp}{dx}=f\left(x\right)+f\left(-x\right). }[/math]

Рассмотрим обратную функцию (квантиль) распределения случайной величины [math]\displaystyle{ \left\vert X \right\vert }[/math]:

[math]\displaystyle{ x=q\left(p\right). }[/math]

В силу теоремы о производной обратной функции:

[math]\displaystyle{ q^{\prime}\left(p\right)=\frac{dx}{dp}=\left[\frac{dp}{dx}\right]^{-1}=\frac{1}{f\left(x\right)+f\left(-x\right)}. }[/math]

Заметим, что с ростом [math]\displaystyle{ p }[/math]возрастает и [math]\displaystyle{ x }[/math], в силу унимодальности с ростом по модулю [math]\displaystyle{ x }[/math]функция [math]\displaystyle{ f\left(x\right) }[/math]не возрастает, значит с ростом [math]\displaystyle{ x }[/math]функция [math]\displaystyle{ q^{\prime}\left(p\right) }[/math]не убывает.

Линеаризация функции [math]\displaystyle{ q\left(p\right) }[/math]

Выберем произвольную точку [math]\displaystyle{ q_{0}=q\left(p_{0}\right) }[/math] и линеаризуем [math]\displaystyle{ q\left(p\right) }[/math] точке [math]\displaystyle{ p_{0} }[/math], то есть рассмотрим уравнение касательной прямой к этой функции в данной точке:

[math]\displaystyle{ L\left(p\right)=q\left(p_{0}\right)+q^{\prime}\left(p_{0}\right)\left(p-p_{0}\right)=q_{0}+q^{\prime}\left(p_{0}\right)\left(p-p_{0}\right). }[/math]

Данное уравнение можно переписать следующим образом:

[math]\displaystyle{ L\left(p\right)=q^{\prime}\left(p_{0}\right)\left(p-p_{1}\right), }[/math]

где

[math]\displaystyle{ p_{1}=p_{0}-\frac{q_{0}}{q^{\prime}\left(p_{0}\right)}=p_{0}\left(1-\frac{q_{0}}{p_{0}\cdot q^{\prime}\left(p_{0}\right)}\right)=g\cdot p_{0}. }[/math]

Поскольку величины [math]\displaystyle{ p_0 }[/math], [math]\displaystyle{ q_0 }[/math]и [math]\displaystyle{ q^{\prime}\left(p_0\right) }[/math]являются неотрицательными, то

[math]\displaystyle{ 0 \le p_{1}\le p_{0}, }[/math]

а значит

[math]\displaystyle{ 0\le g\le1. }[/math]

Так как [math]\displaystyle{ q^{\prime}\left(p\right) }[/math] не убывает с ростом [math]\displaystyle{ p }[/math], а [math]\displaystyle{ L^{\prime}\left(p\right)=q^{\prime}\left(p_{0}\right)=\operatorname{const}, }[/math]то разность [math]\displaystyle{ q^{\prime}\left(p\right)-L^{\prime}\left(p\right) }[/math] имеет тот же знак, что [math]\displaystyle{ p-p_{0} }[/math]. Из этого следует, что величина [math]\displaystyle{ q\left(p\right)-L\left(p\right) }[/math] всегда является неотрицательной, а следовательно:

[math]\displaystyle{ q\left(p\right)\ge L\left(p\right). }[/math]

Поскольку [math]\displaystyle{ q\left(p\right)\ge0 }[/math] то из [math]\displaystyle{ L\left(p\right)\ge0 }[/math] (то есть из [math]\displaystyle{ p\ge p_{1} }[/math]) следует

[math]\displaystyle{ L^{2}\left(p\right)\le q^{2}\left(p\right) }[/math].

Получение оценки

Проинтегрируем последнее неравенство в пределах от [math]\displaystyle{ p_{1} }[/math]до [math]\displaystyle{ 1 }[/math]:

[math]\displaystyle{ \int_{p_{1}}^{1}L^{2}\left(p\right) dp \le \int_{p_{1}}^{1}q^{2}\left(p\right)dp \le \int_{0}^{1}q^{2}\left(p\right)dp=\int_{-\infty}^{+\infty}x^{2}\cdot f\left(x\right)dx. }[/math]

Последнее выражение обозначим как [math]\displaystyle{ \tau^{2} }[/math]:

[math]\displaystyle{ \tau^{2}=\int_{-\infty}^{+\infty}x^{2}\cdot f\left(x\right)dx. }[/math]

Данная величина есть математическое ожидание квадрата случайной величины [math]\displaystyle{ X }[/math]. По свойствам дисперсии:

[math]\displaystyle{ \tau^{2}=\mu^2+\sigma^2, }[/math]

где [math]\displaystyle{ \sigma^2 }[/math]— дисперсия случайной величины [math]\displaystyle{ X }[/math], [math]\displaystyle{ \mu }[/math] — её математическое ожидание.

Вычислим теперь интеграл в левой части последнего неравенства:

[math]\displaystyle{ \int_{p_{1}}^{1}L^{2}\left(p\right)dp = \int_{p_{1}}^{1}\left[q^{\prime}\left(p_{0}\right)\right]^{2}\left(p-p_{1}\right)^{2}dp = \left[q^{\prime}\left(p_{0}\right)\right]^{2}\left.\frac{\left(p-p_{1}\right)^{3}}{3}\right|_{p_{1}}^{1}=\left[q^{\prime}\left(p_{0}\right)\right]^{2}\frac{\left(1-p_{1}\right)^{3}}{3}\le\tau^{2} }[/math]

[math]\displaystyle{ p_{1}=p_{0}-\frac{q_{0}}{q^{\prime}\left(p_{0}\right)}. }[/math]

[math]\displaystyle{ p_{0}-p_{1}=\frac{q_{0}}{q^{\prime}\left(p_{0}\right)} }[/math]

[math]\displaystyle{ q^{\prime}\left(p_{0}\right)=\frac{q_{0}}{p_{0}-p_{1}} }[/math]

[math]\displaystyle{ \left[\frac{q_{0}}{p_{0}-p_{1}}\right]^{2}\frac{\left(1-p_{1}\right)^{3}}{3}\le\tau^{2} }[/math]

Преобразуем это неравенство к виду

[math]\displaystyle{ \frac{q_{0}^{2}}{\tau^{2}} \le \frac{3\left(p_{0}-p_{1}\right)^{2}}{\left(1-p_{1}\right)^{3}}=\frac{3\left(p_{0}-gp_{0}\right)^{2}}{\left(1-gp_{0}\right)^{3}}=\frac{3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}. }[/math]

Исследование верхней границы

Исследуем верхнюю границу на экстремальные значения (в зависимости от значения [math]\displaystyle{ g }[/math]). Начнём с нахождения корней производной:

[math]\displaystyle{ \begin{align} \frac{\partial}{\partial g}\left[\frac{3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}\right] = \\ & =3p_{0}^{2}\cdot\frac{2\left(1-g\right)\cdot\left(-1\right)\cdot\left(1-gp_{0}\right)^{3}-\left(1-g\right)^{2}\cdot3\left(1-gp_{0}\right)^{2}\cdot\left(-p_{0}\right)}{\left(1-gp_{0}\right)^{6}} = \\ & =\frac{3p_{0}^{2}\left(1-g\right)\left(1-gp_{0}\right)^{2}\left[-2\left(1-gp_{0}\right)+3\left(1-g\right)p_{0}\right]}{\left(1-gp_{0}\right)^{6}} = \\ & =\frac{3p_{0}^{2}\left(1-g\right)}{\left(1-gp_{0}\right)^{4}}\left[-2+2gp_{0}+3p_{0}-3gp_{0}\right] = \\ & =-\frac{3p_{0}^{2}\left(1-g\right)}{\left(1-gp_{0}\right)^{4}}\left[2-3p_{0}+gp_{0}\right] \\ \end{align} }[/math]

Множитель перед квадратными скобками всегда отрицателен. Определим, когда выражения в квадратных скобках обращается в нуль:

[math]\displaystyle{ 2-3p_{0}+g_{0}\cdot p_{0}=0. }[/math]

Решая данное уравнение, получим:

[math]\displaystyle{ g_{0}\cdot p_{0}=3p_{0}-2. }[/math]

[math]\displaystyle{ g_{0}=3-\frac{2}{p_{0}}. }[/math]

Величина [math]\displaystyle{ g }[/math] также должно удовлетворять условию [math]\displaystyle{ 0\le g\le1 }[/math] :

[math]\displaystyle{ 0\le3-\frac{2}{p_{0}}\le1 }[/math]

Решая данное неравенство, получим:

[math]\displaystyle{ -3\le-\frac{2}{p_{0}}\le-2 }[/math]

[math]\displaystyle{ 2\le\frac{2}{p_{0}}\le3 }[/math]

[math]\displaystyle{ \frac{1}{3}\le\frac{p_{0}}{2}\le\frac{1}{2} }[/math]

[math]\displaystyle{ \frac{2}{3}\le p_{0}\le1. }[/math]

Правое неравенство не даёт дополнительной информации. Левое же говорит, что корень будет принадлежать [math]\displaystyle{ \left[0;1\right] }[/math] только при [math]\displaystyle{ p_{0}\ge\frac{2}{3}. }[/math]

Рассмотрим сначала случай [math]\displaystyle{ p_{0}\le\frac{2}{3} }[/math].

В этом случае всегда

[math]\displaystyle{ \frac{\partial}{\partial g}\left[\frac{3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}\right]\le0, }[/math]

а следовательно максимум выражения в квадратных скобках достигается при [math]\displaystyle{ g=0 }[/math]:

[math]\displaystyle{ \frac{q_{0}^{2}}{\tau^{2}} \le 3p_{0}^{2} }[/math]

или

[math]\displaystyle{ p_{0}\le\frac{q_{0}}{\tau\sqrt{3}}. }[/math]

Если же [math]\displaystyle{ p_{0}\gt \frac{2}{3} }[/math], то максимум будет в точке [math]\displaystyle{ g_{0}=3-\frac{2}{p_{0}}=\frac{3p_{0}-2}{p_{0}}. }[/math] Вычислим необходимые нам величины:

[math]\displaystyle{ 1-g_{0}=1-3+\frac{2}{p_{0}}=\frac{2}{p_{0}}-2=\frac{2\left(1-p_{0}\right)}{p_{0}} }[/math]

и

[math]\displaystyle{ 1-g_{0}p_{0}=1-\left(3p_{0}-2\right)=3\left(1-p_{0}\right). }[/math]

Подставляя эти выражения в исследуемое неравенство, получим:

[math]\displaystyle{ \frac{q_{0}^{2}}{\tau^{2}} \le \frac{3p_{0}^{2}\left(1-g\right)^{2}}{\left(1-gp_{0}\right)^{3}}=\frac{3p_{0}^{2}}{3^{3}\left(1-p_{0}\right)^{3}}\frac{2^{2}\left(1-p_{0}\right)^{2}}{p_{0}^{2}}=\left(\frac{2}{3}\right)^{2}\frac{1}{1-p_{0}} }[/math]

или

[math]\displaystyle{ 1-p_{0}\le\left(\frac{2}{3}\right)^{2}\frac{\tau^{2}}{q_{0}^{2}}. }[/math]

Объединим полученные неравенства:

[math]\displaystyle{ \frac{q_{0}^{2}}{\tau^{2}}\le\begin{cases} 3p_{0}^{2}, & p_{0}\le\frac{2}{3}\\ \frac{4}{9}\frac{1}{\left(1-p_{0}\right)}, & p_{0}\gt \frac{2}{3} \end{cases} }[/math]

Извлекая квадратный корень, окончательно получим:

[math]\displaystyle{ \frac{q_{0}}{\tau}\le\begin{cases} \sqrt{3}p_{0}, & p_{0}\le\frac{2}{3}\\ \frac{2}{3}\frac{1}{\sqrt{1-p_{0}}}, & p_{0}\gt \frac{2}{3} \end{cases} }[/math]

Обращение неравенств

Если [math]\displaystyle{ p_{0}\le\frac{2}{3} }[/math], то

[math]\displaystyle{ \frac{q_{0}^{2}}{\tau^{2}}\le3p_{0}^{2}\le3\left(\frac{2}{3}\right)^{2}=\frac{4}{3}. }[/math]

Откуда получаем

[math]\displaystyle{ q_{0}\le\frac{2\tau}{\sqrt{3}}. }[/math]

Это позволяет получить следующее неравенство:

[math]\displaystyle{ 1-p_{0}=\begin{cases} 1-\frac{q_{0}}{\sqrt{3}\tau}, & q_{0}\le\frac{2\tau}{\sqrt{3}}\\ \frac{4}{9}\frac{\tau^{2}}{q_{0}^{2}}, & q_{0}\ge\frac{2\tau}{\sqrt{3}} \end{cases} }[/math]

Обозначая [math]\displaystyle{ p_{0}=p }[/math] и [math]\displaystyle{ q_{0}=x }[/math], получим:

[math]\displaystyle{ \Pr\left\{ \left|X\right|\gt x\right\} =\begin{cases} 1-\frac{x}{\sqrt{3}\tau}, & x\le\frac{2\tau}{\sqrt{3}}\\ \frac{4}{9}\frac{\tau^{2}}{x^{2}}, & x\ge\frac{2\tau}{\sqrt{3}} \end{cases}. }[/math]

Завершение доказательства

Выше мы предполагали, что мода случайной величины [math]\displaystyle{ X }[/math] равна нулю. В случае произвольной моды [math]\displaystyle{ m }[/math], нужно приведённые выше рассуждения применить к случайной величине [math]\displaystyle{ X-m }[/math], мода которой, очевидно, равна нулю. Тогда последняя формула примет вид:

[math]\displaystyle{ \Pr\left\{ \left|X-m\right|\gt x\right\} =\begin{cases} 1-\frac{x}{\sqrt{3}\tau}, & x\le\frac{2\tau}{\sqrt{3}}\\ \frac{4}{9}\frac{\tau^{2}}{x^{2}}, & x\ge\frac{2\tau}{\sqrt{3}} \end{cases}. }[/math]

Величина [math]\displaystyle{ \tau^2 }[/math]перейдём, по свойствам математического ожидания и дисперсии, в

[math]\displaystyle{ \tau^2=\left(\mu-m\right)^2+\sigma^2. }[/math]

Таким образом, теорема полностью доказана.

См. также

Неравенство Высочанского — Петунина, похожий результат, но интервал строится с центром в среднем значении, а не в моде.
Неравенство Чебышёва, интервал строится с центром в среднем значении и отсутствует условие одномодальности.

Ссылки

Gauss, C. F. Theoria Combinationis Observationum Erroribus Minimis Obnoxiae, Pars Prior (англ.) // Commentationes Societatis Regiae Scientiarum Gottingensis Recentiores : journal. — 1823. — Vol. 5.
Gauss C. F. Gauss’s work 1803-1826) on the Theory of Least Squares / English translation by H. F. Trotter. — Princeton, NJ: Princeton University Press, 1957. — С. 10—13. Архивная копия от 24 декабря 2016 на Wayback Machine
Upton, Graham; Cook, Ian. Gauss inequality // A Dictionary of Statistics (англ.). — Oxford University Press, 2008.
Sellke, T.M.; Sellke, S.H. Chebyshev inequalities for unimodal distributions (англ.) // American Statistician (англ.) (рус. : journal. — American Statistical Association, 1997. — Vol. 51, no. 1. — P. 34—40. — doi:10.2307/2684690. — JSTOR 2684690.
Pukelsheim, F. The Three Sigma Rule (англ.) // American Statistician (англ.) (рус. : journal. — American Statistical Association, 1994. — Vol. 48, no. 2. — P. 88—91. — doi:10.2307/2684253. — JSTOR 2684253.