Несмещённая оценка

Эта статья находится на начальном уровне проработки, в одной из её версий выборочно используется текст из источника, распространяемого под свободной лицензией
Материал из энциклопедии Руниверсалис
(перенаправлено с «Несмещенная оценка»)

Несмещённая оце́нка в математической статистике — это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть [math]\displaystyle{ \vec{x} = \left(x_1,\ldots, x_n \right) }[/math] — выборка из распределения, зависящего от параметра [math]\displaystyle{ \theta \in \Theta }[/math]. Тогда оценка [math]\displaystyle{ \hat{\theta} \equiv \hat{\theta}\left(\vec{x}\right) }[/math] называется несмещённой, если

[math]\displaystyle{ \mathbb{E}\left[\hat{\theta}\right] = \theta,\quad \forall \theta \in \Theta }[/math],

где

В противном случае оценка называется смещённой, и случайная величина [math]\displaystyle{ \mathbb{E}\hat{\theta} - \theta }[/math] называется её смеще́нием.

Примеры

  • Выборочное среднее [math]\displaystyle{ \bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i }[/math] является несмещённой оценкой математического ожидания [math]\displaystyle{ X_i }[/math], так как если [math]\displaystyle{ \mathbb{E}X_i = \mu\lt \infty }[/math], [math]\displaystyle{ \forall i\in \mathbb{N} }[/math], то [math]\displaystyle{ \mathbb{E}\bar{X} = \mu }[/math].
  • Пусть независимые случайные величины [math]\displaystyle{ X_i }[/math] имеют конечную дисперсию [math]\displaystyle{ \mathrm{D}X_i = \sigma^2 }[/math]. Построим оценки
[math]\displaystyle{ S_n^2 = \frac{1}{n} \sum\limits_{i=1}^n \left(X_i - \bar{X}\right)^2 }[/math] — выборочная дисперсия,

и

[math]\displaystyle{ S^2 = \frac{1}{n-1} \sum\limits_{i=1}^n \left(X_i - \bar{X}\right)^2 }[/math] — исправленная выборочная дисперсия.

Тогда [math]\displaystyle{ S^2_n }[/math] является смещённой, а [math]\displaystyle{ S^2 }[/math] несмещённой оценками параметра [math]\displaystyle{ \sigma^2 }[/math]. Смещённость [math]\displaystyle{ S^2_n }[/math] можно доказать следующим образом.

Пусть [math]\displaystyle{ \mu }[/math] и [math]\displaystyle{ \overline{X} }[/math] — среднее и его оценка соответственно, тогда:

[math]\displaystyle{ \operatorname{E}[S^2_n] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \overline{X} )^2 \bigg]. }[/math]

Добавив и отняв [math]\displaystyle{ \mu }[/math], а затем сгрупировав слагаемые, получим:

[math]\displaystyle{ \operatorname{E}[ S^2_n ] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n \big( ( X_i - \mu ) - ( \overline{X} - \mu ) \big)^2 \bigg]. }[/math]

Возведём в квадрат и получим:

[math]\displaystyle{ \operatorname{E}[ S^2_n ] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \mu )^2 - 2 ( \overline{X} - \mu ) \frac{1}{n} \sum_{i=1}^n ( X_i - \mu ) + \frac{n}{n} ( \overline{X} - \mu )^2 \bigg]. }[/math]

Заметив, что [math]\displaystyle{ \frac{1}{n} \sum_{i=1}^n ( X_i - \mu ) = \overline{X} - \frac{1}{n} ( n \mu ) }[/math], получим:

[math]\displaystyle{ \operatorname{E}[ S^2_n ] = \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \mu )^2 - ( \overline{X} - \mu )^2 \bigg]. }[/math]

Учитывая, что

  • [math]\displaystyle{ \operatorname{E}[ a + b ] = \operatorname{E}[ a ] + \operatorname{E}[ b ] }[/math] (свойство математического ожидания);
  • [math]\displaystyle{ \operatorname{E}\bigg[ \frac{1}{n} \sum_{i=1}^n ( X_i - \mu )^2 \bigg] = \sigma^2 }[/math] — дисперсия;
  • [math]\displaystyle{ \operatorname{E}\big[ ( \overline{X} - \mu )^2 \big] = \frac{1}{n} \sigma^2 }[/math], т.к. [math]\displaystyle{ \operatorname{E}\big[ ( \overline{X} - \mu )^2 \big] = \operatorname{E}\big[\big(\frac{1}{n}\sum_{i=1}^n ( X_i - \mu ) \big)^2\big] = \operatorname{E}\big[\frac{1}{n^2}\sum_{i=1}^n ( X_i - \mu )^2 + \frac{2}{n^2}\sum_{i=1,j=1, i\lt j}^n ( X_i - \mu )( X_j - \mu ) \big] }[/math], учитывая, что [math]\displaystyle{ X_i }[/math] и [math]\displaystyle{ X_j }[/math] независимые и [math]\displaystyle{ \operatorname{E}\big[( X_i - \mu )\big] = 0 }[/math], т.е. [math]\displaystyle{ \operatorname{E}\big[\sum_{i=1,j=1, i\lt j}^n ( X_i - \mu )( X_j - \mu ) \big]=\sum_{i=1,j=1, i\lt j}^n \operatorname{E}\big[( X_i - \mu )\big]\operatorname{E}\big[( X_j - \mu )\big] = 0 }[/math],

получим:

[math]\displaystyle{ \begin{align} \operatorname{E}[ S^2_n ] &= \sigma^2 - \operatorname{E}\big[ ( \overline{X} - \mu )^2 \big] = \\ &= \sigma^2 - \frac{1}{n} \sigma^2 = \\ &= \frac{n-1}{n} \sigma^2 \lt \sigma^2 .\end{align} }[/math]

Литература и некоторые ссылки

Источник — https://xn--h1ajim.xn--p1ai/index.php?title=Несмещённая_оценка&oldid=13284957