М-оценки
Оценки максимального правдоподобия (ОМП) определяются одним из следующих условий:
- [math]\displaystyle{ \sum_i \ln P_i \to \max_{\theta \in \Theta},\qquad \sum_i \frac{\partial \ln P_i}{\partial \theta} = 0, \qquad \sum_i \frac{P_i'}{P_i} = 0 }[/math]
где в случае негруппированной выборки [math]\displaystyle{ P_i=f(x_i,\theta) }[/math], а в случае группированной — [math]\displaystyle{ P_i=\left( \int\limits_{x_{i-1}}^{x_i} f(x,\theta) \, \mathrm{d} x \right)^{n_i} }[/math]
М-оценки — есть некое обобщение ОМП. Они определяются аналогично одним из соотношений:
[math]\displaystyle{ \sum_{i=1}^N \rho(x_i,\theta) \to \max_{\theta \in \Theta}, \qquad \sum_{i=1}^N \phi(x_i,\theta) =0 }[/math]
Если наложить условие регулярности в подстановке [math]\displaystyle{ F_{t,x}=(1-t)F+t\Delta_x }[/math] и продифференцировать его по [math]\displaystyle{ t }[/math] в 0:
- [math]\displaystyle{ 0 = \frac{\partial}{\partial{t}} \int \phi(x,T(F_{t,x})) \, \mathrm{d} F_{t,x} }[/math]
- [math]\displaystyle{ 0 = \int \frac{\partial \phi(x,T(F_{t,x}))}{\partial \theta} IF \, \mathrm{d} F_{t,x} + \int \phi(x,T(F_{t,x})) \, \mathrm{d} \frac{\partial ((1-t)F + t \Delta_x)}{\partial t} }[/math]
- [math]\displaystyle{ 0 = IF \int \frac{\partial \phi(x,T(F_{t,x}))}{\partial \theta} \, \mathrm{d} F_{t,x} + \phi(x,T(F_{t,x})) }[/math]
то не представляет большого труда получить выражение функции влияния для M-оценок: [math]\displaystyle{ IF=\frac{-\phi(x)} {\int \phi'_{\theta} (x) \, \mathrm{d} F} }[/math]
Указанное выражение позволяет сделать вывод о том, что M-оценки эквивалентны с точностью до ненулевого множителя-константы.
Несложно проверить, что для ОМП стандартного нормального закона распределения [math]\displaystyle{ \mathcal{N}(0,1) }[/math] функции влияния [math]\displaystyle{ IF }[/math] параметра сдвига и параметра масштаба выглядят соответственно:
- [math]\displaystyle{ IF = x, \quad IF = \frac{1}{2} \; x^2 - \frac{1}{2} }[/math]
Эти функции неограничены, а это значит, что ОМП не является робастной в терминах B-робастности.
Для того, чтобы это исправить, M-оценки искусственно ограничивают, а значит и ограничивают её [math]\displaystyle{ IF }[/math] (см. выражение [math]\displaystyle{ IF }[/math] для M-оценок), устанавливая верхний барьер на влияние резко выделяющихся (далеко отстоящих от предполагаемых значений параметров) наблюдений. Делается это введением так называемых усечённых M-оценок, определяемых выражением:
[math]\displaystyle{ \phi_b (z)=\left\{ \begin{array}{lr} \phi(b), & b \lt z \\ \phi(z), & -b \lt z \leqslant b \\ \phi(-b), & z \leqslant -b \end{array} \right. }[/math]
где [math]\displaystyle{ z=\frac{x-\theta}{S} }[/math], [math]\displaystyle{ \theta }[/math] и [math]\displaystyle{ S }[/math] — оценки параметров сдвига и масштаба соответственно.
Среди усечённых M-оценок оптимальными с точки зрения B-робастности являются усечённые ОМП.
См. также
Источники
- Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
- Rand R. Wilcox: Introduction to robust estimation and hypothesis testing. Academic Press, San Diego Cal 1997. ISBN 0-12-751545-3