Производящая функция моментов

Производя́щая фу́нкция моме́нтов — способ задания вероятностных распределений.

Производящая функция моментов применяется чаще всего для доказательства того, что случайная величина имеет определенное распределение вероятностей [math]\displaystyle{ p(y) }[/math]. Если производящая функция моментов [math]\displaystyle{ M_X(t) }[/math] существует для распределения вероятностей [math]\displaystyle{ p(y) }[/math], то она является единственно возможной. Если производящая функция моментов случайной величины [math]\displaystyle{ X }[/math] связана с определенным распределением, то случайная величина [math]\displaystyle{ X }[/math] должна иметь такое распределение.

Также производящая функция моментов используется для вычисления моментов. Зная значение производящей функции [math]\displaystyle{ \mathbb{E}\left[e^{tX}\right] }[/math], можно найти любой момент случайной величины [math]\displaystyle{ X }[/math].

Определение

Пусть есть случайная величина [math]\displaystyle{ X }[/math] с распределением [math]\displaystyle{ \mathbb{P}^X }[/math]. Тогда её производящей функцией моментов называется функция, имеющая вид:

[math]\displaystyle{ M_X(t) = \mathbb{E}\left[e^{tX}\right] }[/math].

Пользуясь формулами для вычисления математического ожидания, определение производящей функции моментов можно переписать в виде:

[math]\displaystyle{ M_X(t) = \int\limits_{-\infty}^{\infty} e^{tx}\, \mathbb{P}^X(dx) }[/math],

то есть производящая функция моментов — это двустороннее преобразование Лапласа плотности распределения случайной величины (с точностью до отражения).

Дискретные и абсолютно непрерывные случайные величины

Производящая функция моментов для дискретной случайной величины

Если случайная величина [math]\displaystyle{ X }[/math] дискретна, то есть [math]\displaystyle{ \mathbb{P}(X = x_i) = p_i,\; i=1,2,\ldots }[/math], то

[math]\displaystyle{ M_X(t) = \mathbb{E}\left[e^{tX}\right] = \sum_{i=1}^{\infty} e^{tx_i}\, p_i = 1 + t\nu_1 + \frac{t^{2}}{2!}\nu_2 + \frac{t^{3}}{3!}\nu_3 + ... }[/math],

где [math]\displaystyle{ \nu_1 }[/math] - первый начальный момент, [math]\displaystyle{ \nu_2 }[/math] - второй начальный момент [math]\displaystyle{ ... }[/math]. Таким образом, [math]\displaystyle{ \mathbb{E}\left[e^{tX}\right] }[/math] является функцией всех начальных моментов [math]\displaystyle{ \nu_k }[/math] при [math]\displaystyle{ k = 1,2,3,... }[/math], и [math]\displaystyle{ \nu_k }[/math] является коэффициентом для [math]\displaystyle{ \frac{t^{k}}{k!} }[/math] в ряде разложения [math]\displaystyle{ M_X(t) }[/math].

Пример. Пусть [math]\displaystyle{ X }[/math] имеет распределение Бернулли. Тогда

[math]\displaystyle{ M_X(t) = e^{t \cdot 1} \cdot p + e^{t \cdot 0} \cdot q = p e^{t} + q }[/math].

Производящая функция моментов для абсолютно непрерывной случайной величины

Если случайная величина [math]\displaystyle{ X }[/math] абсолютно непрерывна, то есть она имеет плотность [math]\displaystyle{ f_X(x) }[/math], то

[math]\displaystyle{ M_X(t) = \int\limits_{-\infty}^{\infty} e^{tx}\, f_X(x)\, dx }[/math].

Пример. Пусть [math]\displaystyle{ X \sim U[0,1] }[/math] имеет стандартное непрерывное равномерное распределение. Тогда

[math]\displaystyle{ M_X(t) = \int\limits_{0}^{1} e^{tx} \cdot 1\, dx = \left.\frac{e^{tx}}{t}\right\vert_0^1 = \frac{e^{t}-1}{t} }[/math].

Свойства производящих функций моментов

Свойства производящих функций моментов во многом аналогичны свойствам характеристических функций в силу похожести их определений.

Производящая функция моментов однозначно определяет распределение. Пусть [math]\displaystyle{ X,Y }[/math] суть две случайные величины, и [math]\displaystyle{ M_X(t) = M_Y(t),\; \forall t }[/math]. Тогда [math]\displaystyle{ \mathbb{P}^X = \mathbb{P}^Y }[/math]. В частности, если обе величины абсолютно непрерывны, то совпадение производящих функций моментов влечёт совпадение плотностей. Если обе случайные величины дискретны, то совпадение производящих функций моментов влечёт совпадение функций вероятности.
Производящая функция моментов как функция случайной величины однородна:

[math]\displaystyle{ M_{aX}(t) = M_X(at),\; \forall a \in \mathbb{R} }[/math].

Производящая функция моментов суммы независимых случайных величин равна произведению их производящих функций моментов. Пусть [math]\displaystyle{ X_1,\ldots, X_n }[/math] есть независимые случайные величины. Обозначим [math]\displaystyle{ S_n = \sum\limits_{i=1}^n X_i }[/math]. Тогда

[math]\displaystyle{ M_{S_n}(t) = \prod\limits_{i=1}^n M_{X_i}(t) }[/math].

Вычисление моментов

Зная значение производящей функции [math]\displaystyle{ M_X(t) = \mathbb{E}\left[e^{tX}\right] }[/math], можно найти любой момент случайной величины [math]\displaystyle{ X }[/math].

[math]\displaystyle{ \mathbb{E}\left[X^n\right] = \nu_k = \left. \frac{d^n M_X(t)}{dt^n}\right\vert_{t=0} = M_X^{(k)}(0) }[/math],

где [math]\displaystyle{ M_X^{(k)}(0) }[/math] - производная [math]\displaystyle{ k }[/math]-го порядка функции [math]\displaystyle{ M_X(t) }[/math] со значением [math]\displaystyle{ t=0 }[/math],
[math]\displaystyle{ \nu_k }[/math] - [math]\displaystyle{ k }[/math]-й начальный момент.

Производящая функция моментов для случайных величин некоторых распределений

Распределение Пуассона

[math]\displaystyle{ M_X(t) = e^{\lambda (e^t-1)} }[/math]

См. также