Плотность вероятности

Пло́тность вероя́тности, плотность распределения вероятностей (en:Probability density function, pdf) — один из способов задания распределения случайной величины.

Плотность вероятности используется для задания вероятности абсолютно непрерывной случайной величины на определенном промежутке (интервале). Так как существует бесконечное множество возможных значений непрерывной случайной величины, вероятность определенного, конкретного значения случайной величины равна нулю ([math]\displaystyle{ P(X=x)=0 }[/math] для всех [math]\displaystyle{ x∈R }[/math]). Таким образом, плотность вероятности не задает вероятность определенного, конкретного значения случайной величины, но показывает вероятность того, что значение будет в пределах определенного промежутка. Плотность вероятности является функцией, значение которой для данной выборки показывает относительное правдоподобие, что значение случайной величины будет равно этой выборке, то насколько правдоподобнее что значение случайной величины скорее будет приходится на эту выборку по сравнению с другими выборками.

Во многих практических приложениях понятия «плотность вероятности» и «плотность (распределения) случайной величины» или «функция распределения вероятностей» фактически синонимизируются и под ними подразумевается вещественная функция, характеризующая сравнительную вероятность реализации тех или иных значений случайной переменной (переменных).

Плотность вероятности, функция вероятности и функция распределения дают одинаковую информацию о распределении вероятностей, поэтому при решении задач выбирают наиболее простой способ задания распределения случайной величины.

Прикладное описание понятия

Плотность распределения одномерной непрерывной случайной величины [math]\displaystyle{ \xi }[/math] — это числовая функция [math]\displaystyle{ f(x) }[/math], отношение [math]\displaystyle{ f(x_1)/f(x_2) }[/math] значений которой в точках [math]\displaystyle{ x_1 }[/math] и [math]\displaystyle{ x_2 }[/math] задаёт отношение вероятностей попаданий величины [math]\displaystyle{ \xi }[/math] в узкие интервалы равной ширины [math]\displaystyle{ [x_1, x_1+\Delta x] }[/math] и [math]\displaystyle{ [x_2, x_2+\Delta x] }[/math] вблизи данных точек.

Плотность распределения неотрицательна при любом [math]\displaystyle{ x }[/math] и нормирована, то есть

[math]\displaystyle{ \int_{-\infty}^{+\infty}f(x)\,\mbox{d}x = 1 }[/math]

При стремлении [math]\displaystyle{ x }[/math] к [math]\displaystyle{ \,\pm\infty }[/math] функция [math]\displaystyle{ f(x) }[/math] стремится к нулю. Размерность плотности распределения всегда обратная к размерности случайной величины — если [math]\displaystyle{ \xi }[/math] исчисляется в метрах, то размерностью [math]\displaystyle{ f }[/math] будет м^-1.

Если в конкретной ситуации известно выражение для [math]\displaystyle{ f(x) }[/math], с его помощью можно вычислить вероятность попадания величины [math]\displaystyle{ \xi }[/math] в интервал [math]\displaystyle{ [a, b] }[/math] как

[math]\displaystyle{ P(\xi \in [a,b]) = \int_{a}^{b}f(x)\,\mbox{d}x }[/math].

Зная плотность вероятности, можно также определить наиболее вероятное значение (моду) случайной величины как максимум [math]\displaystyle{ f(x) }[/math]. Также с помощью плотности вероятности находится среднее значение случайной величины:

[math]\displaystyle{ E\xi = \int_{-\infty}^{+\infty}xf(x)\,\mbox{d}x }[/math]

и среднее значение измеримой функции [math]\displaystyle{ g(\xi) }[/math] случайной величины:

[math]\displaystyle{ \langle g(\xi)\rangle = \int_{-\infty}^{+\infty} g(x)f(x)\,\mbox{d}x }[/math].

Чтобы перейти к плотности распределения [math]\displaystyle{ {f}_\chi(y) }[/math] другой случайной величины [math]\displaystyle{ \chi=z(\xi) }[/math], нужно взять

[math]\displaystyle{ {f}_\chi(y) = f(z^{-1}(y))\cdot \left|\frac{\mbox{d}z^{-1}(y)}{\mbox{d}y}\right| }[/math],

где [math]\displaystyle{ z^{-1}(y) }[/math] — обратная функция по отношению к [math]\displaystyle{ y=z(x) }[/math] (предполагается, что z — взаимно однозначное отображение).

Значение плотности распределения [math]\displaystyle{ f(x_1) }[/math] не является вероятностью принять случайной величиной значение [math]\displaystyle{ x_1 }[/math]. Так, вероятность принятия непрерывной случайной величиной [math]\displaystyle{ \xi }[/math] значения [math]\displaystyle{ x_1 }[/math] равна нулю. При непрерывном распределении случайной величины [math]\displaystyle{ \xi }[/math] вопрос может ставиться о вероятности её попадания в некий диапазон, а не о вероятности реализации её конкретного значения.

Интеграл

[math]\displaystyle{ \int_{-\infty}^xf(t)\,\mbox{d}t = F(x) }[/math]

называют функцией распределения (соответственно, плотность распределения вероятности — это производная функции распределения). Функция [math]\displaystyle{ F }[/math] является неубывающей и изменяется от 0 при [math]\displaystyle{ x\to -\infty }[/math] до 1 при [math]\displaystyle{ x\to +\infty }[/math].

Самым простым распределением является равномерное распределение на отрезке [math]\displaystyle{ [a,b] }[/math]. Для него плотность вероятности равна:

[math]\displaystyle{ f(x) = \left\{ \begin{matrix} {1 \over b-a}, & x\in [a,b] \\ 0, & x\not\in [a,b] \end{matrix} \right.. }[/math]

Широко известным распределением является «нормальное», оно же гауссово, плотность которого записывается как

[math]\displaystyle{ f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] }[/math],

где [math]\displaystyle{ \mu }[/math] и [math]\displaystyle{ \sigma }[/math] — параметры: математическое ожидание и среднеквадратичное отклонение. Другие примеры плотностей распределения — одностороннее лапласовское ([math]\displaystyle{ \lambda \gt 0 }[/math]):

[math]\displaystyle{ f(x) = A\exp\left[-\lambda\,x\right]\,\, (x\ge 0) }[/math] и [math]\displaystyle{ f(x) = 0\,\, (x \lt 0) }[/math],

и максвелловское ([math]\displaystyle{ \alpha \gt 0 }[/math]):

[math]\displaystyle{ f(x) = Ax^2\exp\left[-\alpha x^2\right]\,\, (x\ge 0) }[/math] и [math]\displaystyle{ f(x) = 0\,\, (x \lt 0) }[/math].

В двух последних примерах множитель [math]\displaystyle{ A }[/math] подбирается в зависимости от параметра [math]\displaystyle{ \lambda }[/math] или [math]\displaystyle{ \alpha }[/math] так, чтобы обеспечить нормировку интеграла от плотности вероятности. В случае распределения Лапласа оказывается, что [math]\displaystyle{ A = \lambda }[/math].

Как названные, так и другие распределения широко применяются в физике. Например, в случае распределения Максвелла роль случайной величины обычно играет абсолютная величина скорости молекулы в идеальном газе. При этом для аргумента функции [math]\displaystyle{ f }[/math] нередко используют тот же символ, что и для рассматриваемой в физической задаче случайной величины (как если бы выше на месте [math]\displaystyle{ \xi }[/math] всюду стояло [math]\displaystyle{ x }[/math]). Так, в выражении максвелловской плотности распределения пишут не формальную переменную [math]\displaystyle{ x }[/math], а символ скорости [math]\displaystyle{ v }[/math]. В простейших ситуациях такая вольность с обозначениями не приводит к недоразумениям.

Спадающий при стремлении аргумента к [math]\displaystyle{ +\infty }[/math] или [math]\displaystyle{ -\infty }[/math] участок графика плотности вероятности [math]\displaystyle{ f(x) }[/math] в областях, где [math]\displaystyle{ f \ll f_{max} }[/math], называется хвостом. Из упомянутых распределений, нормальное и лапласовское имеют по два хвоста (слева и справа), а максвелловское в выписанном виде — один (справа).

Выше была изложена суть понятия «плотность вероятности». Однако, такое изложение не является строгим — плотность [math]\displaystyle{ f }[/math] нередко является функцией нескольких величин, в рассуждениях неявно предполагались не всегда гарантируемые непрерывность и дифференцируемость функций и так далее.

Определение плотности вероятности в теории меры

Плотность вероятности можно рассматривать как один из способов задания вероятностной меры на евклидовом пространстве [math]\displaystyle{ \mathbb{R}^n }[/math]. Пусть [math]\displaystyle{ \mathbb{P} }[/math] является вероятностной мерой на [math]\displaystyle{ \mathbb{R}^n }[/math], то есть определено вероятностное пространство [math]\displaystyle{ \left(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n),\mathbb{P}\right) }[/math], где [math]\displaystyle{ \mathcal{B}(\mathbb{R}^n) }[/math] обозначает борелевскую σ-алгебру на [math]\displaystyle{ \mathbb{R}^n }[/math]. Пусть [math]\displaystyle{ m }[/math] обозначает меру Лебега на [math]\displaystyle{ \mathbb{R}^n }[/math]. Вероятность [math]\displaystyle{ \mathbb{P} }[/math] называется абсолютно непрерывной (относительно меры Лебега) ([math]\displaystyle{ \mathbb{P} \ll m }[/math]), если любое борелевское множество нулевой меры Лебега также имеет вероятность ноль:

[math]\displaystyle{ \forall B \in \mathcal{B}(\mathbb{R}^n),\; ( m(B) = 0 ) \Rightarrow ( \mathbb{P}(B) = 0 ) . }[/math]

Если вероятность [math]\displaystyle{ \mathbb{P} }[/math] абсолютно непрерывна, то согласно теореме Радона-Никодима существует неотрицательная борелевская функция [math]\displaystyle{ f\colon\mathbb{R}^n \to [0,\infty) }[/math] такая, что

[math]\displaystyle{ \mathbb{P}(B) = \int\limits_{B} f(x)\, dx }[/math],

где использовано общепринятое сокращение [math]\displaystyle{ m(dx) \equiv dx }[/math], и интеграл понимается в смысле Лебега.

В более общем виде, пусть [math]\displaystyle{ (X, \mathcal F) }[/math] — произвольное измеримое пространство, а [math]\displaystyle{ \mu }[/math] и [math]\displaystyle{ \nu }[/math] — две меры на этом пространстве. Если найдется неотрицательная [math]\displaystyle{ f }[/math], позволяющая выразить меру [math]\displaystyle{ \nu }[/math] через меру [math]\displaystyle{ \mu }[/math] в виде

[math]\displaystyle{ \nu(A) = \int_A f d\mu, }[/math]

то такую функцию называют плотностью меры [math]\displaystyle{ \nu }[/math] по мере [math]\displaystyle{ \mu }[/math], или производной Радона-Никодима меры [math]\displaystyle{ \nu }[/math] относительно меры [math]\displaystyle{ \mu }[/math], и обозначают

[math]\displaystyle{ f=\frac{d\nu}{d\mu} }[/math].

Плотность случайной величины

Пусть определено произвольное вероятностное пространство [math]\displaystyle{ (\Omega,\mathcal{F},\mathbb{P}) }[/math], и [math]\displaystyle{ X\colon\Omega \to \mathbb{R}^n }[/math] случайная величина (или случайный вектор). [math]\displaystyle{ X }[/math] индуцирует вероятностную меру [math]\displaystyle{ \mathbb{P}^X }[/math] на [math]\displaystyle{ \left(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n)\right) }[/math], называемую распределением случайной величины [math]\displaystyle{ X }[/math].

Если распределение [math]\displaystyle{ \mathbb{P}^X }[/math] абсолютно непрерывно относительно меры Лебега, то его плотность [math]\displaystyle{ f_X = \frac{d\mathbb{P}^X}{dx} }[/math] называется плотностью случайной величины [math]\displaystyle{ X }[/math]. Сама случайная величина [math]\displaystyle{ X }[/math] называется абсолютно непрерывной.

Таким образом для абсолютно непрерывной случайной величины имеем:

[math]\displaystyle{ \mathbb{P}(X \in B) = \int\limits_{B} f_X(x)\, dx }[/math].

Замечания

Не всякая случайная величина абсолютно непрерывна. Любое дискретное распределение, например, не является абсолютно непрерывным относительно меры Лебега, а потому дискретные случайные величины не имеют плотности.

Функция распределения абсолютно непрерывной случайной величины [math]\displaystyle{ X }[/math] непрерывна и может быть выражена через плотность следующим образом:

[math]\displaystyle{ F_X(x_1,\ldots, x_n) = \mathbb{P}\left(X \in \prod\limits_{i=1}^n (-\infty,x_i]\right) = \int\limits_{-\infty}^{x_n} \!\! \ldots \!\! \int\limits_{-\infty}^{x_1} f_X(x'_1,\ldots, x'_n)\, dx'_1\ldots dx'_n }[/math].

В одномерном случае:

[math]\displaystyle{ F_X(x) = \int\limits_{-\infty}^x f_X(x')\, dx' }[/math].

Если [math]\displaystyle{ f_X \in C(\mathbb{R}^n) }[/math], то [math]\displaystyle{ F_X \in \mathcal{D}(\mathbb{R}^n) }[/math], и

[math]\displaystyle{ \frac{\partial^n}{\partial x_1 \ldots \partial x_n} F_X(x_1,\ldots, x_n) = f_X(x_1,\ldots, x_n) }[/math].

В одномерном случае:

[math]\displaystyle{ \frac{d}{dx} F_X(x) = f_X(x) }[/math].

Математическое ожидание функции от абсолютно непрерывной случайной величины может быть записано в виде:

[math]\displaystyle{ \mathbb{E}[g(X)] = \int\limits_{\mathbb{R}^n} g(x) \, \mathbb{P}^X(dx) = \int\limits_{\mathbb{R}^n} g(x)\, f_X(x)\, dx }[/math],

где [math]\displaystyle{ g\colon \mathbb{R}^n \to \mathbb{R} }[/math] — борелевская функция, так что [math]\displaystyle{ \mathbb{E}[g(X)] }[/math] определено и конечно.

Плотность преобразования случайной величины

Пусть [math]\displaystyle{ X\colon\Omega \to \mathbb{R}^n }[/math] — абсолютно непрерывная случайная величина, и [math]\displaystyle{ g\colon\mathbb{R}^n \to \mathbb{R}^n }[/math] — инъективная непрерывно дифференцируемая функция такая, что [math]\displaystyle{ J_g(x) \not=0,\; \forall x\in \mathbb{R}^n }[/math], где [math]\displaystyle{ J_g(x) }[/math] — якобиан функции [math]\displaystyle{ g }[/math] в точке [math]\displaystyle{ x }[/math]. Тогда случайная величина [math]\displaystyle{ Y = g(X) }[/math] также абсолютно непрерывна, и её плотность имеет вид:

[math]\displaystyle{ f_Y(y) = f_X\left(g^{-1}(y)\right) \vert J_{g^{-1}}(y) \vert }[/math].

В одномерном случае:

[math]\displaystyle{ f_Y(y) = f_X\left(g^{-1}(y)\right) \left\vert \frac{dg^{-1}}{dy}(y)\right\vert }[/math].

Свойства плотности вероятности

Плотность вероятности определена почти всюду. Если [math]\displaystyle{ f }[/math] является плотностью вероятности [math]\displaystyle{ \mathbb{P} }[/math] и [math]\displaystyle{ f(x) = g(x) }[/math] почти всюду относительно меры Лебега, то и функция [math]\displaystyle{ g }[/math] также является плотностью вероятности [math]\displaystyle{ \mathbb{P} }[/math]./

Интеграл от плотности по всему пространству равен единице:

[math]\displaystyle{ \mathbb{P}\left(\mathbb{R}^n\right) = \int\limits_{\mathbb{R}^n} f(x)\, dx = 1 }[/math].

Обратно, если [math]\displaystyle{ f(x) }[/math] — неотрицательная почти всюду функция, такая что [math]\displaystyle{ \int\limits_{\mathbb{R}^n}f(x)\, dx = 1 }[/math], то существует абсолютно непрерывная вероятностная мера [math]\displaystyle{ \mathbb{P} }[/math] на [math]\displaystyle{ \mathbb{R}^n }[/math] такая, что [math]\displaystyle{ f(x) }[/math] является её плотностью.

Замена меры в интеграле Лебега:

[math]\displaystyle{ \int\limits_{\mathbb{R}^n} \varphi(x)\, \mathbb{P}(dx) = \int\limits_{\mathbb{R}^n}\varphi(x)\, f(x)\, dx }[/math],

где [math]\displaystyle{ \varphi::\mathbb{R}^n \to \mathbb{R} }[/math] любая борелевская функция, интегрируемая относительно вероятностной меры [math]\displaystyle{ {}\mathbb{P} }[/math].

Примеры абсолютно непрерывных распределений

См. также

Литература

Плотность вероятности // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов. — М. : Большая российская энциклопедия, 2004—2017.