Сопряжённое априорное распределение

Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.

Рассмотрим задачу о нахождении распределения параметра [math]\displaystyle{ \theta }[/math] (рассматриваемого как случайная величина) по имеющемуся наблюдению [math]\displaystyle{ x }[/math]. По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности [math]\displaystyle{ p(\theta) }[/math] и функции правдоподобия [math]\displaystyle{ p(x | \theta) }[/math] по формуле:

[math]\displaystyle{ \displaystyle p(\theta|x) = \frac{p(x|\theta) \, p(\theta)} {\int\limits_{\text{range}\;\theta} p(x|\theta) \, p(\theta) \, d\theta}. }[/math]

Если апостериорное распределение [math]\displaystyle{ p(\theta | x) }[/math] принадлежит тому же семейству вероятностных распределений, что и априорное распределение [math]\displaystyle{ p(\theta) }[/math] (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия [math]\displaystyle{ p(x | \theta) }[/math]. При этом распределение [math]\displaystyle{ p(\theta) }[/math] называется сопряжённым априорным распределением к семейству функций правдоподобия [math]\displaystyle{ p(x | \theta) }[/math].

Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.

Пример

Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром [math]\displaystyle{ q \in [0,1] }[/math] (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:

[math]\displaystyle{ p(q=x) = {x^{\alpha-1}(1-x)^{\beta-1} \over \Beta(\alpha,\beta)} }[/math]

где [math]\displaystyle{ \alpha }[/math] и [math]\displaystyle{ \beta }[/math] выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор [math]\displaystyle{ \alpha }[/math] = 1 and [math]\displaystyle{ \beta }[/math] = 1 даст равномерное распределение), а Β([math]\displaystyle{ \alpha }[/math], [math]\displaystyle{ \beta }[/math]) — бета-функция, служащая здесь для нормализации вероятности.

Параметры [math]\displaystyle{ \alpha }[/math] и [math]\displaystyle{ \beta }[/math] часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).

Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:

[math]\displaystyle{ P(s,f|q=x) = {s+f \choose s} x^s(1-x)^f, }[/math]

[math]\displaystyle{ p(q=x|s,f) = {{{s+f \choose s} x^{s+\alpha-1}(1-x)^{f+\beta-1} / \Beta(\alpha,\beta)} \over \int_{y=0}^1 \left({s+f \choose s} y^{s+\alpha-1}(1-y)^{f+\beta-1} / \Beta(\alpha,\beta)\right) dy} = {x^{s+\alpha-1}(1-x)^{f+\beta-1} \over \Beta(s+\alpha,f+\beta)} , }[/math]

Это апостериорное распределение также оказывается распределённым по закону бета-распределения.

Таблица сопряжённых семейств распределений

В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений [math]\displaystyle{ x_1, x_2, \ldots, x_n }[/math]. Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.

Дискретно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Бернулли	p	Бета	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha + \sum_{i=1}^n x_i,\, \beta + n - \sum_{i=1}^n x_i }[/math]
Биномиальное	p	Бета	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha + \sum_{i=1}^n x_i,\, \beta + \sum_{i=1}^nN_i - \sum_{i=1}^n x_i }[/math]
Отрицательное биномиальное	p	Бета	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha + rn,\, \beta + \sum_{i=1}^n x_i }[/math]
Пуассона	λ	Гамма	[math]\displaystyle{ k,\, \theta }[/math]	[math]\displaystyle{ k+ \sum_{i=1}^n x_i,\ \frac {\theta} {n\theta + 1} }[/math]
Пуассона	λ	Гамма	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha + \sum_{i=1}^n x_i,\ \beta + n }[/math]
Мультиномиальное	p (вектор вероятностей)	Дирихле	[math]\displaystyle{ \vec{\alpha} }[/math]	[math]\displaystyle{ \vec{\alpha}+\sum_{i=1}^n\vec{x}^{\,(i)} }[/math]
Геометрическое	p0 (вероятность)	Бета	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha + n,\, \beta + \sum_{i=1}^n x_i }[/math]

Непрерывно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Равномерное	[math]\displaystyle{ U(0,\theta) }[/math]	Парето	[math]\displaystyle{ x_{m},\, k }[/math]	[math]\displaystyle{ \max\{\,x_{(n)},x_{m}\},\, k+n }[/math]
Экспоненциальное	λ	Гамма	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha+n,\, \beta+\sum_{i=1}^n x_i }[/math]
Нормальное с известной дисперсией σ2	μ	Нормальное	[math]\displaystyle{ \mu_0,\, \sigma_0^2 }[/math]	[math]\displaystyle{ \left.\left(\frac{\mu_0}{\sigma_0^2} + \frac{\sum_{i=1}^n x_i}{\sigma^2}\right)\right/\left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right),\, \left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right)^{-1} }[/math]
Нормальное с известным τ = 1/σ2	μ	Нормальное	[math]\displaystyle{ \mu_0,\, \tau_0 }[/math]	[math]\displaystyle{ \left.\left(\tau_0 \mu_0 + \tau \sum_{i=1}^n x_i\right)\right/(\tau_0 + n \tau),\, \tau_0 + n \tau }[/math]
Нормальное с известным средним μ	σ2	Scaled inverse chi-square	[math]\displaystyle{ \nu,\, \sigma_0^2 }[/math]	[math]\displaystyle{ \nu+n,\, \frac{\nu\sigma_0^2 + \sum_{i=1}^n (x_i-\mu)^2}{\nu+n} }[/math]
Нормальное с известным средним μ	τ (= 1/σ2)	Гамма	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha + \frac{n}{2},\, \beta + \frac{\sum_{i=1}^n (x_i-\mu)^2}{2} }[/math]
Нормальное с известным средним μ	σ2	Обратное гамма-распределение	[math]\displaystyle{ \mathbf{\alpha,\, \beta} }[/math]	[math]\displaystyle{ \mathbf{\alpha}+\frac{n}{2},\, \mathbf{\beta} + \frac{\sum_{i=1}^n{(x_i-\mu)^2}}{2} }[/math]
Парето	k	Гамма	[math]\displaystyle{ \alpha,\, \beta }[/math]	[math]\displaystyle{ \alpha+n,\, \beta+\sum_{i=1}^n \ln\frac{x_i}{x_{\mathrm{m}}} }[/math]
Парето	xm	Парето	[math]\displaystyle{ x_0,\, k_0 }[/math]	[math]\displaystyle{ x_0,\, k_0-kn }[/math] при условии [math]\displaystyle{ k_0 \gt kn }[/math].
Гамма с известной α	β (inverse scale)	Гамма	[math]\displaystyle{ \alpha_0,\, \beta_0 }[/math]	[math]\displaystyle{ \alpha_0+n\alpha,\, \beta_0+\sum_{i=1}^n x_i }[/math]

Литература

• DeGroot, Morris H. Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published in 1970.) ISBN 0-471-68029-X.