Энтропийная скорость

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость [math]\displaystyle{ H(X) }[/math] является пределом совместной энтропии [math]\displaystyle{ n }[/math] членов процесса [math]\displaystyle{ X_k }[/math], поделённым на [math]\displaystyle{ n }[/math], при стремлении [math]\displaystyle{ n }[/math] к бесконечности:

[math]\displaystyle{ H(X) = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n) }[/math]

если предел существует. Альтернативно, связанной величиной является:

[math]\displaystyle{ H'(X) = \lim_{n \to \infty} H(X_n|X_{n-1}, X_{n-2}, \dots X_1) }[/math]

Для сильно стационарных стохастических процессов [math]\displaystyle{ H(X) = H'(X) }[/math]. Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть свойство асимптотической равнораспределенности. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в обучении машин.

Энтропийная скорость для марковских цепей

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова [math]\displaystyle{ Y_k }[/math], определённом на счётном числе состояний, заданных матрицей переходов [math]\displaystyle{ P_{ij} }[/math], [math]\displaystyle{ H(Y) }[/math], задаётся выражением:

[math]\displaystyle{ \displaystyle H(Y) = - \sum_{ij} \mu_i P_{ij} \log P_{ij} }[/math],

где [math]\displaystyle{ \mu_i }[/math] является асимптотическим распределением цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

См. также

• Марковский источник информации
• свойство асимптотической равнораспределенности