Информационная энтропия

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Энтропия объединения Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Свойство асимптотической равнораспределенности Теория частотных искажений
Теорема Шеннона об источнике шифрования Пропускная способность канала Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли

Информацио́нная энтропи́я — мера неопределённости некоторой системы (в статистической физике или теории информации), в частности, непредсказуемость появления какого-либо символа первичного алфавита. Энтропия дискретного источника равна среднему количеству информации, приходящейся на один символ сообщения^[1][2][3].

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотностью, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии ${\displaystyle n}$-го порядка, см. ниже) встречаются очень редко, то рассчитанная энтропия языка уменьшается ещё сильнее^[4].

В случае равновероятных символов источника информационная энтропия рассчитывается по формуле Хартли:

${\displaystyle H=\log _{r}(M)}$,

где ${\displaystyle M}$ — мощность (основание, объём) алфавита (количество различных символов алфавита), ${\displaystyle H}$ — количество информации в каждом символе сообщения. В общем случае, основание логарифма в определении энтропии может быть любым, большим 1 (так как алфавитом, состоящим только из одного символа, нельзя передавать информацию). Выбор основания логарифма определяет единицу измерения информации. Для информационных систем, основанных на двоичной системе счисления, единицей информации является двоичный символ — бит и основание логарифма ${\displaystyle r=2}$. В этом случае энтропия называется двоичной энтропией. В задачах математической статистики более удобным может оказаться применение натурального логарифма (${\displaystyle r=e}$), в этом случае единицей измерения информации является нат.

Для случайной величины ${\displaystyle A}$, принимающей ${\displaystyle M}$ независимых случайных значений ${\displaystyle a_{i}}$ с вероятностями ${\displaystyle p(a_{i})=p_{i}}$ (${\displaystyle i=1,...M}$), для энтропии используется формула Шеннона:

${\displaystyle H=-\sum _{i=1}^{M}p_{i}\log _{2}p_{i}.}$

Здесь

${\displaystyle (-\log _{2}p_{i})}$ означает измеряемое в битах количество информации, содержащейся в том событии, что случайная величина приняла значение ${\displaystyle a_{i}}$ (для предложений на русском языке — количество информации, содержащейся в конкретной букве, имеющей номер ${\displaystyle i}$ в русском алфавите, ${\displaystyle i=1,\ldots ,33}$),

${\displaystyle H}$ — среднее количество информации, приходящейся на один символ сообщения (для предложений на русском языке — количество информации на одну букву). Эта величина также называется средней энтропией сообщения. Величина ${\displaystyle H_{i}=-\log _{2}p_{i}}$ называется частной энтропией, характеризующей только ${\displaystyle i}$-e состояние.

Таким образом, энтропия системы является суммой с противоположным знаком всех вероятностей появления состояния (события) с номером ${\displaystyle i}$, умноженных на их же двоичные логарифмы. Это определение для дискретных случайных событий можно формально расширить для непрерывных распределений, заданных плотностью распределения вероятностей, однако полученный функционал будет обладать несколько иными свойствами (см. дифференциальная энтропия).

В случае марковского источника ${\displaystyle n}$-го порядка, когда условная вероятность появления текущего символа ${\displaystyle a_{i}}$ зависит только от ${\displaystyle n}$ предыдущих символов сообщения, то есть при наличия вероятностных связей между символами сообщения (что имеет место в текстовом сообщении), энтропия источника сообщения определяется по формуле^[5][6]:

${\displaystyle H=-\sum _{q=1}^{Q}\sum _{i=1}^{M}P(q)p_{q}(a_{i})\log _{2}p_{q}(a_{i})=-\sum _{q=1}^{Q}\sum _{i=1}^{M}p(b_{q},a_{i})\log _{2}p_{q}(a_{i}),}$

где ${\displaystyle P(q)}$ — вероятность ${\displaystyle q}$-го состояния источника, которое определяется ${\displaystyle n}$ символами сообщения, предшествующих текущему символу ${\displaystyle a_{i}}$, ${\displaystyle Q}$ — число состояний, ${\displaystyle p_{q}(a_{i})}$ — условная вероятность выбора источником символа ${\displaystyle a_{i}}$ в ${\displaystyle q}$-ом состоянии, ${\displaystyle b_{q}}$ — ${\displaystyle q}$-ая последовательность из ${\displaystyle n}$ символов, предшествующая символу ${\displaystyle a_{i}}$, ${\displaystyle p(b_{q},a_{i})=P(q)p_{q}(a_{i})}$ — вероятность появления последовательности ${\displaystyle b_{q}}$ и ${\displaystyle a_{i}}$.

Клодом Шенноном было уcтановлено, что энтропия английского текста при ${\displaystyle n=100}$ равна 0.6—1.3 бит/символ^[7]. Также с помощью экспериментальных оценок установлено, что энтропия русского языка с учетом вероятностных связей между элементами равна 1.4 бит/символ для разговорной речи, 1.19 бит/символ для литературного текста, 0.83 бит/символ для делового текста. Энтропия французского языка с учетом вероятностных связей между элементами равна 1.5, 1.38, 1.22 бит/символ соответственно^[4].

Клод Шеннон задал требования к измерению энтропии:

1. функция должна быть непрерывной относительно ${\displaystyle p_{i}}$; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
2. в случае, когда все события равновероятны (${\displaystyle p_{i}=1/M,i=1...M}$), увеличение количества событий ${\displaystyle M}$ должно увеличивать значение функции, то есть функция должна быть монотонно возрастающей при увеличении ${\displaystyle M}$;
3. Если выбор распадается на два последовательных выбора, то первоначальное значение функции должна быть взвешенной суммой индивидуальных значений функции^[8].

Эти требования к энтропии ${\displaystyle H}$ можно записать в виде:

1. ${\displaystyle H(p_{1},\;\ldots ,\;p_{M})}$ определена и непрерывна для всех ${\displaystyle p_{1},\dotsc ,p_{M}}$, где ${\displaystyle p_{i}\in [0,\;1]}$ для всех ${\displaystyle i=1,\dotsc ,M}$ и ${\displaystyle p_{1}+\dotsb +p_{M}=1}$. (Эта функция зависит только от распределения вероятностей, но не от алфавита.)
2. Для целых положительных ${\displaystyle M}$, должно выполняться следующее неравенство:

   ${\displaystyle H\underbrace {\left({\frac {1}{M}},\;\ldots ,\;{\frac {1}{M}}\right)} _{M}<H\underbrace {\left({\frac {1}{M+1}},\;\ldots ,\;{\frac {1}{M+1}}\right)} _{M+1}.}$

3. Для целых положительных ${\displaystyle b_{i}}$, где ${\displaystyle b_{1}+\ldots +b_{k}=M}$, должно выполняться равенство

   ${\displaystyle H\underbrace {\left({\frac {1}{M}},\;\ldots ,\;{\frac {1}{M}}\right)} _{M}=H\left({\frac {b_{1}}{M}},\;\ldots ,\;{\frac {b_{k}}{M}}\right)+\sum _{i=1}^{k}{\frac {b_{i}}{M}}H\underbrace {\left({\frac {1}{b_{i}}},\;\ldots ,\;{\frac {1}{b_{i}}}\right)} _{b_{i}}.}$

Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид^[9]:

${\displaystyle H=-K\sum _{i=1}^{M}p_{i}\log _{2}p_{i},}$

где ${\displaystyle K}$ — положительная константа (и в действительности нужна только для выбора единицы измерения энтропии; изменение этой константы равносильно изменению основания логарифма).

Шеннон определил, что измерение энтропии (${\displaystyle H=-p_{1}\log _{2}p_{1}-\ldots -p_{M}\log _{2}p_{M}}$), применяемое к источнику информации, может определить требования к пропускной способности канала, необходимой для надёжной передачи информации в виде закодированных двоичных чисел.

Определение энтропии Шеннона связано с понятием термодинамической энтропии. Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.

Также можно определить энтропию случайной величины, предварительно введя понятие распределения случайной величины ${\displaystyle A}$, имеющей конечное число значений^[10]:

${\displaystyle p(a_{i})=p_{i},\quad p_{i}\geqslant 0,\;i=1,\;2,\;\ldots ,\;M,}$

${\displaystyle \sum _{i=1}^{M}p_{i}=1}$

и собственной информации:

${\displaystyle I(a_{i})=-\log _{2}p_{i}.}$

Тогда энтропия определяется как математическое ожидание этой величины:

${\displaystyle H=\mathbb {E} \{I(a_{i})\}=-\sum _{i=1}^{M}p_{i}\log _{2}p_{i}.}$

От основания логарифма зависит единица измерения количества информации и энтропии: бит, нат, трит или хартли.

Энтропия является количеством, определённым в контексте вероятностной модели для источника информации. Например, бросание монеты имеет энтропию:

${\displaystyle H=-2\left({\frac {1}{2}}\log _{2}{\frac {1}{2}}\right)=-\log _{2}{\frac {1}{2}}=\log _{2}2=1}$ бит на одно кидание (при условии его независимости), а количество возможных состояний равно: ${\displaystyle 2^{1}=2}$ возможных состояния (значения) («орёл» и «решка»).

У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: ${\displaystyle H=-\sum _{i=1}^{\infty }\log _{2}1=0}$, а количество возможных состояний равно: ${\displaystyle 2^{0}=1}$ возможное состояние (значение) («А») и от основания логарифма не зависит.

Примером запоминающих устройств, в которых используются разряды с энтропией, равной нулю, но с количеством информации, равным одному возможному состоянию, то есть не равным нулю, являются разряды данных записанных в ПЗУ, в которых каждый разряд имеет только одно возможное состояние.

Свойствами энтропии являются^[11]:

1. Неотрицательность: ${\displaystyle H\geq 0}$. Энтропия равна нулю, когда все вероятности ${\displaystyle p_{i}}$, кроме одной, равны нулю, и эта вероятность равна единице.
2. Максимальное значение энтропии равно ${\displaystyle H=\log _{2}(M)}$ и достигается в случае, когда все символы алфавита равновероятны, где ${\displaystyle M}$ — основание алфавита.
3. Энтропия — выпуклая вверх функция распределения вероятностей элементов^[12].
4. Если ${\displaystyle A,\;B}$ имеют одинаковое распределение вероятностей элементов, то ${\displaystyle H(A)=H(B)}$.

Избыточностью алфавита (языка, сообщения) называется степень неодинаковости распределения вероятностей различных элементов алфавита, а также степень взаимной зависимости элементов алфавита, проявляющиеся в уменьшении его энтропии по сравнению с максимальным значением. Таким образом, если алфавит имеет вероятностное распределение, отличное от равномерного, то его энтропия ${\displaystyle H}$, рассчитанная с учетом вероятностных связей между его элементами^[5], отлична от максимального значения, равного ${\displaystyle H_{max}=\log _{2}(M)}$, где ${\displaystyle M}$ — основание алфавита.

Избыточность языка (избыточность сообщения) определяется по формуле^[4][13]:

${\displaystyle R=1-{\frac {H}{H_{max}}}.}$

Избыточность можно уменьшить с помощью сжатия сообщения. В случае, когда сообщение не имеет избыточности (${\displaystyle H=H_{max}}$), то есть вероятности всех символов сообщения одинаковы, оптимальным кодированием является равномерное кодирование, при котором каждый символ сообщения кодируется одинаковым числом битов, равным ${\displaystyle \log _{2}(M)}$. В случае, когда ${\displaystyle H<H_{max}}$ сообщение имеет избыточность, и равномерное кодирование не является оптимальным, так как требует ${\displaystyle \log _{2}(M)}$ битов для кодирования каждого символа. Однако избыточность может быть уменьшена полностью или частично, если при кодировании представлять наиболее вероятные символы сообщения короткими последовательностями битов, а менее вероятные — более длинными. В этом случае среднее количество битов, приходящихся на один символ сообщения, окажется меньшей, чем в случае равномерного кодирования^[14]. Поэтому сообщение будет занимать меньший размер, и оно может быть передано по каналу связи более быстро.

Основная теорема кодирования гласит, что сообщение с основанием алфавита ${\displaystyle M}$, имеющее энтропию ${\displaystyle H}$, можно так закодировать посредством кодовых символов с основанием алфавита ${\displaystyle D}$, что среднее число кодовых символов на один элемент сообщения удовлетворяет неравенству^[15]:

${\displaystyle {\frac {H}{\log _{2}(D)}}\leq {\bar {n}}<{\frac {H}{\log _{2}(D)}}+1.}$

Таким образом, среднее число кодовых символов на один элемент сообщения не может быть сделано меньше, чем ${\displaystyle {\frac {H}{\log _{2}(D)}}}$. В противном случае, сообщение нельзя достоверно восстановить.

Если кодирование производится двоичными кодовыми символами ${\displaystyle D=2}$, то это означает, что при кодировании без потерь среднее число битов, приходящихся на символ сообщения, не может быть меньше энтропии сообщения, которая и является средним количеством информации (битов), приходящееся на символ сообщения, но может быть сделано меньше, чем энтропия плюс 1. Такое кодирование устраняет избыточность без потери информации.

Сжатие без потерь может быть реализовано с помощью кодирования Хаффмана, кодирования Лемпеля — Зива — Велча или арифметического кодирования.

В общем случае b-арная энтропия (где b равно 2, 3, …) источника ${\displaystyle {\mathcal {S}}=(S,\;P)}$ с исходным алфавитом ${\displaystyle S=\{a_{1},\;\ldots ,\;a_{M}\}}$ и дискретным распределением вероятности ${\displaystyle P=\{p_{1},\;\ldots ,\;p_{M}\},}$ где ${\displaystyle p_{i}}$ является вероятностью символа ${\displaystyle a_{i}}$ (${\displaystyle p_{i}=p(a_{i})}$), определяется формулой:

${\displaystyle H_{b}=-\sum _{i=1}^{M}p_{i}\log _{b}p_{i}.}$

В частности, при ${\displaystyle b=2}$, мы получаем обычную двоичную энтропию, измеряемую в битах. При ${\displaystyle b=3}$, мы получаем тринарную энтропию, измеряемую в тритах (один трит имеет источник информации с тремя равновероятными состояниями). При ${\displaystyle b=e}$ мы получаем информацию, измеряемую в натах.

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия) меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией (для марковской модели) называется энтропия для алфавита, где известны вероятности появления одного символа ${\displaystyle x_{n+1}}$ после известной последовательности из ${\displaystyle n}$ предыдущих символов ${\displaystyle y_{q}=\{x_{n},x_{n-1},...,x_{1}\}}$:

${\displaystyle H(X_{n+1}|X_{n},X_{n-1},...,X_{1})=-\sum _{q=1}^{Q}\sum _{i=1}^{M}p(y_{q},x_{n+1})\log _{2}p_{q}(x_{n+1}),}$

где ${\displaystyle M}$ — основание алфавита, ${\displaystyle y_{q}}$ — ${\displaystyle q}$-ая последовательность из ${\displaystyle n}$ символов, предшествующая символу ${\displaystyle x_{n+1}}$, ${\displaystyle p(y_{q},x_{n+1})}$ — совместная вероятность появления последовательности ${\displaystyle y_{q}}$ и ${\displaystyle x_{n+1}}$, ${\displaystyle p_{q}(x_{n+1})}$ — условная вероятность появления символа ${\displaystyle x_{n+1}}$ после последовательности ${\displaystyle y_{q}}$^[6][16].

Например, для русского текста без буквы «ё» ${\displaystyle H_{0}=5,\;H_{1}=4{,}358,\;H_{2}=3{,}52,\;H_{3}=3{,}01}$^[17].

При ${\displaystyle n\rightarrow \infty }$ эта условная энтропия называется энтропией текста.

Условную энтропию можно использовать при определении информационных потерь при передаче данных в канале с помехами. Для этого применяются так называемые канальные матрицы. Для описания потерь со стороны источника (то есть известен посланный символ) рассматривают условную вероятность ${\displaystyle p(b_{j}\mid a_{i})}$ получения приёмником символа ${\displaystyle b_{j}}$ при условии, что был отправлен символ ${\displaystyle a_{i}}$. При этом канальная матрица имеет следующий вид:

	${\displaystyle b_{1}}$	${\displaystyle b_{2}}$	…	${\displaystyle b_{j}}$	…	${\displaystyle b_{M}}$
${\displaystyle a_{1}}$	${\displaystyle p(b_{1}\mid a_{1})}$	${\displaystyle p(b_{2}\mid a_{1})}$	…	${\displaystyle p(b_{j}\mid a_{1})}$	…	${\displaystyle p(b_{M}\mid a_{1})}$
${\displaystyle a_{2}}$	${\displaystyle p(b_{1}\mid a_{2})}$	${\displaystyle p(b_{2}\mid a_{2})}$	…	${\displaystyle p(b_{j}\mid a_{2})}$	…	${\displaystyle p(b_{M}\mid a_{2})}$
…	…	…	…	…	…	…
${\displaystyle a_{i}}$	${\displaystyle p(b_{1}\mid a_{i})}$	${\displaystyle p(b_{2}\mid a_{i})}$	…	${\displaystyle p(b_{j}\mid a_{i})}$	…	${\displaystyle p(b_{M}\mid a_{i})}$
…	…	…	…	…	…	…
${\displaystyle a_{M}}$	${\displaystyle p(b_{1}\mid a_{M})}$	${\displaystyle p(b_{2}\mid a_{M})}$	…	${\displaystyle p(b_{j}\mid a_{M})}$	…	${\displaystyle p(b_{M}\mid a_{M})}$

Вероятности, расположенные по диагонали, описывают вероятность правильного приёма, а сумма всех элементов любой строки даёт 1. Потери, приходящиеся на передаваемый символ ${\displaystyle a_{i}}$, описываются через частную условную энтропию (условная энтропия сообщения из принятых символов ${\displaystyle B}$ при фиксированном переданном символе ${\displaystyle a_{i}}$):

${\displaystyle H(B\mid a_{i})=-\sum _{j}p(b_{j}\mid a_{i})\log _{2}p(b_{j}\mid a_{i}).}$

Для вычисления потерь при передаче всех символов используется средняя условная энтропия^[18]:

${\displaystyle H(B\mid A)=\sum _{i}p(a_{i})H(B\mid a_{i})=-\sum _{i}p(a_{i})\sum _{j}p(b_{j}\mid a_{i})\log _{2}p(b_{j}\mid a_{i})=-\sum _{i}\sum _{j}p(a_{i},b_{j})\log _{2}p(b_{j}\mid a_{i}).}$

${\displaystyle H(B\mid A)}$ означает энтропию со стороны источника, аналогично рассматривается ${\displaystyle H(A\mid B)}$ — энтропия со стороны приёмника: вместо ${\displaystyle p(b_{j}\mid a_{i})}$ всюду указывается ${\displaystyle p(a_{i}\mid b_{j})}$.

Свойства условной энтропии^[19]:

1. ${\displaystyle H(B|A)\geq 0}$,
2. ${\displaystyle H(B|A)\leq H(B)}$,
3. ${\displaystyle H(B|A)=H(B)}$, в случае, когда символы сообщений ${\displaystyle B}$ и ${\displaystyle A}$ независимы.
4. ${\displaystyle H(B|A)=0}$, в случае, когда символы сообщений ${\displaystyle B}$ и ${\displaystyle A}$ полностью зависимы^[20].
5. ${\displaystyle H(B|A)=H(AB)-H(A)}$,
6. ${\displaystyle H(B|AC)\leq H(B|A)}$.

Энтропия объединения^[21] (совместная энтропия, энтропия произведения) предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления сообщений) и обозначается ${\displaystyle H(AB)}$, где ${\displaystyle A}$ характеризует передатчик, а ${\displaystyle B}$ — приёмник.

Взаимосвязь переданных и полученных сигналов описывается вероятностями совместных событий ${\displaystyle p(a_{i},b_{j})}$, и для полного описания характеристик канала требуется только одна матрица:

${\displaystyle p(a_{1},b_{1})}$	${\displaystyle p(a_{1},b_{2})}$	…	${\displaystyle p(a_{1},b_{j})}$	…	${\displaystyle p(a_{1},b_{M})}$
${\displaystyle p(a_{2},b_{1})}$	${\displaystyle p(a_{2},b_{2})}$	…	${\displaystyle p(a_{2},b_{j})}$	…	${\displaystyle p(a_{2},b_{M})}$
…	…	…	…	…	…
${\displaystyle p(a_{i},b_{1})}$	${\displaystyle p(a_{i},b_{2})}$	…	${\displaystyle p(a_{i},b_{j})}$	…	${\displaystyle p(a_{i},b_{M})}$
…	…	…	…	…	…
${\displaystyle p(a_{M},b_{1})}$	${\displaystyle p(a_{M},b_{2})}$	…	${\displaystyle p(a_{M},b_{j})}$	…	${\displaystyle p(a_{M},b_{M})}$

Для более общего случая, когда описывается не канал, а в целом взаимодействующие системы, матрица необязательно должна быть квадратной. Сумма всех элементов столбца с номером ${\displaystyle j}$ даёт ${\displaystyle p(b_{j})}$, сумма строки с номером ${\displaystyle i}$ есть ${\displaystyle p(a_{i})}$, а сумма всех элементов матрицы равна 1. Совместная вероятность ${\displaystyle p(a_{i},b_{j})}$ событий ${\displaystyle a_{i}}$ и ${\displaystyle b_{j}}$ вычисляется как произведение исходной и условной вероятности:

${\displaystyle p(a_{i},b_{j})=p(a_{i})p(b_{j}\mid a_{i})=p(b_{j})p(a_{i}\mid b_{j}).}$

Условные вероятности производятся по формуле Байеса. Таким образом, имеются все данные для вычисления энтропий источника и приёмника^[11]:

${\displaystyle H(A)=-\sum _{i}\left(\sum _{j}p(a_{i},b_{j})\log _{2}\sum _{j}p(a_{i},b_{j})\right),}$

${\displaystyle H(B)=-\sum _{j}\left(\sum _{i}p(a_{i},b_{j})\log _{2}\sum _{i}p(a_{i},b_{j})\right).}$

Энтропия объединения вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей матрицы, умноженных на их логарифм^[11]:

${\displaystyle H(AB)=-\sum _{i}\sum _{j}p(a_{i},b_{j})\log _{2}p(a_{i},b_{j}),}$

где ${\displaystyle p(a_{i},b_{j})}$ — совместная вероятность того, что символ алфавита ${\displaystyle A}$ примет значение ${\displaystyle a_{i}}$, а символ алфавита ${\displaystyle B}$ примет значение ${\displaystyle b_{j}}$.

Путём несложных преобразований также получаем:

${\displaystyle H(AB)=H(A)+H(B\mid A)=H(B)+H(A\mid B).}$

Энтропия объединения обладает свойством информационной полноты — из неё можно получить все рассматриваемые величины.

Свойства энтропии объединения^[19]:

1. ${\displaystyle H(AB)\leq H(A)+H(B)}$,
2. ${\displaystyle H(AB)=H(A)+H(B)}$, в случае когда символы сообщений ${\displaystyle B}$ и ${\displaystyle A}$ независимы.
3. ${\displaystyle H(AB)=H(A)=H(B)}$, в случае когда символы сообщений ${\displaystyle B}$ и ${\displaystyle A}$ полностью зависимы^[22].

Средняя взаимная информация (взаимная энтропия)^[23] определяется через энтропию и условную энтропию как^[24]:

${\displaystyle I(A,B)=H(A)-H(A\mid B)}$

Средняя взаимная информация представляет собой среднее количество информации в сообщении ${\displaystyle A}$, содержащейся в сообщении ${\displaystyle B}$^[25].

Величина ${\displaystyle H(A\mid B)}$ называется средней условной собственной информацией, то есть средним количеством информации в сообщении ${\displaystyle A}$ после получения сообщения ${\displaystyle B}$^[26].

Средняя взаимная информация вычисляется по формуле^[25][27]:

${\displaystyle I(A,B)=\sum _{i}\sum _{j}p(a_{i},b_{j})\log _{2}{\frac {p(a_{i}|b_{j})}{p(a_{i})}}}$.

Скоростью передачи информации по дискретному каналу связи называется величина^[28]:

${\displaystyle R={\frac {I(A,B)}{T_{c}}}=H'(A)-H'(A|B),}$

где

${\displaystyle T_{c}}$ — среднее время, затрачиваемое на передачу одного символа,

${\displaystyle H'(A)={\frac {1}{T_{c}}}H(A)}$ — производительность источника сообщений,

${\displaystyle H'(A|B)={\frac {1}{T_{c}}}H(A|B)}$ — ненадежность, отнесённая к единице времени, ${\displaystyle H(A|B)}$ — ненадежность, то есть среднее количество информации, теряемой при передаче информации и являющейся мерой неопределённости принятого символа^[29][30].

Теорема Шеннона для дискретного канала без шума гласит, что сообщение источника с производительностью ${\displaystyle H'(A)}$, можно закодировать так, чтобы передавать его сколь угодно точно по дискретному каналу без шума, при условии что ${\displaystyle H'(A)<{\frac {\log _{2}(M)}{T_{c}}}}$. Это невозможно, если ${\displaystyle H'(A)>{\frac {\log _{2}(M)}{T_{c}}}}$^[31].

В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его идеи послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов.

Понятие энтропии как меры случайности введено Шенноном в его статье «Математическая теория связи» (англ. A Mathematical Theory of Communication), опубликованной в двух частях в Bell System Technical Journal в 1948 году.

• Дифференциальная энтропия (энтропия для непрерывного распределения)
• Энтропийное кодирование
• Цепь Маркова
• Расстояние Кульбака — Лейблера

• Шеннон К. Работы по теории информации и кибернетике. — М.: Издательство иностранной литературы, 2002.
• Волькенштейн М. В. Энтропия и информация. — М.: Наука, 2006.
• Цымбал В. П. Теория информации и кодирование. — Киев: Вища Школа, 2003.
• Martin, Nathaniel F.G. & England, James W. Mathematical Theory of Entropy. — Cambridge University Press, 2011. — ISBN 978-0-521-17738-2.
• Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
• Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
• Хинчин А. Я. Понятие энтропии в теории вероятностей (рус.) // Успехи математических наук. — Российская академия наук, 1953. — Т. 8, вып. 3(55). — С. 3—20.
• Брюллюэн Л. Наука и теория информации. — М., 1960.
• Винер Н. Кибернетика и общество. — М., 1958.
• Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
• Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
• Эшби У. Р. Введение в кибернетику. — М., 1965.
• Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
• Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
• Верещагин Н. К., Щепин Е. В. Информация, кодирование и предсказание. — М.: ФМОП, МЦНМО, 2012. — 238 с. — ISBN 978-5-94057-920-5.

• Shannon C. E. A Mathematical Theory of Communication. The Bell System Technical Journal, 1948.
• Коротаев С. М. Энтропия и информация — универсальные естественнонаучные понятия.