Шаблон:Теория информации Из Википедии, бесплатной энциклопедии Теория информации Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость Свойство асимптотической равнораспределенности Теория частотных искажений Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли