Криптография и шифрование - Характеристики сообщений

Криптография > Криптоанализ > Характеристики сообщений

Характеристики сообщений

Сообщения, насколько бы сложными они ни были, вполне возможно представить себе в виде каком-либо порядке символов. Эти символы нужно взять из заранее фиксированного набора, к примеру, из русского алфавита или из палитры цветов (красный, желтый, зеленый). Различные символы могут встречаться в сообщениях с различной периодичностью. В связи с этим объем информации, транслируемый различными символами может быть разным. В том понимании, которое предложил Шеннон, объем информации определяется усредненным значением чисел возможных вопросов с вариантами ответов ДА и НЕТ для того, чтобы предугадать последующий знак в сообщении. Если символы в тексте расположены в последовательности, не зависящей друг от друга, то усредненное количество информации в таком сообщении приходящееся на один символ, равно:

H= См. PiLd(Pi)

где Pi - частота проявления знака i, a Ld- двоичный логарифм. Следует отметить три феномена такого распределения информации.

Оно совершенно не зависит от семантики, смысла сообщения, и им можно воспользоваться, даже в ситуации когда точный смысл не вполне ясен.
В нем подразумевается отсутствие зависимости вероятности проявления символов от их предварительной истории.
Загодя известна символьная система, в которой транслируется сообщение, то есть язык, метод шифрации.

В каких единицах измеряется значение объема информации по Шеннону? Вернее всего ответ на такой вопрос может дать теорема шифрации, утверждающая, что любое сообщение возможно зашифровать символами 0 и 1 таким образом, что полученный объем информации будет сколь угодно близким сверху к Н. Такая теорема позволяет нам указать и единицу информации - это бит.