Как уже говорилось, количество содержащейся в сообщении информации неодинаково для каждого получателя этого сообщения и зависит от его предварительного знания. Поэтому объективно можно определить только максимальное количество этой информации, предполагая, что получатель заранее не имеет никаких знаний по этому вопросу. Предположим, что нам сказали, что Юпитер является самой большой планетой Солнечной системы. Какая информация содержится в этом сообщении? Для того, кто это знал заранее, – никакой. Для того, кто предполагал, но сомневался, – определённое количество, точно оценить которое трудно. Поэтому вычислим максимальную информацию, которую получает человек, не имеющий никакого понятия о планетах, и знает только их названия и то, что всего их имеется восемь. Сколько вопросов он должен задать, чтобы узнать, какая из этих планет самая большая? Для удобства он располагает все планеты в алфавитном порядке: Венера, Земля, Марс, Меркурий, Нептун, Сатурн, Уран, Юпитер. Можно попробовать, конечно, просто перечислять планеты в этом порядке, но такой способ угадывания будет неудачным потому, что придётся задать семь вопросов и получить на все ответ «нет», пока мы не доберёмся до самой большой, но последней по алфавиту планеты. Поэтому правильнее будет поступить так: разделить все планеты на две равные группы и спросить, принадлежит ли самая большая к одной из них. Поскольку наш персонаж ничего не знает о планетах, кроме их названий, он может спросить: «Буква, с которой начинается название этой планеты, стоит в алфавите до Н?» – и получить отрицательный ответ. Вторым вопросом будет «Находится ли эта буква после С?». Ответом будет «да». Теперь осталось только выяснить, Уран это или Юпитер, с помощью одного вопроса. Таким образом, человеку, абсолютно несведущему в данной области, достаточно задать три вопроса, чтобы получить верный ответ. Следовательно, информация, содержащаяся в сообщении «Юпитер – самая большая планета Солнечной системы», равна 3 битам.
Предположим теперь, что в тексте наугад выбрана одна из 32 букв кириллицы (не будем учитывать «ё»). Как должен поступить человек, не знающий языка, чтобы, действуя наугад, узнать эту букву? Очевидно, он должен сначала выяснить, в какой половине алфавита находится эта буква. Затем он должен разбить эту половину, состоящую из 16 букв, на две восьмёрки и задать соответствующий вопрос. С помощью третьего вопроса он определит четвёрку, с помощью четвёртого – пару букв и, наконец, в результате пятого вопроса он узнает загаданную букву. Следовательно, информация, указывающая на определённую букву тридцатидвухбуквенного алфавита, равна 5 битам.
1. Может ли информация полностью определяться сообщением?
2. В каком случае сообщение не содержит информации?
3. Какое сообщение