В теории информации известен закон, гласящий, что количество информации, введенное в какую-либо систему, в результате различных ее преобразований не возрастает. Вследствие наличия помех (шумов) в каналах связи оно может либо уменьшиться, либо, в лучшем случае, остаться неизменным (закон сохранения информации). Здесь идет речь о так называемой абсолютной информации.
Существует также понятие распределенной информации. Если мы вводим одну и ту же информацию в несколько разных систем, то количество распределенной информации будет во столько раз больше количества абсолютной информации, во сколько систем она была введена. Например, если вот эту книгу прочитают 10 человек, то количество распределенной информации станет в 10 раз больше количества абсолютной информации, содержащейся в книге.
Если имеется алфавит из 32 букв, частота появления которых в тексте одинакова (предположим, что это так), то знание одной буквы из алфавита дает 5 битов информации (25 = 32). Следовательно, в простейшем случае равенства исходных вероятностей количество информации (I), выраженное в битах, равно двоичному логарифму числа возможных результатов (N):
I = log2 N [5]
Несложно заметить, что эта формула совпадает с формулой Больцмана [4] с точностью до постоянного множителя. Это совпадение не случайно.
Известный физик Л. Бриллюэн установил так называемый негэнтропийный принцип информации, согласно которому введение в систему информации уменьшает энтропию системы.
Объективная связь между энтропией и количеством информации заключается в том, что обе величины являются мерами организованности рассматриваемой физической системы.
К негэнтропийному принципу информации можно прийти, например, путем таких рассуждений.
Возьмем определенную физическую систему с энтропией S, состояние которой может осуществляться N различными способами (S = k ln N). Введем в эту систему такое количество информации I = log2 N, чтобы из N различных способов осуществления состояния системы реализовался один определенный способ. Рассматриваемая нами система выступает при этом как система записи данной информации. Тогда в формуле (5) следует положить N =1, а, значит, в этом случае будет S=0, то есть мы получим полностью упорядоченную систему. Таким образом, энтропия системы уменьшилась до нуля, и произошло это благодаря получению количества информации I = log2 N. Значит, информация несет с собой отрицательную энтропию (негэнтропию), и для количества информации нужно так выбрать единицы измерения вместо битов, чтобы для рассматриваемого случая было:
S – I = 0 [6]
или log2 N (битов) = k ln N = k log2 N ln 2.
Откуда 1 бит