Коды бывают непрерывные и прерывистые (дискретные). Звук сирены, фотография – это непрерывные коды. Буквы, цифры, рисунок точками – прерывистые коды. Они состоят из серии отдельных сигналов, в то время как непрерывный код – это, по существу, один длинный изменяющийся сигнал. В непрерывном коде информацию несут мгновенные значения сигнала. Их бесконечное множество, и они очень тесно связаны между собой вероятностью значения: вероятность резкого изменения сигнала в каждый следующий момент движения невелика. Каждое изменение непрерывного кода на малом отрезке времени несёт очень малое количество информации. Можно доказать, что всякий непрерывный код преобразуется в дискретный и двоичный без потери информации при достаточно малом для данной системы «шаге квантования» (расстоянии между точками, образующимися при преобразовании). В основе этого доказательства лежит теорема, выведенная в 1933 году академиком В. А. Котельниковым. Преобразование непрерывного кода в дискретный называют квантованием, а преобразование в двоичный код – дельта-квантованием или дельта-модуляцией. Количество дискретных, например двоичных, сигналов, получившихся после превращения из непрерывного сигнала, зависит не от количества информации, которую нёс этот сигнал, а от шага квантования. Следовательно, одна и та же информация может быть выражена бо́льшим или меньшим количеством сигналов. Отношение количества информации к числу сигналов, передающих её в данном дискретном коде, является важнейшим качеством информации и называется содержательностью.
Точное исчисление информации построено на учёте вероятностей, исследованием этого 1944—1947 годах занимался американский учёный Клод Шеннон.
В сигнальных системах огромные массивы информации перерабатываются только для того, чтобы свести неопределённость к 1 биту, задать простой вопрос, требующий однозначного ответа: «Да или Нет?» или более известный философский: «Быть или не быть?» Ещё древнегреческий философ Платон говорил, что информация не возникает ни в природе, ни в сознании из ничего, он учил, что душа только припоминает, восстанавливает образы и идеи, известные ей ранее. Значит ли это, что информация есть всегда? Возможно, то, что принято называть словом «Душа» и содержит в себе всю информацию, и возникает она из того, что принято называть «Ничего», из неопределённых систем, из Хаоса, который и есть необходимое условие появления информации, её потенциал.