Формула количества информации

Формула Шеннона, измеряющая количество информации (1) выглядит так:

где H — символ количества информации, воплощенной в некоторой системе, i — индекс состояний ситсемы, n — число состояний, p i — вероятность состояния i .

Формула предназначена для измерения количества информации в системах, которым присуще конечное количество дискретных состояний, различающихся по распространенности внутри соответствующих систем. Доказано, что формула Шеннона выражает единственно возможную меру количества информации с системах указанного в ней типа (с точностью до постоянного множителя, который служит для выбора единицы информации). [Файнстейн] сс.10-14

Величина H в формуле Шеннона представляет собой математическое ожидание информации, воплощенной в некоторой системе, имеющей различный состояния i . Единичная информация, воплощеная в состоянии i , определяется по формуле:

I i = log 2 (1/ p i ) (2)

Если система имеет только одно состояние ( n = 1), то для него p i = 1, I i = 0, соответственно M = 0. Если n >= 2, то все вероятности p < 1, все I i > 0, соответственно, H > 0

Вклад каждого из состояний в общую (среднюю) информацию, содержащуюся в ней, определяется величиной

M i = p i I i (3)

Было бы неверно полагать, что этот вклад тем больше, чем больше I i , т.е. чем меньше p i .

M i max достигается при p i = e -1 ~ 0.37 ( M i max = 0.5307); M i убывает вплоть до нуля как при уменьшении, так и при увеличении вероятности по отношению к этому значению.

С учетом (3) формула (1) выглядит так:

Общее количество информации в системе есть сумма ее величин, воплощенных в состояниях системы.

Некоторые выводы

Подведем нашим рассуждениям небольшой итог.

Информация как таковая существует независимо от нас, как одна из трех субстанций Универсума. В этом понимании информация является мерой организации, присущей материальным объектам.

Говоря об информации как таковой, мы имеем ввиду количественный смысл только одной из ее составляющих: объективной либо субъективной.

Объективная информация — часть субстанции, неподвластная нашим намерениям; она существует независимо от нас и нашего представления о ней. Говорить, таким образом, о конкретном содержании (качественном смысле) объективной информации неверно.

Субъективная информация — часть субстанции, подвластная нам: мы можем получать ее из окружающих нас объектов или систем. Субъективной информации не существует без участия субъекта: она появляется в момент получения ее субъектом и в этот же момент аннигилирует (перестает существовать), переходя в сведения.

Количество получаемой субъективной информации тесно связано с количеством знаний у субъекта: дополнительные знания дают возможность получения дополнительной субъективной информации, не доступной другим субъектам, у которых отсутствуют эти знания. Говорить, таким образом, о качественном смысле (конкретном содержании) субъективной информации в общем виде (применительно к множеству субъектов) неверно, в силу того, что восприятие субъективной информации индивидуально для каждого субъекта.

Форма и содержание: сущности, обязательно присутствующие вместе, но не зависящие друг от друга настолько, насколько это возможно. Принципиально возможна количественная оценка различных форм, без привязки к содержанию, следовательно задача по поиску оптимальной формы для заданного содержания теоритически выполнима.

Количество информации в системе может быть увеличено путем равномерного перераспределения вероятностей существующих состояний, без введения новых.

Дополнительные материалы

Усилители мощности телевизионного вещания
В устройствах теле- и радиовещания, системах линейной и нелинейной радиолокации, измерительной технике и экспериментальной физике в ряде случаев возникает проблема линейного сложения в нагрузке мощности двух независимых сигналов с относите ...

Принцип работы и методика измерения.
Прибор имеет два входа, на которые подаются сигналы от датчиков. На один вход поступает сигнал датчика количества оборотов коленчатого вала, который представляет собой импульс с амплитудой равной 5В. Этот импульс вырабатывается в тот момент, когда ...

Эффект Ребиндера в полимерах
Речь пойдет о явлении, очень часто наблюдающемся и хорошо изученном, - о разрушении твердых тел. В самом общем виде его можно представить как распад тела на две или более частей, когда внешняя механическая нагрузка достигает некоего критич ...

Разделы

Электромагнитный импульс как оружие

История вопроса и современное состояние знаний в области эми.

Лабораторные стенды в учебном процессе

Обзор и сравнительный анализ существующих стендов.

Аспекты технического знания

Технический объект и предмет технических наук.

Сварка металлов плавлением

Классификация электрической дуговой сварки.

Распределение примесей в кремнии

Описание процесса зонной плавки и ее математическая модель.



Наука сегодня и вчера - www.anytechnic.ru