Формула количества информации

Формула Шеннона, измеряющая количество информации (1) выглядит так:

где H — символ количества информации, воплощенной в некоторой системе, i — индекс состояний ситсемы, n — число состояний, p i — вероятность состояния i .

Формула предназначена для измерения количества информации в системах, которым присуще конечное количество дискретных состояний, различающихся по распространенности внутри соответствующих систем. Доказано, что формула Шеннона выражает единственно возможную меру количества информации с системах указанного в ней типа (с точностью до постоянного множителя, который служит для выбора единицы информации). [Файнстейн] сс.10-14

Величина H в формуле Шеннона представляет собой математическое ожидание информации, воплощенной в некоторой системе, имеющей различный состояния i . Единичная информация, воплощеная в состоянии i , определяется по формуле:

I i = log 2 (1/ p i ) (2)

Если система имеет только одно состояние ( n = 1), то для него p i = 1, I i = 0, соответственно M = 0. Если n >= 2, то все вероятности p < 1, все I i > 0, соответственно, H > 0

Вклад каждого из состояний в общую (среднюю) информацию, содержащуюся в ней, определяется величиной

M i = p i I i (3)

Было бы неверно полагать, что этот вклад тем больше, чем больше I i , т.е. чем меньше p i .

M i max достигается при p i = e -1 ~ 0.37 ( M i max = 0.5307); M i убывает вплоть до нуля как при уменьшении, так и при увеличении вероятности по отношению к этому значению.

С учетом (3) формула (1) выглядит так:

Общее количество информации в системе есть сумма ее величин, воплощенных в состояниях системы.

Некоторые выводы

Подведем нашим рассуждениям небольшой итог.

Информация как таковая существует независимо от нас, как одна из трех субстанций Универсума. В этом понимании информация является мерой организации, присущей материальным объектам.

Говоря об информации как таковой, мы имеем ввиду количественный смысл только одной из ее составляющих: объективной либо субъективной.

Объективная информация — часть субстанции, неподвластная нашим намерениям; она существует независимо от нас и нашего представления о ней. Говорить, таким образом, о конкретном содержании (качественном смысле) объективной информации неверно.

Субъективная информация — часть субстанции, подвластная нам: мы можем получать ее из окружающих нас объектов или систем. Субъективной информации не существует без участия субъекта: она появляется в момент получения ее субъектом и в этот же момент аннигилирует (перестает существовать), переходя в сведения.

Количество получаемой субъективной информации тесно связано с количеством знаний у субъекта: дополнительные знания дают возможность получения дополнительной субъективной информации, не доступной другим субъектам, у которых отсутствуют эти знания. Говорить, таким образом, о качественном смысле (конкретном содержании) субъективной информации в общем виде (применительно к множеству субъектов) неверно, в силу того, что восприятие субъективной информации индивидуально для каждого субъекта.

Форма и содержание: сущности, обязательно присутствующие вместе, но не зависящие друг от друга настолько, насколько это возможно. Принципиально возможна количественная оценка различных форм, без привязки к содержанию, следовательно задача по поиску оптимальной формы для заданного содержания теоритически выполнима.

Количество информации в системе может быть увеличено путем равномерного перераспределения вероятностей существующих состояний, без введения новых.

Дополнительные материалы

Графический десятиполосный эквалайзер
Технические требования. № п/п Параметр или характеристика Ед. Норма Источник 1 Номинальный диапазон частот при спаде АЧХ на краях диапазона 3 дБ ...

Научное мышление и психологические установки
С чем связано широкое распространение в современном мире эволюционного мировоззрения? Многие скажут – "с тем, что это мировоззрение научно". Однако непредвзятое расследование показывает, что чем более развивается научный метод ...

Червячный редуктор
Редуктором называют механизм, состоящий из зубчатых или червячных передач, выполненный в виде отдельного агрегата и служащий для передачи мощности от двигателя к рабочей машине. Назначение редуктора – понижение угловой скорости и ...

Разделы

Электромагнитный импульс как оружие

История вопроса и современное состояние знаний в области эми.

Лабораторные стенды в учебном процессе

Обзор и сравнительный анализ существующих стендов.

Аспекты технического знания

Технический объект и предмет технических наук.

Сварка металлов плавлением

Классификация электрической дуговой сварки.

Распределение примесей в кремнии

Описание процесса зонной плавки и ее математическая модель.



Наука сегодня и вчера - www.anytechnic.ru