СИСТЕМНЫЕ ОБРАЗОВАНИЯ: ИНФОРМАЦИЯ И ОТРАЖЕНИЕ

Вяткин В.Б.

ЗАДАЧА ОЦЕНКИ НЕГЭНТРОПИИ ОТРАЖЕНИЯ СИСТЕМНЫХ ОБЪЕКТОВ
И ТРАДИЦИОННЫЕ ПОДХОДЫ К КОЛИЧЕСТВЕННОМУ
ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ

(Материалы из диссертации: Вяткин В.Б. Математические модели
информационной оценки признаков рудных объектов)
.....................................................................................................................................

Комбинаторный подход к количественному
определению информации

Комбинаторное определение количества информации, исторически появившееся первым, характеризуется использованием математических функций, оперирующих с конечными множествами элементов, образующих какое-либо сообщение или систему. Основоположником данного направления в теории информации принято считать Р. Хартли, который в 1928 году, при сравнении пропускной способности различных технических систем связи, предложил использовать для количественного определения информации логарифмическую функцию, связав при этом понятие информации с осуществлением выбора из множества возможностей [23]. Р. Хартли исходил из того, что при передаче сообщения с помощью S-символьного алфавита каждому символу сообщения соответствует единичный выбор из S возможностей. Следовательно, для того, чтобы передать сообщение из n символов по техническому каналу связи, необходимо осуществить n таких выборов. При этом сообщение в целом, как единая n-символьная последовательность, является реализацией одной из возможных таких последовательностей.

Далее рассуждения выглядели следующим образом: "будем произвольно считать, что количество информации пропорционально числу выборов, а коэффициент пропорциональности выберем таким образом, чтобы равным числам возможных последовательностей соответствовали равные количества информации" [23, с. 11]. То есть, обозначая количество информации через H, а коэффициент пропорциональности через K, имеем:

........................................................................ (2)

Выдвигая условие: "если число выборов и в двух системах таковы, что возможных последовательностей в обеих системах одинаково, то одинаково и количество информации" [23, с.11] , Р. Хартли определил K следующим образом:

если.,

то. ,

откуда ..

Последнее выражение справедливо для всех значений S, если S и K связаны между собой соотношением:

,.................................................................. (3)

где произвольно и одинаково для любых систем связи.

Поскольку произвольно, то опуская его и подставляя (3) в (2), Хартли получил, что

......................................................................(4)

Основание логарифма в выражении (4) произвольно и определяется выбором единицы измерения информации. (В теории информации принято использовать логарифм по основанию два, а соответствующую единицу называть битом.)

Наиболее широкую свою известность выражение (4) получило при и двоичном основании логарифма:

.......................................................................(5)

Формула (5) в научной литературе часто именуется как "двоичный логарифм Хартли" и в настоящее время широко используется в различных областях знания для информационно-количественной характеристики произвольных конечных множеств. При этом первоначальное содержание S трансформировалось и приобрело универсальный характер. Например, как отмечает А.Д. Урсул, количество элементов в таких множествах "может быть и количеством случайных событий, и количеством возможностей, и наличным количеством каких-то предметов и т.д." [21, с.37].

Необходимо также отметить, что двоичный логарифм Хартли (5) весьма часто интерпретируется как энтропия множества равновероятных возможностей, которая снимается в виде информации при осуществлении одной из них. Более того, рассмотрение комбинаторного подхода к определению количества информации иногда начинается именно с определения Н как энтропии. (Так, например, делал академик А.Н. Колмогоров [12], что будет показано ниже.)

Так как в дальнейшем изложении мы будем пытаться решать проблему негэнтропийной оценки отражения системных объектов с помощью различных определений количества информации, то целесообразно для повышения объективности общего заключения отметить соответствующие взгляды известного американского физика Л. Бриллюэна, основанные на комбинаторном подходе.

Разрабатывая 1950-х годах одну из ветвей теории информации, ориентированную на анализ физических экспериментов, научных теорий, законов и т.п., Л. Бриллюэн дал по его утверждению "точное научное определение слова "информация" [2, 3]. Рассуждения при этом сводились к следующему. – "Рассмотрим ситуацию, в которой могут произойти различных событий, но при условии, что эти возможных исходов считаются априори равновероятными. Это есть начальное условие, когда у нас нет специальной информации… . Но могут создаться такие обстоятельства, когда мы будем располагать более точными определениями… и когда, таким образом, число равновероятных исходов уменьшится до " [3, с. 31]. Тогда утверждается, что информация , полученная при данных обстоятельствах выражается формулой:

, .....................................................(6)

где K есть постоянная, зависящая от выбора единиц.

Применительно к решению технических задач связи считается, что

и выражение (6) приобретает вид:

.......................................................(7)

В том случае , когда исследуются физические проблемы, в качестве K рекомендуется брать постоянную Л. Больцмана. Используя это применительно к термодинамическим системам, Л. Бриллюэн показал, что

, ....................................................................(8)

где: - энтропия системы в общем случае, - энтропия системы в особом случае.

На основании выражения (8) был сформулирован отмеченный выше "негэнтропийный принцип информации", посредством которого Л. Бриллюэн переводил свой вариант теории информации в разряд физических теорий. Таким образом, количество информации во взглядах Л. Бриллюэна представляет собой меру уменьшения неопределенности состояния чего-либо (физической системы) в результате получения соответствующих дополнительных сведений.

Формулы (4), (5) и (6), (7), (8) для расчета комбинаторного количества информации были получены соответственно в 1928 и 1956 годах, а их вывод имел под собой интуитивно-физическую основу. В настоящее время, когда математический аппарат теории информации является развитым во многих отношениях, характеристику комбинаторного подхода принято давать в аксиоматической форме. (Здесь мы имеем типичный случай того, что, когда интуитивная теория становится достаточно развитой, то начинается ее аксиоматизация [19].) Дадим такую характеристику, придерживаясь изложения комбинаторного подхода, данного академиком А.Н. Колмогоровым, что позволит нам иметь более строгое представление как об информационных мерах Р. Хартли и Л. Бриллюэна, так и о комбинаторном подходе в целом.

"Пусть переменное х способно принимать значения, принадлежащие конечному множеству Х, которое состоит из N элементов. Говорят, что "энтропия" переменного х равна

................................................................... (9)

Указывая определенное значение переменного х, мы "снимаем" эту энтропию, сообщая "информацию" [12, с. 213]:

..................................................................... (10)

При наличии переменных , которые могут принимать соответствующие множества значений , содержащих элементов, имеем, что

В том случае, когда ставится задача определения количества информации, содержащейся в конкретном значении х относительно переменной величины y, решение выглядит следующим образом.

Из всех пар х и у, которые принадлежат прямому произведению множеств их значений (XY), выделяется только множество возможных пар U. По множеству U при любом определяется соответствующее множество значений у, для которых справедливо . При этом говорится, что условная энтропия у имеет вид:

,.......................................................... (11)

где - число элементов в .

На основе (9) и (11) решение задачи, то есть количество информации, содержащейся в относительно у выражается формулой:

, ................................................(12)

причем и соответственно .

Нетрудно видеть, что в приведенной строгой характеристике комбинаторного подхода выражение (10) представляет собой двоичный логарифм Р.Хартли, а количество информации по Л.Бриллюэну является конкретизацией формулы (12) в частном случае.

Практическое определение количества информации по формуле (12) А.Н. Колмогоров показал на примере данных нижеследующей таблицы.

........................................................................................................................Таблица 1.
Возможные и невозможные сочетания значений х и у

В приведенной таблице знаком "+" отмечены возможные сочетания значений х и у, знаком "- " невозможные их сочетания. Использование формулы (12) дает, что:

Заканчивая общее описание комбинаторного подхода, отметим что его основным достоинством является логическая независимость от математической вероятности, следствием чего является детерминированное (невероятностное) определение количества информации, содержащейся в конечных множествах каких-либо элементов. (По этому поводу А.Н. Колмогоров говорил (имея в виду теорию информации в целом), что "представляется важной задача освобождения всюду, где это возможно, от излишних вероятностных допущений" [12, с. 252].)

Рассматривая возможность количественного определения негэнтропии отражения с помощью комбинаторного подхода, прежде всего, отметим, что информация , отражаемая каждым из системных объектов , в общем случае выражается через двоичный логарифм Хартли:

.................................. (13)

Из анализа выражений (13) следует, что информация, получаемая через отражающий системный объект В с помощью информационной меры Р.Хартли, ничего не говорит об отражаемом системном объекте А, как о целостном образовании. Единственное, что мы можем сказать при этом об объекте А и то, только в том случае, когда он закрыт (рис. 1 в,д), так это то, что .

Используя формулу Л. Бриллюэна (7), которая может быть применена только в закрытом случае, мы получим, что

....................................................... (14)

Очевидно, что выражение (14) не может быть использовано в качестве оценки негэнтропии отражения, поскольку с позиций такой оценки, получаемые с его помощью результаты, будут являться содержательным нонсенсом. Сущность нонсенса сводится к тому, что чем сильнее будут взаимосвязаны отражающий и отражаемый объекты, тем меньше информации мы будем получать о последнем как едином целом. Например, если 80 % территории рудного поля (системный объект А) занимают магматические породы (системный объект ), а 20% - осадочные породы (системный объект ), то согласно формуле (14) осадочные породы будут содержать о рудном поле в целом больше информации, чем магматические породы (естественно, что при этом территория рудного поля разбивается на элементарные ячейки).

Формула относительной информации (12), в свою очередь, в рассматриваемом случае дает, что

.................. ...................(15)

Нетрудно видеть, что выражение (15) является инвариантным относительно открытости закрытости отражаемого объекта и по существу тождественно выражению (14), негативность которого в отношении негэнтропийной оценки только что была отмечена.

Таким образом, мы получили, что чисто комбинаторный подход к определению количества информации, в традиционном своем представлении, не позволяет количественно охарактеризовать негэнтропию отражения друг через друга двух системных объектов.

Главная страница