СИСТЕМНЫЕ ОБРАЗОВАНИЯ: ИНФОРМАЦИЯ И ОТРАЖЕНИЕ
Вяткин В.Б.
ЗАДАЧА
ОЦЕНКИ НЕГЭНТРОПИИ ОТРАЖЕНИЯ
СИСТЕМНЫХ ОБЪЕКТОВ
И ТРАДИЦИОННЫЕ ПОДХОДЫ К
КОЛИЧЕСТВЕННОМУ
ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ
(Материалы из
диссертации: Вяткин В.Б. Математические
модели
информационной оценки признаков
рудных объектов)
.....................................................................................................................................
Алгоритмический
подход к количественному
определению информации
Отличный от взглядов Хартли, Шеннона, Винера и Бриллюэна подход к определению понятия "количество информации", был предложен в 1965 году академиком А.Н. Колмогоровым, который он назвал алгоритмическим.
Исходя из того, что "по существу наиболее содержательным является представление о количестве информации "в чем-либо" (Х) и "о чем-либо" (Y)" [12, с. 218], А.Н. Колмогоров для оценки информации в одном конечном объекте относительно другого конечного объекта предложил использовать теорию алгоритмов. За количество информации при этом, принимается значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой.
Решение задачи определения количества информации в алгоритмическом подходе имеет общий вид и схематично выглядит следующим образом.
"Относительной
сложностью" объекта Y при
заданном Х будем считать
минимальную длину 
"программы"
Р получения Y из Х.
Сформулированное так определение
зависит от "метода
программирования". Метод
программирования есть не что иное,
как функция 
, ставящая в
соответствие программе Р и
объекту Х объект Y" [12, с.
220].
Так как каждый из
объектов может быть бесконечно
сложным, то доказывается теорема,
согласно которой относительной
сложности 
объекта Y, при
заданном методе программирования,
может быть поставлена в
соответствие иная относительная
сложность, полученная при другом
методе программирования 
,
такая, что выполняется неравенство:
,
где 
- некоторая постоянная
программирования, не зависящая от X
и Y.
Учитывая, что при любых Х
и Y относительная сложность 
является конечной величиной, а 
можно считать просто сложностью
объекта Y, А.Н. Колмогоров для
оценки алгоритмического
количества информации 
в
объекте X относительно объекта Y
предложил использовать формулу:
, ................................................... (22 )
причем 
и,
соответственно, 
.
Алгоритмическая
информация (22) может принимать как
положительные, так и отрицательные
значения. В связи с этим А.Н.
Колмогоров делает два замечания.
Во-первых, " не меньше некоторой
отрицательной константы C,
зависящей лишь от условностей
избранного метода
программирования" [12, с. 221].
Во-вторых, "вся теория рассчитана
на применение к большим
количествам информации, по
сравнению с которыми 
будет
пренебрежимо мал" [12, с. 221].
Алгоритмический подход к
измерению количества информации, в
силу ряда объективных причин, не
нашел широкого практического
применения. Во-первых, как писал сам
А.Н. Колмогоров, "на пути его
формализации встает очевидная
трудность: то, что просто
описывается на одном языке, может
не иметь простого описания на
другом, и непонятно, какой способ
описания выбрать" [12, с. 253]. То
есть алгоритмическая оценка
информации зависит от выбранного
метода программирования, а такой
выбор, в свою очередь, по сути дела
всегда имеет субъективный
характер. Во-вторых, практическое
использование формулы (22) возможно
лишь применительно к весьма
простым объектам, имеющим
математическое описание, в то время
как отсутствие последнего является
характерной и обязательной чертой
сложных объектов [14]. Кроме того,
понятие "сложность" само по
себе является относительным и
зависит от уровня рассмотрения
объектов. И, наконец, в-третьих, в
соответствии с теоремой Геделя о
неполноте формальных систем,
нельзя доказать, что минимальная
длина программы преобразования
X в Y, составленная на
каком-либо языке программирования,
действительно является объективно
минимальной [6].
В своих комментариях
относительно алгоритмического
подхода А.Н. Колмогоров писал, что
он "основан на применении теории
алгоритмов для определения понятия
энтропии, или сложности, конечного
объекта и понятия информации в
одном конечном объекте о другом"
[12, с. 253]. В соответствии с этим,
переходя к рассмотрению
алгоритмического подхода с позиций
количественного определения
негэнтропии отражения,
предварительно отметим следующее.
– В рассматриваемой нами ситуации
(рис. 1) каждый из объектов может
быть закодирован с помощью
двоичного языка, символами
которого являются "0" и "1".
Кодируя каждый элемент символом
"1", мы получим для отражаемого
и отражающего объектов
соответствующий код длины 
и 
.
Естественно, что сложность К
каждого из объектов является
функцией длины такого кода,
которая, в свою очередь, для
энтропийной сложности
представляет собой логарифм числа
элементов конечного множества [14],
то есть:
................................................ (23)
Также очевидно, что
алгоритм получения одного объекта
из другого в рассматриваемой
ситуации сводится к добавлению или
обнулению (ликвидации)
определенного числа единиц в
соответствующем коде. То есть длина
"программы" получения одного
объекта из другого равна 
двоичных единиц и соответственно
относительная сложность каждого из
объектов имеет вид:
............................................... (24)
Подставляя выражения (23) и (24) в формулу (22), получаем, что алгоритмическое количество информации, которое содержит отражающий объект B относительно отражаемого объекта A, равно:
............................... (25)
Алгоритмическая
информация (25) наиболее близка к
определению негэнтропии отражения
системных объектов в сравнении с
ранее рассмотренными
информационными мерами и даже, на
принципиальном уровне суждений (в
рамках изложенного материала),
может быть принята за ее
количественную характеристику. Но,
этим ее положительные свойства в
негэнтропийном отношении
ограничиваются, так как она не
применима к открытым системным
объектам. Дело в том, что, когда
отражаемый объект является
открытым, мы опять будем иметь
отрицательные значения (при 
),
негативизм которых, помимо
отмеченного выше, может быть
дополнен тем, что, как нетрудно
видеть, возможны ситуации, когда
аддитивная негэнтропия отражения
совокупности отражающих объектов
будет равна нулю. То есть, например,
проведя наблюдения и выявив
совокупность объектов, имеющих
непосредственную взаимосвязь с
отражаемым (исследуемым) объектом,
в итоге мы будем иметь, что общее
количество информации, полученное
нами в процессе исследований равно
нулю, а это уже нонсенс. Таким
образом, мы видим, что
алгоритмический подход, также как
комбинаторный и вероятностный, не
позволяет получить расчетную
формулу для негэнтропии отражения
системных объектов 
.
