СИСТЕМНЫЕ ОБРАЗОВАНИЯ: ИНФОРМАЦИЯ И ОТРАЖЕНИЕ

      «Практически нас интересует чаще всего  количество    информации в индивидуальном объекте x относительно   индивидуального объекта y»                                                

Колмогоров А.Н.

 

Введение

 

Исследуя ту или иную дискретную систему, мы, как правило, по отличительным признакам выделяем в её составе совокупность частей, представляющих собой конечные множества элементов. В том случае, когда какие-либо части системы, выделенные в плоскостях различных признаков, имеют непосредственную взаимосвязь друг с другом, наблюдается пересечение соответствующих множеств элементов. При этом является очевидным, что любые два пересекающихся множества отражают (воспроизводят) друг о друге, как о целостном образовании, определённую информацию, количественная оценка которой представляет практический интерес. С гносеологической точки зрения процесс получения этой информации познающим субъектом (аналитической системой) состоит из трёх этапов, и на примере произвольной системы D и отличительных признаков  и  выглядит следующим образом.

На первом этапе система D рассматривается в плоскости  признака  (рисунок 1а) и те элементы , у которых наблюдается признак , выделяются в виде множества А. На втором этапе идет рассмотрение системы в плоскости  признака  (рисунок 1б) и аналогично первому этапу выделяется множество В.

 

 

Рисунок 1. Система D и множества A, B, K
в плоскостях признаков P_A и P_B

 

После завершения операций первых двух этапов познающий субъект находится в состоянии неопределенности относительно существования непосредственной взаимосвязи между множествами А и В. Эта неопределенность снимается на третьем этапе после рассмотрения выделенных множеств А и В в совмещённой плоскости  признаков  и  (рисунок 1в). Если при этом выявляется третье (связующее) множество K, такое, что , , то познающий субъект снимает (ликвидирует) свою неопределённость относительно непосредственной взаимосвязи множеств А и В и получает информацию (), которую эти множества отражают друг о друге. В противном случае, когда , отмеченная неопределённость также снимается, но при этом делается вывод, что между множествами А и В существует только косвенная взаимосвязь, заключающаяся в том, что как А, так и В принадлежат одной и той же системе D.

В настоящее время синонимом неопределённости чего-либо, а также отсутствия или недостатка знаний (информации) о чём-либо принято считать энтропию [1,2,3]. Поэтому информацию , для её отличия от других видов информации, будем называть негэнтропией отражения (принимая при этом во внимание также негэнтропийный принцип Бриллюэна, согласно которому «информация представляет собой отрицательный вклад в энтропию» [4, с.34] )[1]. То есть, негэнтропия отражения  представляет собой информацию , которую отражают друг о друге два пересекающихся конечных множества А и В. Желая определить, чему равна негэнтропия отражения , поставим задачу по её количественному определению следующим образом.

Пусть в составе некоторой системы  (рисунок 2) по отличительным признакам  и  выделены три конечных множества , и ,. Количество элементов в составе каждого из множеств равно , соответственно. Требуется определить чему равна негэнтропия отражения , то есть количество информации, которую отражают друг о друге конечные множества А и В.

 

а – модель отсутствия взаимосвязи; б, в, г – модель частичной (статистической) взаимосвязи;
д – модель полной (взаимно-однозначной) взаимосвязи.

 Рисунок 2. Модели взаимосвязи множеств А и В в составе системы D

 

Актуальность количественной оценки негэнтропии отражения во многих предметных областях не вызывает сомнений (например, при решении задач, связанных с оценкой информативности признаков). Вместе с тем установлено [5], что известные подходы к определению количества информации [6] не позволяют решить поставленную задачу. Более того, широко известная информационно-энтропийная мера Шеннона [7] при наиболее полной взаимосвязи конечных множеств А и В (см. рисунок 2д), когда они должны отражать друг о друге максимальное количество информации, приводит к нонсенсу, показывая, что . Это объясняется тем, что математические основы теории информации, начиная с работ Хартли [8], традиционно разрабатывались под эгидой того, что информация неразрывно связана с управлением и представляет собой снимаемую неопределённость выбора одной из множества возможностей. Другой же вид информации, объективно существующий в природе независимо от управления и не связанный с выбором [9], при этом остался в тени. К этому виду информации, по всей видимости, относится и негэнтропия отражения, для количественной оценки которой автором статьи разработан новый – синергетический – подход к определению количества информации. Ниже даётся изложение этого подхода.

 

Самоотражение конечных множеств

 

Анализируя модели взаимосвязи конечных множеств А и В (см. рисунок 2), можно утверждать, что при постоянстве  и  негэнтропия отражения  увеличивается по мере роста  и является максимальной, когда . В этом случае отражение множеств А и В друг через друга не отличается от их самоотражения, то есть отражения через самих себя. Соответственно, негэнтропия  при  равна самоотражаемой информации, которую каждое из множеств отражает о самом себе как едином целом. Это говорит о том, что негэнтропия отражения и информация, самоотражаемая конечными множествами, имеют одну и ту же природу. Поэтому, прежде чем непосредственно решать поставленную задачу по оценке негэнтропии отражения, рассмотрим информационные аспекты самоотражения конечных множеств.

Будем исходить из общеупотребительного и наиболее простого определения информации, как сведений о чём-либо и примем в наших исследованиях за информацию сведения о конечном множестве, как едином целом. При этом, используя словосочетание «единое целое», мы имеем в виду, что, во-первых, конечное множество в контексте его отражения является неделимым, а во-вторых, – элементы множества в своей совокупности представляют не механическое собрание предметов, существующих независимо друг от друга, а целостное образование, в составе которого элементы обладают интегративными характеристиками, не присущими им в их разобщенном виде. Короче говоря, показателем конечного множества, как единого целого, являются интегративные характеристики его элементов. Соответственно, наличие у этих характеристик какого-либо числового параметра, зависящего от общего числа элементов, может служить основой для определения количества информации, самоотражаемой конечным множеством. Определим это количество информации, для чего примем следующий аксиоматический базис:

1). Информация представляет собой сведения о конечном множестве элементов, как едином целом.

2). Количество информации , самоотражаемой конечным множеством А, является монотонно возрастающей функцией от общего числа его элементов  и, соответственно, для любых двух конечных множеств А и В с числом элементов  и  имеет место неравенство

                                                                            (1)

 

3). Показателем конечного множества А, как единого целого, является интегративный код его элементов, представляющий собой индивидуальную для каждого элемента последовательность символов какого-либо алфавита, число которых  (длина кода) является функцией от общего количества элементов  в составе множества.

Рассмотрим процесс увеличения числа элементов , представив его в виде роста ориентированного дерева, совокупность висячих вершин которого взаимно-однозначно соответствует множеству элементов , а максимальное число дуг, выходящих из одной вершины, равно числу символов (n) алфавита, выбранного для составления интегративных кодов. При этом каждой из смежных дуг в алфавитном порядке ставится в соответствие свой символ и, как следствие, в качестве индивидуального интегративного кода какого-либо элемента выступает последовательность символов, находящихся на пути движения из начальной вершины дерева в соответствующую данному элементу висячую вершину. Модель такого дерева, которое будем называть деревом кодов, при  и использовании в качестве алфавита упорядоченной пары символов  приведена на рисунке 3.

 

Рисунок 3. Модель дерева кодов при n = 2 и M_A = 6

 

 Из приведённой модели дерева кодов видно, что в общем случае множество А по длине интегративных кодов его элементов разбивается на два подмножества  и , таких, что  и , где  – целочисленная часть . То есть  не является однозначной функцией от . Поэтому будем рассматривать среднюю длину  интегративных кодов

                                                            (2)

 

и начнем с алфавита с минимальным числом символов .

Из анализа рисунка 3 следует, что при  возрастание  на единицу обуславливает уменьшение на единицу числа элементов с длиной кода x и увеличение числа элементов с длиной кода  на два элемента, то есть:

                                             (3)

Учитывая (3), для определения  и  составим систему уравнений

,

 

решая которую, получаем:

                                                             (4)

 

 

Подставляя значения (4) в выражение (2), и проводя несложные преобразования, приходим к следующей формуле средней длины интегративных кодов при :

                                                          (5)

 

Полученное выражение (5) удовлетворяет принятым аксиомам и, соответственно, может служить мерой количества информации , самоотражаемой конечным множеством А.

Рассмотрим теперь деревья кодов при . На рисунке 4 представлены такие деревья, когда  и .

 

Рисунок 4. Модели дерева кодов при n = 3

 

 Из рисунка видно, что при наполнении выходящими дугами начальной вершины дерева (см. рисунок 4а,б) и последней из висячих вершин (см. рисунок 4в,г) средняя длина кодов  не изменяется, то есть

 

 

 

где

 

Увеличивая n, приходим к общему выражению случаев постоянства значений  при наполнении выходящими дугами последних из висячих вершин:

                         (6)

 

Из выражения (6) следует, что  при  и  не менее чем  в  случаев противоречит аксиоме (1) монотонного возрастания информации . Это позволяет сделать принципиально важный вывод: средняя длина интегративного кода элементов может выступать в качестве меры количества информации только тогда, когда интегративные коды составлены с помощью двоичного алфавита.

Таким образом, мы пришли к тому, что

                                                                        (7)

 

и, соответственно, всё излагаемое ниже будет относиться к .

Проводя анализ формулы (5), нетрудно видеть, что если , то . В тех же случаях, когда , наблюдается некоторое превышение  над , что можно видеть на рисунке 5.

Рисунок 5. Графики функций  и

 

Определим максимальную величину этого превышения (), как точную верхнюю грань отклонения  от :

 

Применяя необходимое условие экстремума функции и, полагая, что ,
x = const, в соответствии с выражением (5) приходим к уравнению

,

 

которое, после дифференцирования по , приобретает вид

 

и после несложных преобразований имеет своим решением:

                                                                  (8)

 

Подставляя значение  из (8) в разность , и представляя при этом  в развернутом виде, имеем:

 

Так как в соответствии со свойствами логарифмов , то из последнего выражения окончательно получаем, что отклонение значений  от  ограничено постоянной величиной

                                              (9)

что наглядно иллюстрирует рисунок 6.

 

Рисунок 6. График разности

 

Значение полученной постоянной (9) позволяет сделать приближение:

                                                     (10)

 

Функция  является монотонно возрастающей и её значения удовлетворяют информационной аксиоме (1). Поэтому, основываясь на выражении (7), и принимая во внимание более простой вид  в выражении (10) по сравнению с выражением (5), окончательно примем меру информации  в следующем виде:

                                                                (11)

 

Полученная формула количества информации, самоотражаемой конечным множеством (11), математически подобна информационной мере Хартли [8], взятой при единичном выборе и двоичном основании логарифма, но принципиально отличается от неё тем, что число символов используемого алфавита в мере Хартли является аргументом  логарифма, а в формуле (11) – его основанием. Кроме того, основание логарифма в мере Хартли может быть любым, а в мере (11) основание больше двух не допускается. В связи с этим уместно привести высказывание академика А.Н.Колмогорова о математическом подобии различных информационно-энтропийных функций: «Такие математические аналогии следует всегда подчеркивать, так как сосредоточение на них внимания содействует прогрессу науки» [10, с.39].

Подводя итог сделанному в настоящем разделе, можно констатировать, что нами получен новый подход к определению количества информации, основанный на совместном и одновременном учёте всех элементов конечного множества, без выделения какого-либо из них в качестве случайного события, результата испытания и т.п. То есть, мы ушли от традиционного увязывания количества информации с результатами выбора одной из множества различных возможностей. Чтобы отличать этот подход от других подходов к количественному определению информации, будем называть его синергетическим подходом. Такое название обусловлено тем, что количество информации, самоотражаемой конечным множеством, является результатом совместного отражающего действия всей совокупности его элементов, а термин «синергетика» буквально означает «совместный, согласованно действующий».

 

Негэнтропия отражения конечных множеств

 

Определив информацию  как величину , мы тем самым предвосхитили оценку негэнтропии отражения , как результат воспроизведения средней длины интегративного кода элементов одного конечного множества через пересекающееся с ним другое конечное множество. Непосредственно оценивая теперь величину , будем исходить из того, что множества  в своей совокупности образуют простейшую систему информационной связи, в которой отражаемое (А) и отражающее (В) множества являются, соответственно, источником и приёмником информации, а связующее множество  выступает в качестве передающей среды или канала связи. Процесс передачи информации  по такой системе связи соответствует процессу отражения множества А через непосредственно взаимосвязанное с ним множество В. Рассмотрим этот процесс, учитывая, что вне связи с управлением взаимодействующие объекты участвуют во взаимном отражении друг друга всей совокупностью своих элементов [9].

Интегративный код любого элемента  представляет собой определённое сообщение о конечном множестве А, как о целостном образовании, а общее число таких сообщений равно . Соответственно, объём информации , направляемый отражаемым множеством А в связующее множество K равен:

 

Пропускная способность множества K, в силу того, что , не может превышать  и ограничена объёмом информации

 

Вследствие этого информация  при поступлении в множество K уменьшается до величины

 

В отражающее множество В из связующего множества K поступает  сообщений, которые несут об отражаемом множестве А объем информации

 

и, соответственно, информация  воспроизводится множеством В в виде информации

                                                   (12)

 

Если теперь рассмотреть обратный процесс отражения множества В через множество А, то мы получим такой же результат (12), то есть .

Таким образом, мы пришли к тому, что формула негэнтропии отражения  имеет вид:

                                                        (13)

 

Из выражения (13) следует, что  является частью средней длины интегративного кода элементов связующего множества K. Так как , то можно также утверждать, что негэнтропия отражения  в количественном отношении является мерой воспроизведения средней длины интегративного кода элементов каждого из пересекающихся множеств А и В.

Формула (13) относится к наиболее общему случаю непосредственной взаимосвязи конечных множеств А и В, когда  (см. рисунок 2б). В других же, более частных случаях взаимосвязи (см. рисунок 2в,г,д) и при её отсутствии (см. рисунок 2а), выражение негэнтропии отражения  приобретает вид:

 

 

 

Особого рассмотрения требует противоречивая в негэнтропийном отношении ситуация, когда связующее множество K состоит только из одного элемента, то есть . Здесь, с одной стороны (формальной), в силу логарифмического характера отражаемой информации, формула негэнтропии отражения  показывает, что . То есть случаи, когда  и , по формуле (13) не отличаются друг от друга. С другой же стороны (неформальной), при  в отличие от ситуации, когда , между множествами А и В существует канал связи, по которому может пройти некоторый объём информации и, соответственно, негэнтропия отражения может принять отличное от нуля значение. К такому же выводу нас подводят и познавательные ситуации, в которых сам факт наличия или отсутствия непосредственной взаимосвязи между конечными множествами имеет принципиальное значение[2] и, как следствие, отчетливо понимается, что случаи, когда  и , по величине негэнтропии отражения должны отличаться друг от друга.

Указанное негэнтропийное противоречие снимается (когда этого требует познавательная ситуация), если принять, что единственный элемент связующего множества K имеет код длиной в один символ. В этом случае, снова рассматривая совокупность множеств  как систему информационной связи, можно сказать, что от источника информации (множества А) в канал связи (множество K) поступает объем информации  в виде  сообщений длиной . Приёмник информации (множество В) может получить при этом из канала связи только одно из указанных сообщений, которое позволяет множеству В воспроизвести информацию о множестве А в виде величины , соответствующей негэнтропии отражения. То есть при  формула негэнтропиии отражения  для практических расчетов принимается в следующем виде:

                                                     (14)

 

Точно такой же результат (14) по снятию негэнтропийного противоречия мы получаем и чисто формальным путём, увеличивая на единицу значение аргумента логарифмической функции в формуле (13).

 

Полнота и асимметрия отражения конечных множеств

 

Заканчивая изложение синергетического подхода к определению количества информации, отметим дополнительные характеристики отражения друг через друга конечных множеств А и В, которые следуют из совместного рассмотрения негэнтропии отражения и самоотражаемой информации. Дело в том, что непосредственно взаимосвязанные множества А и В, в соответствии с формулой негэнтропии отражения (13), отражают друг о друге одинаковое количество информации. В то же самое время, в общем случае, эти множества отличаются друг от друга по числу элементов и, соответственно, по количеству самоотражаемой информации, что обуславливает различную полноту их отражения друг через друга и, как следствие, общую информационную асимметрию отражения.

Очевидно, что мерой полноты отражения множеств А и В друг через друга является относительная негэнтропия отражения (А через В:  и В через А: ), численно равная отношению негэнтропии отражения  к соответствующему количеству самоотражаемой информации. То есть:

                                                  (15)

                                                  (16)

 

Асимметрия отражения, в свою очередь, характеризуется разностью значений относительных негэнтропий отражения  и , которая, в зависимости от порядка рассмотрения множеств, может быть положительной или отрицательной. Поэтому, в качестве общей меры асимметрии отражения  друг через друга множеств А и В принимается модуль указанной разности:

 

 

Относительная негэнтропия и асимметрия отражения в совокупности с собственно негэнтропией отражения  дают вполне исчерпывающую характеристику информационных особенностей отражения друг через друга двух пересекающихся конечных множеств и могут использоваться при решении различных прикладных задач. Примеры таких задач даются в приложении 2.

 

Заключение

 

Разработка синергетического подхода к определению количества информации была инициирована выявлением фактов неустойчивости и противоречивости результатов прогнозно-геологических исследований при оценке информативности признаков эталонных рудных объектов с помощью теории информации Шеннона [11-13]. Эти неустойчивость и противоречивость устраняются, если признаки оценивать с помощью негэнтропии отражения конечных множеств [5], что может представлять интерес для специалистов в области распознавания образов при оценке информативности признаков эталонных объектов распознавания.

При выводе формулы информации, самоотражаемой конечным множестовм, и оценке негэнтропии отражения, мы оперировали единичными значениями признаков, рассматривая их как некоторые отличительные особенности элементов. Вместе с тем, признаки описания элементов какой-либо системы в общем случае имеют различные значения, число которых может доходить до общего количества элементов в составе системы. Поэтому, дальнейшее развитие синергетического подхода к определению количества информации будет осуществляться нами в плоскости анализа отражения дискретных систем через совокупности своих частей, выделенных по различным значениям признаков описания их элементов.

 

ПРИЛОЖЕНИЕ 1

 

О ТЕРМИНЕ «НЕГЭНТРОПИЯ»

 

Термин негэнтропия не имеет пока достаточно широкого распространения в научной литературе, поэтому целесообразно осветить его историю и дать общую интерпретацию. – Уже сам факт наличия у слова энтропия отрицательной приставки нег свидетельствует о том, что за понятием негэнтропия скрывается нечто противоположное энтропии и отрицающее ее, так сказать, некая отрицательная энтропия.

Первым понятие отрицательная энтропия употребил в 1943г. Э.Шредингер, который пришел к выводу, что биологическим системам для своего существования необходимо извлекать из окружающей среды отрицательную энтропию, чтобы компенсировать внутреннее производство энтропии, и тем самым тормозить свое движение в сторону термодинамического равновесия, соответствующего состоянию смерти (Шредингер Э. Что такое жизнь? Точка зрения физика. – М.: Атомиздат, 1972).

Позднее, в 1956г. Л.Бриллюэн, рассматривая деградацию качества энергии в замкнутой системе как следствие возрастания в ней энтропии, для краткости отрицательную энтропию стал называть негэнтропией, говоря, что «эта негэнтропия представляет собой в конечном счёте качество энергии» (Бриллюэн Л. Научная неопределенность и информация. – М.: Мир, 1966. С. 25) После этого Л.Бриллюэн обосновал, что процесс получения информации в физических опытах сопровождается уменьшением негэнтропии и сделал вывод, что «негэнтропия эквивалентна информации» (там же, с.31). Кроме того, непосредственно сравнивая информацию и энтропию, Л.Бриллюэн сформулировал и ввел в теорию информации негэнтропийный принцип информации: «информация представляет собой отрицательный вклад в энтропию» (там же, с. 34).

После работ Л.Бриллюэна негэнтропия стала употребляться главным образом в двух значениях: как количество информации, равное разности между начальной (до получения сообщения) и конечной (после получения сообщения) энтропий, и как величина, обратная энтропии, выражающая упорядоченность материальных объектов (Кондаков Н.И. Логический словарь-справочник. – М.: Наука, 1976).

В синергетической теории информации термин негэнтропия неразрывно связан с понятием отражение, в силу чего в этой теории фигурирует негэнтропия отражения, под которой в самом общем случае понимается информация о «чём-либо», отраженная через «что-либо».

 

ПРИЛОЖЕНИЕ 2

 

ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ
ФОРМУЛЫ НЕГЭНТРОПИИ ОТРАЖЕНИЯ

 

Основной целью информационно-теоретических исследований, изложенных в настоящей статье, было получение формулы негэнтропии отражения конечных множеств. Эта цель была достигнута нами в виде формулы (13), для лучшего восприятия которой приведём примеры того, как она может быть использована при решении различных прикладных задач.

 

Пример 1. Оценка взаимосвязи физических свойств
образцов горных пород

Пусть по какому-либо району, где проводятся геологоразведочные работы, имеется представительная совокупность образцов горных пород, у которых измерены плотность (σ) и магнитная восприимчивость (χ) (система D). Поставлена задача – выяснить, в какой мере непосредственно взаимосвязаны между собой две группы образцов, в первую из которых входят образцы, имеющие плотность выше среднего значения (σ_ср) по всей совокупности, а вторую группу  составляют образцы, обладающие магнитной восприимчивостью также превосходящей среднее значение (χ_ср) по всей совокупности образцов. С позиций изложенного материала мерой такой взаимосвязи может служить как собственно негэнтропия отражения конечных множеств , так и средняя величина её относительных значений  и . Последовательность операций при этом сводится к следующему.

1). Вся совокупность образцов рассматривается в плоскости плотности горных пород, и те образцы, у которых плотность σ > σ_ср, выделяются в виде множества A с числом элементов .

2). Аналогично п.1 в плоскости магнитной восприимчивости выделяется множество образцов B в количестве , имеющих магнитную восприимчивость χ > χ_ср.

3). Выделенные множества  A и B рассматриваются в совмещенной плоскости двух физических свойств горных пород (σ и χ) и выявляются образцы, у которых одновременно σ > σ_ср и χ > χ_ср (связующее множество K, включающее в себя  образцов). Если таких образцов не выявлено , то делается заключение, что множества A и B не имеют непосредственной взаимосвязи друг с другом и решение поставленной задачи прекращается.

4). По формуле (13) вычисляется негэнтропия отражения , как мера информационной взаимосвязи множеств образцов A и B и определяется средняя величина её относительных значений  (15) и  (16). При этом следует отметить, что в контексте поставленной задачи каждая из относительных негэнтропий  и  может представлять самостоятельный интерес.

 

Пример 2. Выбор оптимальных индикаторов технического анализа

 при проведении биржевых торгов

 

При проведении торгов на фондовой и валютной биржах решения о покупке или продаже биржевых инструментов (акций, фьючерсов, биржевых индексов, валют) часто принимаются с помощью методов технического анализа на основе сигналов, поступающих от тех или иных индикаторов. В настоящее время разработано довольно внушительное количество таких методов. Во многих методах индикаторы имеют параметры своего задания, вследствие чего сигналы, поступающие от однородных индикаторов с различными параметрами, могут не совпадать во времени. При этом в зависимости от конкретного биржевого инструмента и выбранного временного масштаба торговли (тайм-фрейма), одни и те же методы и индикаторы могут работать лучше или хуже других.

Биржевые игроки (трейдеры), выбирая для торговли в конкретных условиях те или иные методы и индикаторы технического анализа, как правило, руководствуются своими знаниями, опытом и интуицией, что обуславливает высокий субъективизм принимаемых решений. Этот субъективизм можно значительно уменьшить, если при выборе использовать негэнтропию отражения конечных множеств. Процедура такого выбора является формализованной и на примере N индикаторов при заданном биржевом инструменте и фиксированном тайм-фрейме сводится к следующему.

1). На ценовой истории биржевого инструмента выбирается представительный интервал времени (система D).

2). Выделяются исторические моменты времени (локальные промежутки ), в которые наиболее оптимально было совершать торговые операции в виде покупки или продажи инструмента (отражаемое множество А, состоящее из   эталонных моментов времени).

3). Фиксируются моменты времени, когда анализируемые индикаторы подавали соответствующие сигналы (отражающие множества , включающие в себя  сигнальных моментов времени).

4). Выявляются случаи совпадения эталонных и сигнальных моментов времени (связующие множества  с числом моментов времени ).

5). Для каждого из отражающих множеств сигнальных моментов времени  по формуле (13) вычисляется негэнтропия отражения .

6). Результаты расчетов  ранжируются в порядке убывания значений и для принятия торговых решений выбираются те индикаторы, негэнтропия отражения которых занимает лидирующее положение в полученном ранжированном ряду.

 

Литература

1.      Шамбадаль П. Развитие и приложение понятия энтропии. – М.: Наука, 1967. – 280с.

2.      Волькенштейн М.В. Энтропия и информация. – М.: Наука, 1986. –  192с.

3.      Седов Е.А. Одна формула и весь мир. Книга об энтропии. – М.: Знание, 1982. – 176с.

4.      Бриллюэн Л. Научная неопределенность и информация. – М.: Мир, 1966. – 272 с.

5.      Вяткин В.Б. Математические модели информационной оценки признаков рудных объектов: Автореф. дис. ... канд. техн. наук : 05.13.18 : Екатеринбург, 2004. – 27с. Режимы доступа: http://www.vbvvbv.narod.ru/avtoreferat/index.html    http://orel3.rsl.ru/dissert/EBD_1639A_vjatkinVB.pdf

6.      Колмогоров А.Н. Три подхода к определению понятия «количество информации» // Проблемы передачи информации. – 1965, т.1, №1 – С. 3-11.

7.      Шеннон К. Работы по теории информации и кибернетике. – М.: Изд. иностр. лит., 1963. – 830с.

8.      Хартли Р.В.Л. Передача информации. // Сб.: Теория информации и ее приложения. – М.: Физматгиз, 1959. – С. 5-35.

9.       Урсул А.Д. Проблема информации в современной науке. – М.: Наука, 1975. – 288с.

10.   Колмогоров А.Н. Теория информации и теория алгоритмов. – М.: Наука, 1987. – 304с.

11.  Вяткин В.Б. К вопросу информационной оценки признаков при прогнозно-геологических исследованиях // Известия Уральского горного института. Сер.: Геология и геофизика. – 1993, вып.2. – С. 21-28.

12.  Вяткин В.Б. Информационные прогнозно-геологические антиномии // Компьютерное обеспечение работ по созданию государственной геологической карты Российской федерации: Материалы 5-го Всероссийского совещания-семинара МПР РФ – Ессентуки, 1998 – С. 116-119. Режим доступа: http://www.vbvvbv.narod.ru/mpi/antinom/index.htm

13.  Вяткин В.Б. Информативность признаков: необходимость смены парадигмы // Геологическое картографирование и прогнозно-металлогеническая оценка территорий средствами компьютерных технологий: Материалы 6-го Всероссийского совещания-семинара МПР РФ – Красноярск, 1999 – С. 56-60. Режим доступа: http://www.vbvvbv.narod.ru/mpi/informativ_krsn.htm