Вяткин В.Б.

Информационные функции и энтропия Больцмана

(Редакция статьи: Вяткин В.Б. Синергетическая теория информации
Часть 3. Информационные функции и энтропия Больцмана // Научный журнал КубГАУ [Электронный ресурс]. – Краснодар: КубГАУ, 2009. – №02(46). – Режим доступа: http://ej.kubagro.ru/2009/02/pdf/11.pdf )

В статье показывается, что информационно-синергетические функции, в лице отражаемой информации, аддитивной негэнтропии и энтропии отражения, имеют непосредственную взаимосвязь с энтропией Больцмана.

Введение

Ранее [1] было установлено, что информация , отражаемая произвольной системой А через совокупность своих частей , разделяется на отраженную и неотраженную части, равные аддитивной негэнтропии  и энтропии отражения S, соответственно. То есть:

                                                                 (1)

          При этом:

                                                             (2)

                                                  (3)

                                                  (4)

где:  – общее количество элементов в составе системы А;  – количество элементов в составе  части.

Выражение (1) занимает в синергетической теории информации ключевое положение и, в зависимости от того, с каких позиций рассматривается, имеет несколько качественно различных интерпретаций. – Так, в отношении собственно отражения системы, как единого целого, выражение (1) интерпретируется как информационный закон отражения. Если рассматривается структура системы со стороны ее упорядоченности и хаотичности, то соотношение (1) выражает закон сохранения суммы хаоса и порядка. С позиций соотношения и взаимных переходов друг в друга различных видов информации (связанной с управлением и существующей независимо от него), данное выражение представляет собой закон сохранения информации на межвидовом информационном уровне. И, наконец, с позиций различных подходов к определению понятия «количество информации», выражение (1) показывает неразрывную взаимосвязь комбинаторного, вероятностного и синергетического подходов.

В настоящей статье показывается, что дополнительно к указанным интерпретациям, информационное соотношение (1), с термодинамических позиций, характеризует переход изолированной системы идеальных газов из структурно-упорядоченного состояния в состояние термодинамического равновесия,  а каждая из информационно-синергетических функций (2) – (4) при определенных условиях имеет непосредственную взаимосвязь с энтропией Больцмана.

Взаимосвязь информационно-синергетических функций
и термодинамической энтропии Больцмана

Макроскопическое состояние той или иной термодинамической системы, состоящей из конечного множества элементов (атомов, молекул), традиционно характеризуется с помощью энтропии Больцмана (Е), статистически выражающей второе начало термодинамики и имеющей вид:

,                                                                        (5)

где:  – постоянная Больцмана, а W – термодинамическая вероятность, представляющая собой число возможных микросостояний системы, посредством которых может быть реализовано данное макросостояние.

При этом напомним, что термодинамическая вероятность W является однозначной функцией макросостояния системы, достигает своего максимального значения, когда система приходит в состояние термодинамического равновесия и обладает свойством мультипликативности. То есть вероятность W системы, состоящей из N невзаимодействующих между собой частей, равна произведению вероятностей этих частей:

                                                                   (6)

Выражения (5) и (6) показывают, что энтропия Больцмана является аддитивной величиной или, иначе говоря, общая энтропия E системы равна сумме энтропий ее изолированных друг от друга частей:

                                         (7)

Рассмотрим теперь с помощью энтропии Больцмана переход некоторой системы разнородных идеальных газов из структурно-упорядоченного состояния в состояние термодинамического равновесия.

Возьмем какую-либо емкость объемом V и разделим ее непроницаемыми перегородками произвольным образом на N частей с объемами . При одинаковых температуре и давлении заполним каждую часть объема V одним из идеальных газов  и изолируем емкость от влияния внешней среды. Сохраним при этом прежние обозначения и будем считать, что количество молекул газа в каждой части равно , соответственно. Образованная таким образом система идеальных газов  включает в себя  молекул и находится в структурно-упорядоченном состоянии, наглядный пример

       Рисунок 1. Переход системы идеальных газов

       из структурно-упорядоченного состояния (а)

          в состояние термодинамического равновесия (б)

Это состояние системы в наших рассуждениях наблюдается в момент времени , а его общая энтропия  равна сумме энтропий частей системы. Так как каждый из частных объемов  равномерно заполнен соответствующим идеальным газом, то термодинамическая вероятность каждой части системы А определяется числом возможных перестановок составляющих ее молекул

и, соответственно:х температуре и давлении астей с объемами оницаемыми перегородками произвольным образом на термодинамического равновесия.

                                                           (8)

После убирания перегородок каждый из газов, вследствие теплового движения молекул, перемешивается с другими газами и в момент времени  статистически равномерно распределяется по всему объему V, что приводит систему А в состояние термодинамического равновесия, соответствующего молекулярному хаосу (см. рисунок 1б).

Термодинамическая вероятность W при этом, на протяжении времени  неуклонно возрастает и в момент  достигает своего максимально возможного значения . Энтропия  термодинамически равновесного состояния системы А соответственно равна:

                                                                 (9)

Величина, на которую возрастает энтропия Больцмана при переходе системы из структурно-упорядоченного состояния в состояние термодинамического равновесия, называется энтропией смешения газов  и, согласно (8) и (9), имеет вид:

                                                   (10)

То есть, чем более упорядочена структура системы в момент времени , тем большего значения достигает энтропия смешения (10) в момент времени .

Из выражений (8) – (10) следует, что общая схема самопроизвольного процесса перехода изолированной системы идеальных газов из структурно-упорядоченного состояния в состояние термодинамического равновесия, может быть выражена через уравнение баланса энтропии Больцмана:

                                                               (11)

Освободимся в формулах (8) – (10) от факториалов, для чего воспользуемся формулой Стирлинга

                                                            (12)

и, пренебрегая единицей при , будем применять её в огрубленном виде:

                                                                  (13)

Основанием для такого огрубления служит тот факт, что относительная погрешность замены формулы (12) на (13), в соответствии с числом Лошмидта , выражающим количество молекул идеального газа в  при нормальных условиях, составляет: для , для  и т.д. В то же самое время многие из реально существующих природных систем имеют несравненно большие размеры, что делает указанное огрубление оправданным. (Например, запасы месторождений природного газа, которые в первом приближении можно считать изолированными системами, иногда исчисляются триллионами кубометров.

Делая соответствующие замены факториалов в формулах (8) – (10), получаем:

                                                           (14)

                                                                 (15)

                                   (16)

Умножим и разделим правую часть выражения (14) на  и, учитывая, что в соответствии со свойствами логарифмов , приведем выражения (14) – (16) к виду:

                                          (17)

                                                        (18)

                      (19)

При этом отметим, что произведение , присутствующее в каждом из выражений (17) – (19), сохраняет свое постоянное значение при любых преобразованиях системы А. Поэтому, в дальнейшем будем обозначать его как постоянный коэффициент с, то есть .

Проводя теперь сравнение информационно-синергетических функций (2) – (4) с выражениями (17) – (19), не трудно видеть, что крайние правые сомножители последних равны аддитивной негэнтропии , энтропии отражения S и отражаемой информации , соответственно. То есть, энтропия Больцмана в структурно-упорядоченном состоянии и в состоянии термодинамического равновесия, а также энтропия смешения газов асимптотически равны:

                                                                       (20)

                                                                      (21)

                                                                       (22)

Из выражений (20) – (22) следует, что каждая из информационно-синергетических функций  имеет определенную, присущую только ей, взаимосвязь с энтропией Больцмана:

                                                                      (23)

                                                                     (24)

                                                                       (25)

Подставляя значения информационно-синергетических функций из выражений (23) – (25) в информационное соотношение (1), получаем для последнего его асимптотический термодинамический эквивалент:

                                     (26)

То есть, информационное соотношение (1), дополнительно к отмеченным во введении интерпретациям, в термодинамическом отношении характеризует процесс перехода системы идеальных газов из структурно-упорядоченного состояния в состояние термодинамического равновесия. Данный факт позволяет говорить о том, что синергетическая теория информации имеет непосредственную взаимосвязь со статистической термодинамикой и, по-видимому, может быть включена в арсенал ее средств познания.

Информационная энтропия и энтропия Больцмана:
коллизия мнений

В работе [1] было показано, что синергетическая и традиционная теории информации непосредственно взаимосвязаны друг с другом и в своей совокупности образуют единую количественную теорию информации. Поэтому, установив взаимосвязь синергетической теории информации со статистической термодинамикой в лице выражений (23) – (26), целесообразно также осветить существующие взгляды на взаимоотношения энтропии Больцмана с информационно-энтропийными мерами Хартли [2] и Шеннона [3], которые при использовании двоичных логарифмов, математически тождественны отражаемой информации  (2) и энтропии отражения S (4), соответственно. При этом сразу отметим, что вопрос взаимосвязи энтропии Больцмана с традиционными информационно-энтропийными мерами длительный период времени является предметом дискуссии.

Приверженцы этой взаимосвязи [4,5] считают, что энтропия Больцмана и информационная энтропия эквивалентны друг другу. При этом в качестве аргумента приводится тот факт, что в формулах Хартли и Шеннона, формально похожих на формулу Больцмана, присутствует коэффициент пропорциональности K, зависящий от выбора единиц измерения информации. Поэтому, беря в качестве K постоянную Больцмана k, можно осуществлять переход от информационной энтропии к энтропии термодинамической. Более того, например, по мнению Бриллюэна [4], при рассмотрении физических систем информацию и термодинамическую энтропию лучше выражать одними и теми же единицами.

Противники наличия такой взаимосвязи между энтропией Больцмана и информационно-энтропийными функциями [6,7], в свою очередь, утверждают, что это разные величины и задают вопрос: «Разве достаточно формального сходства двух выражений, чтобы одну величину измерять в единицах другой и на этом основании устанавливать между ними непосредственную взаимосвязь?» [6, с.72 ]. И, указывают на то, что «в литературе вначале отмечалось отличие этих двух величин, обозначаемых одним словом, но позже многие авторы последовали за Бриллюэном, отождествившим термодинамическую и информационную энтропии» [7, с. 50].

Кроме этих полярных точек зрения, существует и ряд промежуточных, более осторожных мнений. Так, например Эшби, один из основоположников кибернетики, не отрицая определенной связи между энтропией Шеннона и термодинамической энтропией, указывает, что «выводы в этих вопросах требуют большой осторожности, ибо самое незначительное изменение условий или допущений может превратить высказывание из строго истинного в абсурдно ложное» [8, с. 254]. Интересным представляется также мнение Шамбадаля, который в своей работе сначала, вслед за Бриллюэном, берет в качестве коэффициента пропорциональности K постоянную Больцмана k, а затем говорит о том, что «тождественность величин I и S (информации и энтропии Больцмана – прим. В.В.) происходит не столько от самой природы вещей, сколько от нашего произвола» [9, с. 191].

Принимая участие в этой заочной дискуссии, с позиций полученных в предыдущем разделе результатов,  можно сказать следующее. Так как информационно-энтропийные меры Хартли и Шеннона выражаются такими же формулами, что и отражаемая информация  и энтропия отражения S, то на основании выражений (24) и (25) можно утверждать, что они действительно имеют взаимосвязь с энтропией Больцмана, но эта взаимосвязь отрицает их эквивалентность и тождественность. Причем каждая из этих информационных энтропий имеет свой физический аспект интерпретации: энтропия Хартли связана с термодинамически равновесным состоянием системы идеальных газов, а энтропия Шеннона, – с энтропией смешения газов и, соответственно, увеличивается по мере приближения системы к состоянию термодинамического равновесия.

Заключение

В статье, на основе рассмотрения процесса перехода изолированной системы разнородных идеальных газов, из структурно-упорядоченного состояния в состояние термодинамического равновесия, установлено, что информационно-синергетические функции в лице отражаемой информации, аддитивной негэнтропии и энтропии отражения, имеют непосредственную взаимосвязь с термодинамической энтропией Больцмана. При этом показано, что совокупность данных функций в виде соответствующего соотношения, представляет собой асимптотический эквивалент уравнения баланса энтропии Больцмана. Это свидетельствует о взаимосвязи синергетической теории информации со статистической термодинамикой и, по всей видимости, позволяет говорить о том, что синергетическая теория информации по своей сущности является физической теорией.  

Литература

1.      Вяткин В.Б. Синергетическая теория информации. Часть 2. Отражение дискретных систем в плоскости признаков их описания // Научный журнал КубГАУ [Электронный ресурс]. – Краснодар: КубГАУ, 2009. – №45(1). Режим доступа: http://ej.kubagro.ru/2009/01/pdf/12.pdf

2.      Хартли Р.В.Л. Передача информации. // Сб.: Теория информации и ее приложения. – М.: Физматгиз, 1959. –
С. 5-35.

3.      Шеннон К. Работы по теории информации и кибернетике. – М.: Изд. иностр. лит., 1963. – 830с.

4.      Бриллюэн Л. Научная неопределенность и информация. – М.: Мир, 1966. – 272 с.

5.      Волькенштейн М.В. Энтропия и информация. – М.: Наука, 1986. –  192с.

6.      Оксак А.И. Гносеологический анализ соотношения энтропии и информации // Философские науки. –
1972, №5 – С. 68-76.

7.      Базаров И.П. Заблуждения и ошибки в термодинамике. –  М.: МГУ, 1993. – 56с.

8.      Эшби У.Р. Введение в кибернетику. – М.: Изд. иностр. лит., 1959. – 432с.

9.      Шамбадаль П. Развитие и приложение понятия энтропии. – М.: Наука, 1967. – 280с.