Термодинамика и информация
Со времен установления принципа Людвига Больцмана (ок. 1875 г.) стало возможным рассматривать классическую термодинамическую и информационную энтропию как практически и теоретически очень близкие, если не равнозначные. В формулировке Макса Планка (ок. 1900 г.) этот принцип как связь средней энтропии системы с вероятностью данного состояния определяется логарифмической зависимостью:
...S = kln(Ω),
где S — общая энтропия состояния системы, константа k = = 1,38*10–23 Дж/К, названная Планком постоянной Больцмана, а Ω — статистический вес состояния, являющийся числом возможных равновероятных микросостояний (способов), с помощью которых можно составить данное макроскопическое состояние. Более ранняя формулировка Джозайя Гиббса (1878 г.) для микросостояний, имеющих разную вероятность, устанавливает зависимость в виде суммы произведения вероятности состояний на натуральные логарифмы этих же вероятностей, взятой с противоположным знаком:
где Pi — вероятность пребывания системы в состоянии i. Минус в начале формулы необходим для приведения обеих частей формулы к общему знаку из-за постоянной отрицательности логарифмов вероятности (так как вероятности всегда меньше 1) и неизменной положительности энтропии. Сам Больцман, комментируя свое физико-статистическое определение энтропии, отмечал, что энтропия характеризует недостающую информацию о системе. В этой интерпретации энтропия может считаться мерой неполноты информации о системе.
В ходе разработки углубленной теории информации информационной энтропией стала считаться мера неопределенности, независимо выведенная как сумма произведений вероятностей событий на логарифмы этих же вероятностей (формула Хартли-Шеннона, основателей теории информации), взятая с противоположным знаком:
где H(x) — средняя энтропия сообщения, иногда обозначаемая также как мера неопределенности какого-либо события, или даже как количество информации, Pi — вероятность отдельного события i. Основание логарифма в принципе может быть любым больше 1: в двоичных информационных системах — 2, математические статистики, использующие формулу в различных научных дисциплинах, в том числе биологических и клинических, часто используют натуральный логарифм.
...Отрицательная энтропия, которую описывал Эрвин Шредингер, это, разумеется, не энтропия с отрицательным знаком — это, очень условно говоря, мера удаленности от максимальной энтропии в рассматриваемой системе, хотя само понятие негативной энтропии (негэнтропии) на самом деле гораздо более сложное, глубокое и весьма запутанное, даже в сравнении с часто неоднозначно понимаемой «обычной», «позитивной» энтропией в своих самых разнообразных интерпретациях. Некоторые исследователи, вслед за Норбертом Винером, увидевшим за очевидным сходством формул Больцмана-Гиббса и Хартли-Шеннона более глубокую связь термодинамической и информационной энтропий, ассоциируют негэнтропию с информацией, что представляется красивым, но до сих пор далеко не всеми признаваемым суждением.
Одной из точек смыкания термодинамической и информационной энтропии являлся, например, известный парадокс «демона Максвелла», гипотетического устройства, стоящего на границе двух объемов и способного различать быстрые и медленные молекулы и, соответственно, пропускать или не пропускать молекулы в одну сторону, что спонтанно ведет к увеличению упорядоченности системы и падению энтропии, что формально противоречит второму началу термодинамики. Решение парадокса было предложено французским и американским физиком Леоном Бриллюэном, математически показавшем, что даже демон ничего не хочет делать бесплатно: чтобы увидеть скорость молекулы, ему нужно заплатить энергией, которая не может быть менее энергии одного теплового кванта (0,025 эВ при комнатной температуре), и эта энергия соответствует минимальной цене одного бита информации. То есть демон совершает работу по обработке информации, и эта работа охлаждает одно тело и нагревает другое, и так же, как за работу любого домашнего холодильника, за эту работу надо платить.
Теория семантической информации
Демон Максвелла получает (увеличивает) информацию о системе, равную уменьшению энтропии (или увеличению негэнтропии), и, казалось бы, отсюда информация = негэнтропия. Однако Бриллюэн различал свободную информацию (без четкого определения) и связанную, возникающую, когда возможные случаи могут быть представлены как микроинформация физической системы, и замечал, что «только связанная информация будет представляться связанной с энтропией».
В российской литературе и части зарубежной со связанной информацией Бриллюэна наиболее соотносится термин «микроинформация», отличающийся от «макроинформации» (практически всегда соответствующей общему термину «информация» в большинстве резонов его применения) тем, что не обладает свойством фиксируемости (запоминаемости). В работах Дэвида Уолперта (см. ниже) с микроинформацией может быть сопоставлена «синтаксическая информация», а с макроинформацией — «семантическая (смысловая) информация». Помимо запоминаемости вторым критерием информации в наиболее оптимальном для практического применения определении информации по Генри Кастлеру является случайность: «информация есть случайный и запомненный выбор одного варианта из нескольких возможных и равноправных» (Кастлер Г., 1967). Важнейший момент в данной теории информации следует из ее определения: возникновение (генерация) информации — это случайный, но запомненный выбор. Второй важный момент — это наличие ценности информации, мерилом которой служит степень ее соответствия цели системы. Она может определяться как функция, включающая отношение вероятности достижения цели (или уменьшения энергетических, временнЫх или материальных затрат, если цель безусловно достижима) после получения информации, к этой вероятности или снижению затрат без обладания этой информацией (Чернавский Д. С., 2004). До получения информации вероятность достижения цели определяется тем, какой предварительной запомненной информацией (тезаурусом) уже располагает принимающий ее элемент. Имея минимумом информации, хотя бы минимальной запомненной информацией «о самом себе», элемент располагает минимальным тезаурусом.
...В новой математической теории семантической информации Дэвида Уолперта и Артемия Колчинского (Artemy Kolchinsky and David H. Wolpert, 2018) эта мысль развивается с учетом ключевого влияния окружающей среды: семантическая («макро-») информация определяется как синтаксическая («микро-») информация, которую физическая система располагает о своей окружающей среде, и которая ситуативно (casually) необходима системе, чтобы поддерживать свое существование во времени (что созвучно понятию ценности информации).
Семантическая информация поддерживает длительное существование системы за счет минимизации энтропии системы. Дэвид Уолперт разделяет два вида семантической информации: сохраненную семантическую информацию, которая основывается на обмене общей информацией между системой и окружением в некий исходный момент времени, и наблюдаемую информацию, которая основывается на переносе энтропии между системой и окружением за время от исходного до момента наблюдения. В отличие от синтаксической микроинформации семантическая информация, располагая критерием ценности, может быть ценной (положительной), малоценной или вовсе ошибочной, то есть отрицательной, наносящей урон системе, сокращающей время ее существования. Семантическая информация, в противоположность синтаксической, по Уолперту, фундаментально ассиметрична в ходе любого обмена ею. Другое ключевое понятие, вводимое Уолпертом, это понятие «автономного агента» — физическая система способна быть автономным агентом в той степени, в какой она располагает объемом семантической информации. Данной теорией предполагается, что способность быть живым — это способность быть чрезвычайно развитым автономным информационным агентом.
