тливо выражено также в нашем языке. Здесь между ними имеется даже причинная связь: поскольку определенные комбинации букв встречаются чаще, чем другие, соответстПри равных частотах всех символов (pt~ 1/30} энтропия на один символ была бы Я = 4,9069 битов.

вующпь буквы используются с разными вероятностями. Дешифровка закодированных сообщений на языке с известной структурой основана на принципе такого сопоставления. Относительные частоты букв в немецком языке приведены в табл. 1.

Можно привести также много примеров часто встречающихся последовательностей определенных букв: употребительные окончания, как -en, -ig, -lich, или же помещение гласной между двумя согласными и т. д. Множество всех избыточностей практически необозримо. Они распространяются на тончайшие особенности структуры языка и вовсе не ограничиваются ближним порядком в расположении букв. Значимость различных комбинаций букв также очень различна. Так, например, смысл искаженной телеграммы часто можно восстановить однозначно. G другой стороны, существуют ошибки, которые совершенно измени- ют смысл, хотя они состоят в замене всего лишь одной буквы ).

В поисках связи между статистическим и семантическим аспектами информации мы прежде всего сталкиваемся с проблемой прироста информации (der Informationsgewinn). Здесь можно опираться непосредственно на теорию вероятностей.

Энтропия множества символов .максимальна, когда все расположения символов равновероятны. Любое отклонение от равномерного _"ра1сггрёд^.ч"ёния вероятностей означает ограничение неопределенности — количество информации, необходимое для полной идентификации ситуации или сообщения, уменьшается. Любое изменение распределения вероятностей в результате наблюдения или в результате того, что становятся известны какие-либо дополнительные условия, означает прирост информации.

Пусть

Р= Ipi, рг, • • м Рп) ,

где pi>0 и 2 Pi = 1» и qn), где > 0

два распределения вероятностей для

заданного (в обоих случаях идентичного) множества последовательностей, символов, причем Q как условное распределение вероятностей получается из Р в результате дополнительных наблюдений. Тогда прирост информации, по Реньи [13], будет равен

Если распределения вероятностей Р и Q различны, то эта величина всегда положительна. Она обращается в нуль только тогда, когда наблюдение оставляет распределение Р неизменным. Величина I(Q\P) гораздо более определенно характеризует прирост информации, нежели разность энтропии Н (Q) —И (Р), которая может быть как положительной, так и отрицательной. Последняя величина представляет собой разность двух средних значений, и поэтому ее информативность в отношении отдельного события очень ограничена. В величине I(Q\P), напротив, результат наблюдения для каждого отдельного события сравнивается с веро-ятностыо этого события до наблюдения, и лишь после этого делается усреднение по всем отдельным значениям. Таким образом, эта величина как среднее значение разностей более адекватно отражает истинный прирост информации, отнесенный к отдельному событию, чем разность средних значений. Учитывая важность этого понятия для эволюционного учения, дадим еще один пример, иллюстрирующий его отличие от более употребительного в теории информации понятия энтропии.

В заключительную стадию конкурса по архитектуре прошли три проекта. Имена авторов неизвестны жюри. Известно только, что среди них — архитектор Л, который пользуется международным признанием и которому жюри охотнее всего доверило бы строительство. В одном из проектов по некоторым деталям вроде бы узнают «почерк» А, Конечно, полной уверенноCTir в этом нет, так что распределение вероятностей того, что проект принадлежит А (результаты голосования), может быть примерно следующим:

Pi -= 0,8,

Р2 = 0,1,

Рг = 0,1.

Эта неопределенность проявляется в конечной энтропии распределения:

Н (Р) - - 2 Р* Ю Pt~ + 0,92 бита.

Итак, проекту 1 присуждают первую премию. Но велико разочарование, когда выясняется, что автор проекта 1 вовсе не А.

После того, как автор проекта 1 становится известным, новое распределение вероятностей того, что определенный проект принадлежит А, будет таким:

gi = о, q2 = 0,5;

g3 = 0,5.

Теперь энтропия, выражающая субъективную неопределенность, даже возрастает:

Я(С?) = -2 qtldg^i бит.

4=1

Итак, энтропия не уменьшилась, а даже увеличилась. Раньше ошибочно думали, что знают больше. После обнаружения ошибки распределение вероятностей стало более равномерным, и, в сущности, именно это и нашло свое отражение в энтропии. G другой стороны, это конкретное событие обязательно дает прирост информации — и даже относительно большой прирост, потому что речь идет об исправлении ошибки:

/ «? I Р) = 2 ffi Id (qt/pt)a* + 2,32 бита.

2 м. Эйген, Р, Винклер 33

Энтропия, как усредненная величина, в действительности очень мало отражает изменение информации,-проистекающее из отдельных наблюдений, и это демонстрирует дальнейший ход конкурса.

Осталось два проекта, которым раньше уделялось не очень-то много внимания. Но теперь их изучают более детально. Результатом будет модифицированное распределение вероятностей (Р') того, что определенный проект принадлежит А:

p'z = 0,8,

Рз = 0,2,-Н{РГ) ^0,72 бита.

Теперь остаются две возможности.

а) Предположение Р' было верным, т. е. вскрытие

конверта 2 показывает, что автором этого проекта является А, Тогда

д:г = 1,

Яз - с.

б) Опять ошибка: А — автор не второго, а третьего проекта. В этом случае

q\ = 0,

ft

g3= l.

Так как решение означает полную определенность, в обоих случаях энтропия будет равна нулю. Таким образом, эти два очень разных результата но отличаются по энтропии. Измеиспие энтропии в обоих случаях составляет

H = II(Q) —В(Р) я- —0,72 бита.

Значение I(Q'\P'), напротив, дает возможность дифференцировать эти случаи. Случай а) означает лишь подтверждение гипотезы, т. е. сравнительно небольшой прирост информации:

а) / (Q* | Р') «0,32 бита.

Случай б), наоборот, дает новые сведения. Соответст-34 веяно прирост информации получается много больше:

б) 2Л32 бита.

Распределение вероятностей совсем не исключало возможности ошибки (случай б). Нужно следить за тем, чтобы событию никогда ие приписывалась нулевая вероятность, пока существует конечный интервал ошибок, т. е пока ошибка еще возможна. Учет средних ошибок всегда приводит к конечным положительным значениям pt. Это особенно важно для возникновения информации в природе, ибо все естественные элементарные процессы сопровождаются флуктуация-ми конечной величины.

В рассмотренном примере информация «возникает» только в мозгу наблюдателя. Отдельные наблюдения используются для того, чтобы последовательно сужать неопределенность, пока, наконец, не будет достигнуто исчерпывающее знание ситуации, которая сама по себе остается неизменной.

Не может ли то, что совершается вторично в мозгу «информируемого», происходить первично в системе, способной к самоорганизации и, следовательно, к последовательным сужениям (сначала произвольного) распределения вероятностей? Источником, производящим информацию, при этом может быть статистический флуктуационный процесс, т. е. «генератор шума». Такая система, несомненно, долита обладать известной способностью к фильтрации, или к отбору. Это означает, что появление «нестабильпостей» делает невозможным возврат к первоначальному распределению вероятностей.

В своей монографии «Наука и теория ипформации» Леон Бриллюэн отметил, что рассмотрение семантического аспекта информации делает необходимым введение параметра ценности. Такой параметр должен иметь физическую интерпретацию. Оценивание равнозначно отбору, а способность к отбору как материальное свойство должна найти свое обоснование в динамических критериях. Ее нельзя объяснить, оставаясь в рамках одной лишь теории вероятностей. Возникновение и исчезновение, т. е. временность существования, является необходимой предпосылкой любой самоорганизации, основанной на отборе, а также предпосылкой возникновения информации. Но, кроме этого, нужныеще особые закономерности, обусловленные природой {

системы. )

Здесь перед нами встает фундаментальный вопрос: \

а может ли информация вообще возникать? Или же

она лишь выявляется? Не сводится ли в конечном сче- !

те вся семанпша к прасемаитике, и не определяется

ли она в таком случае неотъемлемыми свойствами [

материи? На этот вопрос — коренной вопрос для па- J

стоящей работы — мы сможем дать ответ только в |

четвертой главе. Сначала нужно рассмотреть еще не- ["

сколько предпосылок ). I.

I I

Глава 3

«ИГРЫ В БИСЕР»

Правило, случай и выбор относятся к существенным элементам игры. Многие игры целиком определя-ЕОТСЯ диктатом правил, и потому их ход полностью закономерен. В других преобладает случай — мы говорим об азартных играх. Сочетание обоих элементов ведет к третьей категории игр, в которых на переднем плане стоит выбор, управляемый определенными критериями, т. е. оптимизирующая стратегия. К этой категории относятся наиболее интересные стратегические игры, такие, как шахматы и го. Очевидно, что здесь развитие игровой ситуации соответствует возникновению информации, обладающей семантикой, обусловленной правилами. По такому принципу «играет» гт живая природа.

В дальнейшем мы будем постепенпо развивать идею взаимодействия закона и случая, руководствуясь моделями — «играми в бисер». Мы будем называть их так не только потому, что шарики, необходимые для игры, могут быть и бисером, по прежде всего потому, что эти игры, основанные на простых правилах, на высшей стадии своего развития реализуют то представление о единстве Природы и Духа, которое изложено в «Игре в бисер» Германа Гессе:

«Эти правила, язык знаков и грамматика Игры суть не что иное, как высокоразвитая тайнопись, к которой причастны многие науки и искусства, особенно математика и музыка (соответственно музыковедение), и которая способна выразить и связать друг с другом содержание и результаты почти всех наук».

Для первой игры (рис. 10) нам понадобятся два ящика, по которым мы произволь