Вероятность появления посылок и пауз на выходе приемника канала II:

Р(1) = Р(1,1) + Р(0. 1) = = 0,485 + 0,015 = 0.5;

Р(0) = Р(1,0) + Р(0,0) =

= 0.015 + 0,485 = 0,5.

Неопределенность состояния передатчика (приемника) канала II:

Н{у) = Н{х) = - 2 (0,5 log2 0,5) =

= 1дв. ед.

Совместная неопределенность канала II:

Я(х,{/) = -2 (0.485 logs0,485 +

+ 0,015 log20,015)= 1.19ДВ. ед.

Количество информации иа один символ сообщения, передаваемого по каналу II:

1(х,у) = Н(х) + Н(у)-Н(х.у) =

= 1 + 1 - 1,19 = 0,81 дв.ед.,

т. е. на 35% больше, чем в канале I.

Таким образом, несмотря на большую вероятность ошибочного приема, канал II оказался лучше приспособленным к передаче информации.

2-11. ИЗБЫТОЧНОСТЬ ИСТОЧНИКА ИНФОРМАЦИИ

Энтропия источника информации зависит от его статистических характеристик. Источник обладает максимальной энтропией Н{х), если вероятности появления символов одинаковы. Если одни символы появляются чаще, а другие реже, то энтропия источника уменьшается. При возникновении корреляционной связи между символами энтропия становится еще меньше. Чем сильнее корреляционная связь между символами, тем меньше становится энтропия источника, стремясь к нулю по мере приближения корреляционной связи к функциональной зависимости. Таким образом, чем дальше статистические характеристики источника от случая равновероятных и независимых символов, тем меньшее количество информации приходится на каждый символ, выдаваемый источником.

Оценить источник с этой точки зрения позволяет величина избыточности источника

R= --W , (2-38)

Пмакс

которая показывает в относительных единицах, насколько отличается энтропия Н{х) источника, имеющего т возможных состояний, от максимально возможной энтропии Ямакс = 1о5пг (когда все т состояний источника равновероятны и независимы). Избыточность имеет пределы изменения от нуля до единицы, причем нуль от-

носится к случаю равновероятных и независимых символов, а единица к случаю, когда процесс, вырабатываемый источником, утрачивает свойства случайности и приобретает свойства функциональной зависимости.

Для выдачи одинакового количества информации источник с избыточностью должен выработать более длинный сигнал чем источник без избыточности, так как

о Н,акс = пН (Х)

П = Пг,

Н(х)

где По-количество символов в сигнале при равновероятном и независимом их появлении.

Избыточность источника представляет собой относительное число избыточных символов в сигнале:

П - Пр

(2-39)

Например, в английском языке используются 26 букв и один промежуток между словами. Если бы эти буквы встречались, в речи с одинаковой вероятностью и появление одной из них никак не влияло бы на вероятность появления других, то энтропия английской речи составляла бы

Ямакс = log2т = logs27 = 4,75 дв. ед.

Если учесть неравновероятность появления различных букв английского языка, то энтропия уменьшается до значения

Я1 = 4,03дв. ед.

Учет влияния предыдущей буквы на вероятности появления последующей, двух последующих и т. д. приводит к дальней- , шему снижению энтропии английской речи:

Я2 = 3,32; Яз = 3,1; Яб = 2,15;

Я8= 1.86 ДВ. ед.

Дальнейший учет корреляционных связей между буквами и словами английской речи оказался чрезвычайно трудным. Однако удалось установить, что энтропия Hn уменьшается до 30, а затем практически не изменяется. Большинство оценок сходится на том, что эта предельная энтропия английской речи заключена в пределах от 0,675 до 1,33 дв. ед. Приняв ее равной 1 дв. ед, можно определить избыточность английской речи:

Ямакс - Япред 4,75-1

4,75

т. е. на каждые 100 букв английского текста 79 букв являются избыточными.

Увеличение избыточности -источника увеличивает объем сигнала (при том же самом количестве информации) и, следовательно, снижает эффективность связи.

Для уменьшения избыточности сигнал перекодируют таким образом, чтобы сделать равномерным распределение вероятностей появления различных его элементов. Однако равномерное распределение энергетически невыгодно, так как при этом распределении большие и малые значения сигнала появляются одинаково часто. Чтобы снизить избыточность, сохранив среднюю мошность сигнала, необходимы другие законы распределения, например при передаче непрерывного сигнала - нормальное распределение (§ 1-17).

Другим способом уменьшения избыточности является декорреляция сигнала, т. е. разрушение вероятностных взаимосвязей между элементами сигнала. Известны два метода декорреляции сигнала: укрупнение элементов сигнала и предсказание.

Метод укрупнения элементов сигнала заключается в таком перекодировании сигнала, при котором несколько элементов сигнала объединяются в группы (блоки) и каждой из возможных групп сигналов присваивается свой символ. Если первоначал>ное число возможных элементов было равно т и декорреляция заключалась в попарном объединении элементов, то возможное число элементов увеличивается до и т. д. Таким образом, декорреляция сигнала методом укрупнения по сушеству заключается в переходе от кода с основанием т к коду с более высоким основанием т, где I - число первоначальных элементов, объединяемых в одну группу. Смысл этого метода заключается в том, что вероятностные связи между группами (укрупненными .элементами) оказываются слабее, чем между элементами первоначального, неукрупненного сигнала. Если бы группы оказались совершенно независимыми, то укрупненный сигнал был бы полностью декоррелирован. В действительности корреляция между группами сохраняется, но она тем слабее, чем длинней rpyijna, так как не вся предшествующая группа, а лишь последние ее элементы оказывают влияние на первые элементы последующей группы.

Метод предсказания заключается в приближенном предсказании будущих значений сигнала, которое основано на знании принятых значений сигнала и его вероятностных характеристик. Такое пред-сказание должно осуществляться одинаковым образом на передающей и приемной сторонах. При этом на передающей стороне осуществляется передача не данного элемента сигнала, а лишь разности между предсказанным и действительным значением этого элемента. На приемной стороне осуществляется сложение указанной разности, поступающей из линии связи, и предсказанного значения сигнала. Так восстанавливается истинное значение каждого элемента сигнала. Смысл такого способа передачи заключается в том, что разностный сигнал оказывается в значительной

мере декоррелированным и обладает более выгодным расцределением вероятностей.

В простейшем случае предсказанным значением сигнала может быть просто предыдущее значение сигнала:

Хп Пр = Хп-1

Тогда истинным значением является сумма

Хп = ппр -г Х,

где Ах - разность между предсказанным и истинным значением, равная в данном случае приращению сигнала. Приращение определяется на передающей стороне и передается по линии связи.

При более совершенном предсказании можно учесть тенденцию изменения сигнала, приняв за предсказанное значение величину

Xnnp = Xft~l

т. е. положив в основу предсказания идею о линейном изменении сигнала со скоростью dx/dt, которая определяется путем наблюдения прошлых значений функции сигнала x(t).

Примером использования метода предсказания является способ передачи информации, получивший название дельта-модуляции. За предсказанное значение сигнала в этом способе принимается предыдущее значение сигнала. Предсказание осуществляется как на приемном, так и на передающем конце. По линии связи передается не приращение сигнала Ах, а лишь знак этого приращения. Иначе говоря, каждая посылка несет сообщение лишь о том, увеличивается в данный момент сигнал или уменьшается. Этого оказывается достаточно для передачи информации.

2-12. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА

Количество информации, приходящейся на один символ, создаваемый источником X, равно энтропии Я(;с) источника (см. § 2-9, свойство 5). Если источник создает символы через равные промежутки времени т, то скорость создания информации

Если же символы создаются источником через различные промежутки времени, то могут быть вычислены математическое ожидание промежутка времени между двумя соседними символами

Тер = Mr и скорость создания информации Н(х)

Т(х) =

(2-40)

Это простое определение скорости создания информации как энтропии источника, приходящейся на единицу времени, пригодно лишь для дискретных источников. Для непрерывных источников информации-абсолютная энтропия бесконечна, а относительная энтропия определяется с точностью до произвольной постоянной (см. § 2-8). Действительно, если считать, что источник точно воспроизводит все бесконечное множество мгновенных значений непрерывной реализации процесса, подлежащего передаче по каналу связи, то естественно приписать такому источнику бесконечно большую энтропию и бесконечно большую скорость создания информации.

Но реальные источники никогда не воспроизводят заданный непрерывный сигнал с абсолютной точностью. Изменение во времени напряжения на выходе микрофона не совпадает во всех деталях с изменением давления воздуха на мембрану. Отклонения чувствительного элемента измерительного прибора следуют за изменениями измеряемой величины всегда с некоторой логрешностью. Процесс на выходе любого датчика несколько отличается от процесса на его входе.

Скоростью создания информации такими непрерывными источниками называют минимальное количество информации в единицу времени, необходимое для того, чтобы реализация случайного процесса на выходе источника с заданной точностью е воспроизводила реализацию процесса на входе источника. При этом точность (верность) воспроизведения оценивается по величине максимальной разности между соответствующими значениями реализаций, по дисперсии ошибки воспроизведения или каким-либо иным образом. Понятие скорости создания информации непрерывного источника ввел А. Н. Колмогоров. Он предложил называть эту величину е-э и т р о п и е й.

По аналогии с понятием скорости создания информации можно ввести понятие скорости передачи информации. Для этого необходимо отнести к единице времени не все количество информации, создаваемой источником, а лишь то количество информации, которое передано по каналу связи на приемную сторону (см. § 2-8):

ГЫЛПЫ. (2-41)

Скорость передачи информации определяется свойствами источника информации, приемника, а также особенностями помех в канале связи.

Однако в теории связи чаще возникает необходимость оценить потенциальные возможности данного канала связи в отношении скорости передачи информации. При такой постановке вопроса среди всех возможных способов передачи и приема сигналов (чаще всего подразумеваются

различные способы кодирования) по данному каналу отыскивается такой способ, при котором достигается наибольшая скорость передачи информации по данному каналу. Эта максимально возможная скорость передачи информации по данному каналу, т. е. наибольшее количество информации, которое канал может пропускать в единицу времени, называется пропускной способностью канала:

С = тахТ(х,у).

(2-42)

Если и сигнал и помеха представляют собой стационарные процессы с нормальным законом распределения, то пропускная способность следующим образом зависит от основных характеристик канала (формула Шеннона):

C = F logs 1 +

(2-43)

т. е. возможная скорость передачи информации тем больше, чем шире полоса пропускания и динамический диапазон Рс/Рп канала.

Введение понятия пропускной способности канала позволяет сформулировать следующую теорему Шеннона.

Если скорость Т{х) создания информации источником на входе шумящего канала меньше пропускной способности С кащ-ла, то существует такой код, при котором вероятность ошибки на приемной стороне как угодно мала, а скорость передачи информации Т{х, у) как угодно близка к скорости Т{х) создания информации. Если же Т{х)>С, то не существует способа кодирования, при котором можно было бы передать все сообщения с малой вероятностью ошибки.

Теорема справедлива как для дискретных, так и для непрерывных источников информации, если в последнем случае под скоростью создания информации понимать е-энтропию. Приведенная теорема указывает на существование способа кодирования, при котором вероятность ошибки произвольно мала, а скорость передачи информации не уменьшается по сравнению со скоростью создания информации источником, если только Г(х)<С, но она не разъясняет, как найти этот способ кодирования. Можно лишь показать, что вероятность ошибки тем меньше, а скорость передачи тем ближе к скорости создания информации, чем более длинными являются кодируемые последовательности сообщения (блоки).

Обращает на себя внимание утверждение о возможности сохранить скорость передачи при сколь угодно малой вероятности ошибочного приема. Ведь сам по себе факт беспредельного уменьшения вероятности ошибки путем введения избыточности в сигнал (например, путем повторения сигнала, см. § 2-14) никого удивить ке