Схема передачи информации по каналу связи. Схема передачи информации по сотовой связи. Что такое информация
| 8 классы | Планирование уроков на учебный год | Работа в локальной сети компьютерного класса в режиме обмена файлами
Урок 2
Работа в локальной сети компьютерного класса в режиме обмена файлами
Передача информации по техническим каналам связи
Передача информации по техническим каналам связи
Схема Шеннона
Американский ученый, один из основателей теории информации, Клод Шеннон предложил схему процесса передачи информации по техническим каналам связи (рис. 1.3).
Рис. 1.3. Схема технической системы передачи информации
Работу такой схемы можно пояснить на знакомом всем процессе разговора по телефону. Источник информации - говорящий человек. Кодирующее устройство - микрофон телефонной трубки, с помощью которого звуковые волны (речь) преобразуются в электрические сигналы. Канал связи - телефонная сеть (провода, коммутаторы телефонных узлов, через которые проходит сигнал). Декодирующее устройство - телефонная трубка (наушник) слушающего человека - приемника информации. Здесь пришедший электрический сигнал превращается в звук.
Здесь передача информации производится в форме непрерывного электрического сигнала. Это аналоговая связь
.
Кодирование и декодирование информации
Под кодированием понимается любое преобразование информации, идущей от источника, в форму, пригодную для ее передачи по каналу связи.
На заре эры радиосвязи применялся код азбуки Морзе . Текст преобразовывался в последовательность точек и тире (коротких и длинных сигналов) и передавался в эфир. Принимавший на слух такую передачу человек должен был суметь декодировать код обратно в текст. Еще раньше азбука Морзе использовалась в телеграфной связи. Передача информации с помощью азбуки Морзе - пример дискретной связи.
В настоящее время широко используется цифровая связь, когда передаваемая информация кодируется в двоичную форму (0 и 1 - двоичные цифры), а затем декодируется в текст, изображение, звук. Цифровая связь, очевидно, тоже является дискретной.
Шум и защита от шума. Теория кодирования Шеннона
Информация по каналам связи передается посредством сигналов различной физической природы: электрических, электромагнитных, световых, акустических . Информационное содержание сигнала заключается в значении или в изменении значения его физической величины (силы тока, яркости света и пр.). Термином «шум» называют разного рода помехи, искажающие передаваемый сигнал и приводящие к потере информации. Такие помехи прежде всего возникают по техническим причинам: плохое качество линий связи, незащищенность друг от друга различных потоков информации, передаваемых по одним и тем же каналам. Часто, беседуя по телефону, мы слышим шум, треск, мешающие понять собеседника, или на наш разговор накладывается разговор других людей. В таких случаях необходима защита от шума.
В первую очередь применяются технические способы защиты каналов связи от воздействия шумов. Такие способы бывают самыми разными, иногда простыми, иногда очень сложными. Например, использование экранированного кабеля вместо «голого» провода; применение разного рода фильтров, отделяющих полезный сигнал от шума, и пр.
К. Шеннон разработал специальную теорию кодирования , дающую методы борьбы с шумом. Одна из важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным. За счет этого потеря какой-то части информации при передаче может быть компенсирована. Например, если при разговоре по телефону вас плохо слышно, то, повторяя каждое слово дважды, вы имеете больше шансов на то, что собеседник поймет вас правильно.
Однако нельзя делать избыточность слишком большой. Это приведет к задержкам и удорожанию связи. Теория кодирования Шеннона как раз и позволяет получить такой код, который будет оптимальным. При этом избыточность передаваемой информации будет минимально возможной, а достоверность принятой информации - максимальной.
В современных системах цифровой связи часто применяется следующий прием борьбы с потерей информации при передаче. Все сообщение разбивается на порции - пакеты
. Для каждого пакета вычисляется контрольная сумма (сумма двоичных цифр), которая передается вместе с данным пакетом. В месте приема заново вычисляется контрольная сумма принятого пакета, и если она не совпадает с первоначальной, то передача данного пакета повторяется. Так происходит до тех пор, пока исходная и конечная контрольные суммы не совпадут.
Коротко о главном
Любая техническая система передачи информации состоит из источника, приемника, устройств кодирования и декодирования и канала связи .
Под кодированием понимается преобразование информации, идущей от источника, в форму, пригодную для ее передачи по каналу связи. Декодирование - это обратное преобразование.
Шум - это помехи, приводящие к потере информации.
В теории кодирования разработаны методы
представления передаваемой информации с целью уменьшения ее потерь под воздействием шума.
Вопросы и задания
1. Назовите основные элементы схемы передачи информации, предложенной К. Шенноном.
2. Что такое кодирование и декодирование при передаче информации?
3. Что такое шум? Каковы его последствия при передаче информации?
4. Какие существуют способы борьбы с шумом?
ЕК ЦОР: Часть 2, заключение, дополнение к главе 1, § 1.1. ЦОР № 1.
Ранее источник информации был определен как объект или субъект, порождающий информацию и имеющий возможность представить ее в виде сообщения, т.е. последовательности сигналов в материальном носителе. Другими словами, источник связывает информацию с ее материальным носителем. Передача сообщения от источника к приемнику всегда связана с некоторым нестационарным процессом, происходящим в материальной среде - это условие является обязательным, поскольку сама информация материальным объектом или формой существования материи не является. Способов передачи информации существует множество: почта, телефон, радио, телевидение, компьютерные сети и пр. Однако при всем разнообразии конкретной реализации способов связи в них можно выделить общие элементы, представленные на рис.5.1.
Понимать схему нужно следующим образом. Источник, порождающий информацию, для передачи должен представить ее в виде сообщения, т.е. последовательности сигналов. При этом для представления информации он должен использовать некоторую систему кодирования. Устройство, выполняющее операцию кодирования информации, может являться подсистемой источника (например, наш мозг порождает информацию и он же кодирует эту информацию с помощью языка, а затем представляет в виде речевого сообщения посредством органов речи; компьютер обрабатывает и хранит информацию в двоичном представлении, но при выводе ее на экран монитора производит ее перекодировку к виду, удобному пользователю).
Возможна ситуация, когда кодирующее устройство оказывается внешним по отношению к источнику информации, например, телеграфный аппарат или компьютер по отношению к работающему на нем оператору. Далее коды должны быть переведены в последовательность материальных сигналов, т.е. помещены на материальный носитель - эту операцию выполняет преобразователь. Преобразователь может быть совмещен с кодирующим устройством (например, телеграфный аппарат), но может быть и самостоятельным элементом линии связи (например, модем, преобразующий электрические дискретные сигналы с частотой компьютера в аналоговые сигналы с частотой, на которой их затухание в телефонных линиях будет наименьшим). К преобразователям относят также устройства, которые переводят сообщение с одного носителя на другой, например, мегафон или телефонный аппарат, преобразующие голосовые сигналы в электрические; радиопередатчик, преобразующие голосовые сигналы в радиоволны; телекамера, преобразующая изображение в последовательность электрических импульсов. В общем случае при преобразовании выходные сигналы не полностью воспроизводят все особенности сообщения на входе, а лишь его существенные стороны, т.е. при преобразовании часть информации теряется. Например, полоса пропускания частот при телефонной связи от 300 до 3400 Гц, в то время как частоты, воспринимаемые человечески ухом, лежат в интервале 16 - 20000 Гц (т.е. телефонные линии «обрезают» высокие частоты, что приводит к искажениям звука); в черно-белом телевидении при преобразовании теряется цвет изображения. Именно в связи с этим встает задача выработки такого способа кодирования сообщения, который обеспечивал бы возможно более полное представление исходной информации при преобразовании и, в то же время, был согласован со скоростью передачи информации по данной линии связи.
После преобразователя сигналы поступают и распространяются по каналу связи. Понятие канала связи включает в себя материальную среду, а также физический или иной процесс, посредством которого осуществляется передача сообщения, т.е. распространение сигналов в пространстве с течением времени. Ниже приведены примеры некоторых каналов связи.
После прохождения сообщения по каналу связи сигналы с помощью приемного преобразователя переводятся в последовательность кодов, которые декодирующим устройством представляются в форме, необходимой приемнику информации. На этапе приема, как и при передаче, преобразователь может быть совмещен с декодирующим устройством (например, радиоприемник или телевизор) или существовать самостоятельно (например, модем).
Понятие линия связи объединяет все элементы представленной на рис.5.1. схемы от источника до приемника информации. Характеристиками любой линии связи являются скорость, с которой возможна передача сообщения в ней, а также степень искажения сообщения в процессе передачи. Из этих параметров вычленим те, что относятся непосредственно к каналу связи, т.е. характеризуют среду и процесс передачи.
Лекция 12. Передача информации в линии связи
Общая схема передачи информации в линиии связи
Характеристики канала связи
Влияние шумов на пропускную способность канала
1. Общая схема передачи информации в линии связи
Использование информации для решения каких-либо задач, безусловно, сопряжено с необходимостью ее распространения, то есть с необходимостью осуществления процессов передачи и приема информации. При этом приходится решать проблему согласования метода кодирования с характеристиками канала связи, а также обеспечивать защиту передаваемой информации от возможных искажений.
Источник информации определен как объект или субъект, порождающий информацию и имеющий возможность представить ее в виде сообщения, то есть последовательности сигналов в материальном носителе. Другими словами, источник информации связывает информацию с ее материальным носителем. Передача сообщения от источника к приемнику всегда связана с некоторым нестационарным процессом, происходящим в материальной среде – это условие является обязательным, поскольку сама информация материальным объектом не является.
Способов передачи информации существует множество: почта, телефон, радио, телевидение, компьютерные сети и пр. Однако при всем разноообразии конкретной реализации способов связи в них можно выделить общие элементы: источник и получатель информации, кодирующее и декодирующее устройства, преобразователь кодов в сигналы и преобразователь сигналов в коды, канал связи, а также источники шумов (помех) и факторы, обеспечивающие защиту от шумов (см. схему на рис. 4).
Понимать схему нужно следующим образом. Источник , порождающий информацию, для передачи должен представить ее виде сообщения, то есть последовательности сигналов. При этом для представления информации он дожен использовать некоторую систему кодирования.Устройство, выполняющее операцию кодирования информации, может являться подсистемой источника информации. Например, наш мозг порождает информацию и он же кодирует эту информацию с помощью языка (например, русского), а затем представляет информацию в виде речевого сообщения посредством органов речи. Компьютер обрабатывает и хранит информацию в двоичном представлении, но при выводе ее на экран монитора он же – компьютер – производит ее перекодировку пользователю виду.
Возможна ситуация, когда кодирующее устройство оказывается внешним по отношению к источнику информации, например, телеграфный аппарат или компьютер по отношению к человеку – работающему на нем оператору. Далее коды должны быть переведены в последовательность материальных сигналов, то есть помещены на материальный носитель – эту операцию выполняет преобразователь . Преобразователь может бытьсовмещен с кодирующим устройством (например, телеграфный аппарат), но может быть исамостоятельным элементом линиии связи (например, модем, преобразующий электрические дискретные сигналы с частотой компьютера в аналоговые сигналы с частотой, на которой их затухание в телефонных линиях будет наименьшим).
К преобразователям относят также устройства, которые переводят сообщение с одного носителя на другой . Например:
телефонный аппарат, преобразующий звуковые сигналы в электрические;
радипередатчик, преобразующий звуковые сигналы в радиоволны;
телекамера, преобразующая изображение в последовательность электрических импульсов.
Рис. 4. Общая схема передачи информации
В общем случае при преобразовании выходные сигналы воспроизводят не полностью все особенности входного сообщения, а лишь его наиболее существенные стороны, то есть при преобразовании часть информации теряется. Например, полоса пропускания частот при телефонной связи находится в промежутке от 300 до 3400 Гц, в то время как частоты, воспринимаемые человеческим ухом, лежат в интервале от 16 до 20000 Гц.
Таким образом, телефонные линиии «обрезают» высокие частоты, что приводитк искажениям звука; в черно-белом телевидении при преобразовании сообщения в сигналы теряется цвет изображения. Именно в связи с этими проблемами возникает задача выработки такого способа кодирования сообщения, который обеспечивал бы возможно более полное представление исходной информации при преобразовании, и, в то же время, этот способ был бы согласован со скоростью передачи информации по данной линии связи.
После преобразователя сигналы поступают в канал связи и распространяются в нем.Понятие канала связи включает в себя материальную среду , а также физический или иной процесс , посредством которого осуществляется передача сообщения, то есть распространение сигналов в пространстве с течением времени.
В табл. 20приведены примеры некоторых каналов связи.
Табл. 20. Примеры каналов связи
|
Канал связи |
Среда |
Носитель сообщения |
Процесс, используемый для передачи сообщения |
|
Среда обитания человека |
Механическое перемещение носителя |
||
|
Телефон, компьютерные сети |
Проводник |
Электрические заряды |
Перемещение зарядов (ток) |
|
Радио, телевидение |
Электромагнитное |
Электромагнитные |
Распространение электромагнитных волн |
|
Звуковые волны |
Распространение звуковых волн |
||
|
Обоняние, вкус |
Воздух, пища |
Химические вещества |
Химические реакции |
|
Осязание |
Поверхность кожи |
Ввоздействующий на кожу объект |
Теплопередача, давление |
Любой реальный канал связи подвержен внешним воздействиям, а также в нем могут происходить внутренние процессы, в результате которых искажаются передаваемые сигналы, и, следовательно, связанные с этими сигналами сообщения. Такие воздействия называютсяшумами (помехами ). Источники помех могут бытьвнешними ивнутренними . Квнешним помехам относятся, например, так называемые «наводки» от мощных потребителей электричества или атмосферных явлений; одновременное действие нескольких близкорасположенных однотипых источников сообщений (одновременный разговор нескольких человек). К помехам могут привоить ивнутренние особенности данного канала связи, например, физические неоднородности носителя; процессы затухания сигнала в линии связи, существенные при большой удаленности приемника от источника.
Если уровень помех оказывается соизмеримым с мощностью несущего информацию сигнала, то передача информации по данному каналу оказывается невозможной. Даже шумы относительно низких уровней могут вызвать существенные искажения передаваемого сигнала.
Существуют и применяются различные методы защиты от помех . Например, используется экранирование элетрических линий связи; улучшение избирательности примного устройства и так далее Другим способом защиты от помех является использование специальных методов кодирования информации.
После прохождения сообщения по каналу связи сигналы с помощью приемного преобразователя переводятся в последовательность кодов, которыедекодирующим устройством представляются в форме, необходимой для примника информации (в воспринимаемой приемником форме). На этапе приема, как и при передаче, преобразователь может быть совмещенным с декодирующим устройством (например, радиоприемник или телевизор) или существовать отдельно от декодирующего устройства (преобразователь модем может существует отдельно от компьютера).
Понятие «линия связи » объединяет элементы представленной на рис. 1 схемы между источником и приемником информации.Характеристиками любой линии связи являютсяскорость , с которой возможна передача сообщения в ней, а такжестепень искажения сообщения в процессе передачи.
Общая схема передачи информации в линии связи
Ранее источник информации был определен как объект или субъект, порождающий информацию и имеющий возможность представить ее в виде сообщения, т.е. последовательности сигналов в материальном носителе. Другими словами, источник связывает информацию с ее материальным носителем. Передача сообщения от источника к приемнику всегда связана с некоторым нестационарным процессом, происходящим в материальной среде. Это условие является обязательным, поскольку сама информация материальным объектом или формой существования материи не является. Способов передачи информации существует множество: почта, телефон, радио, телевидение, компьютерные сети и пр. Однако при всем разнообразии конкретной реализации способов связи в них можно выделить общие элементы, представленные на схеме (рис. 9).
Возможна ситуация, когда кодирующее устройство оказывается внешним по отношению к источнику информации, например, телеграфный аппарат или компьютер по отношению к работающему на нем оператору. Далее коды должны быть переведены в последовательность материальных сигналов, т. е. помещены на материальный носитель - эту операцию выполняет преобразователь. Преобразователь может быть совмещен с кодирующим устройством (например, телеграфный аппарат),
Рис. 9.
связи может являться и самостоятельным элементом линии связи (например, модем, преобразующий электрические дискретные сигналы с частотой компьютера в аналоговые сигналы с частотой, на которой их затухание в телефонных линиях будет наименьшим). К преобразователям относят также устройства, которые переводят сообщение с одного носителя на другой, например, мегафон или телефонный аппарат, преобразующие голосовые сигналы в электрические; радиопередатчик, преобразующий голосовые сигналы в радиоволны; телекамера, преобразующая изображение в последовательность электрических импульсов. В общем случае при преобразовании выходные сигналы не полностью воспроизводят все особенности сообщения на входе, а лишь его существенные стороны, т. е. при преобразовании часть информации теряется. Например, полоса пропускания частот при телефонной связи от 300 до 3400 Гц, в то время как частоты, воспринимаемые человеческим ухом, лежат в интервале - 16-20 000 Гц (т. е. телефонные линии «обрезают» высокие частоты, что приводит к искажениям звука); в черно-белом телевидении при преобразовании теряется цвет изображения. Именно в связи с этим встает задача выработки такого способа кодирования сообщения, который обеспечивал бы возможно более полное представление исходной информации при преобразовании и в то же время был бы согласован со скоростью передачи информации по данной линии связи.
После преобразователя сигналы поступают и распространяются по каналу связи. Понятие «канал связи» включает в себя материальную среду, а также физический или иной процесс, посредством которого осуществляется передача сообщения, т. е. распространение сигналов в пространстве с течением времени. В таблице 10 приведены примеры некоторых каналов связи.
Любой реальный канал связи подвержен внешним воздействиям, в нем также могут происходить внутренние процессы, в результате которых искажаются передаваемые сигналы и, следовательно, связанное с ними сообщение. Такие воздействия называются шумами (помехами). Источники помех могут быть внешними,
Каналы связи
Таблица 10
|
Канал связи |
Среда |
Носитель сообщения |
Процесс, используемый для передачи сообщений |
|
Почта, курьеры |
Среда обитания человека |
Механическое перемещение носителя |
|
|
Телефон, компьютерные сети |
Проводник |
Электрический ток |
Перемещение электрических зарядов |
|
Радио, телевидение |
Электромагнитное |
Электромагнитные |
Распространение электромагнитных волн |
|
Световые волны |
Распространение световых волн |
||
|
Звуковые волны |
Распространение звуковых волн |
||
|
Обоняние, вкус |
Воздух, пища |
Химические вещества |
|
|
Осязание |
Поверхность кожи |
Объект, воздействующий на органы осязания |
Теплопередача, давление |
После прохождения сообщения по каналу связи сигналы с помощью приемного преобразователя переводятся в последовательность кодов, которые декодирующим устройством представляются в форме, необходимой приемнику информации. На этапе приема, как и при передаче, преобразователь может быть совмещен с декодирующим устройством (например, радиоприемник или телевизор) или существовать самостоятельно (например, модем).
Понятие «линия связи» объединяет все элементы, представленные на схеме, - от источника до приемника информации. Характеристиками любой линии связи являются скорость, с которой возможна передача сообщения в ней, а также степень искажения сообщения в процессе передачи. Из этих параметров вычленим те, что относятся непосредственно к каналу связи, т. е. характеризуют среду и процесс передачи.
Характеристики канала связи
Далее рассмотрим каналы связи, передача сообщений по которым осуществляется за счет электрических импульсов. С практической точки зрения, а также для компьютерных линий связи эти каналы представляют наибольший интерес.
Ширина полосы пропускания
Любой преобразователь, работа которого основана на использовании колебаний (электрических или механических) может формировать и пропускать сигналы из ограниченной области частот. (Пример с телефонной связью приводился выше.) То же следует отнести к радио и телевизионной связи: весь частотный спектр разделен на диапазоны (ДВ, СВ, KBI, КВП, УКВ, ДМ В), в пределах которых каждая станция занимает свой поддиапазон, чтобы не мешать вещанию других.
Интервал частот, используемый данным каналом связи для передачи сигналов, называется шириной полосы пропускания.
Для построения теории важна не сама ширина полосы пропускания, а максимальное значение частоты из данной полосы (v m), поскольку именно ей определяется возможная скорость передачи информации по каналу.
Длительность элементарного импульса может быть определена из следующих соображений. Если параметр сигнала меняется синусоидально, то, как видно из рисунка, за один период колебания Т сигнал будет иметь одно максимальное значение и одно минимальное.
Рис. 10.
Если аппроксимировать синусоиду прямоугольными импульсами и сместить начало отсчета на уровень минимального значения, получится, что сигнал принимает всего два значения: максимальное (обозначим его «1») - импульс, минимальное (можно обозначить «О») - пауза. Импульс и паузу можно считать элементарными сигналами; при выбранной аппроксимации их длительности очевидно одинаковы и равны:
Если же импульсы порождаются тактовым генератором, имеющим частоту v m , то
Таким образом, каждое т 0 секунд можно передавать импульс или паузу, связывая с их последовательностью определенные коды. Использовать сигналы большей длительности, чем т 0 , в принципе, возможно (например, 2т 0) - это не приведет к потере информации, хотя снизит скорость ее передачи по каналу. Использование же сигналов более коротких, чем т 0 , может привести к информационным потерям, поскольку сигналы тогда будут принимать какие-то промежуточные значения между минимальным и максимальным, что затруднит их интерпретацию.
Таким образом, v m определяет длительность элементарного сигнала т 0 , используемого для передачи сообщения.
Пропускная способность канала связи
Если с передачей одного импульса связано количество информации 1. тр, а передается оно за время т 0 , отношение I к т 0 , очевидно, будет отражать среднее количество информации, передаваемое по каналу за единицу времени, - эта величина является характеристикой канала связи и называется пропускной способностью канала С:
Если Г тр выражено в битах, а т 0 - в секундах, то единицей измерения С будет бит/с. Раньше такая единица называлась бод, однако название не прижилось, и по этой причине пропускная способность канала связи измеряется в бит/с. Производными единицами являются:
- 1 Кбит/с = 10 3 бит/с,
- 1 Мбит/с = 10 6 бит/с,
- 1 Гбит/с = 10 9 бит/с.
Скорость передачи информации
Пусть по каналу связи за время t передано количество информации I. Можно ввести величину, характеризующую быстроту передачи информации, - скорость передачи информации J:
Размерностью J, как и С, является бит/с. Каково соотношение этих характеристик? Поскольку т 0 - минимальная длительность элементарного сигнала, очевидно, что С соответствует максимальной скорости передачи информации по данной линии связи, т. е. J J max Таким образом, максимальная скорость передачи информации по каналу связи равна его пропускной способности.
Энтропия и информация
Случайные события могут быть описаны с использованием понятия «вероятность». Соотношения теории вероятностей позволяют найти (вычислить) вероятности как одиночных случайных событий, так и сложных опытов, объединяющих несколько независимых или связанных между собой событий. Однако описать случайные события можно не только в терминах вероятностей.
То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием. Безусловно, степень неопределенности различна для разных ситуаций. Например, если опыт состоит в определении возраста случайно выбранного студента 1-го курса дневного отделения вуза, то с большой долей уверенности можно утверждать, что он окажется менее 30 лет; хотя по положению на дневном отделении могут обучаться лица в возрасте до 35 лет, чаще всего очно учатся выпускники школ ближайших нескольких выпусков. Гораздо меньшую определенность имеет аналогичный опыт, если проверяется, будет ли возраст произвольно выбранного студента меньше 18 лет. Для практики важно иметь возможность произвести численную оценку неопределенности разных опытов. Попробуем ввести такую количественную меру неопределенности.
Начнем с простой ситуации, когда опыт имеет п равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от п, т. е. мера неопределенности является функцией числа исходов f(n).
Можно указать некоторые свойства этой функции:
- 1. f(l) = 0, поскольку при п = 1 исход опыта не является случайным и, следовательно, неопределенность отсутствует;
- 2. f(n) возрастает с ростом п, поскольку чем больше число возможных исходов, тем более затруднительным становится предсказание результата опыта.
Единица измерения неопределенности при двух возможных равновероятных
исходах опыта называется бит.
Установлен явный вид функции, описывающей меру неопределенности опыта, имеющего п равновероятных исходов:
Эта величина получила название энтропия. В дальнейшем будем обозначать ее Н. Утверждение. Энтропия равна информации относительно опыта, которая содержится в нем самом.
Можно уточнить:
Энтропия опыта равна той информации, которую получаем в результате его осуществления.
Свойства информации:
- 1. /(а,Р) > 0, причем /(а,|3) = 0 опыты аир независимы.
- 2. /(а,р) = /(Р,а), т. е. информация симметрична относительно последовательности опытов.
3.
5 т. е. информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе.
Легко получить следствие формулы
для случая, когда
все п исходов равновероятны. В этом случае все и, следовательно,
Эта формула была выведена в 1928 г. американским инженером Р. Хартли и носит его имя. Она связывает количество равновероятных состояний (п) и количество информации в сообщении (/), что любое из этих состояний реализовалось. Ее смысл в том, что, если некоторое множество содержит п элементов и х принадлежит данному множеству, то для его выделения (однозначной идентификации) среди прочих требуется количество информации, равное log 2 «.
Частным случаем применения формулы Хартли является ситуация, когда п = 2 к. Подставляя это значение в формулу Хартли, очевидно, получим:
Формула Шеннона
Известны вероятности
, с которыми система принимает одно из своих состояний
- формула Шеннона - энтропия системы - формула измерения количества информации.
Свойства энтропии
2.
. (Формула Хартли)
Это случай максимальной энтропии.
Первая теорема Шеннона.
При отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю.
Вторая теорема Шеннона.
При передаче информации по каналу с шумом всегда имеется способ кодирования, при котором сообщение будет передаваться со сколь угодно высокой достоверностью, если скорость передачи не превышает пропускной способности канала.
Специфика различных областей применения систем передачи информации требует различного подхода к реализации таких систем. Система передачи по телефонным каналам связи, например, совершенно не похожа на систему космической связи или тропосферной ни по техническому исполнению, ни по параметрам. Однако в принципах построения и назначении отдельных устройств самых разных систем много общего. В общем случае схема системы передачи информации показана на рис. 2 .
Можно передавать самые различные по физической природе сообщения: цифровые данные, полученные от ЭВМ, речь, тексты телеграмм, команды управления, результаты измерений различных физических величин. Естественно, что все эти сообщения предварительно должны быть преобразованы в электрические колебания, сохраняющие все свойства исходных сообщений, а затем унифицированы, т. е. представлены в форме, удобной
для последующей передачи. Под источником информации на рис. 2 понимается устройство, в котором выполнены все названные нами ранее операции.
Для более экономного использования линии связи, а также для уменьшения влияния различных помех и искажений передаваемая от источника информация может быть в дальнейшем преобразована с помощью кодирующего устройства.
Рис. 2. Структурная схема передачи информации.
Это преобразование, как правило, состоит из ряда операций, включающих учет статистики поступающей информации для устранения избыточности (статистическое кодирование), а также введение дополнительных элементов для уменьшения влияния помех и искажений (помехоустойчивое кодирование).
В результате ряда преобразований на выходе кодирующего устройства образуется последовательность элементов, которая с помощью передатчика преобразуется в форму, удобную для передачи по линии связи. Линия связи - это среда, по которой происходит передача сигналов от передатчика к приемнику. Учет влияния среды необходим. В теории передачи информации часто встречается понятие «канал связи» - это совокупность средств, обеспечивающих передачу сигналов.
На вход приемника, кроме сигналов, прошедших среду, попадают также различные помехи. Приемник выделяет из смеси сигнала и помех последовательность, которая должна соответствовать последовательности на выходе кодирующего устройства. Однако из-за действия помех, влияния среды, погрешностей различных преобразований полное соответствие получить невозможно. Поэтому такая последовательность вводится в декодирующее устройство, которое выполняет операции по ее преобразованию в последовательность, соответствующую переданной. Полнота этого соответствия зависит от ряда факторов: корректирующих возможностей кодированной последовательности, уровня сигнала и помех, а также их статистики, свойств декодирующего устройства. Сформированная в результате декодирования последовательность поступает к получателю информации. Естественно, что при проектировании систем передачи информации всегда стремятся обеспечить такие условия работы, чтобы отличие информации, получаемой от источника, от информации, передаваемой получателю, было невелико и не превышало некоторой допустимой величины. В данном случае основным показателем качества передачи является достоверность передачи информации - степень соответствия принятого сообщения переданному .