Основи на предаването на информация PDF
Document Details
Uploaded by GiftedDivisionism
Технически университет - София
Павлина Колева
Tags
Summary
These lecture notes from the Technical University of Sofia cover the basics of information transmission, focusing on message sources and source coding. The document explains fundamental concepts and models related to information theory, relevant to communication networks and the broader field of digital communication.
Full Transcript
Технически Университет – София Факултет по Телекомуникации Катедра „Комуникационни Мрежи“ Основи на предаването на информация Източници на съобщения. Кодиране на източници – Част 1 доц. д-р Павлина Колева Основи на Предаването на Информация ::...
Технически Университет – София Факултет по Телекомуникации Катедра „Комуникационни Мрежи“ Основи на предаването на информация Източници на съобщения. Кодиране на източници – Част 1 доц. д-р Павлина Колева Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 2 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Модели на източници на информация Източниците на информация могат да се моделират чрез случайни процеси, като свойствата на случайния процес зависят от естеството на източника. От теоремата за дискретизация е известно, че всеки случаен сигнал, ако има ограничена честотна лента, може да бъде дискретизиран и еднозначно възстановен от стойностите на получените дискрети. Тъй като всички източници на информация, представляващи интерес за телекомуникациите, могат да се моделират като дискретен във времето случаен процес, разглеждането ще се ограничи само за случайни процеси, които са дискретни във времето. Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 3 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Модели на източници на информация..., X-3, X-1, X0, X1, X2, … Източник на информация Математически модел на дискретен източник на информация Източникът се моделира като дискретен във времето случаен процес. Статистическите характеристики на този процес зависят от естеството на източника на информация (например дали са двоични данни, дискретизиран говорен сигнал и т.н.). Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 4 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Модел на дискретен източник без памет Най-простият модел на източник на информация е „дискретният източник без памет” (ДИБП). Един ДИБП представлява дискретен по време и по амплитуда случаен процес, при който всички състояния на изхода му Xi се генерират независимо и имат едно и също разпределение. Един ДИБП генерира поредица от независими и равномерно разпределени случайни променливи, заемащи стойности от дадено дискретно множество. Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 5 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Модел на дискретен източник без памет Нека A = {а1, а2,..., аn} е множество, от което дискретната случайна променлива Х приема своите стойности. Нека плътността на функцията на разпределение на дискретната случайна променлива Х да бъде означена с рi = p (X = ai) за всяка стойност i = 1, 2, …, n. Едно пълно описание на ДИБП може да се получи от множеството A, наречено азбука на източника и вероятностите {рi}ni=1. Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 6 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Модел на дискретен източник без памет Ако един източник се описва с азбуката A = {0, 1} и вероятности р{Хi = 1} = 1 – p0{Хi = 0} = р0, то той представлява един дискретен двоичен източник без памет. Ако р0 = 0.5, този източник е известен като „двоичен симетричен източник”. Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 7 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Количество информация. Ентропия Вход Изход дискретен източник без памет азбука A {a1, a2, … an} състояния X {x1, x2, … xn} Нека x1 е състоянието, което е най-вероятно да се появи на изхода, а xn е най-малко вероятното. Въпрос: Кое от двете състояния носи повече информация – x1 или xn? Интуитивно може да се каже, че xn предоставя най-много информация. Рационалната мярка за информацията на изхода на даден източник трябва да бъде функция, която намалява с увеличаване на вероятността за поява на състоянията. Малка промяна на вероятността на дадено състояние на изхода не трябва да променя значително количеството информация, което дава това състояние. Мярката за информация трябва да бъде намаляваща и непрекъсната функция на вероятността за поява на състоянията на изхода на източника. Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 8 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Количество информация. Ентропия Информацията, която съдържа изходът xi, зависи от вероятността за поява p(xi), а не от стойността на xi. Тази функция се нарича собствена информация - I(p(xi)). Собствената информация е непрекъсната функция на p(xi). Собствената информация е намаляваща функция на своя аргумент. Най-малко вероятният изход дава най-много информация. 1 1 𝐼 𝑝 𝑥𝑖 = − log 𝑝 𝑥𝑖 = log 𝐼 𝑝 𝑥𝑖 = − log 2 𝑝 𝑥𝑖 = log 2 , 𝑏𝑖𝑡/𝑠𝑦𝑚𝑏𝑜𝑙 𝑝 𝑥𝑖 𝑝 𝑥𝑖 Основата на логаритъма определя единицата, с която се измерва информацията. Ако основата на логаритъма е 2, информацията се измерва в битове. Оттук нататък ще се работи само с логаритми, чиято основа е 2. Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 9 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Количество информация. Ентропия Информацията, която съдържа даден източник е средната стойност на собствената информация на всички възможни изходи на източника. 𝑛 𝑝 𝑥𝑖 𝐼 𝑝 𝑥𝑖 𝑖=1 Информацията, която съдържа даден източник на информация, се нарича ентропия на източника и се означава с Н(Х). Често тя се разглежда като „мярка за неопределеност” на един източник. Най-общо ентропията на една дискретна случайна величина Х зависи от функцията плътност на вероятността и се дефинира като: 𝑛 𝑛 1 𝐻 𝑋 =− 𝑝 𝑥𝑖 log 2 𝑝 𝑥𝑖 = 𝑝 𝑥𝑖 log 2 , 𝑏𝑖𝑡/𝑠𝑦𝑚𝑏𝑜𝑙 𝑝 𝑥𝑖 𝑖=1 𝑖=1 Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 10 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Ентропия на двоичен източник без памет Двоичният източник без памет има входна азбука {0, 1} и две състояния на изхода си – x1 и x2. Ако вероятността за поява на символа „0“ на изхода на източника е p(x1) = p0, то вероятността за поява на символа „1“ на изхода на източника е p(x2) = 1 - p(x1) = 1 - p0. 𝑛 𝐻 𝑋 =− 𝑝 𝑥𝑖 log 2 𝑝 𝑥𝑖 = −𝑝 𝑥1 log 2 𝑝 𝑥1 − 𝑝 𝑥2 log 2 𝑝 𝑥2 𝑖=1 𝐻 𝑋 = −𝑝0 log 2 𝑝0 − 1 − 𝑝0 log 2 1 − 𝑝0 , 𝑏𝑖𝑡/𝑠𝑦𝑚𝑏𝑜𝑙 Тази функция се нарича функция на двоична ентропия - Hb(p0). Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 11 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Ентропия на двоичен източник без памет 𝐻𝑏 𝑝0 = −𝑝0 log 2 𝑝0 − 1 − 𝑝0 log 2 1 − 𝑝0 Ентропията е най-голяма, когато р0 = 0.5. 1 Когато появата на двете състояния на 0.9 изхода е равновероятна. 0.8 0.7 Един източник има най-голяма средна Hb(p0) 0.6 стойност на собствената информация, 0.5 0.4 когато състоянията, които произвежда 0.3 на своя изход, са равновероятни. 0.2 0.1 1 0 𝑝 𝑥1 = 𝑝 𝑥2 = ⋯ = 𝑝 𝑥𝑛 = 𝑛 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 p0 𝐻 𝑋 𝑚𝑎𝑥 = log 2 𝑛 Функция на двоична ентропия 0≤𝐻 𝑋 ≤𝐻 𝑋 𝑚𝑎𝑥 Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 12 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 13 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Форматиране на аналогови сигнали Аналогов Дискретен Цифров сигнал сигнал сигнал бинарни Дискретизация Квантуване Кодиране данни Време – непрекъснато Време – дискретно Време – дискретно Амплитуда – непрекъсната Амплитуда – непрекъсната Амплитуда – дискретна Дискретизацията на аналогови телекомуникационни сигнали се извършва в съответствие с известната теорема на дискретизация (sampling theorem): Всеки непрекъснат във времето сигнал a(t) с честотен спектър, ограничен до честота Fmax, може да бъде еднозначно представен чрез последователност от моментните значения (дискрети), взети през интервали от време ΔTS ≤ 1 / (2Fmax). Дискрет – моментната стойност на даден сигнал, оценявана в интервал от време, в чиито граници тя се изменя с пренебрежимо малка величина. Интервалът от време Тs се нарича още интервал на Найкуист или период на дискретизация (период на следване на дискретите). Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 14 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Форматиране на аналогови сигнали Аналогов Дискретен Цифров сигнал сигнал сигнал бинарни Дискретизация Квантуване Кодиране данни Време – непрекъснато Време – дискретно Време – дискретно Амплитуда – непрекъсната Амплитуда – непрекъсната Амплитуда – дискретна От теоремата за дискретизацията става ясно, че е възможно предаването на част от първичния сигнал, т.е. само неговите дискрети. Дискретизация на аналогов сигнал: блокова схема u1(t) u3(t) Модулатор u2(t) Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 15 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Форматиране на аналогови сигнали Аналогов Дискретен Цифров сигнал сигнал сигнал бинарни Дискретизация Квантуване Кодиране данни Време – непрекъснато Време – дискретно Време – дискретно Амплитуда – непрекъсната Амплитуда – непрекъсната Амплитуда – дискретна От теоремата за дискретизацията става ясно, че е възможно предаването на част от първичния сигнал, т.е. само неговите дискрети. Дискретизация на аналогов сигнал: процес на дискретизация u1(t) u2(t)=es(t) u3(t) τ Ts 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 t 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 t 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 t Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 16 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Форматиране на аналогови сигнали Аналогов Дискретен Цифров сигнал сигнал сигнал бинарни Дискретизация Квантуване Кодиране данни Време – непрекъснато Време – дискретно Време – дискретно Амплитуда – непрекъсната Амплитуда – непрекъсната Амплитуда – дискретна Квантуване – процес на замяна на неограничен брой стойности с краен брой стойности (дискретни стойности - нива). 2 бита – 4 нива 3 бита – 8 нива 1 1 1 11 1 1 0 1 0 1 1 0 1 0 0 0 1 1 0 1 0 1 0 0 0 0 0 1 0 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Основи на Предаването на Информация :: доц. д-р Павлина Колева, проф. дтн Владимир Пулков 17 Източници на съобщения. Кодиране на източници - Част 1 ФТК, Катедра "КМ" Форматиране на аналогови сигнали Аналогов Дискретен Цифров сигнал сигнал сигнал бинарни Дискретизация Квантуване Кодиране данни Време – непрекъснато Време – дискретно Време – дискретно Амплитуда – непрекъсната Амплитуда – непрекъсната Амплитуда – дискретна 2 бита – 4 нива 3 бита – 8 нива 1 1 1 11 1 1 0 1 0 1 1 0 1 0 0 0 1 1 0 1 0 1 0 0 0 0 0 1 0 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 000 010 100 100 100 101 101 0 11 0 11 0 11 0 11 11 0 111 111 111 111 00 01 01 10 10 01 01 01 10 10 10 11 11 11 11 11