Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\

Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\'язування завдань контрольної роботи 34 список рекомендованої літератури 66 передмова




НазваЗміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\'язування завдань контрольної роботи 34 список рекомендованої літератури 66 передмова
Сторінка1/12
Дата24.05.2013
Розмір0.65 Mb.
ТипМетодичні вказівки
  1   2   3   4   5   6   7   8   9   ...   12




ЗМІСТ

С.

ПЕРЕДМОВА 4

ПРОГРАМНИЙ МАТЕРІАЛ 5

КОНТРОЛЬНІ ЗАПИТАННЯ 6

ВКАЗІВКИ ДО ВИКОНАННЯ КОНТРОЛЬНОЇ РОБОТИ 10

ЗАВДАННЯ ДЛЯ КОНТРОЛЬНИХ РОБІТ 10

ЗРАЗКИ 34

розв\'язування завдань контрольної роботи 34

СПИСОК РЕКОМЕНДОВАНОЇ ЛІТЕРАТУРИ 66


ПЕРЕДМОВА


Пропоновані методичні вказівки призначені для організації самостійної роботи студентів-заочників, які мають оволодіти навичками розв'язування практичних завдань з курсу «Теорія інформації».

Метою вивчення дисципліни є засвоєння фундаментальних положень теорії інформації: способів вимірювання та передачі інформації, понять кількості інформації, ентропії випадкових подій та вивчення основних напрямів практичного застосування теорії інформації: способів економного та завадостійкого кодування даних.

Опанування базових знань та набуття практичних навичок при вивченні дисципліни створить засади для подальшого засвоєння спеціалізованих дисциплін у сфері інформатики, комп'ютерних систем, автоматики та управління, комп'ютерної інженерії, телекомунікацій та т. ін. і буде суттєвим підґрунтям для подальшого вдосконалення професійної майстерності молодих спеціалістів у цих галузях.

У методичних вказівках подаються програмний матеріал вивчення дисципліни «Теорія інформації» для студентів відповідних спеціальностей заочної форми навчання і контрольні запитання для самоперевірки знань, наводяться варіанти контрольних робот і зразки розв'язування завдань. Для засвоєння навчальних тем потрібно користуватися конспектом лекцій та рекомендованою літературою.

Методичні вказівки розраховані на студентів технічних спеціальностей заочної форми навчання, які засвоїли курси «Теорія ймовірності» та «Лінійна алгебра».


ПРОГРАМНИЙ МАТЕРІАЛ

до вивчення дисципліни

ТЕОРІЯ ІНФОРМАЦІЇ”


Тема 1 Основні положення теорії інформації

Предмет вивчення дисципліни, сфери її практичного застосування, задачі курсу.

Види інформації. Теорема дискретизації. Збереження, вимірювання, кодування та передача інформації.

Базові поняття теорії інформації. Способи вимірювання інформації. Характеристики дискретних джерел повідомлень: кількість інформації, ентропія, надмірність.

Література [1; 2; 3; 6; 7; 8; 9; 10]


Тема 2 Стиснення інформації

Основи економного кодування інформації. Границі стиснення даних.

Статистичні алгоритми стиснення інформації: оптимальні коди Шеннона-Фано і Хаффмена, блочні коди, арифметичне кодування інформації, адаптивний (динамічний) алгоритм Хаффмена з упорядкованим деревом.

Література [1; 2; 3; 4; 6; 7; 8; 10]


Тема 3 Основи завадостійкого кодування інформації

Основні принципи побудови та використання надмірних кодів. Типи і основні властивості завадостійких кодів.

Лінійні блочні коди: основні властивості. Коди з перевіркою на парність. Ітеративні коди. Способи задання лінійних блокових кодів. Твірна та перевірна матриці лінійного блокового коду. Система перевірних рівнянь. Синдром та виправлення помилок лінійним блоковим кодом. Вага та відстань Хеммінга, можливості лінійних кодів виявляти та виправляти помилки. Код Хеммінга.

Література [1; 2; 3; 5; 6; 7; 8; 10; 11; 12]


КОНТРОЛЬНІ ЗАПИТАННЯ


До теми 1


  1. Які існують види інформації?

  2. Як перевести неперервну інформацію в дискретний (цифровий) вид?

  3. Що таке частота дискретизації неперервної інформації?

  4. Як формулюється теорема дискретизації?

  5. Що таке інформація, кодування, канал зв'язку, шум?

  6. У чому полягають основні положення інформаційного підходу Шеннона до визначення кількості інформації?

  7. Як визначається кількість інформації, що міститься в одному повідомленні дискретного джерела?

  8. Що таке ентропія джерела дискретних повідомлень? Які її властивості?

  9. За яких умов ентропія джерела максимальна?

  10. Як визначається кількість інформації? Які властивості кількості інформації?

  11. Чим обумовлена статистична надмірність джерела інформації?


До теми 2


  1. Що таке економне кодування інформації? З якою метою воно здійснюється?

  2. Які існують способи подання кодів?

  3. Що таке рівномірні й нерівномірні коди?

  4. З якою метою використовуються оптимальні нерівномірні коди?

  5. Що таке надмірність коду? Як вона визначається?

  6. Яке кодування інформації називається статистичним? Які алгоритми стиснення даних відносять до статистичних?

  7. Що таке оптимальне кодування інформації? Який критерій оптимальності статистичних кодів?

  8. Які коди характеризуються як коди «без пам'яті»?

  9. Які коди називаються префіксними? Що таке вектор Крафта? Як визначається нерівність Крафта? У чому полягає умова оптимальності префіксних кодів?

  10. У чому полягає методика побудови оптимального коду Шеннона-Фано?

  11. У чому полягає методика побудови оптимального коду Хаффмена?

  12. Які переваги та недоліки використання оптимального кодування Шеннона-Фано й Хаффмена?

  13. Чим визначається верхня границя стиснення інформації? Які існують границі стиснення при використанні оптимального кодування Шеннона-Фано й Хаффмена?

  14. Які коди характеризуються «наявністю пам'яті»?

  15. Які коди називаються блоковими? Що таке порядок блокового коду?

  16. У чому полягає метод блокування повідомлень? Як будується блоковий код Хаффмена?

  17. У чому полягає арифметичний метод кодування інформації? Які його переваги в порівнянні з іншими статистичними методами стиснення інформації?

  18. Як здійснюється кодування й декодування даних за арифметичним алгоритмом?

  19. У чому полягає адаптивний алгоритм Хаффмена? Що таке впорядковане дерево Хаффмена? Які принципи його побудови?

  20. Як здійснюється кодування/декодування вхідних даних за адаптивним алгоритмом Хаффмена?

  21. У чому переваги адаптивного алгоритму Хаффмена в порівнянні з неадаптивними методами? Які його недоліки?


До теми 3



  1. Які коди називаються завадостійкими? Якими загальними властивостями вони характеризуються?

  2. Для чого у завадостійкі коди вводиться надмірність?

  3. Які існують класи завадостійких кодів?

  4. Як визначаються операції додавання й множення в поле двійкових символів GF(2) (операції додавання й множення за модулем 2)?

  5. Які коди називаються лінійними блоковими кодами? Які коди мають властивість систематичності?

  6. У чому полягає кодування з перевіркою на парність? Яка надмірність такого коду? У чому достоїнства й недоліки цього коду?

  7. Що таке модель двійкового симетричного каналу?

  8. У чому полягає процедура виявлення й виправлення помилок ітеративним кодом? Які переваги й недоліки цього коду?

  9. Які існують способи задання лінійних блокових кодів?

  10. Що таке система перевірних рівнянь лінійного блокового коду?

  11. Що таке твірна матриця лінійного блокового коду? Яку структуру має твірна матриця? Які її властивості?

  12. Що таке перевірна матриця лінійного блокового коду? Які її властивості?

  13. Як, використовуючи твірну матрицю, побудувати систему перевірних рівнянь лінійного блокового коду?

  14. Яку структуру має перевірна матриця лінійного блокового коду? Яка частина перевірної матриці відповідає інформаційним символам, а яка - контрольним?

  15. Як, використовуючи перевірну матрицю, побудувати систему перевірних рівнянь лінійного блокового коду?

  16. Як описується вектор помилок у двійковому каналі зв'язку?

  17. Що таке кодовий синдром лінійного блокового коду? Чим він визначається?

  18. Якою властивістю характеризується кодовий синдром? У яких випадках синдром не дозволяє виявити помилки у переданому слові?

  19. Як за допомогою кодового синдрому виявляються й виправляються помилки лінійним блоковим кодом?

  20. Що таке вага й відстань Хеммінга для двійкових слів?

  21. Що таке мінімальна кодова відстань Хеммінга лінійного блокового коду? Як вона визначається?

  22. У чому полягають необхідна й достатня умови виявлення лінійним блоковим кодом помилок заданої кратності?

  23. У чому полягають необхідна й достатня умови виправлення лінійним блоковим кодом помилок заданої кратності?

  24. У чому полягають необхідна й достатня умови існування завадостійкого коду?

  25. Як визначається мінімальна кількість перевірних символів для лінійного блокового коду із заданими характеристиками?

  26. Як побудувати твірну матрицю лінійного блокового коду із заданими характеристиками?

  27. Які лінійні блокові коди називаються кодами Хеммінга?

  28. Як визначається кількість інформаційних і перевірних символів для коду Хеммінга?

  29. Як будуються кодові слова коду Хеммінга?

  30. Як будується перевірна матриця і система перевірних рівнянь коду Хеммінга?

  31. Як виконується виправлення помилки у прийнятому кодовому слові та його декодування при використанні коду Хеммінга?

  32. Як будується твірна матриця і система перевірних рівнянь коду Хеммінга?



ВКАЗІВКИ ДО ВИКОНАННЯ КОНТРОЛЬНОЇ РОБОТИ


Контрольну роботу студент виконує у вигляді письмового розв'язування завдань за варіантом. Перед розв’язуванням обов'язково записується умова завдання.

Номер варіанта студент вибирає за своїм номером у списку групи, якщо номер не більше 20, в іншому випадку слід відняти від свого номера число 20.

На титульній сторінці контрольної роботи зазначаються назва навчального закладу, прізвище, ім'я, по батькові студента, номер групи, назва дисципліни, номер варіанта, дата виконання та ставиться підпис. У кінці роботи слід навести список використаної літератури.


ЗАВДАННЯ ДЛЯ КОНТРОЛЬНИХ РОБІТ


Варіант 1

  1. Дискретні випадкові величини (д. в. в.) X1 і X2 визначаються підкиданням двох ідеальних тетраедрів, грані яких позначені числами від 1 до 4. Визначити, скільки інформації про X1 міститься в д. в. в. Z=X1*X2, а також ентропію HZ.

  2. Закодувати повідомлення AFXAFF за алгоритмами Шеннона-Фано, Хаффмена, блоковим Хаффмена (для блоків довжини 2) і арифметичним, обчислити їх довжини. Приблизний закон розподілу ймовірностей символів повідомлення визначити з його аналізу.

  3. Закодувати повідомлення BDCBDDCDCBCBD за адаптивним алгоритмом Хаффмена з упорядкованим деревом. Обчислити довжини у бітах незакодованого повідомлення в коді ASCII+ і отриманого коду.

  4. Твірна матриця лінійного систематичного блокового коду (3,6) має вигляд

.

Знайти перевірну матрицю і всі кодові слова даного коду. Визначити синдром виправлення поодиноких помилок у комбінаціях заданого коду. Показати приклад виправлення помилки. Скільки помилок можна виявити/виправити цим кодом?

  1. Закодувати двійковим кодом Хеммінга комбінації 100, 101, 110, 111. Показати приклад виправлення однократної помилки цим кодом. Побудувати твірну матрицю коду. Визначити надмірність коду.


Варіант 2

  1. Дискретна випадкова величина (д. в. в.) X1 може набувати трьох значень: -1, 0 і 1 з однаковими ймовірностями. Д. в. в. X2 з однаковими ймовірностями може набувати значень 0, 1 і 2. X1, X2 – незалежні, Y=X12+X2. Знайти кількості інформації I(X1Y), I(X2Y) і ентропії HX1, HX2, HY.

  2. Скласти арифметичний код, код Хаффмена, блоковий Хаффмена (для блоків довжини 2) і код Шеннона-Фано для повідомлення ^ BAABCB, отриманого від д. в. в. X, що має такий розподіл імовірностей: P(X=A)=1/3, P(X=B)=7/15, P(X=C)=1/5.

  3. Розпакувати повідомлення 'A' 1 0 'B' 0 0 'C' 0 0 0 'D' 0 0 0 1 1 0 0 1 1 1 1 1 0 0110011001, закодоване за адаптивним алгоритмом Хаффмена з упорядкованим деревом. Обчислити довжину коду стисненого й нестисненого повідомлення (у коді ASCII+) в бітах.

  4. Твірна матриця лінійного блокового коду має вигляд

.

Знайти перевірну матрицю ^ H даного коду і мінімальну відстань між кодовими словами dmin. Скільки помилок можна виявити/виправити цим кодом? Визначити кодовий синдром. Скласти таблицю декодування з виправленням однократної помилки.

  1. Декодувати послідовності (101001), (101011), (011001), закодовані (3, 6)- кодом Хеммінга, з виправленням помилок (якщо вони є). Побудувати твірну матрицю даного коду.


Варіант 3

  1. Знайти ентропії дискретних випадкових величин (д. в. в.) X, Y, Z і кількість інформації, що міститься в д. в. в. Z=X+Y відносно д. в. в. X і Y. X і Y – незалежні й задаються такими розподілами ймовірностей:

    X

    0

    1

    3

    4



    Y


    -2

    2


    .

    P

    1/8

    1/8

    1/4

    1/2



    P


    3/8

    5/8
  1   2   3   4   5   6   7   8   9   ...   12

Схожі:

Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Регіональна економіка
Значну допомогу в отриманні цих знань покликані надати методичні рекомендації, які містять індивідуальні контрольні завдання, методичні...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Методичні вказівки до виконання лабораторних робіт з дисципліни «Електротехнічні матеріали» для студентів спеціальності 090603
Методичні вказівки містять теоретичні відомості для підготовки до виконання лабораторних робіт, порядок виконання робіт, зміст звіту...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Методичні вказівки до виконання лабораторних робіт з дисципліни «Електротехнічні матеріали» для студентів спеціальності 090603
Методичні вказівки містять теоретичні відомості для підготовки до виконання лабораторних робіт, порядок виконання робіт, зміст звіту...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Зміст с. Вступ 4 1 Вимоги до виконання курсової роботи 4 2 Завдання для курсової роботи 7 3 Приклад виконання курсової роботи 21 Список рекомендованої літератури
Дані методичні вказівки призначені для організації виконання курсової роботи студентів спеціальності 000008 «Енергетичний менеджмент»...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Методичні вказівки до виконання контрольної роботи з дисципліни " Технологічна оснастка" для студентів спеціальності 090202
Вміщують робочу програму, контрольні питання для перевірки знань, методичні вказівки до виконання контрольної роботи та приклад її...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Методичні рекомендації щодо виконання та оформлення контрольної роботи
Тематика контрольних робіт відповідає навчальній програмі з дисципліни. Тема контрольної роботи вибирається студентом за таблицею...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\1 загальні методичні вказівки щодо виконання та оформлення контрольної роботи
Завдання до теоретичної частини контрольної роботи ( першого одз). Теоретичні питання 10
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Методичні вказівки до виконання контрольної роботи та завдання на неї
Методичні вказівки до виконання контрольної роботи та завдання на неї з курсу "Прогнозування" (для студентів 3 курсу заочної форми...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\До виконання контрольної роботи та завдання на неї з курсу
Методичні вказівки до виконання контрольної роботи та завдання на неї з курсу "Прогнозування" (для студентів 3 курсу заочної форми...
Зміст с. Передмова 4 програмний матеріал 5 контрольні запитання 6 вказівки до виконання контрольної роботи 10 завдання для контрольних робіт 10 зразки 34 розв\\\Г. Г. Фесенко Завдання та методичні вказівки до виконання контрольної роботи з навчальної дисципліни
Завдання та методичні вказівки до виконання контрольної роботи з навчальної дисципліни «Психологія управління» (для студентів 5 курсу...
Додайте кнопку на своєму сайті:
Документи


База даних захищена авторським правом ©zavantag.com 2000-2013
При копіюванні матеріалу обов'язкове зазначення активного посилання відкритою для індексації.
звернутися до адміністрації
Документи