Основи статистичної теорії інформації

План

1. Ентропія як міра ступеня невизначеності 

2. Ентропія та інформація.  

3. Принцип необхідної різноманітності Ешбі 

4. Альтернативні підходи до визначення кількості інформації 

Список основної літератури.  


1. Ентропія як міра ступеня невизначеності

Однією з головних властивостей навколишнього світу та подій, явищ, які в ньому відбуваються, є відсутність повної впевненості щодо їх настання. Це створює невизначеність у плануванні наших дій. Але зрозуміло, що ступінь цієї невизначеності залежно від ситуації випадках буде різною.

У процесі управління економічними системами (наприклад, виробництвом) постійно існує невизначеність щодо стану справ у керованому об’єкті та його дій (поводження) у той чи інший момент. Необхідно знати, як забезпечується виконання встановленої програми, плану дій, які справи з матеріально-технічним, фінансовим, енергетичним, інформаційним забезпеченням. Необхідно також мати вичерпну інформацію щодо стану ринкової кон’юнк­тури, економічної політики державних органів управління, діяльності конкурентів, партнерів, споживачів тощо. Невизначеність виникає і щодо вибору найбільш доцільного рішення з множини можливих (керувальний вплив). Для того щоб усунути цю невизначеність, необхідна інформація.

На практиці важливо вміти чисельно оцінювати ступінь невизначеності. Розглянемо випробування, яке має K рівноможливих результатів. Зрозуміло, що коли K = 1, результат випробувань не є випадковим і жодної невизначеності немає

Зі збільшенням K невизначеність зростає. Отже, числова характеристика невизначеності f(K) має бути f(1) = 0 і зростати зі збільшенням K. Розглянемо два незалежні випробування α і b. Нехай випробування α має m, а випробування b — n результатів. Добуток подій αb матиме mn результатів. Невизначеність випробування αb буде біль­шою і від α, і від b.

Природно припустити, що ступінь невизначеності випробування αb дорівнює сумі невизначеностей, які характеризують випробування α і b. Звідси дістаємо таку умову: f(mn) = f(m) + f(n).

Визначимо вигляд цієї функції. Неважко переконатись, що логарифмічна функція y = log(x) — єдина, яка має наведені властивості:

log 1 = 0; log x2 > log x1 при x2 > x1; log(mn) = log m + log n.

Вибір основи системи логарифмів не принциповий, оскільки згідно з формулою logа = logbalogb перехід від однієї основи логарифмів до іншої зводиться до множення на коефіцієнт пропорційності.

У теорії інформації за основу логарифмів беруть число 2, тобто

f(K) = log2(K). Оскільки log22 = 1, то це означає: за одиницю

вимірювання невизначеності взято невизначеність, яка міститься у випробуванні, що має два рівноможливі результати (наприклад, у випробуванні з підкиданням монети).

Така одиниця вимірювання невизначеності називається бітом (bit — binary digit — двійкова цифра).

Розглянемо випробування, що має К рівноймовірних результатів. Тоді таблицю результатів можна подати у вигляді табл. 1.

Таблиця 1

Результати

А1

А2

Аk

Імовірність

1/К

1/К

1 2 3 4 5 6 7 8

Схожі роботи

Реферати

Курсові

Дипломні