Основи статистичної теорії інформації

тим більше буде інформації про систему і тим менш невизначеним буде її стан. Тому кількість інформації можна вимірювати зменшенням ентропії тієї системи, для уточнення стану якої призначено відомості.  

Розглянемо деяку систему Х, щодо якої виконуються спостереження, і оцінимо інформацію, здобуту в результаті того, що стан системи став цілком відомим. До отримання відомостей ентропія системи була Н(Х), а коли їх було отримано, стан системи цілком визначився, тобто ентропія стала дорівнювати нулю. Нехай Ix — інформація, здобута в результаті з’ясування стану системи Х. Вона дорівнює зменшенню ентропії:

                   ,                 (6)

тобто кількість здобуваної інформації в разі повного з’ясування стану деякої фізичної системи дорівнює ентропії цієї системи. Формулу (4. 6) можна записати докладніше:

                         ,                          (7)

де Pi = P(X = xi). Співвідношення (7) означає, що інформація Ix є усередненим (за всіма станами системи) значенням логарифма ймовірності стану (зі знаком «мінус»). Кожний окремий доданок

(–logPi) можна розглядати як часткову інформацію від окремого повідомлення, яке полягає в тому, що система Х перебуває у стані хi. Позначивши цю інформацію через , дістанемо:

                          .                                (8)

Тоді інформація Ix буде середньою (повною) інформацією, що її було отримано від усіх можливих окремих повідомлень:

               ,             (9)

де Х —кожний (випадковий) стан системи Х.

Оскільки 0 £ Pi £ 1, то як часткова Ix, так і повна Ix невід’ємні. Якщо всі можливі стани рівноможливі (P1 = P2 = … = Pn = 1/n), то

,

Ми розглядали інформацію про стан деякої системи Х, отриману за допомогою безпосереднього її спостереження. На практиці система Х найчастіше буває недоступна безпосередньому спостереженню, і стан її з’ясовується за допомогою деякої системи Y, певним чином пов’язаної з нею

Наприклад, замість безпосереднього спостереження за літаком ведеться спостереження за екраном локатора і т.  ін.

Розбіжності між системою Х, яка нас безпосередньо цікавить, і спостережуваною системою Y можуть бути двох типів.

1.  Розходження за рахунок того, що система Y «грубіша», менш різноманітна, є гомоморфним образом Х, тому деякі стани Х не відображуються в Y.

2.  Розбіжності за рахунок помилок: неточностей вимірювання параметрів системи Х і помилок у передаванні повідомлень.

У разі, коли зазначені системи Х та Y різні, постає запитання: яку кількість інформації про систему Х дасть спостереження над системою Y?

Природно визначити цю інформацію як зменшення ентропії системи Х в результаті отримання відомостей про стан системи Y:

                   .                     (10)

Справді, доти, доки відомостей про систему Y не було, ентропія системи Х становила Н(Х). Після отримання відомостей «залишкова» ентропія стала Н(Х/Y). Отож знищена відомостями ентропія і є інформація ІY®X.

Величину ІY®X називають повною, або середньою, інформацією про систему Х, що міститься в системі Y.

Можна довести, що ІY®X = ІX®Y. Позначимо через ІX«Y =

ІX®Y = ІY®X. Інформацію ІX«Y називають повною взаємною інформацією, що міститься в системах Х та Y.

1 2 3 4 5 6 7 8

Схожі роботи

Реферати

Курсові

Дипломні