Основи статистичної теорії інформації

H(X) + H(Y).

Цей висновок можна узагальнити на скінченну кількість систем: у результаті об’єднання незалежних систем їхні ентропії додаються:

.

Умовна ентропія. Нехай маємо дві системи X і Y, які в загаль­ному випадку залежні. Припустимо, що система X набула зна­чення xi. Позначимо через P(yj/xi) умовну ймовірність того, що система Y набуде стану yj за умови, що система X перебуває у стані xi:

 

Визначимо умовну ентропію системи Y за умови, що система Х перебуває у стані хi:

         (1)

де МХi — оператор умовного математичного сподівання величини, що міститься в дужках, за умови Х ~ xi.

Умовна ентропія залежить від того стану xi, якого набула система Х; для одних станів вона більша, для інших менша. Визначимо середню або повну ентропію системи Y, ураховуючи, що система може набувати будь-яких значень. Для цього кожну умовну ентропію (1) помножимо на ймовірність відповідного стану Рi, а далі всі такі добутки додамо.

Отже, позначимо повну умовну ентропію через Н(Y / Х). Тоді величина

                                         (2)

за означенням буде повною умовною ентропією.

Скориставшись формулою (1) та взявши до уваги, що piH ´

´ (Y / xi) = Pij, можна одержати:

        .       (3)

Величина Н(Y / Х) характеризує ступінь невизначеності системи Y, що залишається після того, як стан системи Х цілком визначився

Її називають повною умовною ентропією системи Y відносно Х.

Для умовної ентропії справджується таке твердження: якщо дві системи Х та Y поєднуються в одну, то ентропія об’єднаної системи буде дорівнювати сумі ентропії однієї з них та умовної ентропії іншої щодо першої:

Н(Х, Y) = Н(Х) + Н(Y / Х); Н(Х, Y) = Н(Y) + Н(X / Y). (4)

У частинному випадку, коли системи Х і Y незалежні, тобто

Н(YХ) = Н(Y), маємо рівність:

Н(Х, Y) = Н(Х) + Н(Y),

а в загальному випадку виконується нерівність:

 Н(Х, Y) £ Н(Х) + Н(Y).                    (5)

Співвідношення (4. 5) випливає з того, що повна умовна ен-

тропія не може перевищувати безумовної: Н(Y / Х) £ Н(Y).

Розглянемо інший крайній випадок, коли станом однієї із систем Х цілком визначається стан іншої Y. Тоді Н(Y / Х) = 0, а отже, маємо

Н(Х, Y) = Н(Х) = Н(Y).

Інтуїтивно зрозуміло, що ступінь невизначеності системи не може зрости через те, що стан якоїсь іншої системи став відомим. Зі співвідношення (4. 5) випливає, що невизначеність системи, її ентропія досягає максимуму, коли система незалежна.  

2. Ентропія та інформація

Щойно ентропію було розглянуто як міру невизначеності системи. Зрозуміло, що з появою нових відомостей невизначеність може зменшитися. Чим більший обсяг зазначених відомостей,

1 2 3 4 5 6 7 8

Схожі роботи

Реферати

Курсові

Дипломні