Основи статистичної теорії інформації

Якщо системи незалежні, то Н(Х Y) = Н(Х) і ІX«Y = 0, тобто повна взаємна інформація, що міститься в незалежних системах, дорівнює нулю. Це природно, оскільки неможливо дістати відомості про систему, спостерігаючи замість неї іншу, з нею не пов’язану.

Розглянемо випадок, коли стан системи Х цілком визначає стан системи Y. Тоді Н(Х Y) = 0 і, навпаки, Н(Х) = 0, тобто системи еквіваленті:

. (11)

Якщо між системами Х та Y існує зв’язок, причому Х — більш різноманітна, ніж Y, причому Н(Х Y) = 0, тоді

ІX«Y = Н(Y) – Н(Y / Х) = Н(Y),

тобто повна взаємна інформація ІX«Y, що міститься в системах, одна з яких є підлеглою, дорівнює ентропії підлеглої системи.

Виведемо формулу для інформації. З огляду на те, що

Н(Y / Х) = Н(Х / Y) – Н(Y),

дістанемо:

        ІX«Y = Н(Х) – Н(Х / Y) = Н(Х) + Н(Y) – Н(Х, Y). (12)

Отже, повна взаємна інформація, що міститься у двох системах, дорівнює сумі ентропії обох систем, що становлять систему, за винятком ентропії системи, утвореної перерізом даних систем.

Графічно це можна зобразити так, як показано на рис.  1.  

Рис.  1. До визначення повної взаємної інформації 

Звідси, можемо записати: 

,

де Pij = P(X = xi; Y = yj), pi = P(X = xi) rj = P(Y = yj).  

3. Принцип необхідної різноманітності Ешбі

Розглянемо три системи X, R, Y. Вони деяким способом по­в’язані між собою (рис

2). Нехай різноманітність цих систем буде відповідно

Х = {x1, x2, …, xn}, Y = {y1, y2, …, yn}, R = {r1, r2, …, rn}.  

Рис. 2. Унаочнення принципу Ешбі

Ця різноманітність є невизначеністю щодо стану, в якому перебуває система. Таку невизначеність можна схарактеризувати ентропією: H(X), H(R), H(Y). Введемо також умовні ентропії H(R), H(R).

Розглянемо тепер дві системи Х і Y. Припустимо, що різноманітність системи Y менша за різноманітність Х, тобто система Y є гомоморфним образом Х. Постає запитання: як можна зменшити різноманітність системи Х, або як можна зменшити її невизначеність, тобто ентропію Н(Х)?

Нехай система R цілком визначена. Тоді, оскільки невизначеність системи Х більша, ніж системи Y, маємо нерівність

                       Н(X / R) ³ H(Y / R).                     (13)

За будь-яких причинних чи інших взаємозв’язків між R і Y дістаємо:

           .   (14)

Згідно з (3. 13), можемо записати

           . (15)

Але для будь-яких систем

                       .                   (16)

Тому, підставляючи дістаємо:

                         (17)

Зі співвідношення (17) випливає, що ентропія системи Х має мінімум, і цей мінімум досягається при H(R / Y) = 0, тобто в

1 2 3 4 5 6 7 8

Схожі роботи

Реферати

Курсові

Дипломні