Смысл энтропии Шеннона
Энтропия д.с.в. - это минимум среднего количества бит, которое нужно передавать по каналу связи о текущем значении данной д.с.в.
Рассмотрим пример (скачки). В заезде участвуют 4 лошади с равными шансами на
победу, т.е. вероятность победы каждой лошади равна 1/4. Введем д.с.в. , равную номеру победившей лошади. Здесь
.
После каждого заезда по каналам связи достаточно будет передавать два
бита информации о номере победившей лошади. Кодируем номер лошади следующим
образом: 1-00, 2-01, 3-10, 4-11. Если ввести функцию
,
которая возвращает длину сообщения, кодирующего заданное значение
, то м. о.
- это средняя длина сообщения, кодирующего
. Можно формально определить
через две функции
, где
каждому значению
ставит в соответствие
некоторый битовый код, причем, взаимно однозначно, а
возвращает длину в битах для
любого конкретного кода. В этом примере
.
Пусть теперь д.с.в. имеет
следующее распределение
![P(X=1)={3\over4},\, P(X=2)={1\over8},\,
P(X=3)=P(X=4)={1\over16},](/sites/default/files/tex_cache/3d3255454ac642444625c30790d8e669.png)
![HX={3\over4}\log_2{4\over3}+{1\over8}\log_28+{1\over8}\log_216=
{19\over8}-{3\over4}\log_23\approx1.186 \hbox{ бит/сим}.](/sites/default/files/tex_cache/892b42f58f935970d511f8fdfbba48b2.png)
![(1*12+2*2+3*1+3*1)/16=1.375](/sites/default/files/tex_cache/d1533c2275e896e3eb4e63e0314049b4.png)
![L(X)](/sites/default/files/tex_cache/84fe3d5f11427337d62065c2782071dc.png)
![L(X)](/sites/default/files/tex_cache/84fe3d5f11427337d62065c2782071dc.png)
![P(L(X)=1)=3/4](/sites/default/files/tex_cache/ed989f6a47b711b12c2bc45afc29c90d.png)
![P(L(X)=2)=1/8](/sites/default/files/tex_cache/6ecdd18e4ae4916c7373d29aedfc2c25.png)
![P(L(X)=3)=1/8](/sites/default/files/tex_cache/75720346cc7aadcd5a2d733afbebb1e8.png)
![ML(X)={3\over4}+{2\over8}+{3\over8}={11\over8}=1.375 \hbox{
бит/сим}.](/sites/default/files/tex_cache/251875d1e49fa8e2b45510e17c7282c8.png)
![ML(X) > HX](/sites/default/files/tex_cache/5ef08c4db9ec1797e272f278451ab578.png)
Можно доказать, что более эффективного кодирования для двух рассмотренных случаев не существует.
То, что энтропия Шеннона соответствует интуитивному представлению о мере
информации, может быть продемонстрировано в опыте по определению среднего
времени психических реакций. Опыт заключается в
том, что перед испытуемым человеком зажигается одна из
лампочек, которую он должен указать. Проводится большая серия испытаний, в которых
каждая лампочка зажигается с определенной вероятностью
,
где
- это номер лампочки. Оказывается, среднее
время, необходимое для правильного ответа испытуемого, пропорционально
величине энтропии
, а не числу лампочек
, как можно было бы подумать. В этом опыте предполагается, что чем больше
информации будет получено человеком, тем дольше будет время ее обработки
и, соответственно, реакции на нее.
Упражнение 13
Найти энтропию д.с.в. и среднюю длину каждого из приведенных
кодов для этой д.с.в.
![\vbox{\offinterlineskip\halign{&\strut\quad#\cr
X& \omit\ \vrule& 1& 3& 4& 5& 6\cr
\noalign{\hrule}
p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr
code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr
code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr
code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr
code4(X)& \omit\ \vrule& 0& 10& 1110&110&
1111.\cr}}](/sites/default/files/tex_cache/02e4cd01188cfce4a1efa38fe18f2429.png)
Упражнение 14
д.с.в. равна количеству "гербов", выпавших на двух
идеальных монетках. Найти энтропию
. Придумать минимальный код
для
, вычислить его среднюю длину и обосновать его минимальность.
Упражнение 15
д.с.в. задана распределением
,
Найти
энтропию этой д.с.в. Придумать минимальный код для
, вычислить
его среднюю длину и обосновать его минимальность.
Упражнение 16
Про д.с.в. известно, что ее значениями являются буквы
кириллицы. Произведен ряд последовательных измерений
, результат
которых - "ТЕОРИЯИНФОРМАЦИИ". Составить на основании этого результата
приблизительный закон распределения вероятностей этой д.с.в. и оценить
минимальную среднюю длину кодов для
.
Семантическая информация
В 50-х годах XX века появились первые попытки определения
абсолютного информационного содержания предложений естественного языка.
Стоит отметить, что сам Шеннон однажды заметил, что смысл сообщений
не имеет никакого отношения к его теории информации, целиком построенной
на положениях теории вероятностей. Но его способ точного измерения
информации наводил на мысль о возможности существования способов
точного измерения информации более общего вида, например, информации из
предложений естественного языка. Примером одной из таких мер является функция , где
- это предложение,
смысловое содержание
которого измеряется,
- вероятность истинности
. Вот некоторые свойства этой функции-меры:
- если
(из
следует
) - истинно, то
;
-
;
- если
- истинно, то
;
-
, т.е. независимости
и
.
Значение этой функции-меры больше для предложений,
исключающих большее количество возможностей. Пример: из -
"
" и
- "
" следует, что
или
; ясно, что
исключает больше
возможностей, чем
.
Для измерения семантической информации также используется
функция-мера . Ясно, что
или
.
Упражнение 17
Вычислить и
предложения
, про которое известно,
что оно достоверно на 50%, и предложения
, достоверность
которого 25%.