Опубликован: 02.03.2017 | Доступ: свободный | Студентов: 2190 / 431 | Длительность: 21:50:00
Лекция 5:

Необходимые сведения о случайных величинах

< Лекция 4 || Лекция 5: 123 || Лекция 6 >

5.2 Элементы теории информации

Кратко перечислим основные понятия, более подробное изложение можно найти в [1], [2], [3].

5.2.1 Энтропия

Количественной мерой неопределенности служит энтропия. Пусть задана дискретная случайная величина \xi, принимающая значения {a}_{1},{a}_{2},{\dots},{a}_{r} с вероятностями {P}_{1},  {P}_{2},{\dots}, {P}_{r} соответственно.

Определение 5.10 Энтропия случайной величины \xi определяется равенством:

H(\xi)=- \sum _{i=1}^{r}{{P}_{i}}\log_2{P}_{i},

где 0\cdot\log 0=0.

Свойства энтропии:

  1. H(\xi)\geq 0
  2. H(\xi) \leq \log_2r
  3. H(\xi)=\log_2r$  при  ${P}_{i}= \frac{1}{r}, i=1,\dots,r.

Пример 5.3 [3] Пусть имеется три источника сообщений, которые порождают буквы a_1 и a_2, иными словами, есть три случайные величины {\xi}_{i}, принимающие значения a_1 и a_2:


    \begin{array}{l}
    {\xi }_{1}: P({a}_{1})=1, P({a}_{2})=0,\\
    {\xi }_{2}: P( {a}_{1})=0.5, P( {a}_{2})=0,5,\\
    {\xi }_{3}: P({a}_{1})=0.01, P( {a}_{2})=0,99.\\
    \end{array}

Вычисления дают: H({\xi }_{1})=0, H({\xi }_{2})=1 бит, H({\xi }_{3})= 0,08 бит.

И мы видим, что неопределенность этих случайных величин разная.

Пусть двумерная случайная величина задана распределением

{P}_{{ij}}=P\left({\xi }_{1}={a}_{i},{\xi }_{2}={b}_{j}\right),1{\leq}i{\leq}r,1{\leq}j{\leq}s

Определение 5.11 Энтропия двумерной случайной величины задаётся формулой:

H\left({\xi }_{1},{\xi }_{2}\right)=-\sum _{i=1}^{r}{\sum _{j=1}^{s}{{P}_{{ij}}\log {P}_{{ij}}}}

Пусть имеются дискретные случайные величины \xi и \eta , заданные вероятностными распределениями P(\xi ), P\left(\eta \right). Для них можно вычислить совместное распределение P(\xi ,\eta ) и условные распределения P(\xi /y), P(\eta /x) для любых фиксированных значений x \in \xi , y \in \eta .

Определение 5.12 Условная энтропия H(\xi /y) задаётся формулой:

H(\xi /y)=-\sum _{x \in \xi }{p(x/y) \cdot {\log }_{2}p(x/y).}

Определение 5.13 Условной энтропией двух вероятностных распределений называется усредненная (по всем y \in \eta величина H(\xi /y):

H(\xi /\eta )=-\sum _{y \in \eta }{\sum _{x \in \xi }{p\left(y\right) \cdot p(x/y) \cdot {\log }_{2}p(x/y).}}
< Лекция 4 || Лекция 5: 123 || Лекция 6 >
Юлия Мышкина
Юлия Мышкина

Обучение с персональным тьютором осуществляется по Скайпу или посредством переписки?