НОУ ИНТУИТ | Криптографические методы защиты информации. Лекция 5: Необходимые сведения о случайных величинах

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 02.03.2017 | Уровень: для всех | Доступ: свободно

|

Вам нравится? Нравится 55 студентам

| Поделиться |

Поддержать программу

5.2 Элементы теории информации

Кратко перечислим основные понятия, более подробное изложение можно найти в [1], [2], [3].

5.2.1 Энтропия

Количественной мерой неопределенности служит энтропия. Пусть задана дискретная случайная величина $\xi$ , принимающая значения ${a}_{1},{a}_{2},{\dots},{a}_{r}$ с вероятностями ${P}_{1}, {P}_{2},{\dots}, {P}_{r}$ соответственно.

Определение 5.10 Энтропия случайной величины $\xi$ определяется равенством:

$H(\xi)=- \sum _{i=1}^{r}{{P}_{i}}\log_2{P}_{i},$

где $0\cdot\log 0=0$ .

Свойства энтропии:

$H(\xi)\geq 0$
$H(\xi) \leq \log_2r$
$H(\xi)=\log_2r$ при ${P}_{i}= \frac{1}{r}, i=1,\dots,r$ .

Пример 5.3 [3] Пусть имеется три источника сообщений, которые порождают буквы и , иными словами, есть три случайные величины ${\xi}_{i}$ , принимающие значения и :

$\begin{array}{l} {\xi }_{1}: P({a}_{1})=1, P({a}_{2})=0,\\ {\xi }_{2}: P( {a}_{1})=0.5, P( {a}_{2})=0,5,\\ {\xi }_{3}: P({a}_{1})=0.01, P( {a}_{2})=0,99.\\ \end{array}$

Вычисления дают: $H({\xi }_{1})=0$ , $H({\xi }_{2})=1$ бит, $H({\xi }_{3})= 0,08$ бит.

И мы видим, что неопределенность этих случайных величин разная.

Пусть двумерная случайная величина задана распределением

${P}_{{ij}}=P\left({\xi }_{1}={a}_{i},{\xi }_{2}={b}_{j}\right),1{\leq}i{\leq}r,1{\leq}j{\leq}s$

Определение 5.11 Энтропия двумерной случайной величины задаётся формулой:

$H\left({\xi }_{1},{\xi }_{2}\right)=-\sum _{i=1}^{r}{\sum _{j=1}^{s}{{P}_{{ij}}\log {P}_{{ij}}}}$

Пусть имеются дискретные случайные величины $\xi$ и $\eta$ , заданные вероятностными распределениями $P(\xi )$ , $P\left(\eta \right)$ . Для них можно вычислить совместное распределение $P(\xi ,\eta )$ и условные распределения $P(\xi /y)$ , $P(\eta /x)$ для любых фиксированных значений $x \in \xi$ , $y \in \eta$ .