НОУ ИНТУИТ | Криптографические методы защиты информации. Лекция 5: Необходимые сведения о случайных величинах

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 02.03.2017 | Уровень: для всех | Доступ: свободно

|

Вам нравится? Нравится 55 студентам

| Поделиться |

Поддержать программу

Аннотация: Приведены сведения о случайных величинах, необходимые для дальнейшего. Также рассмотрены понятия энтропии и пропускная способность канала.

Ключевые слова: случайная величина, переменная, определение, вероятность, связь, функция

5.1 Необходимые сведения о случайных величинах

Случайная величина - одно из основных понятий теории вероятностей. Неформально, случайная величина - это некоторая переменная, принимающая те или иные значения с определенными вероятностями.

Строгое математическое определение случайной величины дается в рамках аксиоматики теории вероятностей.

Определение 5.1 Пусть $\Omega$ - некоторое множество, - семейство его подмножеств, причем

содержит пустое множество;
Дополнение любого подмножества из снова лежит в ;
Для любого счетного подсемейства $\{A_1,\ A_2,\ \ldots \}\subset A$ объединение $\bigcup_{i=1}^{\infty} A_i$ и пересечение $\bigcap_{i=1}^{\infty}$ снова лежат в .

Тогда называется $\sigma$ -алгеброй.

Пример 5.1 Рассмотрим отрезок и множество , содержащее все интервалы из отрезка . Чтобы было $\sigma$ -алгеброй, необходимо, чтобы содержало также все полуинтервалы, отрезки, их любые счетные объединения и пересечения. Если множество не содержит других подмножеств, кроме перечисленных, то называется борелевской $\sigma$ -алгеброй. Её элементы называются борелевскими множествами.

Определение 5.2 Пусть - $\sigma$ -алгебра на множестве $\Omega$ . Отображение $P:A\rightarrow [0;1]$ называется вероятностной мерой на $(\Omega, A)$ , если

$P(a)\geq 0$ для всех $a\in A$ ;
$P(\Omega) = 1$ ;
Для любого счетного семейства $\{A_1,\ A_2,\ \ldots \}\subset A$ , где $A_i\cap A_j = \varnothing$ при $i\neq j$ , выполняется
$P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i).$

Величину P(A) будем называть вероятностью наступления события .

Через P(A|B) обозначим вероятность события при условии, что событие произошло. P(A|B) называется условной вероятностью и при P(B)>0 вычисляется по формуле:

$P(A|B) = P(A\cap B)/P(B).$

Отношения между условными вероятностями устанавливают следующие две важные теоремы.

Теорема 5.1 Пусть $A,\ B_1,\ B_2,\ \ldots,\ B_n$ - случайные события, причем $A\subset B_1\cup B_2\cup\ldots\cup B_n$ , события попарно несовместны и для всех . Тогда

$P(A) = \sum_{i=1}^n P(B_i) \cdot P(A|B_i).$

Теорема 5.2 (Теорема Байеса) Пусть , - два случайных события. Тогда

$P(A|B) = P(B|A)\cdot P(A)/P(B).$

Определение 5.3 Вероятностным пространством называется тройка $(\Omega, A, P)$ , где

$\Omega$ - некоторое множество, элементы которого называются элементарными исходами;
- некоторая $\sigma$ -алгебра на множестве $\Omega$ ; множества из называются событиями; каждое событие $a\in A$ заключается в осуществлении одного из исходов $x\in a$ .
- вероятностная мера на $(\Omega, A)$ .

Определение 5.4 Пусть $(\Omega, A, P)$ - вероятностное пространство. Случайной величиной называется любая функция $\xi:\Omega\rightarrow \mathbb{R}$ такая, что для любого борелевского множества в семействе существует его прообраз : $\xi(B') = B$ .

Другими словами, случайная величина - это некоторая переменная, принимающая те или иные значения с определенными вероятностями.

Определение 5.5 Случайные величины $\xi_1,\ \xi_2,\ \xi_3,\ \ldots,\ \xi_n$ , называются независимыми, если для любых борелевских множеств $B_1,\ B_2,\ \ldots,\ B_n$ имеем

$(\xi_1\in B_1,\ \xi_2\in B_2,\ \ldots,\ \xi_n\in B_n) = P(\xi_1\in B_1)\cdot P(\xi_2\in B_2)\cdots P(\xi_n\in B_n).$

Таким образом, наступление одного события $\xi_i\in B_i$ не меняет вероятности наступления другого события $\xi_j\in B_j$ .

Важнейшей характеристикой случайной величины $\xi$ служит ее распределение вероятностей. Закон распределения случайной величин - соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями. Если различные значения величины образуют конечную или бесконечную последовательность, то распределение вероятностей задается указанием этих значений $x_1, x_2,\ldots,x_n,\ldots$ и соответствующих им вероятностей $p_1,p_2, \ldots p_n,\ldots$ , то есть вероятностей всех событий $\xi=x_k$ . Случайные величины указанного типа называются дискретными.

Закон распределения дискретной случайной величины может быть задан:

Аналитически
Таблично
Графически

Во всех других случаях распределение вероятностей задается указанием вероятности $P(\sigma<x)$ для каждого действительного значения вероятности $P(a<\sigma<b)$ или каждого интервала (a,b) .

Определение 5.6 Пусть $\xi$ - случайная величина, а функция $f(x):\mathbb{R}\rightarrow \mathbb{R^+}\cup\{0\}$ удовлетворяет условиям:

$\int\limits_{-\infty}^{\infty} f(x)\ dx = 1, \qquad P(a<\xi<b) = \int\limits_{a}^b f(x) dx\ \ \ \forall a, b\ \ (a<b).$

Тогда случайная величина $\xi$ называется непрерывной, а функция называется её плотностью вероятности.

Закон распределения неприрывной случайной величины может быть задан в виде:

функции распределения случайной величины $\xi$ , определяемой равенством: $F(x) = P(\xi<x)$ ;
плотности распределения , определяемой как производная от функции распределения: .

Функция распределения однозначно определяется через плотность распределения:

$F(x) = \int_{-\infty}^t f(t)\ dt.$

Свойства фунции распределения:

плотность распределения принимает только неотрицательные значения: $f(x)\geq 0$ ;
площадь фигуры, ограниченной графиком плотности распределения и осью абцисс, равна единице:
$\int\limits_{-\infty}^{\infty}f(x)\ dx = 1.$

Числовые характеристики случайных величин

Определение 5.7 Пусть $(\Omega, A, P)$ - вероятностное пространство. Математическим ожиданием случайной величины $\xi$ называется величина

$M[\xi] = \int\limits_\Omega \xi(\omega)\ P(d\omega).$

Здесь множество $\Omega$ рассматривается как объединение событий $d\omega$ , вероятность которых - $P(d\omega)$ .

Рассмотрим два важных частных случая.

Для дискретной случайной величины, принимающей значения $x_1,\ x_2,\ \ldots,\$ с вероятностями $p_1,\ p_2,\ \ldots,\$ , величина $d\omega$ превращается в событие, состоящее из одного исхода. Тогда

$M[\xi]=\sum\limits_{i=1}^n x_i p_i.$

Для непрерывной случайной величины с функцией плотности f(x) в интеграле можно сделать замену переменной: $x=\xi(\omega)$ . Тогда будем иметь:

$M[\xi] = \int\limits_{-\infty}^{\infty} x\cdot f(x)\ dx.$

Определение 5.8 Дисперсией случайной величины $\xi$ называется число $D[\xi] = M[(\xi - M\xi)^2]$ .

Снова нас интересуют два важных частных случая:

$D[\xi] = \sum_{i=1}^n (x_i-M{\xi})^2\cdot p_i\ \ \text{для дискретной случайной величины}$

$D[\xi] = \int\limits_{-\infty}^{\infty} (x-M[\xi])^2 f(x) dx\ \ \text{для непрерывной случайной величины.}$

Дисперсия случайной величины показывает разброс значений относительно математического ожидания.

Цепи Маркова

Определение 5.9 Цепью Маркова называют такую последовательность случайных величин $\xi_0,\ \xi_1,\ \ldots$ , что для любых значений $i_j\in \mathbb{R}$

$P(\xi_{n+1} = i_{n+1}\ |\ \xi_{n} = i_n,\ \ \xi_{n-1} = i_{n-1},\ \ldots) = P(\xi_{n+1} = i_{n+1}\ |\ \xi_{n} = i_n).$

Другими словами, цепь Маркова - последовательность случайных величин, каждая из которых зависит только от предыдущей случайной величины.

Цепь Маркова ассоциируется с некоторой величиной, принимающей случайные значения в дискретные моменты времени. Поэтому исход " $\xi_i = a$ " можно сформулировать другими словами: "в момент времени цепь находится в состоянии ".

Если множество состояний всех случайных величин $\xi_i$ в совокупности конечно, то цепь называется конечной.

Если условная вероятность $P(\xi_i = a | \xi_{i-1} = b )$ не зависит от номера , то цепь называется однородной.

Конечная однородная цепь Маркова задаётся:

множеством значений $S=\{S_1,\ldots, S_n\}$ , которые могут принимать случайные величины;
вектором начальных вероятностей $p^(0) = (p^0_1,p^0_2,\ldots,p^0_n)$ , с которыми случайная величина $\xi_0$ принимает значения ;
матрицей вероятностей переходов $P=(p_{ij})$ , в которой $p_{ij} = P(\xi_{k+1} = S_j\ |\ \xi_k = S_i)$ (т.е. вероятность того, что из состояния процесс перейдёт в состояние ); отметим, что
$\sum_{j=1}^n p_{ij} = 1\qquad \forall i=1,2\ldots,n.$

С помощью вектора начальных вероятностей и матрицы переходов можно вычислить стохастический вектор $p^{(n)}$ - вектор, составленный из вероятностей $p^{(n)}_i$ того, что процесс окажется в состоянии S_i через шагов. Верна формула:

$p^{(n)} = p^{(0)} \cdot P^n,\qquad p^{(n+s)} = p^{(n)}\cdot P^s.$

( 5.1)

Векторы $p^{(n)}$ при росте в некоторых случаях стабилизируются - сходятся к некоторому вероятностному вектору $\rho$ , который можно назвать стационарным распределением цепи. Поскольку оно не меняется от шага к шагу, то формула (5.1) преобразуется в следующее соотношение:

$\rho = \rho \cdot P.$

( 5.2)

Марковская цепь часто изображается в виде орграфа переходов, вершины которого соответствуют состояниям цепи, а дуги - переходам между ними. Вес дуги (i,j) , связывающей вершины S_i и S_j будет равен вероятности перехода из первого состояния во второе.

Пример 5.2 Пусть дискретная однородная цепь Маркова имеет множество состояний $\{A_1,A_2\}$ , распределение вероятности $\xi_0$ определяется вектором $p^{(0)}=(0,1; 0.9)$ , вероятности переходов заданы матрицей

$P=\left(\begin{array}{cc} 0,4&0,6\\0,3&0,7 \end{array} \right).$

Найти:

матрицу перехода цепи из состояния в состояние за два шага;
распределение вероятности состояний для $\xi_2$ в момент времени ;
вероятность того, что в момент состоянием цепи будет ;
стационарное распределение.

Решение.

Матрица перехода однородной цепи Маркова на шагов равна . Для двух шагов имеем:
$P^2 = \left( \begin{array}{cc} 0,4&0,6\\0,3&0,7 \end{array} \right)\cdot \left(\begin{array}{cc} 0,4&0,6\\0,3&0,7 \end{array} \right)=\left(\begin{array}{cc} 0,34&0,66\\0,33&0,67 \end{array} \right).$
Найдём распределение вероятности в момент времени . В формуле (5.1) подставим , и получим:
$p^2 = p^0 \cdot P^2 = (0,1;0.9)\cdot \left(\begin{array}{cc} 0,34&0,66\\0,33&0,67 \end{array} \right)=(0,331;0,669).$
Найдём распределение вероятности в момент времени . В формуле (5.1) подставим , и получим:
$p^1 = p^0 \cdot P = (0,1;0.9)\cdot \left(\begin{array}{cc} 0,4&0,6\\0,3&0,7 \end{array} \right)=(0,31;0,69).$
Найдём стационарное распределение $\rho$ с помощью условия (5.2). Имеем систему уравнений:
$\left\{ \begin{array}{l} \rho_1 = 0,4 \rho_1 + 0,3 \rho_2; \\ \rho_2 = 0,6 \rho_1 + 0,7 \rho_2; \\ \rho_1 + \rho_2 = 1. \end{array} \right.$

Последнее условие называется нормировочным. В записанной нами системе всегда одно уравнение является линейной комбинацией других. Следовательно, его можно вычеркнуть. Решим совместно первое уравнение системы и нормировочное. Имеем 0,6 p_1=0,3 p_2 , то есть p_2=2 p_1 . Тогда p_1+2 p_1=1 , или $p_1=\frac{1}{3}$ . Следовательно, $p_2=\frac{2}{3}$ .

Ответ:

матрица перехода за два шага для данной цепи Маркова имеет вид
$P_2=\left(\begin{array}{cc} 0,34&0,66\\0,33&0,67 \end{array} \right);$
распределение вероятностей по состояниям в момент равно $p^{(2)} =(0,331;0,669);$
вероятность того, что в момент состоянием цепи будет , равна $p_2^{(1)}=0,69$ ;
стационарное распределение: $\rho=\left(\frac{1}{3};\frac{2}{3}\right).$