Опубликован: 02.03.2017 | Доступ: свободный | Студентов: 2389 / 514 | Длительность: 21:50:00
Лекция 5:

Необходимые сведения о случайных величинах

< Лекция 4 || Лекция 5: 123 || Лекция 6 >
Аннотация: Приведены сведения о случайных величинах, необходимые для дальнейшего. Также рассмотрены понятия энтропии и пропускная способность канала.

5.1 Необходимые сведения о случайных величинах

Случайная величина - одно из основных понятий теории вероятностей. Неформально, случайная величина - это некоторая переменная, принимающая те или иные значения с определенными вероятностями.

Строгое математическое определение случайной величины дается в рамках аксиоматики теории вероятностей.

Определение 5.1 Пусть \Omega - некоторое множество, A - семейство его подмножеств, причем

  • A содержит пустое множество;
  • Дополнение любого подмножества из A снова лежит в A;
  • Для любого счетного подсемейства \{A_1,\ A_2,\ \ldots \}\subset A объединение \bigcup_{i=1}^{\infty} A_i и пересечение \bigcap_{i=1}^{\infty} снова лежат в A.

Тогда A называется \sigma-алгеброй.

Пример 5.1 Рассмотрим отрезок [0;1] и множество A, содержащее все интервалы из отрезка [0;1]. Чтобы A было \sigma-алгеброй, необходимо, чтобы A содержало также все полуинтервалы, отрезки, их любые счетные объединения и пересечения. Если множество A не содержит других подмножеств, кроме перечисленных, то A называется борелевской \sigma-алгеброй. Её элементы называются борелевскими множествами.

Определение 5.2 Пусть A - \sigma-алгебра на множестве \Omega. Отображение P:A\rightarrow [0;1] называется вероятностной мерой на (\Omega, A), если

  • P(a)\geq 0 для всех a\in A;
  • P(\Omega) = 1;
  • Для любого счетного семейства \{A_1,\ A_2,\ \ldots \}\subset A, где A_i\cap A_j = \varnothing при i\neq j, выполняется
    P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i).

Величину P(A) будем называть вероятностью наступления события A.

Через P(A|B) обозначим вероятность события A при условии, что событие B произошло. P(A|B) называется условной вероятностью и при P(B)>0 вычисляется по формуле:

P(A|B) = P(A\cap B)/P(B).

Отношения между условными вероятностями устанавливают следующие две важные теоремы.

Теорема 5.1 Пусть A,\ B_1,\ B_2,\ \ldots,\ B_n - случайные события, причем A\subset B_1\cup B_2\cup\ldots\cup B_n, события B_i попарно несовместны и p(B_i)>0 для всех i. Тогда

P(A) = \sum_{i=1}^n P(B_i) \cdot P(A|B_i).

Теорема 5.2 (Теорема Байеса) Пусть A, B - два случайных события. Тогда

P(A|B) = P(B|A)\cdot P(A)/P(B).

Определение 5.3 Вероятностным пространством называется тройка (\Omega, A, P), где

  • \Omega - некоторое множество, элементы которого называются элементарными исходами;
  • A - некоторая \sigma-алгебра на множестве \Omega; множества из A называются событиями; каждое событие a\in A заключается в осуществлении одного из исходов x\in a.
  • P - вероятностная мера на (\Omega, A).

Определение 5.4 Пусть (\Omega, A, P) - вероятностное пространство. Случайной величиной называется любая функция \xi:\Omega\rightarrow \mathbb{R} такая, что для любого борелевского множества B в семействе A существует его прообраз B': \xi(B') = B.

Другими словами, случайная величина - это некоторая переменная, принимающая те или иные значения с определенными вероятностями.

Определение 5.5 Случайные величины \xi_1,\ \xi_2,\ \xi_3,\ \ldots,\ \xi_n, называются независимыми, если для любых борелевских множеств B_1,\ B_2,\ \ldots,\ B_n имеем

(\xi_1\in B_1,\ \xi_2\in B_2,\ \ldots,\ \xi_n\in B_n) = P(\xi_1\in B_1)\cdot P(\xi_2\in B_2)\cdots P(\xi_n\in B_n).

Таким образом, наступление одного события \xi_i\in B_i не меняет вероятности наступления другого события \xi_j\in B_j.

Важнейшей характеристикой случайной величины \xi служит ее распределение вероятностей. Закон распределения случайной величин - соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями. Если различные значения величины образуют конечную или бесконечную последовательность, то распределение вероятностей задается указанием этих значений x_1, x_2,\ldots,x_n,\ldots и соответствующих им вероятностей p_1,p_2, \ldots p_n,\ldots, то есть вероятностей всех событий \xi=x_k. Случайные величины указанного типа называются дискретными.

Закон распределения дискретной случайной величины может быть задан:

  • Аналитически
  • Таблично
  • Графически

Во всех других случаях распределение вероятностей задается указанием вероятности P(\sigma<x) для каждого действительного значения x вероятности P(a<\sigma<b) или каждого интервала (a,b).

Определение 5.6 Пусть \xi - случайная величина, а функция f(x):\mathbb{R}\rightarrow \mathbb{R^+}\cup\{0\} удовлетворяет условиям:

\int\limits_{-\infty}^{\infty} f(x)\ dx = 1, \qquad P(a<\xi<b) = \int\limits_{a}^b f(x) dx\ \ \ \forall a, b\ \ (a<b).

Тогда случайная величина \xi называется непрерывной, а функция f(x) называется её плотностью вероятности.

Закон распределения неприрывной случайной величины может быть задан в виде:

  • функции распределения F(x) случайной величины \xi, определяемой равенством: F(x) = P(\xi<x);
  • плотности распределения f(x), определяемой как производная от функции распределения: f(x) = F'(x).

Функция распределения однозначно определяется через плотность распределения:

F(x) = \int_{-\infty}^t f(t)\ dt.

Свойства фунции распределения:

  • плотность распределения принимает только неотрицательные значения: f(x)\geq 0;
  • площадь фигуры, ограниченной графиком плотности распределения и осью абцисс, равна единице:
    \int\limits_{-\infty}^{\infty}f(x)\ dx = 1.

Числовые характеристики случайных величин

Определение 5.7 Пусть (\Omega, A, P) - вероятностное пространство. Математическим ожиданием случайной величины \xi называется величина

M[\xi] = \int\limits_\Omega \xi(\omega)\ P(d\omega).

Здесь множество \Omega рассматривается как объединение событий d\omega, вероятность которых - P(d\omega).

Рассмотрим два важных частных случая.

Для дискретной случайной величины, принимающей значения x_1,\ x_2,\ \ldots,\ с вероятностями p_1,\ p_2,\ \ldots,\ , величина d\omega превращается в событие, состоящее из одного исхода. Тогда

M[\xi]=\sum\limits_{i=1}^n x_i p_i.

Для непрерывной случайной величины с функцией плотности f(x) в интеграле можно сделать замену переменной: x=\xi(\omega). Тогда будем иметь:

M[\xi] = \int\limits_{-\infty}^{\infty} x\cdot f(x)\ dx.

Определение 5.8 Дисперсией случайной величины \xi называется число D[\xi] = M[(\xi - M\xi)^2].

Снова нас интересуют два важных частных случая:

D[\xi] = \sum_{i=1}^n (x_i-M{\xi})^2\cdot p_i\ \ \text{для дискретной случайной величины}
D[\xi] = \int\limits_{-\infty}^{\infty} (x-M[\xi])^2 f(x) dx\ \ \text{для непрерывной случайной величины.}

Дисперсия случайной величины показывает разброс значений относительно математического ожидания.

Цепи Маркова

Определение 5.9 Цепью Маркова называют такую последовательность случайных величин \xi_0,\ \xi_1,\ \ldots, что для любых значений i_j\in \mathbb{R}

P(\xi_{n+1} = i_{n+1}\ |\ \xi_{n} = i_n,\ \ \xi_{n-1} = i_{n-1},\ \ldots) =  P(\xi_{n+1} = i_{n+1}\ |\ \xi_{n} = i_n).

Другими словами, цепь Маркова - последовательность случайных величин, каждая из которых зависит только от предыдущей случайной величины.

Цепь Маркова ассоциируется с некоторой величиной, принимающей случайные значения в дискретные моменты времени. Поэтому исход "\xi_i = a" можно сформулировать другими словами: "в момент времени i цепь находится в состоянии a".

Если множество состояний всех случайных величин \xi_i в совокупности конечно, то цепь называется конечной.

Если условная вероятность P(\xi_i = a | \xi_{i-1} = b ) не зависит от номера i, то цепь называется однородной.

Конечная однородная цепь Маркова задаётся:

  • множеством значений S=\{S_1,\ldots, S_n\}, которые могут принимать случайные величины;
  • вектором начальных вероятностей p^(0) = (p^0_1,p^0_2,\ldots,p^0_n), с которыми случайная величина \xi_0 принимает значения S_i;
  • матрицей вероятностей переходов P=(p_{ij}), в которой p_{ij} = P(\xi_{k+1} = S_j\ |\ \xi_k = S_i) (т.е. вероятность того, что из состояния S_i процесс перейдёт в состояние S_j); отметим, что
    \sum_{j=1}^n p_{ij} = 1\qquad \forall i=1,2\ldots,n.

С помощью вектора начальных вероятностей и матрицы переходов можно вычислить стохастический вектор p^{(n)} - вектор, составленный из вероятностей p^{(n)}_i того, что процесс окажется в состоянии S_i через n шагов. Верна формула:

p^{(n)} = p^{(0)} \cdot P^n,\qquad p^{(n+s)} = p^{(n)}\cdot P^s. ( 5.1)

Векторы p^{(n)} при росте n в некоторых случаях стабилизируются - сходятся к некоторому вероятностному вектору \rho, который можно назвать стационарным распределением цепи. Поскольку оно не меняется от шага к шагу, то формула (5.1) преобразуется в следующее соотношение:

\rho = \rho \cdot P. ( 5.2)

Марковская цепь часто изображается в виде орграфа переходов, вершины которого соответствуют состояниям цепи, а дуги - переходам между ними. Вес дуги (i,j), связывающей вершины S_i и S_j будет равен вероятности перехода из первого состояния во второе.

Пример 5.2 Пусть дискретная однородная цепь Маркова имеет множество состояний \{A_1,A_2\}, распределение вероятности \xi_0 определяется вектором p^{(0)}=(0,1; 0.9), вероятности переходов заданы матрицей

P=\left(\begin{array}{cc}
    0,4&0,6\\0,3&0,7
    \end{array}
    \right).

Найти:

  1. матрицу P_2 перехода цепи из состояния i в состояние j за два шага;
  2. распределение вероятности состояний для \xi_2 в момент времени t=2;
  3. вероятность того, что в момент t=1 состоянием цепи будет A_2;
  4. стационарное распределение.

Решение.

  1. Матрица перехода однородной цепи Маркова на n шагов равна P^n. Для двух шагов имеем:
    P^2 = \left(
     \begin{array}{cc}
     0,4&0,6\\0,3&0,7
     \end{array}
     \right)\cdot \left(\begin{array}{cc} 
     0,4&0,6\\0,3&0,7
     \end{array}
     \right)=\left(\begin{array}{cc} 
     0,34&0,66\\0,33&0,67
     \end{array}
     \right).
  2. Найдём распределение вероятности в момент времени t=2. В формуле (5.1) подставим n=0, s=2 и получим:
    p^2 = p^0 \cdot P^2 = (0,1;0.9)\cdot \left(\begin{array}{cc}
     0,34&0,66\\0,33&0,67
     \end{array}
     \right)=(0,331;0,669).
  3. Найдём распределение вероятности в момент времени t=1. В формуле (5.1) подставим n=0, s=1 и получим:
    p^1 = p^0 \cdot P = (0,1;0.9)\cdot \left(\begin{array}{cc}
     0,4&0,6\\0,3&0,7
     \end{array}
     \right)=(0,31;0,69).
  4. Найдём стационарное распределение \rho с помощью условия (5.2). Имеем систему уравнений:
    \left\{
     \begin{array}{l}
     \rho_1 = 0,4 \rho_1 + 0,3 \rho_2; \\
     \rho_2 = 0,6 \rho_1 + 0,7 \rho_2; \\
     \rho_1 + \rho_2 = 1.
     \end{array}
     \right.

Последнее условие называется нормировочным. В записанной нами системе всегда одно уравнение является линейной комбинацией других. Следовательно, его можно вычеркнуть. Решим совместно первое уравнение системы и нормировочное. Имеем 0,6 p_1=0,3 p_2, то есть p_2=2 p_1. Тогда p_1+2 p_1=1, или p_1=\frac{1}{3}. Следовательно, p_2=\frac{2}{3}.

Ответ:

  1. матрица перехода за два шага для данной цепи Маркова имеет вид
    P_2=\left(\begin{array}{cc}
     0,34&0,66\\0,33&0,67
     \end{array}
     \right);
  2. распределение вероятностей по состояниям в момент t=2 равно p^{(2)} =(0,331;0,669);
  3. вероятность того, что в момент t=1 состоянием цепи будет A_2, равна p_2^{(1)}=0,69;
  4. стационарное распределение: \rho=\left(\frac{1}{3};\frac{2}{3}\right).
< Лекция 4 || Лекция 5: 123 || Лекция 6 >
Евгений Шаров
Евгений Шаров

как начать заново проходить курс, если уже пройдено несколько лекций со сданными тестами?

Юлия Мышкина
Юлия Мышкина

Обучение с персональным тьютором осуществляется по Скайпу или посредством переписки?