Опубликован: 16.12.2009 | Уровень: для всех | Доступ: платный
Лекция 8:

Статистика нечисловых данных

О формулировках законов больших чисел. Пусть x, x_1, x_2, x_3, \dots, x_n - независимые одинаково распределенные случайные элементы со значениями в Х. Закон больших чисел - это утверждение о сходимости эмпирических средних к теоретическому среднему (математическому ожиданию) при росте объема выборки n, т.е. утверждение о том, что

E_n(f)=E_n(x_1, x_2, x_3, \dots, x_n; f)\to E(x,f) ( 19)

при n \to \infty. Однако и слева, и справа в формуле (19) стоят, вообще говоря, множества. Поэтому понятие сходимости в (19) требует обсуждения и определения.

В силу классического закона больших чисел при n \to \infty

\frac 1n \sum_{i=1}^n f(x_i, y) \to Ef(x,y) ( 20)

в смысле сходимости по вероятности, если правая часть существует (теорема А.Я. Хинчина, 1923 г.).

Если пространство Х состоит из конечного числа элементов, то из соотношения (20) легко вытекает (см., например, [3, с.192-193]), что

\lim_{n \to \infty}P\{E_n(f) \subseteq E(x,f)\}=1 ( 21)

Другими словами, E_n(f) является состоятельной оценкой E(x,f).

Если E(x,f) состоит из одного элемента, E(x,f)=\{x_0\}, то соотношение (21) переходит в следующее:

\lim_{n \to \infty}P\{E_n(f)=\{x_0\}\}=1 ( 22)

Однако с прикладной точки зрения доказательство соотношений (21)-(22) не дает достаточно уверенности в возможности использования E_n(f) в качестве оценки E(x,f) , поскольку в процессе доказательства объем выборки предполагается настолько большим, что при всех y \in X одновременно левые части соотношений (20) сосредотачиваются в непересекающихся окрестностях правых частей.

Замечание. Если в соотношении (20) рассмотреть сходимость с вероятностью 1, то аналогично (21) получим т.н. усиленный закон больших чисел [3, с.193-194], согласно которому с вероятностью 1 эмпирическое среднее E_n(f) входит в теоретическое среднее E(x,f) , начиная с некоторого объема выборки n, вообще говоря, случайного, n=n(\omega). Мы не будем останавливаться на этом виде сходимости, поскольку в соответствующих постановках, подробно разобранных в монографии [3], нет принципиальных отличий от случая сходимости по вероятности.

Если Х не является конечным, например, Х = R^1, то соотношения (21) и (22) неверны. Поэтому необходимо искать иные формулировки закона больших чисел. В классическом случае сходимости выборочного среднего арифметического к математическому ожиданию, т.е. \bar x \to E(x) можно записать закон больших чисел так: для любого \epsilon > 0 справедливо предельное соотношение

\lim_{n \to \infty}p\{\bar x \in(E(x)-\epsilon, E(x)+\epsilon)\}=1 ( 23)

В этом соотношении в отличие от (21) речь идет о попадании эмпирического среднего E_n(f)=\bar x не непосредственно внутрь теоретического среднего E(x,f) , а в некоторую окрестность теоретического среднего.

Обобщим эту формулировку. Как задать окрестность теоретического среднего в пространстве произвольной природы? Естественно взять его окрестность, определенную с помощью какой-либо метрики. Однако полезно обеспечить на ее дополнении до Х отделенность множества значений Ef(x(\omega),y) как функции y от минимума этой функции на всем Х.

Поэтому мы сочли целесообразным определить такую окрестность с помощью самой функции Ef(x(\omega),y) .

Определение 3. Для любого \epsilon ^gt;0 назовем \epsilon -пяткой функции g(x) множество

K_{\epsilon}(g)=\{x:g(x) < inf \{g(y), y\in X\}+ \epsilon, x \in X\}

Таким образом, в \epsilon -пятку входят все те х, для которых значение g(x) либо минимально, либо отличается от минимального (или от инфимума) не более чем на \epsilon. Так, для X = R^1 и функции g(x) = х^2 минимум равен 0, а \epsilon -пятка имеет вид интервала (-\sqrt{\epsilon}; \sqrt{\epsilon }). В формулировке (23) классического закона больших чисел утверждается, что при любом \epsilon > 0 вероятность попадания среднего арифметического в \sqrt{\epsilon} -пятку математического ожидания стремится к 1. Поскольку > 0 произвольно, то вместо \sqrt{\epsilon } -пятки можно говорить о \epsilon -пятке, т.е. перейти от (23) к эквивалентной записи

\lim_{n \to \infty}P\{\bar x K_{\epsilon}(E(x(\omega)-x)^2\}=1 ( 24)

Соотношение (24) допускает непосредственное обобщение на общий случай пространств произвольной природы.

СХЕМА ЗАКОНА БОЛЬШИХ ЧИСЕЛ. Пусть x, x_1,x_2, x_3, \dots, x_n - независимые одинаково распределенные случайные элементы со значениями в пространстве произвольной природы Х с показателем различия f: X^2 \toR^1. Пусть выполнены некоторые математические условия регулярности. Тогда для любого \epsilon >0 справедливо предельное соотношение

\lim_{n \to \infty}P\{E_n(f) \subseteq K_{\epsilon}(E(x,f))\}=1 ( 25)

Аналогичным образом может быть сформулирована и общая идея усиленного закона больших чисел. Ниже приведены две конкретные формулировки "условий регулярности".

Законы больших чисел. Начнем с рассмотрения естественного обобщения конечного множества - бикомпактного пространства Х.

Теорема 3. В условиях теоремы 1 справедливо соотношение (25).

Доказательство. Воспользуемся построенным при доказательстве теоремы 1 конечным открытым покрытием \{Z_1, Z_2,\dots, Z_k\} пространства Х таким, что для него выполнено соотношение (3). Построим на его основе разбиение Х на непересекающиеся множества W_1, W_2,\dots, W_m (объединение элементов разбиения W_1, W_2,\dots, W_m составляет Х ). Это можно сделать итеративно. На первом шаге из Z_1 следует вычесть Z_2,\dots, Z_k - это и будет W_1. Затем в качестве нового пространства надо рассмотреть разность Х и W_1, а покрытием его будет \{Z_2,\dots, Z_k\}. И так до k -го шага, когда последнее из рассмотренных покрытий будет состоять из единственного открытого множества Z_k. Остается из построенной последовательности W_1, W_2,\dots, W_k вычеркнуть пустые множества, которые могли быть получены при осуществлении описанной процедуры (поэтому, вообще говоря, m может быть меньше k ).

В каждом из элементов разбиения W_1, W_2,\dots, W_m выберем по одной точке, которые назовем центрами разбиения и соответственно обозначим w1_, w_2,\dots, w_m. Это и есть то конечное множество, которым можно аппроксимировать бикомпактное пространство Х. Пусть y входит в W_j. Тогда из соотношения (3) вытекает, что

|\frac 1n \sum_{i=1}^nf(x_i,y)-\frac 1n \sum_{i=1}^nf(x_i, w_i)| < \epsilon ( 26)

Перейдем к доказательству соотношения (25). Возьмем произвольное \sigma > 0. Рассмотрим некоторую точку b из E(x,f) . Доказательство будет основано на том, что с вероятностью, стремящейся к 1, для любого y вне K_{\delta}(E(x,f)) выполнено неравенство

\frac 1n \sum_{i=1}^n f(x_i, y) > \frac 1n \sum_{i=1}^n f(x_i, b) ( 27)

Для обоснования этого неравенства рассмотрим все элементы разбиения W_1, W_2,\dots, W_m, имеющие непустое пересечение с внешностью \delta -пятки K_{\delta}(E(x,f)). Из неравенства (26) следует, что для любого y вне K_{\delta}(E(x,f)) левая часть неравенства (27) не меньше

\min_j \left( \frac 1n \sum_{i=1}^n f(x_i, w_i)\right)-\epsilon ( 28)

где минимум берется по центрам всех элементов разбиения, имеющим непустое пересечение с внешностью \delta -пятки. Возьмем теперь в каждом таком разбиении точку v_i , лежащую вне -пятки K_{\delta}(E(x,f)). Тогда из неравенств (3) и (28) следует, что левая часть неравенства (27) не меньше

\min_j \left( \frac 1n \sum_{i=1}^n f(x_i, v_i)\right)-2\epsilon ( 29)

В силу закона больших чисел для действительнозначных случайных величин каждая из участвующих в соотношениях (27) и (29) средних арифметических имеет своими пределами соответствующие математические ожидания, причем в соотношении (29) эти пределы не менее

Ef(x(\omega),b)+\delta-2\epsilon

поскольку точки v_i лежат вне \delta -пятки K_{\delta}(E(x,f)). Следовательно, при

\delta-2\epsilon > 0

и достаточно большом n , обеспечивающем необходимую близость рассматриваемого конечного числа средних арифметических к их математическим ожиданиям, справедливо неравенство (27).

Из неравенства (27) следует, что пересечение E_n(f) с внешностью K_{\delta}(E(x,f)) пусто. При этом точка b может входить в E_n(f) , а может и не входить. Во втором случае E_n(f) состоит из иных точек, входящих в K_{\delta}(E(x,f)). Теорема 3 доказана.

Если Х не является бикомпактным пространством, то необходимо суметь оценить рассматриваемые суммы "на периферии", вне бикомпактного ядра, которое обычно выделяется естественным путем. Один из возможных комплексов условий сформулирован выше в теореме 2.

Теорема 4. В условиях теоремы 2 справедлив закон больших чисел, т.е. соотношение (25).

Доказательство. Будем использовать обозначения, введенные в теореме 2 и при ее доказательстве. Пусть r и R , r < R , - положительные числа. Рассмотрим точку х в шаре K(r) и точку y вне шара K(R) . Поскольку

f(x_0, y) \le D\{f(x_0,y)+f(x,y)\}

то

f(x,y) \ge \frac 1D f(x_0,y)-f(x_0,x) \ge \frac RD-r ( 30)

Положим

g_n(x)=g_n(x,\omega)=\frac 1n \sum_{i=1}^n  f(x_i,x)

Сравним g_n(x_0) и g_n(y). Выборку x_1, x_2, \dots, x_n разобьем на две части. В первую часть включим те элементы выборки, которые входят в K(r) , во вторую - все остальные (т.е. лежащие вне K(r) ). Множество индексов элементов первой части обозначим I = I(n,r) . Тогда в силу неотрицательности f имеем

g_n(y) \ge \frac 1n \sum_{i \in I}f(x_i,y)

а в силу неравенства (30)

\sum_{i \in I}f(x_i, y) \ge \left(\frac RD -r\right) CardI(n,r)

где Card I(n,r) - число элементов в множестве индексов I(n,r) . Следовательно,

g_n(y) \ge \frac 1n \left(\frac RD-r\right)J ( 31)

где J = Card I(n,r) - биномиальная случайная величина B(n,p) с вероятностью успеха p = P\{x_i(\omega) \in K(r) \} . По теореме Хинчина для g_n(x_0) справедлив (классический) закон больших чисел. Пусть \epsilon > 0. Выберем n_1=n_1(\epsilon) так, чтобы при n > n_1 было выполнено соотношение

P\{g_n(x_0)-g(x_0) > \epsilon \}< \epsilon ( 32)

где g(x_0)=EF(x_1, x_0) Выберем r так, чтобы вероятность успеха p>0,6. По теореме Бернулли можно выбрать n_2 =n_2(\epsilon) так, чтобы при n^gt; n_2

p\{J>0.5n\}> 1-\epsilon ( 33)

Выберем R так, чтобы

\frac 12 \left(\frac RD-r\right) > g(x_0)+\epsilon

Тогда

K_{\epsilon}(g) \subseteq K(R) ( 34)

и согласно (31), (32) и (33) при n > n_3=\max(n_1,n_2) с вероятностью не менее 1-\epsilon имеем

g_n(y) > g_n(x_0) ( 36)

для любого y вне K(R) . Из (34) следует, что минимизировать g_n достаточно внутри бикомпактного шара K(R) , при этом E_n(f) не пусто и

E_n(f) \subseteq K(R) ( 36)

с вероятностью не менее 1-2\epsilon .

Пусть g'_n и g' - сужения g_n и g(x) = Ef(x(\omega), x) соответственно на K(R) как функций от х. В силу (34) справедливо равенство K_{\epsilon}(g')=K_{\epsilon}(f). Согласно доказанной выше теореме 3 найдется n_4=n_4(\omega) такое, что

P(K_0(g'_n) \subseteq K_{\epsilon}(g)) > 1-\epsilon

Согласно (36) с вероятностью не менее 1-\epsilon

K_0(g'_n)=E_n(f)

при n > n_3 Следовательно, при n > n_5(\epsilon)=\max(n_3,n_4) имеем

P(E_n(f)\subseteq K_{\epsilon}(g)) > 1-3\epsilon

что и завершает доказательство теоремы 4.

Справедливы и иные варианты законов больших чисел, полученные, в частности, в статье [27].

Дмитрий Лямин
Дмитрий Лямин
Анна Корнева
Анна Корнева

Подскажите, пожалуйста, помимо самого обучения 1 руб. и отправки диплома по почте (за пересылку), ещё нужно платить за оформление самого диплома или удостоверения?

Ирина Симонян
Ирина Симонян
Армения, Ереван, ЕГУ, 1998
Дмитрий Степаненко
Дмитрий Степаненко
Россия