НОУ ИНТУИТ | Эконометрика. Лекция 8: Статистика нечисловых данных

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Опубликован: 16.12.2009 | Уровень: для всех | Доступ: платный

|

Вам нравится? Нравится 55 студентам

| Поделиться |

Поддержать программу

О формулировках законов больших чисел. Пусть $x, x_1, x_2, x_3, \dots, x_n$ - независимые одинаково распределенные случайные элементы со значениями в . Закон больших чисел - это утверждение о сходимости эмпирических средних к теоретическому среднему (математическому ожиданию) при росте объема выборки , т.е. утверждение о том, что

$E_n(f)=E_n(x_1, x_2, x_3, \dots, x_n; f)\to E(x,f)$

( 19)

при $n \to \infty$ . Однако и слева, и справа в формуле (19) стоят, вообще говоря, множества. Поэтому понятие сходимости в (19) требует обсуждения и определения.

В силу классического закона больших чисел при $n \to \infty$

$\frac 1n \sum_{i=1}^n f(x_i, y) \to Ef(x,y)$

( 20)

в смысле сходимости по вероятности, если правая часть существует (теорема А.Я. Хинчина, 1923 г.).

Если пространство состоит из конечного числа элементов, то из соотношения (20) легко вытекает (см., например, [3, с.192-193]), что

$\lim_{n \to \infty}P\{E_n(f) \subseteq E(x,f)\}=1$

( 21)

Другими словами, E_n(f) является состоятельной оценкой E(x,f) .

Если E(x,f) состоит из одного элемента, $E(x,f)=\{x_0\}$ , то соотношение (21) переходит в следующее:

$\lim_{n \to \infty}P\{E_n(f)=\{x_0\}\}=1$

( 22)

Однако с прикладной точки зрения доказательство соотношений (21)-(22) не дает достаточно уверенности в возможности использования E_n(f) в качестве оценки E(x,f) , поскольку в процессе доказательства объем выборки предполагается настолько большим, что при всех $y \in X$ одновременно левые части соотношений (20) сосредотачиваются в непересекающихся окрестностях правых частей.

Замечание. Если в соотношении (20) рассмотреть сходимость с вероятностью 1, то аналогично (21) получим т.н. усиленный закон больших чисел [3, с.193-194], согласно которому с вероятностью 1 эмпирическое среднее E_n(f) входит в теоретическое среднее E(x,f) , начиная с некоторого объема выборки , вообще говоря, случайного, $n=n(\omega)$ . Мы не будем останавливаться на этом виде сходимости, поскольку в соответствующих постановках, подробно разобранных в монографии [3], нет принципиальных отличий от случая сходимости по вероятности.

Если не является конечным, например, Х = R^1, то соотношения (21) и (22) неверны. Поэтому необходимо искать иные формулировки закона больших чисел. В классическом случае сходимости выборочного среднего арифметического к математическому ожиданию, т.е. $\bar x \to E(x)$ можно записать закон больших чисел так: для любого $\epsilon > 0$ справедливо предельное соотношение

$\lim_{n \to \infty}p\{\bar x \in(E(x)-\epsilon, E(x)+\epsilon)\}=1$

( 23)

В этом соотношении в отличие от (21) речь идет о попадании эмпирического среднего $E_n(f)=\bar x$ не непосредственно внутрь теоретического среднего E(x,f) , а в некоторую окрестность теоретического среднего.

Обобщим эту формулировку. Как задать окрестность теоретического среднего в пространстве произвольной природы? Естественно взять его окрестность, определенную с помощью какой-либо метрики. Однако полезно обеспечить на ее дополнении до Х отделенность множества значений $Ef(x(\omega),y)$ как функции от минимума этой функции на всем .

Поэтому мы сочли целесообразным определить такую окрестность с помощью самой функции $Ef(x(\omega),y)$ .

Определение 3. Для любого $\epsilon ^gt;0$ назовем $\epsilon$ -пяткой функции g(x) множество

$K_{\epsilon}(g)=\{x:g(x) < inf \{g(y), y\in X\}+ \epsilon, x \in X\}$

Таким образом, в $\epsilon$ -пятку входят все те , для которых значение g(x) либо минимально, либо отличается от минимального (или от инфимума) не более чем на $\epsilon$ . Так, для X = R^1 и функции g(x) = х^2 минимум равен 0, а $\epsilon$ -пятка имеет вид интервала $(-\sqrt{\epsilon}; \sqrt{\epsilon })$ . В формулировке (23) классического закона больших чисел утверждается, что при любом $\epsilon > 0$ вероятность попадания среднего арифметического в $\sqrt{\epsilon}$ -пятку математического ожидания стремится к 1. Поскольку > 0 произвольно, то вместо $\sqrt{\epsilon }$ -пятки можно говорить о $\epsilon$ -пятке, т.е. перейти от (23) к эквивалентной записи

$\lim_{n \to \infty}P\{\bar x K_{\epsilon}(E(x(\omega)-x)^2\}=1$

( 24)

Соотношение (24) допускает непосредственное обобщение на общий случай пространств произвольной природы.

СХЕМА ЗАКОНА БОЛЬШИХ ЧИСЕЛ. Пусть $x, x_1,x_2, x_3, \dots, x_n$ - независимые одинаково распределенные случайные элементы со значениями в пространстве произвольной природы с показателем различия $f: X^2 \toR^1$ . Пусть выполнены некоторые математические условия регулярности. Тогда для любого $\epsilon >0$ справедливо предельное соотношение

$\lim_{n \to \infty}P\{E_n(f) \subseteq K_{\epsilon}(E(x,f))\}=1$

( 25)

Аналогичным образом может быть сформулирована и общая идея усиленного закона больших чисел. Ниже приведены две конкретные формулировки "условий регулярности".

Законы больших чисел. Начнем с рассмотрения естественного обобщения конечного множества - бикомпактного пространства .

Теорема 3. В условиях теоремы 1 справедливо соотношение (25).

Доказательство. Воспользуемся построенным при доказательстве теоремы 1 конечным открытым покрытием $\{Z_1, Z_2,\dots, Z_k\}$ пространства таким, что для него выполнено соотношение (3). Построим на его основе разбиение на непересекающиеся множества $W_1, W_2,\dots, W_m$ (объединение элементов разбиения $W_1, W_2,\dots, W_m$ составляет ). Это можно сделать итеративно. На первом шаге из Z_1 следует вычесть $Z_2,\dots, Z_k$ - это и будет W_1. Затем в качестве нового пространства надо рассмотреть разность и W_1, а покрытием его будет $\{Z_2,\dots, Z_k\}.$ И так до -го шага, когда последнее из рассмотренных покрытий будет состоять из единственного открытого множества Z_k. Остается из построенной последовательности $W_1, W_2,\dots, W_k$ вычеркнуть пустые множества, которые могли быть получены при осуществлении описанной процедуры (поэтому, вообще говоря, может быть меньше ).

В каждом из элементов разбиения $W_1, W_2,\dots, W_m$ выберем по одной точке, которые назовем центрами разбиения и соответственно обозначим $w1_, w_2,\dots, w_m$ . Это и есть то конечное множество, которым можно аппроксимировать бикомпактное пространство . Пусть входит в W_j. Тогда из соотношения (3) вытекает, что

$|\frac 1n \sum_{i=1}^nf(x_i,y)-\frac 1n \sum_{i=1}^nf(x_i, w_i)| < \epsilon$

( 26)

Перейдем к доказательству соотношения (25). Возьмем произвольное $\sigma > 0$ . Рассмотрим некоторую точку из E(x,f) . Доказательство будет основано на том, что с вероятностью, стремящейся к 1, для любого вне $K_{\delta}(E(x,f))$ выполнено неравенство

$\frac 1n \sum_{i=1}^n f(x_i, y) > \frac 1n \sum_{i=1}^n f(x_i, b)$

( 27)

Для обоснования этого неравенства рассмотрим все элементы разбиения $W_1, W_2,\dots, W_m$ , имеющие непустое пересечение с внешностью $\delta$ -пятки $K_{\delta}(E(x,f))$ . Из неравенства (26) следует, что для любого вне $K_{\delta}(E(x,f))$ левая часть неравенства (27) не меньше

$\min_j \left( \frac 1n \sum_{i=1}^n f(x_i, w_i)\right)-\epsilon$

( 28)

где минимум берется по центрам всех элементов разбиения, имеющим непустое пересечение с внешностью $\delta$ -пятки. Возьмем теперь в каждом таком разбиении точку v_i , лежащую вне -пятки $K_{\delta}(E(x,f))$ . Тогда из неравенств (3) и (28) следует, что левая часть неравенства (27) не меньше

$\min_j \left( \frac 1n \sum_{i=1}^n f(x_i, v_i)\right)-2\epsilon$

( 29)

В силу закона больших чисел для действительнозначных случайных величин каждая из участвующих в соотношениях (27) и (29) средних арифметических имеет своими пределами соответствующие математические ожидания, причем в соотношении (29) эти пределы не менее

$Ef(x(\omega),b)+\delta-2\epsilon$

поскольку точки v_i лежат вне $\delta$ -пятки $K_{\delta}(E(x,f))$ . Следовательно, при

$\delta-2\epsilon > 0$

и достаточно большом , обеспечивающем необходимую близость рассматриваемого конечного числа средних арифметических к их математическим ожиданиям, справедливо неравенство (27).

Из неравенства (27) следует, что пересечение E_n(f) с внешностью $K_{\delta}(E(x,f))$ пусто. При этом точка может входить в E_n(f) , а может и не входить. Во втором случае E_n(f) состоит из иных точек, входящих в $K_{\delta}(E(x,f))$ . Теорема 3 доказана.

Если Х не является бикомпактным пространством, то необходимо суметь оценить рассматриваемые суммы "на периферии", вне бикомпактного ядра, которое обычно выделяется естественным путем. Один из возможных комплексов условий сформулирован выше в теореме 2.

Теорема 4. В условиях теоремы 2 справедлив закон больших чисел, т.е. соотношение (25).

Доказательство. Будем использовать обозначения, введенные в теореме 2 и при ее доказательстве. Пусть и , r < R , - положительные числа. Рассмотрим точку в шаре K(r) и точку вне шара K(R) . Поскольку

$f(x_0, y) \le D\{f(x_0,y)+f(x,y)\}$

то

$f(x,y) \ge \frac 1D f(x_0,y)-f(x_0,x) \ge \frac RD-r$

( 30)

Положим

$g_n(x)=g_n(x,\omega)=\frac 1n \sum_{i=1}^n f(x_i,x)$

Сравним g_n(x_0) и g_n(y) . Выборку $x_1, x_2, \dots, x_n$ разобьем на две части. В первую часть включим те элементы выборки, которые входят в K(r) , во вторую - все остальные (т.е. лежащие вне K(r) ). Множество индексов элементов первой части обозначим I = I(n,r) . Тогда в силу неотрицательности имеем

$g_n(y) \ge \frac 1n \sum_{i \in I}f(x_i,y)$

а в силу неравенства (30)

$\sum_{i \in I}f(x_i, y) \ge \left(\frac RD -r\right) CardI(n,r)$

где Card I(n,r) - число элементов в множестве индексов I(n,r) . Следовательно,

$g_n(y) \ge \frac 1n \left(\frac RD-r\right)J$

( 31)

где J = Card I(n,r) - биномиальная случайная величина B(n,p) с вероятностью успеха $p = P\{x_i(\omega) \in K(r) \}$ . По теореме Хинчина для g_n(x_0) справедлив (классический) закон больших чисел. Пусть $\epsilon > 0$ . Выберем $n_1=n_1(\epsilon)$ так, чтобы при n > n_1 было выполнено соотношение

$P\{g_n(x_0)-g(x_0) > \epsilon \}< \epsilon$

( 32)

где g(x_0)=EF(x_1, x_0) Выберем r так, чтобы вероятность успеха p>0,6. По теореме Бернулли можно выбрать $n_2 =n_2(\epsilon)$ так, чтобы при n^gt; n_2

$p\{J>0.5n\}> 1-\epsilon$

( 33)

Выберем так, чтобы

$\frac 12 \left(\frac RD-r\right) > g(x_0)+\epsilon$

Тогда

$K_{\epsilon}(g) \subseteq K(R)$

( 34)

и согласно (31), (32) и (33) при $n > n_3=\max(n_1,n_2)$ с вероятностью не менее $1-\epsilon$ имеем

( 36)

для любого вне K(R) . Из (34) следует, что минимизировать g_n достаточно внутри бикомпактного шара K(R) , при этом E_n(f) не пусто и

$E_n(f) \subseteq K(R)$

( 36)

с вероятностью не менее $1-2\epsilon$ .

Пусть g'_n и - сужения g_n и $g(x) = Ef(x(\omega), x)$ соответственно на K(R) как функций от . В силу (34) справедливо равенство $K_{\epsilon}(g')=K_{\epsilon}(f)$ . Согласно доказанной выше теореме 3 найдется $n_4=n_4(\omega)$ такое, что