Опубликован: 16.12.2009 | Уровень: для всех | Доступ: платный
Лекция 2:

Выборочные исследования

< Лекция 1 || Лекция 2: 12345 || Лекция 3 >

Проверка однородности двух биномиальных выборок

Как сравнить две группы - мужчин и женщин, молодых и пожилых, и т.п.? В маркетинге это важно для сегментации рынка. Если две группы не отличаются по ответам, значит, их можно объединить в один сегмент и проводить по отношению к ним одну и туже маркетинговую политику, в частности, осуществлять одни и те же рекламные воздействия. Если же две группы различаются, то и относиться к ним надо по-разному. Это - представители двух разных сегментов рынка, требующих разного подхода при борьбе за их завоевание.

Эконометрическая постановка такова. Рассматривается вопрос с двумя возможными ответами, например, "да" и "нет". В первой группе из n_1 опрошенных m_1 человек сказали "да", а во второй группе из n_2 опрошенных m_2 сказали "да". В вероятностной модели предполагается, что m_1 и m_2 - биномиальные случайные величины B(n_1 , p_1 ) и B(n_2 , p_2 ) соответственно. (Запись B(n , p) означает, что случайная величина m, имеющая биномиальное распределение B(n , p) с параметрами n - объем выборки и p - вероятность определенного ответа (скажем, ответа "да"), может быть представлена в виде m = X_1 + X_2 +\dots+X_n , где случайные величины X_1 , X_2 ,\dots ,X_n независимы, одинаково распределены, принимают два значения1 и 0, причем Р(X_i = 1) = р, Р(X_i = 0)= 1-р, i=1,2, \dots ,n.)

Однородность двух групп означает, что соответствующие им вероятности равны, неоднородность - что эти вероятности отличаются. В терминах математической статистики: необходимо проверить гипотезу однородности

H_0 : p_1 = p_2

при альтернативной гипотезе

H_1 : p_1 \ne p_2

(Иногда представляют интерес односторонние альтернативные гипотезы H_1' : p_1 > p_2 и H_1'' : p_1 < p_2.)

Оценкой вероятности р_1 является частота р_1*=m_1/n_1, а оценкой вероятности р_2 является частота р_2*=m_2/n_2 . Даже при совпадении вероятностей р_1 и р_2 частоты, как правило, различаются, как говорят, "по чисто случайным причинам". Рассмотрим случайную величину р_1* - р_2*. Тогда

M(р_1* - р_2*) = р_1 - р_2 , D(р_1* - р_2*) = р_1 (1 - р_1 )/ n_1 + р_2 (1-р_2 )/ n_2

Из теоремы Муавра-Лапласа и теоремы о наследовании сходимости [4, п.2.4] следует, что

 \lim_{n_1 \to \infty, n_2 \to \infty} P\{\frac{p_1*-p_2*-M(p_1*-p_2*)}{\sqrt{D(p_1*-p_2*)}} \le x\}=Ф(x)

где Ф(х)- функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Для практического применения этого соотношения следует заменить неизвестную эконометрике дисперсию разности частот на оценку этой дисперсии:

D*(р_1* - р_2*) = р_1* (1 - р_1* )/ n_1 + р_2* (1-р_2* )/ n_2

С помощью указанной выше математической техники можно показать, что

\lim_{n_1 \to \infty, n_2 \to \infty} P\{\frac{p_1*-p_2*-M(p_1*-p_2*)}{\sqrt{D(p_1*-p_2*)}} \le x\}=Ф(x)

При справедливости гипотезы однородности M(р_1* - р_2*) = 0. Поэтому правило принятия решения при проверке однородности двух выборок выглядит так:

  1. Вычислить статистику

    Q=\frac{p_1*-p_2*}{\sqrt{\frac{p_1*(1-p_1*)}{n_1}+\frac{p_2*(1-p_2*)}{n_2}}}
  2. Сравнить значение модуля статистика |Q| с граничным значением K. Если |Q| \le K, то принять гипотезу однородности H_0 . Если же |Q| > K, то заявить об отсутствии однородности и принять альтернативную гипотезу H_1 .

Граничное значение К определяется выбором уровня значимости статистического критерия проверки однородности. Из приведенных выше предельных соотношений следует, что при справедливости гипотезы однородности H_0 для уровня значимости \alpha=P(|Q| > K) имеем (при  n_1 \to \infty, n_2 \to \infty /

\alpha \to 1-Ф(K)+Ф(-K)=2-2Ф(K)

Следовательно, граничное значение в зависимости от уровня значимости целесообразно выбирать из условия

K=K(\alpha)=Ф^{-1} \left(1-\frac{\alpha}{2} \right)

Здесь Ф^{-1}- функция, обратная к функции стандартного нормального распределения. В социально-экономических исследованиях наиболее распространен 5% уровень значимости, т.е. \alpha=0.05 Для него К = 1,96.

Пример. Пусть в первой группе из 500 опрошенных ответили "да" 200, а во второй группе из 700 опрошенных сказали "да" 350. Есть ли разница между генеральными совокупностями, представленными этими двумя группами, по доле отвечающих "да"?

Уберем из формулировки примера термин "генеральная совокупность".

Пусть из 500 опрошенных мужчин ответили "да, я люблю пепси-колу" 200, а из 700 опрошенных женщин 350 сказали "да, я люблю пепси-колу". Есть ли разница между мужчинами и женщинами по доле отвечающих "да" на вопрос о любви к пепси-коле?

В рассматриваемом примере нужные для расчетов величины таковы: n_1=500, p_1*=200/500=0.4; n_2=700, p_2*=350/700=0.5. Вычислим статистику

Q=\frac{0.4-0.5}{\sqrt{\frac{0.4*0.6}{500}+\frac{0.5*0.5}{700}}}=\frac{-0.1}{\sqrt{\frac{0.24}{500}+\frac{0.25}{700}}}=\frac{-0.1}{\sqrt{0.00048+0.0003571}}=\frac{-0.1}{\sqrt{0.0008371}}=\frac{-0.1}{0.029}=-3.45

Поскольку |Q| = 3,45 > 1,96, то необходимо отклонить нулевую гипотезу и принять альтернативную. Таким образом, мужчины и женщины отличаются по рассматриваемому признаку - любви к пепси-коле.

Необходимо отметить, что результат проверки гипотезы однородности зависит не только от частот, но и от объемов выборок. Предположим, что частоты (доли) зафиксированы, а объемы выборок растут. Тогда числитель статистики Q не меняется, а знаменатель уменьшается, значит, вся дробь возрастает. Поскольку знаменатель стремится к 0, то дробь возрастает до бесконечности и рано или поздно превзойдет любую границу. Есть только одно исключение - когда в числителе стоит 0. Следовательно, вывод эконометрика должен выглядеть так: "различие обнаружено" или "различие не обнаружено". Во втором случае различие, возможно, было бы обнаружено при увеличении объемов выборок.

Как и для доверительного оценивания вероятности, во ВЦИОМ разработаны две полезные таблицы, позволяющие оценить вызванные чисто случайными причинами допустимые расхождения между частотами в группах. Эти таблицы рассчитаны при выполнении нулевой гипотезы однородности и соответствуют ситуациям, когда частоты близки к 50% (табл.2.7) или к 20% (табл.2.8). Если наблюдаемые частоты - от 30% до 70%, то рекомендуется пользоваться первой из этих таблиц, если от 10% до 30% или от 70% до 90% - то второй. Если наблюдаемые частоты меньше 10% или больше 90%, то теорема Муавра-Лапласа и основанные на ней асимптотические формулы дают не очень хорошие приближения, целесообразно применять иные, более продвинутые математические средства, в частности, приближения с помощью распределения Пуассона.

Таблица 2.7. Допустимые расхождения (в %) между частотами в двух группах в случае, когда наблюдаются частоты от 30% до 70%
Объемы Групп 750 600 400 200 100
750 6 7 7 10 12
600 7 8 8 11 13
400 7 8 10 11 14
200 10 11 11 13 16
100 12 13 14 16 18
Таблица 2.8. Допустимые расхождения (в %) между частотами в двух группах в случае, когда наблюдаются частоты от 10% до30% или от 70% до 90%
Объемы Групп 750 600 400 200 100
750 5 5 6 8 10
600 5 6 7 8 10
400 6 7 8 9 10
200 8 8 9 10 12
100 10 10 11 12 14

В условиях разобранного выше примера табл.2.7 дает допустимое расхождение 7%. Действительно, объем первой группы 500 отсутствует в таблице, но строки, соответствующие объемам 400и 600, совпадают для первых двух столбцов слева. Эти столбцы соответствуют объемам второй группы 750 и 600, между которыми расположен объем 700, данный в примере. Он ближе к 750, поэтому берем величину расхождения, стоящую на пересечении первого столбца и второй (и третьей) строк, т.е. 7%. Поскольку реальное расхождение (10%) больше, чем 7%, то делаем вывод о наличии значимого различия между группами. Естественно, этот вывод совпадает с полученным ранее расчетным путем.

Допустимое расхождение \Delta=\Delta (\alpha) между частотами нетрудно получить расчетным путем. Для этого достаточно воспользоваться формулой для статистики Q и определить, при каком максимальном расхождении частот все еще делается вывод о том, что верна гипотеза однородности. Следовательно, допустимое расхождение \Delta=\Delta (\alpha) находится из уравнения

K(\aklpha)= \frac{\Delta (\alpha)}{\sqrt{\frac{p_1*(1-p_1*)}{n_1}+\frac{p_2*(1-p_2*)}{n_2}}}

Таким образом,

 \Delta (\alpha)=K(\aklpha)= \frac{\Delta (\alpha)}{\sqrt{\frac{p_1*(1-p_1*)}{n_1}+\frac{p_2*(1-p_2*)}{n_2}}}

Для данных примера \Delta=delta (\alpha)=1.96*0.029 \approx 0.057, или 5,7%, для уровня значимости 0,05.

Для других уровней значимости надо использовать другие коэффициенты K(\alpha) Так, K(0,01) = 2,58 для уровня значимости 1% и K(0,10) = 1,64 для уровня значимости 10%. Для данных примера \Delta=\Delta (\alpha)= 2,58 *0,029 = 0,07482 \approx 0,075, или 7,5%, для уровня значимости 0,01. Если округлить до ближайшего целого числа процентов, то получим 7%, как при использовании табл.2.7 выше.

Анализ табл.2.7 и табл.2.8 показывает, что для констатации различия частоты должны отличаться не менее чем на 6%, а при некоторых объемах выборок - более чем на 10%, при объемах выборок 100 и 100 - на 19%. Если частоты отличаются на 5% или менее, можно сразу сказать, что эконометрический анализ приведет к выводу о том, что различие не обнаружено (для выборок объемов не более 750).

В связи с этим возникает вопрос: каково типовое отличие частот в двух выборках из одной и той же совокупности? Разность частот в этом случае имеет нулевое математическое ожидание и дисперсию

p(1-p)(\frac{1}{n_1}+\frac{1}{n_2})=\frac{p(1-p)(n_1+n_2)}{n_1n_2}

Величина р(1-р) достигает максимума при р=1/2, и этот максимум равен 1/4. Если р=1/2, а объемы двух выборок совпадают и равны 500, то дисперсия разности частот равна

\frac{0.25*1000}{500*500}=\frac{250}{250*1000}=\frac{1}{1000}

Следовательно, среднее квадратического отклонение \sigma равно 0,032, или 3,2%. Поскольку для стандартной нормальной случайной величины в 50% случаев ее значение не превосходит по модулю 0,67 (а в 50% случаев - больше 0,67), то типовой разброс равен 0,67 \sigma, а в рассматриваемом случае- 2,1%. Приведенные соображения дают метод контроля за правильностью проведения повторных опросов. Если частоты излишне устойчивы, это подозрительно!

< Лекция 1 || Лекция 2: 12345 || Лекция 3 >
Дмитрий Лямин
Дмитрий Лямин
Анна Корнева
Анна Корнева

Подскажите, пожалуйста, помимо самого обучения 1 руб. и отправки диплома по почте (за пересылку), ещё нужно платить за оформление самого диплома или удостоверения?

Ирина Симонян
Ирина Симонян
Армения, Ереван, ЕГУ, 1998
Дмитрий Степаненко
Дмитрий Степаненко
Россия