Выборочный метод

Статистическая совокупность — это подлежащее изучению множество однородных объектов, их количество — объем совокупности. Всем элементам совокупности присущ некоторый признак (случайная величина) при переходе от одного элемента к другому, значение признака варьируется.

Генеральная совокупность — это все мыслимые наблюдения, анализируемого признака. Для получения ряда значений признака проводят статистическое наблюдение (сплошное или выборочное).

Сплошное наблюдение — изучается каждый элемент совокупности. Однако оно может оказаться невозможным. Чаще проводят выборочное наблюдение.

Выборка — часть выборочной совокупности, обладающая свойствами генеральной совокупности. То есть выборка должна быть репрезентативной.

Репрезентативность достигается наличием: равновероятности значений, большим объёмом данных, однородностью рассеивания значений элементов.

Ряд распределений

Вариационный ряд — это выборка из $n$ значений (вариант изучаемого количественного признака $X$ ). Ранжированный вариационный ряд предполагает расположение вариант в порядке возрастания.

x_1 \leq x_2 \leq \ldots \leq x_n, ~i=\overline{1,n}

Признак $X$ — дискретный если варианты отличаются на конечную заранее известную величину (год рождения, тарифный разряд, число людей). Иначе — значения отличаются на сколь угодно малую величину. Признак непрерывен (вес, объём, стоимость).

Частотой $m_i$ дискретного признака $x$ называют число одинаковых вариантов $x_i$ в выборке.

\overbrace{\underbrace{x_1, x_1, \ldots, x_1}_m, \cdots, \underbrace{x_i, x_i, \ldots, x_i}_{m_i}, \cdots, \underbrace{x_k, x_k, \ldots, x_k}_{m_k}}^n

Компактная форма соответствия вариант дискретного признака и их частот называется статистическим распределением.

$x_1$	$\ldots$	$x_i$	$\ldots$	$x_k$
$m_1$	$\ldots$	$m_i$	$\ldots$	$m_k$

Статистическое распределение для непрерывного признака принято представлять интервальным рядом — таблицей где варианты представлены интервалом вида $[x_{i-1} - x_i)$ , это не разность а интервал значений вариант.

$x_{i-1} - x_i$	$x_0 - x_1$	$x_1 - x_2$	$\ldots$	$x_{k-1} - x_k$
$m_i$	$m_1$	$m_2$	$\ldots$	$m_k$

Часто вместо частот в распределении указывают относительные частоты. $w_i = \frac{m_i}{n}$ — показывает процент вариант выборки (частость).

\sum\limits_{i=1}^k w_i = 1

Накопленной частотой называется число значений признака $X<x.$

H(x)=m(X<x)

Таким образом можно прийти к ряду накопленных частот и эмпирической функции распределения.

F^*(x)=\frac{H(x)}{n}=\frac{m(X<x)}{n}

Графическое представление

Дискретный ряд изображают в виде полигона частот $x_i, m_i$ или частости $x_i, w_i$ .

Интервальный ряд изображают в виде гистограммы — ступенчатой фигуры, состоящей из прямоугольников основания которых равны интервалам длины $h_i$ , а высоты плотности частот $\frac{m_i}{h}$ или частости $\frac{w_i}{h}$ .

Кумулятивные ряды изображают в виде кумуляты (аналог графика интегральной функции случайной величины).

Выборочные характеристики

Выборочная средняя

Характеризует типичное для выборки значение признака $x$ причем лишь приближенно. В случае интервального вариационного ряда необходимо перейти к дискретному, путём нахождения середины интервала.

x_i' = \frac{x_i+x_{i-1}}{2}

Если данные сгруппированы, то выборочная средняя рассчитывается как взвешенная средняя.

\overline x_B = \frac{\sum\limits_{i=1}^k x_i m_i}{n}=\sum\limits_{i=1}^k x_i w_i

Если же данные наблюдения не сгруппированы, то выборочная средняя рассчитывается как простая средняя арифметическая.

\overline x_B = \frac{\sum\limits_{i=1}^n x_i}{n}

Структурные средние

Мода

Мода — наиболее часто встречающиеся значения признака $x.$

m_i = max \Rightarrow x_{mo}=x_i

При вычислении моды в случае интервального ряда находят модальный интервал. В случае равновеликих интервалов (шаг одинаков) модальным будет тот, которому характерна максимальная частота, иначе модальным будет интервал в котором достигается максимальная плотность частоты (накопленная частость).

Медиана

Медиана — серединное значение ранжированного вариационного ряда.

Если объем выборки — четное значение, то медиана рассчитывается как среднее арифметическое двух центральных элементов выборки.

x_{me} = \frac{x_j + x_{j+1}}{2}, ~j=\frac{n}{2}

Если же объем выборки — нечетное значение, то медиана рассчитывается как следующий элемент после середины выборки.

x_{me} = x_{j+1}, ~j=\frac{n-1}{2}

Показатели вариации

Размах

Размах — разность между наибольшим и наименьшим значениями результатов наблюдений.

R=x_{max}-x_{min}

Дисперсия

Дисперсия — мера, которая показывает разброс между результатами.

D_B=\overline{x^2} - \overline x_B^2

\overline{x^2} = \frac{\sum\limits_{i=1}^k x_i^2 m_i}{n}

Среднеквадратическое отклонение

Среднеквадратическое отклонение — статистическая характеристика распределения случайной величины, показывающая среднюю степень разброса значений величины относительно математического ожидания.

\sigma_B = \sqrt{D_B}

Коэффициент вариации

Коэффициент вариации — величина, равная отношению среднеквадратичного отклонения случайной величины к ее математическому ожиданию. Применяется для сравнения вариативности одного и того же признака в нескольких совокупностях с различным средним арифметическим.

$\nu=\frac{\sigma_B}{\overline x_B} \cdot 100\%$

Если коэффициент вариации > 33%, выборка считается неоднородной и её следует кластеризовать.

Статистическое оценивание

Оценивание — это приближенное оценивание по выборочным данным параметров генеральной совокупности. Статистические оценки могут быть точными и интервальными. Точечной оценкой неизвестного параметра называют число, которое приблизительно равно оцениваемым параметрам и может заменить его с достаточной степенью точности в стат расчета.

\theta \approx \theta^*

Для того чтобы точечные оценки обеспечивали достаточную точность, они должны обладать тремя свойствами:

Несмещенность, то есть оценка $\theta^*$ , полученная по выборке должна в среднем соответствовать $\theta$ , иначе будет иметь место систематическая ошибка завышения или занижения результата.
$M(\theta^*)=\theta$
Дисперсия оценки должна быть минимальной при фиксированном объеме выборки $n.$
$D(\theta^*)=min$
Оценка с достаточной вероятностью при увеличении к объему выборки приближается к оцениваемому параметру.
$\theta^* \xrightarrow{\text{P}} \theta, ~n \to \infty$

X_{gen}(M(X)) \to \overline{X_B}

D_{gen}(D(X)) \to S^2

S^2 = D_B \cdot \frac{n}{n-1}

\sigma_{gen}(\sigma(x)) \to S, ~S = \sqrt{S^2}

На основе точечных оценок происходит построение интервальных оценок. Интервальной оценкой неизвестного параметра $\theta$ называют доверительный интервал $(\theta^{mb}, ~\theta^{np})$ , который с заданной вероятностью $\gamma$ покрывает неизвестный параметр.

P(\theta^{mb}<\theta<\theta^{np}) = \gamma

Интервальная оценка — это доверительные интервал, $\gamma$ — доверительная вероятность или надежность интервальной оценки. Границы доверительного интервала находят по выборке, они могут меняться в зависимости от ее качественного состава. Следовательно, оценка тем точнее определяет неизвестный параметр, чем меньше разность между параметром и оценкой.

|\theta - \theta^*| \to min

Доверительную вероятность задают заранее как правило числом близким к единице.

(\gamma \geq 0,9)

Находят точность интервальной оценки $\Delta$ .

P(\theta^* - \Delta < \theta < \theta^* + \Delta) = \gamma

Интервальная оценка математического ожидания нормального распределения при известном среднеквадратическим отклонении

Пусть существует $X\sim N(a=M(X), ~\sigma=\sigma(X)).$ Предположим, что параметр $\sigma$ известен, требуют оценить неизвестный параметр $a$ для этого проводится выборка объемом $n$ и рассчитывается средняя выборочная. Известно что средняя выборочная является точной оценкой средней генеральной. С доверительной вероятность гамма найдем такое число $\Delta > 0,$ чтобы выполнялось равенство доверительного интервала для оценки истинного среднего значения генеральной совокупности.

P(\overline{X_B} - \Delta < \overline X_{gen} < \overline X_B + \Delta) = \gamma

\gamma = 2\Phi(\frac{\Delta \sqrt n}{\sigma})

\Phi = \frac{\Delta \sqrt n}{\sigma} = \frac{\gamma}{2}

\frac{\Delta \sqrt n}{\sigma} = t \Rightarrow \Delta = \frac{t \cdot \sigma}{\sqrt n}

Проверка статистических гипотез

Статистическая гипотеза — это некоторое предположение о свойствах и характеристиках генеральной совокупности, сформулированная на основе анализа выборки. При этом выборка должна быть репрезентативной, то есть являться генеральной совокупностью в уменьшенном масштабе (все свойства должны быть сохранены в выборке).

Основная или нулевая гипотеза $H_0$ — это гипотеза которой мы придерживаемся пока наблюдения (выборка) не заставят признать обратное, ей всегда соответствует альтернативная (конкурирующая) гипотеза $H_1.$ Статистические методы не позволяют доказать гипотезу. По выборки мы можем опровергнуть гипотезу. Чтобы определить, когда гипотезу отвергать, а когда нет, применяют два понятия:

Ошибка первого рода — ситуация когда $H_0$ отвергается, хотя на самом деле она верная.
$\alpha = P_{H_0} (H_1)$
Ошибка второго рода — ситуация когда $H_0$ принимается, хотя на самом деле она не верная.
$\beta = P_{H_1} (H_0)$

Минимизировать обе ошибки невозможно, при уменьшении $\alpha,$ растет $\beta$ и наоборот. Обычно контролируют ошибку первого рода $\alpha < 0.1.$

Для проверки гипотезы используется статистический критерий — случайная величина, закон распределения которой описан и значения вычисляются по выборке (статистический критерий по другому называют статистикой).

Мощность критерия — это вероятность не совершить ошибку второго рода $(1 - \beta)$ . Наиболее мощным критерием с уровнем значимости $\alpha$ называется тот, который обладает наибольшей мощностью.

Для определения момента с которого мы отвергаем $H_0$ необходимо определиться с критической областью — областью значений критерия при которой отвергается $H_0.$

Виды критических областей

Правосторонняя $\omega \in (\varphi_{crit}; ~+\infty).$
Левостороння $\omega \in (-\infty; ~\varphi_{crit}).$
Двусторонняя $\omega \in (-\infty; ~\varphi_{crit}) \cup (\varphi_{crit}; ~+\infty).$

Вид критической области определяется видом критерия и видом альтернативной гипотезы $H_1.$ По выборке рассчитывают наблюдаемое значение критерия.

Правило — если наблюдаемое значение критерия принадлежит критической области, то $H_0$ отвергается и принимается $H_1$ с вероятностью совершить ошибку первого рода $\alpha.$

\varphi \in \omega, ~H_0: "-", ~H_1: "+" | ~\alpha

Проверка гипотезы о нормальном законе распределения генеральной совокупности

H_0: X\sim N

H_1: X\sim M

f(\chi^2) = \frac{1}{2^{\frac{k}{2}} \Gamma (\frac{k}{2})} \cdot {\chi^2}^{\frac{k}{2} - 1} \cdot e^{-\frac{\chi^2}{2}}

Где $k = S - 3$ — число степеней свободы, $S$ — число вариационных групп статистического распределения выборки.

В данном случаем применяется правосторонняя критическая область $\chi^2_{crit} (\alpha; k).$ Рассчитывается приближенное значение критерия.

\chi^2 = \sum\limits_{i=1}^S \frac{(m_i^\epsilon - m_i^T)^2}{m_i^T}

Где $m_i^\epsilon$ — эмпирические частоты, $m_i^T$ — теоретические частоты.

\chi^2 \in \omega, ~H_0: "-", ~H_1: "+" | ~\alpha

Проверка гипотезы о равенстве генеральных дисперсий

Допустим имеются две независимые выборки объемом $n_x$ и $n_y$ из соответствующих генеральных совокупностей $X, Y$ . Известно, что закон распределения в обоих генеральных совокупностях — нормальный.

X \sim N(a_x, \sigma_x), ~Y \sim N(a_y, \sigma_y)

С применением выборочного метода, вычислены выборочные характеристики.

\overline X_B, ~\overline Y_B

S_x^2, ~S_y^2

Необходимо ответить на вопрос: сравнимы ли генеральные совокупности? Если будет доказано, что различия между исправленными выборочными дисперсиями — значимый, то генеральные совокупности сравнивать нельзя.

$H_0: D(x) = D(y)$ — $X, ~Y$ можно сравнивать.

$H_1: D(x) > D(y)$ — $X, ~Y$ нельзя сравнивать.

Задают уровень значимости $\alpha = P_{H_0} (H_1).$ В данном случае в качестве инструмента проверки используется случайная величина $F$ , имеющая распределения Фишера-Снедекора с параметрами $k_1, k_2.$ Где $n_1$ — объём выборки с большей дисперсией, $n_2$ — с меньшей.

k_1 = n_1 - 1, ~k_2 = n_2 - 1

f(F) = \frac{k_1^{\frac{k_1}{2}} k_2^{\frac{k_2}{2}} \Gamma(\frac{k_1 + k_2}{2})}{\Gamma(\frac{k_1}{2}) \Gamma(\frac{k_2}{2})} \cdot F^{\frac{k_1}{2}-1} \cdot (F k_1 + k_2)^{-\frac{k_1 + k_2}{2}}

Рассчитывается наблюдаемое значение критерия.

F_{obs}=\frac{S^2_{greater}}{S^2_{less}} \geq 1

В данном случае критическая область является правосторонней.

\omega \in (F_{crit}; ~\infty), ~F_{crit}(\alpha; k_1; k_2)

F_{obs} \in \omega, ~H_0: "-", ~H_1: "+" | ~\alpha

Сравнение генеральных средних двух нормально распределённых генеральных совокупностей дисперсии которых неизвестны и одинаковы

Генеральные совокупности — сравнимы, критерий $F$ применён и получены соответствующие выводы.

H_0: M(x) = M(y)

H_1': M(x) > M(y)

H_1'': M(x) < M(y)

H_1''': M(x) \neq M(y)

Вид альтернативной гипотезы $H_1$ зависит от постановки задачи.

Если требуется сравнить и сделать вывод о том какая из генеральных средних больше или меньше используется $H_1', ~H_1''.$

Если требуется проверить различия генеральных средних, используется $H_1'''.$

Задают уровень значимости $\alpha = P_{H_0} (H_1).$ Инструментом проверки является случайная величина $T$ , имеющая распределение Стьюдента с параметром $k$ .

k = n_x + n_y - 2

f(T) = \frac{\Gamma (\frac{n+1}{2})}{\sqrt{n \pi} ~\Gamma (\frac{n}{2}) (1 + \frac{T^2}{n})^{\frac{n+1}{2}}}

Рассчитывается наблюдаемое значение критерия.

T_{obs} = \frac{\overline X_B - \overline Y_B}{\sqrt{(n_{x-1}) S_x^2 + (n_{y-1}) S_y^2}} \cdot \frac{n_x n_y (n_x + n_y - 2)}{n_x + n_y}

Определяется критическая точка.

H_1': \omega \in (T_{crit}; ~+\infty)

H_1'': \omega \in (-\infty; ~T_{crit})

H_1''': \omega \in (-\infty; ~T_{crit}) \cup (T_{crit}; ~+\infty)

T_{obs} \in \omega, ~H_0: "-", ~H_1: "+" | ~\alpha

Проверка гипотезы о равенстве вероятностей

Пусть по отношению к событию $A$ проводится $n$ независимых испытаний. $P(A) = p$ в каждом испытании $p$ — заранее известно, но есть основание предположить, что она равна гипотетической вероятности $P_0$ . Для этого находят статистическую вероятность $\frac{n}{m}$ и проверяют гипотезу.

H_0: p = P_0

H_1': p \neq P_0

H_1'': p > P_0

H_1''': p < P_0

Задают уровень значимости $\alpha = P_{H_0} (H_1).$ В качестве инструмента используется случайная величина $U \sim N(\alpha = 0, ~\sigma = 1).$ Рассчитывается наблюдаемое значение критерия.

U_{obs} = \frac{(\frac{n}{m} - P_0) \sqrt n}{\sqrt{P_0 Q_0}}

Критическая точка определяется с помощью функции Лапласа.

H_1': p \neq P_0, ~\Phi(U_{crit}^{double}) = \frac{1 - \alpha}{2}

H_1'': p > P_0, ~\Phi(U_{crit}^{right}) = \frac{1}{2} - \alpha

H_1''': p < P_0, ~\Phi(-U_{crit}^{right}) = \frac{1}{2} - \alpha

U_{obs} \in \omega, ~H_0: "-", ~H_1: "+" | ~\alpha