Товары в корзине: 0 шт Оформить заказ
Стр. 1 

91 страница

495.00 ₽

Купить Р 50.1.033-2001 — бумажный документ с голограммой и синими печатями. подробнее

Распространяем нормативную документацию с 1999 года. Пробиваем чеки, платим налоги, принимаем к оплате все законные формы платежей без дополнительных процентов. Наши клиенты защищены Законом. ООО "ЦНТИ Нормоконтроль"

Наши цены ниже, чем в других местах, потому что мы работаем напрямую с поставщиками документов.

Способы доставки

  • Срочная курьерская доставка (1-3 дня)
  • Курьерская доставка (7 дней)
  • Самовывоз из московского офиса
  • Почта РФ

Рекомендации содержат правила проверки согласия опытного распределения с теоретическим законом распределения непрерывной случайной величины и могут быть применены при разработке правил и рекомендаций по стандартизации, метрологии, распространяющихся на методы статистического анализа.

 Скачать PDF

Переиздание. Октябрь 2006 г.

Оглавление

1 Область применения

2 Теоретические основы рекомендаций

3 Порядок применения критериев типа хи-квадрат

Приложения

 
Дата введения01.07.2002
Добавлен в базу01.09.2013
Актуализация01.01.2021

Этот документ находится в:

Организации:

14.12.2001УтвержденГосстандарт России525-ст
РазработанТК 125 Стандартизация статистических методов управления качеством
РазработанНовосибирский государственный технический университет
ИзданИПК Издательство стандартов2002 г.
ИзданСтандартинформ2006 г.

Applied statistics. Rules of check of experimental and theoretical distribution of the consent. Part I. Goodness-of-fit tests of a type chi-square

Стр. 1
стр. 1
Стр. 2
стр. 2
Стр. 3
стр. 3
Стр. 4
стр. 4
Стр. 5
стр. 5
Стр. 6
стр. 6
Стр. 7
стр. 7
Стр. 8
стр. 8
Стр. 9
стр. 9
Стр. 10
стр. 10
Стр. 11
стр. 11
Стр. 12
стр. 12
Стр. 13
стр. 13
Стр. 14
стр. 14
Стр. 15
стр. 15
Стр. 16
стр. 16
Стр. 17
стр. 17
Стр. 18
стр. 18
Стр. 19
стр. 19
Стр. 20
стр. 20
Стр. 21
стр. 21
Стр. 22
стр. 22
Стр. 23
стр. 23
Стр. 24
стр. 24
Стр. 25
стр. 25
Стр. 26
стр. 26
Стр. 27
стр. 27
Стр. 28
стр. 28
Стр. 29
стр. 29
Стр. 30
стр. 30

P 50.1.033-2001


РЕКОМЕНДАЦИИ ПО СТАНДАРТИЗАЦИИ


Прикладная статистика

ПРАВИЛА ПРОВЕРКИ СОГЛАСИЯ ОПЫТНОГО РАСПРЕДЕЛЕНИЯ С ТЕОРЕТИЧЕСКИМ

Часть 1

Критерии типа хи-квадрат

Издание официальное

ГОССТАНДАРТ РОССИИ Москва

Предисловие

1    РАЗРАБОТАНЫ Новосибирским государственным техническим университетом, доработаны с участием Технического комитета по стандартизации ТК 125 «Стандартизация статистических методов управления качеством»

ВНЕСЕНЫ Техническим комитетом по стандартизации ТК 125 «Стандартизация статистических методов управления качеством»

2    ПРИНЯТЫ И ВВЕДЕНЫ В ДЕЙСТВИЕ Постановлением Еосстандарта России от 14 декабря 2001 г. № 525-ст

3    ВВЕДЕНЫ ВПЕРВЫЕ

4    ПЕРЕИЗДАНИЕ. Октябрь 2006 г.

© ИПК Издательство стандартов, 2002 © Стандартинформ, 2006

Настоящие рекомендации не могут быть полностью или частично воспроизведены, тиражированы и распространены в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

P 50.1.033-2001


рать между несколькими статистиками, следует предпочесть ту, для которой потери фишеровской информации минимальны [8].

Предполагают, что конкурирующей гипотезе Нх соответствует распределение того же типа, что и Н0, но с параметром 0,. Можно показать, разлагая Д(0,) в соотношении (3) в ряд Тейлора при малых 50 =0t—0 и пренебрегая членами высшего порядка, что

v _ N |, \Pi<9) + vTpi<9)59 ~ Pi<9)] _ N 89ТУД(9)УТ Д(9)59 _

/=1    Д(9)    ”    <=l    Д(9)


= 7V501


^УТД9)УтТ,(9)Л i=l Р/(9)


50 = 7V50TJr(0)50


(16)


где


Jr(0) = A Д (9)


— информационная матрица Фишера по группированным данным. Мощность критерия %2 Пирсона представляет собой неубывающую функцию от v. Матрица потерь информации, вызванных группированием, AJ = J(0)—Jr(0), где J(0) — информационная матрица Фишера по негруппированным наблюдениям, является неотрицательно определенной, и, следовательно, 50TAJ50>O. Так как 50TJr(0)50=50TJ(0)50—50TAJ50, то очевидно, что с ростом потерь информации падает и мощность критерия при близких конкурирующих гипотезах.

Аналогично с ростом правой части соотношения (7) увеличивается мощность критерия отношения правдоподобия. Действуя как и в предыдущем случае и пренебрегая членами высшего порядка, можно будет иметь


v-27v|(^(0) + VT^(0)50]ln 1

г=Р    >


VT Д (0)50

m


Далее, раскладывая ln( 1 +х) по формуле Тейлора и вновь пренебрегая членами выше 2-го порядка, можно получить


У-27У|(Д(0) + 50ТУД(6)

г=Р


к

2 JVI

i=i


50ТУД(0) +


УТД(9)89

Д( 9)


89Т УД (9) VT Д (9)89 2Д2(9)


89ТУД(9)УТД(9)89Л

2Д(9)


= А50т


^УД(9)УТД(9)

i=l Р,{9)


50 = A50TJr(0)50. (17)


Это соотношение аналогично соотношению (16).

Выражение (14) показывает, что свойства критерия, задаваемого статистикой (11), также зависят от потерь информации при группировании.

2.6 Асимптотически оптимальное группирование

На основании соотношений (16), (17) можно утверждать, что чем меньше потери информации, связанные с группированием наблюдений, тем выше мощность соответствующих критериев согласия при близких конкурирующих гипотезах.

Потери от группирования можно уменьшить, решая задачу асимптотически оптимального группирования и подбирая граничные точки так, чтобы Jr(0) стремилась к информационной матрице по негруппированным данным J(0). В случае скалярного параметра эта задача сводится к максимизации количества информации Фишера о параметре по группированной выборке


max

х0г <...<хк_1


<хк


/= 1


din Д(9)У v дв ,


ш.


(18)


А в случае вектора параметров в качестве критериев оптимальности могут быть выбраны различные функционалы от информационной матрицы Фишера. Наиболее естественно максимизировать определитель информационной матрицы, т. е. решать задачу


3-304


7


max    detJr(0)    .    .

x0 <xt <...<xk_t <xk    ■

Применяя на практике критерии типа у2, наиболее часто используют интервалы равной длины или, в лучшем случае, интервалы равной вероятности. Выбор равновероятного группирования обоснован определенностью этой процедуры разбиения и ее оптимальностью при отсутствии конкретных альтернатив [9]. Однако при использовании и равновероятного и равномерного группирования мощность как критерия у2 Пирсона, так и критерия отношения правдоподобия обычно много ниже максимально возможной.

В общем случае информационная матрица Фишера зависит не только от граничных точек хр но и от параметров исследуемого распределения. Однако для достаточно широкого ряда распределений при решении задач асимптотически оптимального группирования граничные точки интервалов удается получить в виде, инвариантном относительно параметров распределений, и на их основе формировать таблицы асимптотически оптимального группирования.

Применение асимптотически оптимального группирования в критериях согласия типа у2 впервые было предложено в работе [10]. Совокупность таблиц асимптотически оптимального группирования, построенная в результате решения задач (18) и (19) в [11]—[16] для распределений экспоненциального, полунормального, Рэлея, Максвелла, модуля многомерного нормального вектора, Парето, Эрланга, Лапласа, нормального, логарифмически нормальных (In и lg), Коши, Вейбулла, распределений минимального и максимального значения, двойного показательного, гамма-распределения, представлена в приложении А. Таблицы А.1—А.58 могут быть использованы как при проверке гипотез, так и при оценивании. Полученные таблицы используют в программной системе [17] при проверке согласия по критериям у2 Пирсона и отношения правдоподобия, а также при вычислении робастных оценок.

Для многих законов распределений граничные точки интервалов не могут быть выражены в виде, инвариантном относительно параметров распределений, т. е. они остаются функциями этих параметров. Это касается, например, таких законов, как гамма- и бета-распределения [11], [15], экспоненциального семейства распределений. В этом случае формирование таблиц асимтотически оптимального группирования теряет смысл. Однако возможно решение задачи асимптотически оптимального группирования при конкретных значениях параметров в процессе проверки гипотез о согласии, как это реализуется в таких ситуациях в программной системе [17].

Положительный эффект применения асимптотически оптимального группирования на результатах статистического анализа проявляется при малых отклонениях выборки от предположений.

При проверке простых гипотез и использовании асимптотически оптимального группирования критерии у2 Пирсона и отношения правдоподобия оказываются мощнее непараметрических критериев Колмогорова, Смирнова, со2 и О2 Мизеса против близких конкурирующих гипотез, лучше улавливают малые отклонения от предположений в наблюдаемых данных [18], [19].

2.7 Характер влияния способов группирования и метода оценивания на распределения статистик типа у2

Вычисленные по конкретной выборке значения статистик типа у2 очень сильно зависят от того, как сгруппированы данные. При выборе интервалов группирования одним способом нулевая гипотеза Н0 о согласии может быть отвергнута, другим — принята. При практическом использовании критериев согласия выбирают либо интервалы равной длины, либо интервалы равной вероятности (равной частоты), либо асимптотически оптимальные интервалы [10], [16]—[20]. Использование интервалов равной вероятности было предложено еще в работе [21]. Разбиение области определения случайной величины (размаха выборки) на интервалы равной длины неоднозначно. Более определенными способами являются равновероятное и асимптотически оптимальное группирования. При асимптотически оптимальном группировании мощность этих критериев для близких альтернатив максимальна [10], [18]—[20].

Для статистики у2 Пирсона, вычисляемой в соответствии с формулой (1), при справедливой

простой гипотезе Н0 предельное распределение g(5'|770) есть у2 -распределение с числом степеней свободы /- = к— 1. При сложной гипотезе, если по выборке оценивали т параметров закона, статистика подчиняется у2 -распределению с г = к—т—1 степеней свободы. При справедливой альтернативной гипотезе Н1 предельное распределение g(S\ //,) представляет собой нецентральное у2 -рас-8

P 50.1.033-2001

пределение с тем же числом степеней свободы и параметром нецентральное™, определяемым соотношением (3).

В случае проверки сложных гипотез и оценивании по выборке параметров распределений использование в качестве предельных xl-m-i -распределений справедливо лишь при определении оценок параметров по сгруппированным данным [1].

Все вышеизложенное относится и к критерию отношения правдоподобия, статистика которого определяется формулой (6).

Выбор способа группирования, в том числе равновероятного или асимптотически оптимального, отражается на предельных распределениях статистик g(S\ //,) (при верной конкурирующей гипотезе). При использовании асимптотически оптимального группирования распределения g(S\ Н0) и g(6,|if1) максимально «сдвинуты» относительно друг друга [18]—[20]. Это справедливо как при проверке простых, так и при проверке сложных гипотез.

В случае проверки простых гипотез распределения g(S\ Н0) статистик критериев у2 Пирсона и отношения правдоподобия при любом разумном способе группирования [равновероятном (РВГ), асимптотически оптимальном (АОГ), равной длины] хорошо согласуются с соответствующим

-распределением [22], [23].

При проверке сложных гипотез предельные распределения статистик критериев у2 Пирсона и отношения правдоподобия могут зависеть не только от числа оцененных параметров, но и от способа группирования, вида наблюдаемого закона распределения f(x, 8), метода оценивания и типа оцениваемого параметра.

В частности, при проверке сложных гипотез и использовании ОМП по негруппированным наблюдениям распределения g(S\ Н{]) статистик данных критериев существенно зависят от способа группирования.

В работах [22], [23] методами статистического моделирования были проведены исследования законов распределения статистик типа у} при простых и различных сложных гипотезах, при справедливости гипотезы Н{] и справедливости конкурирующей гипотезы Hv при равновероятном и асимптотически оптимальном группировании.

Например, на рисунках 4—7 сопоставлены полученные в результате моделирования эмпирические распределения статистик (при вычислении ОМП по негруппированным наблюдениям) с

соответствующими Xk-m-i -распределениями. Цифрой «1» на указанных рисунках отмечено распределение статистики при асимптотически оптимальном группировании, «2» — при равновероятном группировании. На рисунках 4—6 в качестве примера представлены распределения статистики ^2

при справедливой гипотезе Н0 для пяти интервалов группирования и оценивании по негруппированным данным параметров закона.

Рисунок 4 — Распределение статистики *^2 при пяти интервалах группирования и оценивании масштабно-

го параметра нормального распределения


з*


9


P 50.1.033-2001


Рисунок 5 — Распределение статистики З' 2 при пяти интервалах группирования и оценивании параметра

сдвига нормального распределения


Рисунок 6


Распределение статистики 5 при пяти интервалах группирования и оценивании двух параметров нормального распределения


Рисунок 7


P 50.1.033-2001

Для сравнения на рисунке 7 представлены распределения статистики .V(i|| при пяти интервалах группирования и оценивании обоих параметров нормального распределения при асимптотически оптимальном и равновероятном группировании.

Результаты моделирования и анализа показали [22], [23], что распределения статистик критериев х2 Пирсона и отношения правдоподобия при проверке сложных гипотез и вычислении оценок по негруппированным данным существенно различаются при разных способах группирования. При этом эмпирический закон распределения статистики при асимптотически оптимальном группировании ближе к Хк-т-1 -распределению, чем при равновероятном группировании. Более того, распределения статистик зависят не только от числа оцененных по выборке параметров, но и от того, какой параметр оценивали. Например, оценивание параметра сдвига приводит к более значительному изменению распределения статистики, чем оценивание масштабного параметра. Распределения статистик зависят и от вида наблюдаемого закона. Но эта зависимость не проявляется так резко, как в случае применения для проверки сложных гипотез непараметрических критериев, например типа Колмогорова.

Эмпирические распределения статистики отношения правдоподобия оказываются ближе к Хк-т-1 -распределению, чем соответствующие эмпирические распределения статистики у2 Пирсона.

Х% -распределение с числом степеней свободы г является частным случаем гамма-распределения с основным параметром, равным г/2, и с масштабным — 0,5. Оценивание одного из параметров учитывается уменьшением числа степеней свободы на 1. Так, если измерять изменение предельного закона «в степенях свободы», то оказывается, что оценивание по негруппированным наблюдениям даже параметра сдвига обычно приводит к изменению «числа степеней» на значение, меньшее 1, еще к меньшему изменению в степенях свободы приводит оценивание масштабного параметра. При оценивании по негруппированным наблюдениям двух параметров закона различие между xl -распределением и действительным распределением статистики еще более значимо. Таким образом, при вычислении оценок параметров по негруппированным наблюдениям использование в критериях согласия Хк-m-i -распределения чревато занижением вероятности вида P{S XVs ] и определенным риском отвергнуть верную гипотезу Н{]. Занижение P{S XV*} более существенно при малом числе интервалов группирования. В целом этот риск существенно меньше в случае применения асимптотически оптимального группирования.

Полученные в результате моделирования эмпирические законы распределения статистик рассматриваемых критериев практически всегда с достаточно высокой точностью описываются гамма-распределением .

11

Использование в критериях согласия xl-m-i -распределения для вычисления вероятности вида Р{5'>5'*} связано с риском отвергнуть верную гипотезу Н{]. В случае применения асимптотически оптимального группирования этот риск существенно меньше. В качестве примера в таблице 1 приведены значения вероятностей P{.VXV*} для различных значений статистики б1*, вычисленные по xl -распределению в соответствии с «действительными» распределениями статистик при семи интервалах группирования и оценивании двух параметров нормального распределения. Эти данные вместе с другими результатами позволяют судить о том, что в случае применения асимптотически оптимального группирования и использования Хк-т-1 -распределения ошибки при вычислении вероятности P{S XVs ] практически незначимы.

4-304

Таблица 1 — Значения вероятностей вида P{S>S*}

Значение S‘

-распределе-

ние

Распределение статистики 5”оп

Распределение статистики 5^2

При АОГ

При РВГ

При АОГ

При РВГ

3

0,5578

0,5876

0,6293

0,5914

0,6304

4

0,4060

0,4303

0,4700

0,4356

0,4716

5

0,2873

0,3049

0,3384

0,3108

0,3403

6

0,1991

0,2108

0,2370

0,2165

0,2389

7

0,1359

0,1430

0,1626

0,1481

0,1643

8

0,0916

0,0956

0,1096

0,0999

0,1111

9

0,0611

0,0632

0,0729

0,0666

0,0741

10

0,0404

0,0413

0,0480

0,0440

0,0489

11

0,0266

0,0268

0,0313

0,0288

0,0320

12

0,0173

0,0173

0,0202

0,0187

0,0207

13

0,0113

0,0110

0,0130

0,0120

0,0133

Исследование распределений статистик при вычислении ОМП по негруппированным данным и дальнейшем увеличении числа интервалов показало возрастающую близость распределений статистик к х1-т-1 -распределениям. Следовательно, при использовании xl-m-i -распределения для

вычисления вероятностей вида    с    ростом    числа    интервалов    (при    достаточном объеме вы

борки) ошибки будут снижаться.

Как отражается способ группирования на предельных распределениях статистики ^2 при

справедливости альтернативной гипотезы Нх показано на рисунках 8,9, где приведены полученные в результате моделирования функции распределения    при    использовании    асимптотически

оптимального (АОГ) и равновероятного (РВГ) группирования, когда гипотеза Н0 соответствует нормальному закону распределения, а гипотеза Нх — логистическому. Эти два закона достаточно близки и трудноразличимы с помощью критериев согласия. На рисунке 8 приведены эмпирические распределения статистики при простой гипотезе Н а на рисунке 9 — при сложной. Число интервалов группирования — 7. Из рисунков 8, 9 видно, насколько выше мощность критерия при асимптотически оптимальном группировании по сравнению равновероятным.

Рисунок 8 — Распределение статистики З' 2 при проверке простой гипотезы Н0

P 50.1.033-2001

Рисунок 9 — Распределение статистики З' 2 при проверке сложной гипотезы Н0

Распределения G(S \ Н{]) и G(S\HX) статистики Yjy(Q), определяемой соотношением (11)

при использовании оценок максимального правдоподобия параметров по негруппированным данным, несущественно зависят от способа группирования. Исследование этих распределений методами статистического моделирования показало хорошее согласие G(S \ Н{]) с yl_l -распределениями

и при равновероятном и при асимптотически оптимальном группировании. При выборе различных способов группирования нет большой разницы между соответствующими распределениями статистики Нх). При этом критерий оказывается несколько мощнее в случае равновероятного группирования.

Таким образом, по поводу распределений статистик критериев типа %2 можно сделать следующие выводы.

Если по наблюдаемой выборке не оценивали параметры закона (простая гипотеза), то распределения статистик типа %2 при справедливой гипотезе Н{] подчиняются yj-_l -распределениям как

при равновероятном, так и при асимптотически оптимальном группировании. Различия между распределениями статистик при равновероятном и асимптотически оптимальном группировании заметны, но незначимы. Распределения статистик при равновероятном группировании в целом оказываются ближе к yl_\ -распределению.

В условиях, когда оценки параметров определяют по негруппированным наблюдениям, распределения этих статистик хорошо описываются гамма-распределениями. При этом:

а)    Распределения статистик критериев отношения правдоподобия и у2 Пирсона существенно зависят от способа группирования, особенно при малом числе интервалов.

б)    Распределения статистик зависят не только от числа оцененных по выборке параметров, но и от того, какой параметр оценивали. В частности, оценивание параметра сдвига приводит к более значительному изменению распределений статистик, чем оценивание масштабного параметра. Картина аналогична той, что наблюдается для распределений статистик типа Колмогорова, Смирнова и со2 Мизеса при проверке сложных гипотез [24].

в)    Эмпирические распределения статистики отношения правдоподобия оказываются ближе к

предельному теоретическому yl-m-i -распределению, чем соответствующие эмпирические распределения статистики у2 Пирсона.

г)    В целом, при малом числе интервалов и оценивании т параметров число степеней свободы предельного распределения уменьшается на «число степеней свободы», меньшее т. При этом эмпи-

13

рический закон распределения статистики при асимптотически оптимальном группировании ближе к теоретическому xl-m-i -распределению, чем при равновероятном группировании.

д)    С ростом числа интервалов к разность между функцией распределения xl-m-i и действительными функциями распределения статистик отношения правдоподобия и у} Пирсона в случае асимптотически оптимального группирования убывает существенно быстрее.

е)    Анализ показал, что при использовании для вычисления вероятностей P{S>tf\ функции

распределения xl-m-i ПРИ асимптотически оптимальном группировании и малом числе интервалов

(£<10) при малых значениях P{S>tf\ (именно при малых вероятностях принимают решение отклонить гипотезу Н{] или нет) погрешность имеет значения, которые несущественны для практических

задач. То есть в этом случае, используя xl-m-i -распределение, не совершают большой ошибки. В то

же время ошибка в определении критического значения Sa может быть достаточно большой. Поэтому целесообразно принимать решение по достигнутому уровню значимости — значению вероятности P{S>S*}.

ж)    С ростом числа интервалов (при соответствующем объеме выборки) отличие распределений статистик Sx2 и 5^ от распределений xl-m-i и ПРИ асимптотически оптимальном и при

равновероятном группировании становится несущественным.

При справедливости конкурирующей гипотезы Нх распределения статистик у2 и отношения правдоподобия при простых и сложных гипотезах сильно зависят от способа группирования.

Разность (/(^l Н0) — <7(.v| //,) для этих статистик при близких альтернативах в случае использования асимптотически оптимального группирования максимальна, следовательно, максимальна мощность критерия.

Распределения <7(^1 //,) статистики Никулина от выбранного способа группирования зависят несущественно.

2.8 Выбор числа интервалов

Число интервалов группирования, используемое при вычислении оценок параметров, построении гистограмм, вычислении статистик типа отношения правдоподобия или у2 Пирсона, колеблется в очень широких пределах. Большинство рекомендуемых формул для оценки числа интервалов к носит эмпирический характер и обычно дает завышенные значения.

Определение числа интервалов связано с объемом выборки. Целый ряд рекомендаций из различных источников по выбору числа интервалов к дан в [25].

При выборе интервалов равной длины определяющим является требование, чтобы число наблюдений, лопавших в интервалы, было не слишком малым и сравнимым. Такое требование выдвигают в связи с опасением, что в противном случае распределение статистики типа у2 не будет

являться у2 -распределением. При этом наиболее часто рекомендуют, чтобы число наблюдений,

попавших в интервал, было не менее 10. В [26] отмечено, что на практике допустимо, чтобы число наблюдений в крайних интервалах было менее пяти. В работах [21], [27], посвященных изучению мощности критерия у2 Пирсона, в случае унимодального распределения допускается уменьшение ожидаемых частот попадания наблюдений для одного или двух интервалов до 1 и даже ниже. Статистическое моделирование подтверждает, что и в такой ситуации распределения статистик

типа у2 хорошо согласуются с соответствующими у2 -распределениями.

Во многих источниках, например в [28], можно найти упоминание эвристической формулы Старджесса для определения «оптимального» числа интервалов

к= log2TV+ 1 = 3,31gA + 1.

В [29] для определения «оптимального» числа интервалов рекомендуют формулу Брукса и Каррузера

к = 5lgN.

В [30] рекомендуют соотношение

k = 4W-

P 50.1.033-2001

В [27] для равновероятных интервалов их число устанавливают порядка

к « 4^2(N / О04,

где t— квантиль стандартного нормального распределения для заданного уровня значимости. В ряде работ приводят модификации данной формулы. В [31] предлагают значение

к = 41g7V,

а в [32] — дальнейшее развитие этого соотношения

к= 51gN- 5.

В исследовании [33] получено соотношение

где к — значение контрэксцесса (к = 1 / д/ц4 / о4 , Ц4 — четвертый центральный момент случайной

величины; о — стандартное отклонение).

При больших объемах выборок N разброс значений к, задаваемых различными формулами, достаточно велик. Поэтому на практике при выборе числа интервалов больше руководствуются тем, чтобы в интервалы попадало число наблюдений не менее 5—10. Так, например, в рекомендациях ВНИИМ им. Д. И. Менделеева [34] в зависимости от N предлагают следующие значения к.

N    к

40—100 ............................... 7—9

100—500 .............................. 8—12

500—1000 .............................. 10—16

1000—10000 ............................ 12—22.

Все вышеперечисленные рекомендации опирались на предположение, что к следует выбирать таким образом, чтобы вид гистограммы был как можно ближе к плавной кривой плотности распределения генеральной совокупности. В [35] показано, что уклонение гистограммы от плотности распределения в лучшем случае имеет порядок 1 / 1[n , достигаемый при числе интервалов к порядка зjjj .

Очевидно, что «оптимальное» значение к зависит не только от объема выборки, но и от вида закона распределения и от способа группирования.

При асимптотически оптимальном группировании относительно скалярного параметра при 10, 11 интервалах в группированной выборке сохраняется около 98 % информации, при оптимальном группировании относительно вектора параметров (два параметра) для 15 интервалов — около 95 %. Дальнейшее увеличение числа интервалов существенного значения не имеет.

Конкретное число интервалов при асимптотически оптимальном группировании выбирают, исходя из следующих соображений. При оптимальном группировании вероятности попадания в интервалы в общем случае не равны. Обычно минимальны вероятности попадания в крайние интервалы. Поэтому ^желательно выбирать из условия 7VP.(9) > 5—10 для любого интервала при оптимальном группировании. По крайней мере, минимальная ожидаемая частота должна быть больше 1. В случае использования равновероятного группирования порядок Одолжен быть примерно таким же, как и при асимптотически оптимальном группировании.

Большинство рекомендаций по выбору числа интервалов, в частности по выбору числа интервалов в случае асимптотически оптимального группирования, исходят из того, чтобы при данном N как можно лучше приблизить плотность распределения ее непараметрической оценкой (гистограммой). Исключение составляют рекомендации в [21], [27], где к выбору числа интервалов А: подходят с позиций мощности критерия согласия.

Известно [36], [37], что при заданном объеме выборки, заданных конкурирующих гипотезах и Hv выбранном способе группирования и фиксированном уровне значимости ас ростом числа интервалов к мощность критериев %2 Пирсона и отношения правдоподобия падает. Очевидно, что выбор оптимального числа интервалов должен быть основан на необходимости построения критерия, обладающего наибольшей мощностью при близких конкурирующих гипотезах.

Об изменении мощности критерия %2 Пирсона с ростом числа интервалов при проверке

простой гипотезы можно судить по рисунку 10. Через Х% обозначена статистика, вычисляемая в

5-304    15

соответствии с формулой (1). На рисунке 10 представлены полученные экспериментально распределения статистики Gk(Xjf\H0) и Gk(Х%\Н{) при числе интервалов к = 7; 10; 15; 20 и объеме выборки N = 500, когда гипотеза Н0 соответствует нормальному закону, а Нх — логистическому (два очень близких закона). Для к= 7 на рисунке 10 приведены распределения при равновероятном Gj^v(X2N Н\ )

и асимптотически оптимальном <JAor№v|^i) группировании. Ордината нижнего конца соответствующей вертикальной черты определяет значение (1 (вероятность ошибки 2-го рода) при уровне значимости а= 0,1 для соответствующего числа интервалов. Мощность равна 1—р. Как видно, в полном соответствии с результатами работ [36], [37] при увеличении числа интервалов мощность критерия падает.

П римечание — (7^(Хдг|-йо) — это распределение, соответствующее Хк_1 •

1

0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1

Рисунок 10

0    3,75    7,5    11,25    15    18,75    22,5    26,25    30

Распределения статистики Х% при проверке простой гипотезы (Н0 — нормальный закон, Н1 — логистический закон, к = 7; 10; 15; 20)

-1-

GpBrO*w wo)

s 1

-

_

> 1 gaoK*n^o,) /

.

/

/

'

у

У

УУ

s>

_У.

/

/

/ J

/

/

/ /

/V

/

/

г

//

//

GPBI"(*W 1

Hr-

4 /

/V

J / ,,

/ \

Jr

-h

h

ivy*

-f a

Ж

'GpgK-^w 1 Ho)

I-jh

i '

i

/ a

* // // // ft

/

/^GpBr^N 1 Hq)

__1_

5-/—

//,

ft

/

5IWi)

/

/

ЬрвгИ/

/ / t /

77/

7

IH0)

/7 ■дмДг* ■

-1--- ■ ' ‘-1—

о 3,75    7,5    11,25    15    18,75    22,5    26,25    30

Распределения статистики Х% при проверке сложной гипотезы (Н0 — нормальный закон, Н1 — логистический закон, к = 7; 10; 15; 20)

Рисунок 11


P 50.1.033-2001

Содержание

1    Область применения........................................ 1

2    Теоретические основы рекомендаций............................... 1

2.1    Общие положения....................................... 1

2.2    Критерии типа%2 при простых гипотезах.......................... 3

2.3    Критерии типах2при сложных гипотезах.......................... 4

2.4    Статистика типах2 Никулина................................. 5

2.5    Связь мощности критериев со способом группирования наблюдений.......... 6

2.6    Асимптотически оптимальное группирование........................ 7

2.7    Характер влияния способов группирования и метода оценивания на распределения статистик типа х2......................................... 8

2.8    Выбор числа интервалов.................................... 14

2.9    Рекомендации по использованию асимптотически оптимального группирования в критериях согласия........................................ 19

2.10    Примеры использования таблиц асимптотически оптимального группирования ....    39

3    Порядок применения критериев типа х2............................. 45

3.1    Порядок проверки простой гипотезы............................. 45

3.2    Порядок проверки сложной гипотезы............................. 46

Приложение А Таблицы асимптотически оптимального группирования наблюдений в критериях согласия типах2 ................................. 47

Приложение Б Процентные точки х2-распределений....................... 85

Приложение В Библиография.................................... 85

III

P 50.1.033-2001

1

0,9

0,8

0,7

0,6

0,5

0,4

0,3

0,2

0,1

V? Alms'S /УA jS*

/

,

-9 /

V

/

у

У

>

/

/

/

'

/

/

/

У/

/

/

/

i

Т-1

/ / /

/ . ! /

/

' / /

/

~1

1.

/

' /

/

/

f

/

—J—

-

1/

/

j/

7

'

г

1

GPBr( yn 1 1

1

/

А

рвг( yn h

V

1

г-

^Gp5Br(Yw wi)

//

Ч

/ /

^G1

°Br(yWWl)

ш

'............’’

6,25    12,5    18,75    25    31,25    37,5    43,75


0


50


2

Рисунок 12 — Распределения статистики Y£ при проверке сложной гипотезы (Щ — нормальный закон,

Н1 — логистический закон, к = 7; 10; 15; 20)

Аналогичные изменения мощности критерия для статистики Х% в зависимости от числа

интервалов при проверке сложной гипотезы иллюстрирует рисунок 11. Здесь также с ростом к мощность критерия падает.

Мощность критерия Никулина с использованием статистики Ту с ростом к уменьшается существенно медленней (рисунок 12), и она выше, чем мощность критерия %2 Пирсона.

Таблица 2 — Мощность критериев %2 Пирсона и типах2 Никулина при уровне значимости а = 0,1 (Н0 — нормальный закон, Н1 — логистический закон)

к

В случае простой гипотезы

В случае сложной гипотезы

2 2

Для статистики Х^/ = Удг

2

Для статистики Xjy

2

Для статистики Удг

По результатам моделирования

Теоретическая

По результатам моделирования (при использовании ОМП)

Теоретическая (при использовании оценок

min xjf)

По результатам моделирования

Теоретическая

1

2

3

4

5

6

7

6

0,46

0,449

0,53

0,526

0,70

0,739

7

0,43

0,427

0.49

0,488

0,71

0,750

8

0,42

0,409

0,45

0,459

0,71

0,755

9

0,38

0,395

0,43

0,436

0,71

0,756

10

0,38

0,383

0,43

0,418

0,71

0,756

11

0,37

0,373

0,41

0,403

0,71

0,754

12

0,35

0,364

0,41

0,391

0,70

0,752

13

0,35

0,357

0,38

0,381

0,70

0,749

14

0,34

0,351

0,38

0,373

0,69

0,746

15

0,33

0,345

0,38

0,365

0,69

0,742

16

0,33

0,340

0,38

0,359

0,69

0,738

17

0,32

0,336

0,37

0,353

0,69

0,734

18

0,32

0,332

0,37

0,348

0,69

0,730

17

P 50.1.033-2001

Введение

Необходимость разработки настоящих рекомендаций вызвана следующими причинами.

Во-первых, в нормативных документах по стандартизации, устанавливающих правила проверки опытного распределения с теоретическим, нечетко определены правила применения критериев согласия типа %2 при проверке сложных гипотез. Некорректное использование оценок параметров по точечным (негруппированным) наблюдениям зачастую приводит к неоправданному отклонению проверяемой гипотезы.

Во-вторых, способы группирования наблюдений (способы разбиения области определения случайной величины на интервалы) при применении критериев типа %2 и выбор числа интервалов группирования не учитывают асимптотических свойств этих критериев. Неоднозначность процедуры группирования, неоптимальный выбор числа интервалов отражаются на мощности применяемого критерия, его способности различать близкие гипотезы, что, как правило, приводит к неоправданному принятию проверяемой гипотезы.

Настоящие рекомендации, с одной стороны, облегчают практическое применение критериев согласия типа %2, обеспечивают корректность статистических выводов, с другой стороны, содержат новые сведения из рассматриваемого раздела математической статистики.

IV

РЕКОМЕНДАЦИИ ПО СТАНДАРТИЗАЦИИ

Прикладная статистика

ПРАВИЛА ПРОВЕРКИ СОГЛАСИЯ ОПЫТНОГО РАСПРЕДЕЛЕНИЯ С ТЕОРЕТИЧЕСКИМ

Ч а с т ь I Критерии типа хи-квадрат

Applied statistics. Rules of check of experimental and theoretical distribution of the consent Part I. Goodness-of-iit tests of a type chi-square

Дата введения 2002—07—01

1    Область применения

Настоящие рекомендации содержат правила проверки согласия опытного распределения с теоретическим законом распределения непрерывной случайной величины и могут быть применены при разработке правил и рекомендаций по стандартизации, метрологии, распространяющихся на методы статистического анализа.

Настоящие рекомендации могут быть также использованы в качестве практического руководства по применению критериев согласия типа %1 при статистической обработке результатов наблюдений, измерений, контроля и испытаний продукции.

2    Теоретические основы рекомендаций

2Л Общие положения

Число моделей непрерывных законов распределений, используемых в задачах статистического анализа (при контроле качества, исследованиях надежности и т. д.), немногим превышает 100, а для описания наблюдаемых случайных величин в прикладных исследованиях в основном применяют порядка 30 параметрических законов и семейств распределений.

Это не покрывает многообразия случайных величин, встречаемых на практике. Корректное применение критериев согласия часто приводит (и должно приводить) к отклонению гипотез о принадлежности выборки удобному и привычному закону распределения, например нормальному, так как законы реальных случайных величин, являющиеся следствием многочисленных причин, сложнее тех моделей, которые обычно используют для их описания. Следовательно и модели должны быть более сложными.

Целью первичной обработки экспериментальных наблюдений обычно является установление закона распределения, наиболее хорошо описывающего случайную величину, выборку которой наблюдают. Насколько хорошо наблюдаемая выборка описывается теоретическим законом, проверяют с использованием различных критериев согласия. Целью проверки гипотезы о согласии опытного распределения с теоретическим является стремление удостовериться в том, что данная модель теоретического закона не противоречит наблюдаемым данным и использование ее не приведет к существенным ошибкам при вероятностных расчетах. Некорректное использование критериев согласия может приводить к необоснованному принятию (чаще всего) или необоснованному отклонению проверяемой гипотезы.

Издание официальное

Различают простые и сложные гипотезы о согласии. Простая проверяемая гипотеза имеет вид: Н{] : f(x, 8) = f(x, 80), где /(•) — функция плотности; 0О — известный скалярный или векторный параметр теоретического распределения, с которым проверяют согласие. Сложная гипотеза имеет

вид Н{]: f(x)e {f(x, 8), 0е 0}, где 0 — пространство параметров и оценку 0 скалярного или векторного параметра вычисляют по той же самой выборке, по которой проверяют гипотезу о согласии.

Схема процедуры проверки гипотезы следующая. В соответствии с применяемым критерием согласия вычисляют значение У статистики S как некоторой функции от выборки и теоретического закона распределения с плотностью f(x, 0О) [или f(x, 0) при сложной гипотезе]. Для используемых на практике критериев асимптотические (предельные) распределения g(s \ Н{]) соответствующих статистик при условии истинности гипотезы Н0 обычно известны. В общем случае для простых и сложных гипотез эти распределения различаются. Далее в принятой практике статистического анализа обычно полученное значение статистики S* сравнивают с критическим значением Sa при заданном уровне значимости а. Нулевую гипотезу отвергают, если S*>Sa (рисунок 1). Критическое значение Sa, определяемое в случае одномерной статистики из уравнения

а = Jg(s|#0№>

обычно берут из соответствующей статистической таблицы или вычисляют.

Рисунок 1 — Плотность распределения статистики при истинной гипотезе Н0

Больше информации о степени согласия можно почерпнуть из «достигаемого уровня значимости»: вероятности возможного превышения полученного значения статистики при истинности

нулевой гипотезы

j g(s\H0)ds,

Именно эта вероятность позволяет судить о том, на-

сколько хорошо выборка согласуется с теоретическим распределением, так как по существу представляет собой вероятность истинности нулевой гипотезы (рисунок 2). Гипотезу о согласии не отвергают, если P{S > б1*} > а. 1

Рисунок 2 — Плотность распределения статистики при истинной гипотезе Н0

P 50.1.033-2001

Рисунок 3 — Плотности распределения статистик при справедливости гипотез Н0 и Ну


Задачи оценивания параметров и проверки гипотез опираются на выборки независимых случайных величин. Случайность самой выборки предопределяет, что возможны и ошибки в результатах статистических выводов. С результатами проверки гипотез связывают ошибки двух видов, ошибка 1-го рода состоит в том, что отклоняют гипотезу Н{]. когда она верна; ошибка 2-го рода состоит в том, что принимают гипотезу Н{]. в то время как справедлива альтернативная (конкурирующая) гипотеза Hv Величина а задает вероятность ошибки 1-го рода. Обычно в критериях согласия не рассматривают конкретную альтернативу, и тогда конкурирующая гипотеза имеет вид Ну:fix, 8) ф f{x, 0О). Если гипотеза Ну задана и имеет, например, вид Ну:f(x, 8) = /,(x, 0,). то выбор значения а определяет для используемого критерия проверки гипотез и вероятность ошибки 2-го рода р. Е1а рисунке 3 g(s \ Н{]) отображает плотность распределения статистики S при истинности гипотезы Н0, a g(s Ну) — плотность распределения статистики S при справедливости гипотезы Ну.

Мощность критерия представляет собой значение 1—р, где р — вероятность ошибки 2-го рода. Очевидно, что чем выше мощность используемого критерия при заданном значении а, тем лучше он различает гипотезы Н{] и Ну Особенно важно, чтобы используемый критерий хорошо различал близкие альтернативы. Графически требование максимальной мощности критерия означает, что на рисунке 3 плотности g(s \ Н{]) и g(s\Hy) должны быть максимально «раздвинуты».

2.2 Критерии типа %2 при простых гипотезах

Предполагают, что Ъ,у, £2, ... ,    —    выборка    значений    наблюдаемой    случайной    величины

<**-!<**>


Х0<Ху<


где х0 — нижняя грань области определения случайной величины; хк — верхняя грань. В соответствии с заданным разбиением подсчитывают число я- выборочных значений, попавших в /-Й интервал, и


объема N. Процедура проверки гипотез с использованием критериев типа %2 предусматривает группирование наблюдений. Область определения случайной величины разбивают на к непересекающих-ся интервалов граничными точками

Х1

вероятности попадания в интервал -^/(9) = 1/ (х>    , соответствующие теоретическому закону с

щ-\

функцией плотности fix, 0). При проверке простой гипотезы известны как вид функции плотности, так и все параметры закона (известен скалярный или векторный параметр 0). При этом

к    к

Xщ = N, ХРД0) = 1.в основе статистик, используемых в критериях согласия %2, лежит измерение

i=1    i=1

отклонений я./TVот /1(0).

К критериям такого рода, в частности, относят критерий %2 Пирсона, критерий отношения правдоподобия [1] и критерии типа %2 [2]—[5].

Статистику критерия согласия у} Пирсона вычисляют по формуле

(1)

о:    ^(щ/м-рт)2

3

* м т

2-304

В случае проверки простой гипотезы в пределе при N—эта статистика подчиняется у2. -


распределению с г = к— 1 степенями свободы, если верна нулевая гипотеза. Плотность у2. -распределения g(s) описывается формулой


g(s)


1    „г/2-\    -S/2

2г/2Цг/2)


(2)

Если верна конкурирующая гипотеза Н1 и выборка соответствует распределению с плотностью fx(x, 0,) и параметром 0,, то эта же статистика в пределе подчиняется нецентральному у2 -распределению с тем же числом степеней свободы г = к— 1 и параметром нецентральное™


.|,(Р/(91)-РД9))2

м т


(3)

где    (01) — вероятность попадания в интервал при справедливой гипотезе Ну Плотность нецент

рального ^-распределения g(s, v) имеет вид [1]

e-(s+v)/2s(r-2)/2

g(S’ ^ ~ 2г/2г[(г - 1) / 2)]г(1 / 2)

где В(а, Р) = Г(а)Г(Р) / Г(а + Р) — бета-функция.

При заданном уровне значимости а нулевая гипотеза о согласии не должна быть отвергнута,

если


(4)

Р


Sx2>S


*


1

2'"/2Г(г / 2)


$ sr/2-le-s/2ds > а



(5)

где $ 2 — вычисленное в соответствии с формулой (1) значение статистики. Статистика критерия отношения правдоподобия [1]


5 = -2 In/ =-2%щ In


pi (е)

щ/N


(6)

при верной нулевой гипотезе также асимптотически распределена как у2 с г = к— 1 степенями

свободы. Если верна конкурирующая гипотеза Н{ и выборка соответствует распределению с плотностью fx(x, 0,) и параметром 0,, мерой близости сравниваемых законов является величина


v = 2JVIP/(01)ln


р[ш

pi (9)


(7)

2.3 Критерии типа у2 при сложных гипотезах

При справедливости Н{] в случае проверки сложной гипотезы и при условии, что оценки параметров найдены в результате минимизации статистики $х2 по этой же самой выборке,

статистика ^2 асимптотически распределена как у2 с числом степеней свободы г = к—т— 1, где

т — число оцененных параметров. Статистика ^2 имеет это же распределение, если в качестве

метода оценивания выбирают метод максимального правдоподобия и оценки вычисляют по сгруппированным данным в результате максимизации по 0 функции правдоподобия

Z(0) = Tnif (9),

/= 1


(8)

P 50.1.033-2001


ч

где у — некоторая константа и Р• (9) = 1 /(*, 9)^/х — вероятность попадания наблюдения в /-й

4-1

интервал значений, зависящая от 8.

При вычислении оценок максимального правдоподобия (ОМП) по негруппированным дан-


2 2

ным эта же статистика распределена как сумма независимых слагаемых Xk-m-i +    где    q., ...

У=1


qm — стандартные нормальные случайные величины, независимые одна от другой и от xl-m-i > а ^    \    —    некоторые    числа    между    0    и    1    [2],    [6],    [7],    представляющие собой корни уравнения

|(1-A,)J(0)- Jr(0) | = 0.

В данном уравнении J(8) — информационная матрица Фишера по негруппированным наблюдениям с элементами, определяемыми соотношением


/(Ф, 9.) = J

‘ df\x, 9) df(x, 9)Л


06,

f{x, &)dx


, dQl U”J ,

a Jr(0) — информационная матрица по группированным наблюдениям

А т ■


(9)


(10)

Функция распределения статистики лежит между у^к_х - и xl-m-i -распределениями. В этом

случае, принимая нулевую гипотезу, следует удостовериться, что статистика $х2 не превышает

2 2

критических значений %к-т-i,a и    гДе    ос    —    задаваемый    уровень    значимости.    И    если

Хк-т-i,a <    <Хк- 1,а , то, принимая или отклоняя гипотезу о согласии, можно с одинаковым

риском совершить ошибку.

Вышеизложенное относится и к критерию отношения правдоподобия.

Влияние способа группирования на распределения статистик при использовании оценок максимального правдоподобия по негруппированным данным — по 2.7.

2.4 Статистика типа у} Никулина

В работах [2]—[5] предложено видоизменение стандартной статистики ^2 , при котором предельное распределение есть обычное Xk-i -распределение (число степеней свободы не зависит от

числа оцениваемых параметров). Неизвестные параметры распределения F(x, 8) в этом случае следует оценивать по негруппированным данным методом максимального правдоподобия. При этом

вектор Р = (Рх, ... , Рк)1 предполагают заданным, и граничные точки интервалов определяют по соотношениям лу(0) = F~fP\ +... + Pf, i = 1, {к -1). Предложенная статистика имеет вид [3]

7^(0) = S%2 + 7V-1aT(0)A(0)fl(0),    (И)


где S 2 вычислена по формуле (1); матрица Л(0)


т.


еу)-Х

/ = 1


Pi


-1


, элементы и размер


ность которой определяются оцениваемыми компонентами вектора параметров 0; /(8;, 0^ — элементы информационной матрицы J (0) по негруппированным данным (9);

aei = weiini / Р\ +---+wQiknk I Рк — элементы вектора д(0) и


W



i = -/Ь(9), 0]^^ + /[хм(9), э]

00,

I (9)

06,


(12)


5


Для распределений, которые полностью определяются только параметрами сдвига и масштаба, справедливо соотношение


ТР,(9)УР,(9)

/=1 Д(е)

* weiiweji


Jr(9)


(13)


и, следовательно,


Л(0) = [J(0)-Jr(0)]-1.    (14)

Действительно, для законов с параметрами сдвига 0, и масштаба 02 с функцией распределения

Щх— 01)/02) и плотностью “/((^ “ 0i) / 0г) элементы информационной матрицы Jr(9) имеют вид:


/г(01, 0i) = 2^—(- Я'/) + /a--i)f ; '=1022/(0)

/г(92 , 02) = 2    (-    4/(4)    + 4-l/(4-l)f ;

/=1013(0)


^г(01, е2) = х—(- /(4) + /(гм)) (- 4/(4) + 4-i/(4-i)),

г=1022/(0)

где tf = (xt - 0Д / 02. Тогда

wBli =^-(- /(4) + /(4-i));
W02/ = ^(“ 4/(4) + 4-l/(4-l)) •

Если проверяемая гипотеза Н{] о принадлежности наблюдаемого закона параметрическому семейству f(x, 9) неверна и справедлива конкурирующая гипотеза Hv которой соответствует распределение с плотностью ft(x, 0) = f{x, 0) + Ь(х, 0) / л/TV, статистика Т^(0) в пределе подчиняется нецентральному ^к_х -распределению с параметром нецентральности [3]

v(0) = Z    + dT (0) А(0) d (0),    (15)

г=1 С'W

ч

где сД0) = j 5(х, 0)Jx, dej =w9/1c1(0) / Т) +... + w0/fccfc(0) / Pk — элементы вектора J(0), соответ-

ч-i

ствующие оцениваемым компонентам вектора 0, а размерность вектора равна числу оцениваемых параметров.

2.5 Связь мощности критериев со способом группирования наблюдений

Очевидно, что группирование наблюдений приводит к потере информации, и эти потери зависят от выбора способа группирования данных. Следуя рекомендациям различных литературных источников, на практике обычно строят интервалы равной длины или, в лучшем случае, интервалы равной вероятности. Потери информации о законе распределения в этих ситуациях различны, различна и способность критериев распознавать близкие гипотезы.

Мерой внутренней близости распределений случайных величин служит фишеровская информация, что связано с мощностью различения между близкими значениями параметра. Так как в любой статистике не больше информации, чем в исходной выборке, то мощность различения с помощью статистики не больше, чем с помощью всей выборки. Следовательно, если нужно выби-

1