ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

НАЦИОНАЛЬНЫЙ

СТАНДАРТ

РОССИЙСКОЙ

ФЕДЕРАЦИИ

Статистические методы

АНАЛИЗ СОВПАДЕНИЯ РЕЗУЛЬТАТОВ ПРОВЕРОК ПО АЛЬТЕРНАТИВНОМУ ПРИЗНАКУ

ISO/TR 14468:2010 Selected illustrations of attribute agreement analysis (IDT)

Издание официальное

ГОСТ P 50779.80—2013

Предисловие

1    ПОДГОТОВЛЕН Автономной некоммерческой организацией «Научно-исследовательский центр контроля и диагностики технических систем» (АНО «НИЦ КД») на основе собственного аутентичного перевода стандарта, указанного в пункте 4

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 125 «Применение статистических методов»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 22 ноября 2013 г. № 1664-ст

4    Настоящий стандарт идентичен международному документу ISO/TR 14468:2010 «Примеры анализа совпадения результатов проверок по альтернативному признаку» (ISO/TR 14468 2010 «Selected illustrations of attribute agreement analysis»).

Наименование настоящего стандарта изменено относительно наименования указанного международного документа для приведения в соответствие с ГОСТ Р 1.5.

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты Российской Федерации и межгосударственные стандарты, сведения о которых приведены в дополнительном приложении ДА

5    ВВЕДЕН ВПЕРВЫЕ

Правила применения наапоящего стандарта установлены в ГОСТ Р 1.0-2012 (раздел 8). Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок - в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (gost.ru)

© Стандартинформ, 2014

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

ГОСТ P 50779.80—2013

Содержание

1    Область применения........................................................................................................................1

2    Нормативные ссылки........................................................................................................................1

3    Термины и определения ..................................................................................................................1

4    Обозначения и сокращения.............................................................................................................2

5    Общая методика анализа соответствия на основе результатов проверок по альтернативному

признаку....................................................................................................................................................3

6    Описание приложений А - Е............................................................................................................в

Приложение А (справочное) Контроль жидкокристаллических дисплеев..........................................8

Приложение В (справочное) Диагностика проблем с программным обеспечением .......................13

Приложение С (справочное) Определение вида воды на основе дегустации.................................19

Приложение D (справочное) Контроль дефектов термистора ..........................................................24

Приложение Е (справочное) Определение уровня трудоспособности после инсульта .................31

Приложение ДА (справочное) Сведения о соответствии ссылочных международных стандартов ссылочным национальным стандартам Российской Федерации (и действующим в этом качестве межгосударственным стандартам).......................................................................................................37

Библиография ........................................................................................................................................38

Введение

Стандарты по статистическим методам и методологии «Шесть сигм» обеспечивают применение подхода постоянного улучшения и методов анализа качества.

Настоящий стандарт посвящен анализу совпадения результатов проверок или контроля по альтернативному признаку и иллюстрирует его применение на нескольких примерах (см. приложения А-Е).

В этих примерах показан не только общий подход к применению данной методики, но и особенности его использования в различных ситуациях.

ISO/TR 14468:2010 разработан ISO/TC 69 «Применение статистических методов».

IV

ГОСТ Р 50779.80-2013/ISO/TR14468:2010

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Статистические методы

АНАЛИЗ СОВПАДЕНИЯ РЕЗУЛЬТАТОВ ПРОВЕРОК ПО АЛЬТЕРНАТИВНОМУ ПРИЗНАКУ

Statistical methods Attribute agreement analysis

Дата введения —- 2014—12—01

1    Область применения

В настоящем стандарте установлен метод анализа процесса, когда результатами определения значений контролируемой характеристики качества являются данные проверки или контроля по альтернативному признаку (в том числе неупорядоченные и упорядоченные данные).

В настоящем стандарте приведены примеры анализа совпадения результатов проверок по альтернативному признаку (ААА”) с различными выводами относительно совпадения оценок аттестующими исследуемого объекта в процессе испытаний (далее оценок аттестующих), в том числе совпадения оценок одного аттестующего, совпадения оценок, полученных несколькими аттестующими, совпадение оценок каждого аттестующего со стандартной оценкой и совпадения оценок всех аттестующих со стандартной оценкой.

2    Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ИСО 3534-1 Статистика. Словарь и условные обозначения. Часть 1. Общие статистические термины и термины, используемые в вероятностных задачах (ISO 3534-1 Statistics - Vocabulary and symbols - Pari 1: General statistical terms and terms used in probability)

ИСО 3534-2 Статистика. Словарь и условные обозначения. Часть 2. Прикладная статистика (ISO 3534-2 Statistics - Vocabulary and symbols - Pari 2: Applied statistics)

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия) Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку

3    Термины и определения

В настоящем стандарте применены термины по ISO 3534-1, ISO 3534-2, а также следующие термины с соответствующими определениями.

3.1    система определения значений (характеристики) (measurement system): Набор действий, процедур, устройств и оборудования, программного обеспечения и персонала, используемый для определения значения характеристики.

(IWA 1:2005, 3.1.9]

Примечание -В настоящем стандарте персонал относят к аттестующим

3.2    неупорядоченные данные (nominal data): Значения переменных, принимающих два или более значений без естественного упорядочивания.

AAA - attribute agreement analysis

Издание официальное

ГОСТ P 50779.80—2013

3.3    упорядоченные данные (ordinal data): Значения переменных, принимающих три или более значений с естественным упорядочиванием.

3.4    двоичные данные (binary data): Значения переменных, принимающих два значения без естественного упорядочивания.

3.5    согласованность оценок одного аттестующего (agreement within appraiser): Степень совпадения оценок, полученных одним и тем же аттестующим во всех испытаниях, если аттестующий участвует в двух или более испытаниях.

3.6    согласованность оценок нескольких аттестующих (agreement between appraisers): Степень совпадения оценок, полученных различными аттестующими, если два и более аттестующих участвуют в одном или нескольких испытаниях.

3.7    согласованность оценок одного аттестующего со стандартной оценкой (agreement of each appraiser vs. standard): Степень совпадения оценок, полученных одним аттестующим со стандартной оценкой, если она установлена.

3.8    согласованность оценок всех аттестующих со стандартной оценкой (agreement of all appraisers vs. standard): Степень совпадения результатов, полученных всеми аттестующими во всех испытаниях, между собой и со стандартной оценкой, если она установлена.

3.9    процент совпадения оценок Р, % (percentage of agreement): Процент совпадения оценок, полученных одним аттестующим при многократном повторении испытаний или оценок различных аттестующих.

3.10    к-статистика (kappa): Статистика, указывающая на степень совпадения упорядоченных или неупорядоченных результатов, полученных несколькими аттестующими по одной и той же выборке.

Примечание - к-статистику обычно используют в исследовании ААА

3.11    к-статистика    Флейса (Reiss's    kappa):    Статистика,    используемая    для    проверки

согласованности оценок аттестующих, если аттестующие выбраны случайным образом из группы аналогичных аттестующих.

3.12    к-статистика    Кохена (Cohen's    kappa):    Статистика,    используемая    для    проверки

согласованности оценок аттестующих, если аттестующие выбраны и фиксированы до проведения испытаний.

3.13    р - значение (p-value): Вероятность появления наблюдаемого значения тестовой статистики (или другой величины), используемой для принятия решения при проверке гипотез, неблагоприятного по отношению к нулевой гипотезе.

(ИСО 3534-1:2006, 1.49]

Примечание - Эту величину используют при проверке гипотез для принятия решений об отклонении или принятии нулевой гипотезы.

3.14    Z-статистика (Z-statistic):    Статистика,    используемая при проверке гипотез,

подчиняющаяся нормированному нормальному распределению

4 Обозначения и сокращения

95 % CI    -    доверительный интервал с уровнем доверия 95 %;

ААА    *    анализ совпадения результатов проверок по альтернативному признаку:

MSA    -    анализ измерительных систем;

Ok    - стандартная ошибка    к-статистики (стандартное отклонение

к-статистики);

п    - объем выборки;

Р.%    - процент совпадения    оценок;

Z    - Z-статистика.

2

ГОСТ P 50779.80—2013

5 Общая методика анализа совпадения результатов проверок по альтернативному признаку

5.1 Краткое описание анализа

В настоящем стандарте приведены общие принципы планирования эксперимента, проведения и анализа результатов испытаний для исследования совпадения оценок, данных аттестующими при отнесении результатов испытаний в две или более категорий (например, «хороший» и «плохой»). Ниже приведена процедура, состоящая из пяти этапов исследования, которая показана на пяти примерах, приведенных в приложениях А - Е.

Этапы анализа, приведенные в таблице 1. являются общими и могут быть применены к разработке и анализу исследований ААА. Для каждого из пяти этапов, а так же для общей методологии исследования ААА в 5.2 - 5.7 даны разъяснения. Пояснения к содержанию этих этапов приведены также в примерах (см. приложения А - Е).

5.2    Основные цели исследования ААА

В методологии «Шесть Сигм» и в программах повышения качества часто используют исследование ААА Цель исследования ААА должна быть четко установлена и согласована всеми заинтересованными сторонами. Основной целью исследования ААА является анализ возможностей системы определения значений контролируемой характеристики на основе данных проверки (контроля) по апьтернативному признаку для принятия решения о приемлемости (или неприемлемости) системы. Исследование ААА позволяет определить согласованность оценок одного аттестующего, нескольких аттестующих между собой, а также их согласованность со «стандартной оценкой».

Поводом для проведения исследования ААА могут быть (перечень может быть дополнен):

a)    недостаточная согласованность результатов проверки части или единицы продукции, полученных одним аттестующим в процессе различных исследований;

b)    недостаточная согласованность результатов проверки части или единицы продукции различными аттестующими;

c)    недостаточная согласованность результатов проверки части или единицы продукции, полученных одним аттестующим или несколькими аттестующими с установленной стандартной оценкой;

d)    выполнение требований стандартов по менеджменту качества, например (5J.

5.3    Описание процесса определения значений контролируемой характеристики

Настоящий стандарт посвящен процессам, в которых результатами определения значений контролируемой характеристики являются данные проверки (контроля) по альтернативному признаку.

Процесс определения значений контролируемой характеристики должен быть четко описан до проведения исследований ААА с указанием аттестующих, используемых процедур определения значений контролируемой характеристики качества, условий выполнения процедур, типа данных (упорядоченные, неупорядоченные или двоичные).

5.4    Методология исследования ААА

Для определения значений контролируемых характеристик продукции на производстве применяют приборы, шаблоны, мерительный инструмент и т.д. Существует много ситуаций, в которых характеристики качества определить достаточно трудно, например, при ранжировании показателей качества автомобилей, определении качества ткани в виде «хорошая» / «плохая», оценке цвета, аромата и вкуса вина в баллах от 1 до 10.

В случаях, когда физическое определение значений контролируемой характеристики невозможно, используют субъективные классификации или экспертные оценки. В этом случае применение исследования ААА позволяет после получения оценок несколькими аттестующими (двумя и более) провести анализ согласованности оценок участвующих в испытаниях аттестующих.

3

Если оценки аттестующих совпадают, возможно, что полученные оценки являются верными. Если оценки различных аттестующих не совпадают, правильность оценок может вызывать сомнения.

Полученные оценки могут быть неупорядоченными, упорядоченными или двоичными. Неупорядоченные данные представляют собой значения переменных, принимающих два или более значений без естественного упорядочивания. Например, при дегустации продуктов, значениями оценок могут быть, например, такие как хрустящий, мягкий. Упорядоченные данные представляют собой значения переменной, принимающей три или более значений с естественным упорядочиванием, например, значениями такой переменной могут быть: «категорически не согласен», «не согласен», «воздерживаюсь», «согласен» и «абсолютно согласен». Однако дистанция между значениями переменной в этом случае неизвестна. Двоичные данные представляют собой значения переменных, принимающих только два значения. Например, аттестующие могут классифицировать единицы продукции на «годные/негодные» или «функционирующие /не функционирующие». Следует отметить, что двоичные данные фактически являются частным случаем неупорядоченных данных с двумя значениями. Двоичные данные широко используют в производстве при наличии установленного требования, когда проверенные единицы продукции признают соответствующими или несоответствующими этому требованию. Двоичные данные также используют для оценки функционирования системы определения значений контролируемой характеристики. Система, когда контролируемая характеристика принимает только два значения, рассмотрена в приложении А. Таким образом, в настоящем стандарте неупорядоченные данные отнесены к переменной, принимающей три или более возможных значений.

Независимо от типа используемых данных при проведении исследования ААА в качестве показателя применяют процент совпадения оценок. Процент совпадения оценок показывает количество совпадений оценок при многократных испытаниях для одного аттестующего и нескольких аттестующих. Процент совпадения оценок Р является фактически точечной оценкой доли совокупности

р-£аиий.мо%,

п

где Лшлсл - количество совпадающих оценок при п повторениях испытаний;

п - количество проверяемых объектов (количество повторений испытаний).

Для анализа неупорядоченных данных более всего подходит к-статистика. Она представляет собой долю неслучайных совпадений оценок.

*оЬ»-*охр

^К"

где Роь» - наблюдаемая доля совпадающих оценок;

Р«пр - математическое ожидание доли совпадающих оценок, если совпадения являются случайными.

Каппа принимает значения от минус 1 до +1. Чем выше значение к, тем больше доля совпадающих оценок. Если к принимает значение 1. оценки полностью совпадают. Если к принимает значение 0. совпадение оценок является случайным. Значения к выше 0,9 считают превосходными.

Значения к менее 0.7 указывают на то. что система определения значений контролируемой характеристики нуждается в улучшении, а значение к менее 0,4 указывает на то, что эта система является недостоверной. Обычно требуют, чтобы значение к было не менее 0.7 (к £ 0.7).

Двумя наиболее часто применяемыми к-статистиками являются к-статистика Кохена и к-статистика Флейса. При использовании этих статистик оценки аттестующих обрабатывают по-разному. и по-разному вычисляют вероятность случайного совпадения данных. При вычислении к-статистики Кохена предполагается, что аттестующие выбраны и фиксированы, а при вычислении к-статистики Флейса предполагается, что аттестующие выбраны случайным образом из группы аттестующих. Это дает два различных метода определения вероятности совпадения оценок. Таким образом, к-статистика и ее стандартная ошибка о* (SE'O могут быть вычислены методом Флейса или методом Кохена. В основе критерия лежит статистика

используемая для проверки нулевой гипотезы Но: к - 0 против альтернативной гипотезы

Hi: к > 0.

Это односторонний критерий. Нулевой гипотезе соответствует нормированное нормальное распределение Z. Нулевую гипотезу отклоняют, если p-значение меньше назначенного, обычно равного 0.05.

¹¹ SE - Standard Error 4

ГОСТ P 50779.80—2013

Так как двоичные данные представляют собой частный случай неупорядоченных данных, когда переменная принимает только два значения, к-статистика может также быть использована и для двоичных данных.

Значения к-статистики не учитывают разности между значениями в упорядоченных данных. Они характеризуют лишь абсолютное совпадение оценок. Поэтому для исследования упорядоченных данных более всего подходят коэффициенты Кендалла. В настоящем стандарте использованы два вида коэффициентов Кендалла: коэффициент совпадений Кендалла W и коэффициент корреляции Кендалла (названный т-Кендалла). Оба эти коэффициента являются непараметрическими статистиками. Первый коэффициент изменяется от 0 до 1 и отражает степень совпадения оценок при многократном повторении испытаний. Второй коэффициент изменяется от минус 1 до ♦ 1 и отражает степень совпадения оценок с известной стандартной оценкой. Таким образом, коэффициент совпадения Кендалла следует использовать для анализа совпадения оценок одного аттестующего и нескольких аттестующих. Если известна истинная оценка, может быть использован коэффициент корреляции Кендалла для анализа совпадающих оценок каждого аттестующего со стандартной оценкой и согласованности результатов всех аттестующих со стандартной оценкой.

5.5 План выборочного контроля для исследования ААА

В плане выборочного контроля для исследования ААА должны быть определены объем выборки исследуемых объектов, количество аттестующих и количество проверок. При проверке более 20 объектов обычно выбирают от трех до пяти аттестующих, две или три проверки (при использовании нескольких альтернативных признаков необходимо использовать большее количество выборок). Следует отметить, что отобранные выборки должны представлять весь производственный процесс. Для неупорядоченных данных метод выбора аттестующего также определяет какую к-статистику следует применять. Если аттестующие выбраны и фиксированы, более подходящей является к-статистика Кохена. Если аттестующие выбраны случайным образом из группы аналогичных аттестующих, более предпочтительно применять к-статистику Флейса. Статистика Кохена основана на двухсторонней таблице сопряженности. Если стандартная оценка неизвестна, к-статистика Кохена может быть вычислена только если данные удовлетворяют следующим условиям:

a)    для анализа оценок одного аттестующего имеются результаты двух проверок аттестующего;

b)    для анализа оценок нескольких аттестующих имеется два аттестующих, каждый из которых выполнил по одной проверке

В процессе определения значений контролируемой характеристики для исследования ААА рандомизация является очень важной частью. Рандомизация означает, что аттестующие выполняют проверки исследуемых объектов в случайном порядке.

В таблице 2 показана форма представления данных для исследования ААА при участии трех аттестующих при выполнении трех проверок и контроле 20 единиц продукции каждым аттестующим.

Таблица 2 - План эксперимента исследования ААА

Номер исследу емого объекта Аттестующий А Аттестующий В Аттестующий С Стандартная оценка Проверка № 1 Проверка N92 Проверка №3 Проверка № 1 Проверка №2 Проверка N93 Проверка № 1 Проверка N92 Проверка №3 1 2 3 20

5.6 Анализ данных

В процессе исследования могут быть рассмотрены следующие четыре типа согласованности:

a)    совпадение оценок одного аттестующего (определение совпадающих оценок среди всех оценок каждого аттестующего во всех проверках):

b)    совпадение оценок нескольких аттестующих (определение совпадающих оценок среди всех оценок аттестующих во всех проверках):

c)    совпадение оценок каждого аттестующего со стандартной оценкой (определение оценок, совпадающих между собой и со стандартной оценкой, среди всех оценок каждого аттестующего);

d)    совпадение оценок нескольких аттестующих со стандартной оценкой (определение оценок, совпадающих друг с другом и со стандартной оценкой, среди оценок всех аттестующих во всех проверках).

Очевидно, что тип согласованности, установленный в перечислении с), является более сложным, чем установленный в перечислении а), так как требования перечисления а) дополнены требованием совпадения оценок со стандартной оценкой. Эти требования аналогичны для четвертого и второго перечислений. Очевидно, последний тип согласованности оценок является условием наименее сложным среди всех. Для каждого типа согласованности обычно применяют два типа к-статистики: к-статистику Кохена и к-статистику Флейса. Кроме того, для неупорядоченных данных с тремя или более значениями контролируемой переменной могут быть вычислены два типа коэффициентов. Во-первых, может быть вычислена общая к-статистика, характеризующая совпадение оценок по всем значениям контролируемой переменной. Во-вторых, могут быть вычислены значения к-статистики для каждого значения контролируемой переменной отдельно. Это позволяет выявить значения контролируемой переменной, для которых совпадения оценок встречаются реже.

В дополнение к отчету об исследовании ААА используют также графическое отображение согласованности оценок. Графики позволяют наглядно отразить согласованность оценок. Обычно для процента совпадения оценок одного аттестующего и нескольких аттестующих составляют таблицы к-коэффициентов и коэффициентов Кендалла (только для упорядоченных данных). Кроме того, составляют график процента совпадающих оценок для каждого аттестующего и со стандартной оценкой, если каждым аттестующим выполнено более одной проверки. Дополнительно может быть построен также график доли совпадающих оценок разных аттестующих по отношению к известному значению стандартной оценки.

5.7 Выводы и предложения

На основе результатов исследований ААА может быть принято решение об адекватности определения значений контролируемой характеристики на основе данных контроля по альтернативному признаку. Обычно противоречивость оценок одного аттестующего указывает на то. что аттестующий не может получить совпадающие оценки (возможно потому, что аттестующий не точно выполняет процедуру проверки). Противоречивость оценок нескольких аттестующих указывает на то, что либо не совпадают процедуры, выполняемые аттестующими в процессе проверки, либо способности аттестующих различны (вследствие различного опыта, квалификации или физических возможностей, например, остроты зрения при визуальном контроле). Должны быть предприняты действия по устранению причин таких несоответствий.

После выполнения действий по улучшению системы определения значений контролируемой характеристики, например, обучения операторов, исследование ААА должно быть проведено повторно для проверки наличия достаточности улучшений системы определения значений контролируемой характеристики.

6 Описание приложений А • Е

В приложениях А - Е приведено пять примеров исследования ААА, общий обзор которых приведен в таблице 3.

6