ГОСУДАРСТВЕННЫЙ СТАНДАРТ СОЮЗА ССР

СИСТЕМА УПРАВЛЕНИЯ КАЧЕСТВОМ ПРОДУКЦИИ

ЭКСПЕРТНЫЕ МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ПРОМЫШЛЕННОЙ ПРОДУКЦИИ

ОБРАБОТКА ЗНАЧЕНИЙ ЭКСПЕРТНЫХ ОЦЕНОК КАЧЕСТВА ПРОДУКЦИИ

ГОСТ 23554.2-81

Издание официальное

ГОСУДАРСТВЕННЫЙ КОМИТЕТ СССР ПО СТАНДАРТАМ Москва

ГОСУДАРСТВЕННЫЙ СТАНДАРТ СОЮЗА ССР

СИСТЕМА УПРАВЛЕНИЯ КАЧЕСТВОМ ПРОДУКЦИИ

ЭКСПЕРТНЫЕ МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ПРОМЫШЛЕННОЙ ПРОДУКЦИИ

ОБРАБОТКА ЗНАЧЕНИЙ ЭКСПЕРТНЫХ ОЦЕНОК КАЧЕСТВА ПРОДУКЦИИ

ГОСТ 23554.2-81

Издание официальное

MOCK В А —1982

Стр. 8 ГОСТ 23554.2-81

S р, набл = 6,5>2, то гипотеза о несогласованности не отвергается. Это подтверждается и вычисленным по формуле (2) значением

рнабл*

Рнабл

43_ 4„ 6-6,5—6(04-1/2)

У 43—4—12- 0 У®—4— 12-1/2

0,316,

которое невелико,

где    и=———4-(1²—1)=0,

—[2-(2²-1)+2.(Р-1)] =-±-,

так как в ранжировке Q имеется одна связь длины 2 и две связи длины 1.

Пример 2. /г= 14, а=0,05; R и Q представлены в табл. 2. Следует проверить согласованность R и Q.

Таблица 2

/ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Rj 14 6 8 1 2 5 8 3,5 8 3,5 11 10 12,5 12,5 Qj 14 6 8 2 1 5 7 3 9 4 10,5 10,5 12,5 12,5 Rj—Qj 0 0 0- -1 1 0 1 0,5 —1 —0,5 0,5 ■ —0,5 0 0 (Rj-Qj)2 0 0 0 1 1 0 1 0,25 1 0,25 0,25 0,25 0 0 2=5

5_Р, табл =5. Находим по таблице обязательного приложения 4 5р,табл (0,05) =664 и вычисляем S* _табл (0,05) =f( 14) —664 =

= 912—664 = 248. ПосколькуS₉₎ набл=5<248, то гипотеза о несогласованности отвергается и принимается гипотеза о согласованности. Данную гипотезу можно проверить вычислением q по формуле (2):

и =    [2(2²—1 )+3(3²— 1)+2(2²—1)] = — = 3,

® = — [2(2²— 1)+2(2²-1)] = 1,

Рнабл

143—14—6-5—6(3+1)

У14³—14—12-3 У143-14—12-1

0,989,

что также подтверждает гипотезу о согласованности.

Пример 3. п=20, а=0,01. Проверить согласованность R я Q в табл. 3.

ГОСТ 23554.2-81 Стр. 9 Таблица 3

у 1 2 3 4 5 6 7 8 9 10 Rj 1 2 3 4 5 6 7 8 9 10 Q 3 2 1 4 5 7 8 6 10 11 Rj-Q, —2 0 2 0 0 —1 —1 2 —1 —1 {Rj-Qj)г 4 0 4 0 0 1 1 4 1 1

Продолжение табл. 3

j 11 12 13 14 15 16 17 18 19 20 Rj 11 12 13 14 15 16 17 18 19 20 Qj 9 12 13 15 17 14 18 16 19 20 Rj-Qj 2 0 0 —1 —2 2 —1 2 0 0 {Rj-Qjf 4 0 0 1 4 4 1 4 0 0 S =34

Получаем SPt Набл =34. По формуле (1) рассчитываем:

Рнабл 1

6 >34 20 (203—1)

= 1—0,0256^0,974.

Из таблицы рекомендуемого приложения 5 р®_абл (0,01) =0,520. Поскольку д_Набл = 0,974>р®_абл = 0,520, принимаем гипотезу о согласованности.

Проведем проверку согласованности расчетным методом по формулам (3) и (4):

Унабл '

0,974

2

(/!9+ У

18

1_0,974з

11,243.

Согласно табл. 1 zo,oi = 2,3263, согласно таблице рекомендуемого приложения 6 fo.oi; 18 = 2,552, /₀,oi_; i₈ = [2,326 + 2,552]/2 = 2,439, т. е. Унабл~ 11,243>2,439 и, следовательно принимается гипотеза о согласованности.

3.3. Проверка согласованности трех и более экспертных ранжировок

3.3.1. Используются следующие обозначения:

/ — номер объекта, /=1,..., п\ п — число объектов; i — номер эксперта, i= 1,..m; m — число экспертов;

Rij— ранг /-го объекта, присвоенный ему i-м экспертом.

В матрицах [#^11 t-я строка есть ранжировка, назначенная /-м экспертом, 7=1,..., т; столбец с номером / есть ранги /-го объекта, присвоенные ему всеми экспертами.

3.3.2. Для проверки согласованности внутри группы экспертов вычисляют статистику X² по формуле (5), если связанные ранги отсутствуют, и по формуле (6), если они имеются:

п / т \ 2

У У Rij — Зт{п + 1),

12

(5)

(6)

т-п•    )^^т \ ^ ^tJ

^v '    ^y/=i\/=ri

^п [ ^т _t , 1 _ч \² V / V г, ^/и(^л+1)

^    ^0    О

7=1 Wl_

.    т

1    1    п

- /и-л* (л-М)—-2j Tt

12    л—1^“    ¹

/ = 1

А'²=

где

т_х =

/и» t2u . • • — длины первой, второй и т. д. связей в ранжировке i-vo эксперта.

Если вычисленное значение X², обозначаемое Х²набл , больше или равно X 1^я.Х²&бл^Х1, где — верхнее процентное значение распределения X² при уровне значимости а (т. е. а-процентная верхняя точка X²), то принимают гипотезу о согласованности. Значения Х\ = Х²{п, т, а), зависящие от /г, т и а, вычисленные в предположении нулевой гипотезы о несогласованности (равновероятности всех возможных п\ ранжировок), при

п—3,    т—2(1)15;

п—4(1)6,    /71=2(1)8;

/2=7,    /тг=7,8;

получают по таблице обязательного приложения 7. По таблице находят ближайшие к Х% значения X², т. е. те, у которых вероятность Р(Х1_ЫЧ^Х²) наиболее близка к а. а принимают равным 0,01; 0,05; 0,10.

3.3.3. При других значениях п_} т следует пользоваться расчетным методом проверки согласованности, состоящим в применении следующих правил, различных для разных значений п, т:

1. Если /2^20, /72^13, то критические значения Х²(п, т, о) = X= | (п—1);    (/")‘Процентная (критическая) точка ^-распреде

ления с f степенями свободы и уровнем значимости а (см. таблицу

ГОСТ 23554.2-81 Стр. 11

рекомендуемого приложения 8) и при Х*_абл гипотезу о согласованности.

2. Если 7^п^\9, mZ^ 13, то вычисляют

⁵7а _{n-i) принимают

Р _

¹ на б л

/в(л—1)—^_абл’

а затем находят по таблице рекомендуемого приложения 9 верхнюю а-процентнуго точку F_a [vi, v₂] при v\ = n—1,    (т—1)    (п—1)

степенях свободы числителя и знаменателя соответственно. Гипотезу о согласованности принимают, если

^набл>^а [Я—1, (>П—1) (Я—1)1.

3. При п^8, 7^т ^12 вычисляют

1

/?,=

т

-2 Ru,

1=1

1

т—1

S(Ro—Rj)²> J=h... ,п,

i=i

а затем Ь = (т—1) боды

П

Vj и скорректированное число степеней сво-

/=i

л / =

-;--(.-Ц

(«-DS V]

/=1

После этого по таблице рекомендуемого приложения 9 находят

/V    л

Fa [vi, V2], vi = п—1, \'2=f. Если Е_Набл^Еа [п—1, f], то принимают гипотезу о согласованности.

4. При я<7, mZ^8, кроме тех комбинаций п, т, которые охвачены таблицей обязательного приложения 7, вычисляют

^набл ⁼ ' ^ [^набл“Ь(^ -О'^наблЬ

^ набл

(”-1)-^абл

/я(л-1)-Л2_абл

Л [«-1_>(т-1)(л-1)]=-Ь{_х*[л-1]+(л-1).,Р₍₁ [л-1, (/л-1) (л-1)]},

Стр. 12 ГОСТ 23554.2-81

где %²[п—1]—    верхняя a-процентная точка ^-рас

пределения с / = п— 1 степенями свободы по таблице рекомендуемого приложения 8;

F_a [п—1, (т—\) {п—1)]— верхняя a-процентная точка F-

распределения Фишера с п—1 степенями свободы числителя и (т—1)(/г—1) степенями свободы знаменателя.

Если /набл>/« {^п—1) (^т'—1) (^п—1)L то принимают гипотезу о согласованности.

5. При /2^8, 2<т^6 и п—7, т = 2(1)6 вычисляют

^набл” “    набл“Ь(^    F){fl    1    )F_набл}

и затем

А[п— 1, (от—1) (Я—1)]= -L-[y\\n—1]+(от—1)(я—1 )•/=■« [л-1,

(от—1) (я—1)1},

где Ха [и—1] и Е_а [л—1, (т—1)(л—1)] — верхние а-процентные точки %² и F распределений с п—1; (п—1), (т—1) (п—1) степенями свободы соответственно (см. таблицы рекомендуемых приложений 8 и 9).

Если ^набл    —Ь (^т—1) (я—1)], то принимают гипотезу

о согласованности т экспертных ранжировок.

Для упрощения выбора таблиц и правил на черт. 1 выделены области л, т, на которые распространяются правила 1—5 и соответствующие таблицы.

Примечания:

1.    Использование перечисленных правил и таблиц обязательного приложения 7 при наличии связанных рангов дает приближенные результаты и может применяться лишь при ограниченном числе связей (см. справочное приложение 3).

2. Коэффициент конкордации W~X²/m(n—1),    =<1 и при высокой

согласованности ранжировок W близок к 1.

3.    При л=2 следует пользоваться критерием знаков Фишера.

4.    Способ проверки согласованности индивидуальных ранжировок и получение обобщенной ранжировки при неполных данных изложены в справочном’ приложении 10.

3.3.4. Если при выбранном уровне значимости а согласованность в экспертной группе достаточна, то переходят к п. 3.6.

Если согласованность недостаточна, то следует ознакомить экспертов с полученными результатами и провести повторный опрос экспертов, после чего вновь определить согласованность.

ГОСТ 23554.2-81 Стр. 13

Число объектов п 1 J 5    7    11    13    15    11    19    20

— применяется правило п. 3.3.2. 1, 2, 3, 4, 5 — номера правил по п. 3.3.3.

Черт. 1

Если после проведения повторного опроса согласованность индивидуальных ранжировок остается недостаточной, то по п. 3.2 вычисляют коэффициенты ранговой корреляции q{Ru Rh) между всеми экспертными ранжировками Ri=(R_iu._t., R_in) и Rk = {Rku * • •» Rkn)» l ч k ш.

В соответствии с полученными значениями коэффициентов ранговой корреляции следует объединить экспертные ранжировки в подгруппы с относительно высокими (при выбранном уровне значимости а) коэффициентами g(Ri, Rk) и для этих подгрупп действовать согласно пп. 3.3.1—3.3.3.

Если внутри подгруппы согласованность достаточна, то по п. 3.6 получают обобщенное суждение для каждой подгруппы.

В этом случае экспертная комиссия принимает одно из следующих решений:

ранжировку одной из подгрупп без обсуждения принять за обобщенную ранжировку экспертной группы;

провести обсуждение ранжировок подгрупп и предложить экспертам принять решение;

изменить процедуру ранжирования или заново сформировать экспертную группу.

Если полученные значения коэффициентов корреляции позволяют выделить одну согласованную подгруппу, а ранжировки ос-

тальных экспертов существенно отличаются от ранжировки подгруппы и друг от друга, то экспертная комиссия принимает одно из следующих решений:

ранжировку подгруппы принять за обобщенную ранжировку; изменить процедуру ранжирования или заново сформировать экспертную группу.

При невозможности выделения согласованной подгруппы следует изменить процедуру ранжирования или заново сформировать экспертную группу.

Если ни одно из указанных решений не может быть принято, следует провести заседание экспертной группы, на котором ознакомить экспертов с результатами обработки и принять решение.

3.3.5. Пример 4. В табл. 4 приведены ранжировки четырех объектов тремя экспертами. Требуется проверить согласованность экспертов, задавшись сс = 0,05.

муле (6):

Таблица 4

Эксперты Ранги, присвоенные объектам I 2 3 4 1 1 2 3 4 2 3 1,5 1.5 4 3 3 1 3 3 связи с наличием связанных рангов X2 вычисляют

21,5_

у 2    _

-Лнабл—

— -3 4 -5-12

4—1

1

12

°+"^Г -2-(2²—0+

1

12

3- (З²—1)

■=5,160.

По таблице обязательного приложения 7 X² (4; 3; 0,05) =7,0, поскольку 5,160<7,0, то гипотезу о согласованности не принимают.

Пример 5. В табл. 5 приведены ранжировки трех объектов, выполненные 15-ю экспертами. Требуется проверить согласованность экспертов, задавшись а = 0,05.

ГОСТ 23554.2-81 Стр. 15 Таблица 5

Эксперты Ранги объектов Эксперты Ранги объектов 1 2 3 1 2 3 1 1 2 3 13 1 2 3 2 1 3 2 14 1 2 3 3 1 2 3 15 1 2 3 4 1 2 3 5 1 2 3 т 6 7 2 1 3 1 2 3 2% 19 28 43 8 2 1 3 i=l 9 1 2 3 т 10 11 1 2 3 3 1 2 <2*ч)2 361 784 1849 12 1 2 3 i=1

В исходных данных нет связанных рангов, поэтому X2 вычисляем по формуле (5):

Л'²набл =-•    2994—3    -15.4=19,6.

15-3*4

По таблице обязательного приложения 7 X² (3; 15; 0,05) =6,400 (а = 0,047), Х²^_л >Х² (3; 15; 0,05), следовательно, принимаем гипотезу о согласованности.

Так как л = 3<7 и т=15>8, то для проверки согласованности можно также воспользоваться правилом 4:

■Лшбл “    ”    [^наблД“(^-    1)*^*набл]

=    [ 19,6 1(3—1)- ⁰⁵~^!):.¹?-^,6.-1 ₌ 36,185.

2    15(3—1)—19,6

По таблице рекомендуемого приложения 8 X1₀₅[3—1] = 5,991; по таблице рекомендуемого приложения 9 ^o.os [3—1, (15—1) (3—1)]== = Fо.о₅[2,28] = 3,34; J₀,₀₅ = —[5,991 + 2 • 3,34] = 6,336.

Поскольку / = 36,185>/₀,05 = 6,336, гипотеза о согласованности принимается.

3.4. Проверка согласованности между двумя группами экспертных ранжировок

3.4.1. При необходимости проведения экспертной оценки двумя группами экспертов следует проверять согласованность между этими группами при согласованности ранжировок внутри каждой из них. Внутригрупповую согласованность проверяют с помощью методов п. 3.3.

3.4.2. Имеются две группы ранжировок, назначенных экспертами, в 1-й группе т ранжировок, во 2-й k ранжировок, m + k = N.

Используют следующие обозначения:

Rij —ранги /-го объекта 1-й группы, назначенные £-м экспертом, /= 1,..., т;

Rij — ранги /-го объекта 2-й группы, назначенные i-м экспертом, i=m+1, m + 2,..., m+k\

Rih • ••, Rmj — ранги /-го объекта 1, 2-го и т. д. экспертов 1-й группы;

Лт+и* Rm+2,h * * * ? Rm+k_tj — ранги /-го объекта 1, 2-го и т. д. экспертов 2-й группы; /=1,..., п\ m + k = N;

т

Sj—(H Rij)i^m — средние ранги /-го объекта для экс-1=1    пертов 1-й группы;

N

t~ ( J] Rij)/k — средние ранги /-го объекта для экс-i=m+1    пертов 2-й группы;

— ^N

Rj—Qi Rij)IN — средние ранги по объединенной груп-/=1    пе; N^=m+k)

2 (Rij-Rj) (R_ir-R_r)    ^j' ^{j l}’ ^П;

C₍₇,=i=l_ 5=(S₁,...,S_e_,)_>

"    N—I

t ⁼    l)

— векторы средних рангов для 1,2,..., (п—1) объектов;

С — матрица (Су/) размером (п—1) (п—1) без последнего столбца и последней строки, /, /' = 1,..., п—1.

3.4.3. Для проверки гипотезы о согласованности двух групп экспертных ранжировок между собой следует вычислить В

В=    —-^пу yiSf-tjKS'i'-tj.yCjy, (7)

/=1 /'=1

где С~¹ — матрица, обратная к С;

(5—t)^r — вектор, полученный транспонированием (S—1)\

Cj/ — элементы матрицы С~\ //'= 1,..., п—1.

При л=3, т, и /2^4, т, к ^6 применяют следующее правило:

В^% 2[п—1] — гипотезу о согласованности отвергают; В<%²а[п—1] — принимают гипотезу согласованности двух групп экспертных ранжировок.

ГОСТ 23554.2-81 Стр. 17

Значения приведены в рекомендуемом приложении 8. Пример 6. В табл. 6 приведены ранги трех объектов, назначенные двумя группами экспертов. Требуется проверить согласованность ранжировок этих групп. Уровень значимости а = 0,01.

Таблица 6

1-я группа 2-я I группа Эксперты Ранги объектов Эксперты Ранги объектов 1 2 3 1 2 3 1 2 1 3 15 1 2 3 2 3 1 2 16 1 3 2 3 3 1 2 17 2 3 1 4 3 1 2 18 2 3 1 5 3 1 2 19 2 3 1 6 3 1 2 20 2 3 1 7 3 1 2 21 2 3 1 8 3 1 2 22 3 2 1 9 3 2 1 23 3 2 1 10 3 2 1 24 3 2 1 И 3 2 1 25 3 2 1 12 3 2 1 26 3 2 1 13 3 2 1 27 3 2 1 14 3 2 1 ККт 41 20 23 N 30 32 16

Следовательно:

5,-41/14, 5₂ = 20/14, 5₃=23/14, *,=30/13, *2=32/13, *3=16/13,

5, =2,9286, $2 = 1,4286, 5₃=1,6428, *,=2,3077, *₂=2,4615, *₃ = 1,2307,

Ri= £ RnlN=(4\ +30)/27=2,629,

t=i

Т?₂=(20+32)/27 = 1,925, Яз=(23+16)/27= 1,444.

РАЗРАБОТАН Государственным комитетом СССР по стандартам ИСПОЛНИТЕЛИ

Э. П. Райхман, канд. техн. наук; Ю. Н. Тюрин, канд. физ.-мат. наук; Р. М. Хвастунов, канд. биол. наук; Д. С. Шмерлинг; А. И. Аристов, канд. техн. наук; А. М. Бендерский, канд. техн. наук; И, С- Вартазаров, канд. техн. наук; Л. А. Грабовская; В. В. Долгошеин; Л. И. Ерошкина; М. Ф. Качалова, канд. техн. наук; Б. В. Осипов; Г. А. Потемкин, канд. техн. наук; Г. И. Сим-кина

ВНЕСЕН Государственным комитетом СССР по стандартам

Член Госстандарта М. А. Довбенко

УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ ПОСТАНОВЛЕНИЕМ Государственного комитета СССР по стандартам от 30 сентября 1981 г. № 2079

© Издательство стандартов, 1982

Стр. 18 ГОСТ 23554.2-81

Находим элементы матрицы Су,:

Cn=l(Rn-^R^KdMRn-Ri)(R2i-R,)+ . ..

. . • + (#27,1—Ri)(^?27,1 —/?i)]/26 — [(2—2,629)¹ • 6+(3—2,629)¹ • 19+

+(1 —2,629)¹ • 2]/26 = 0,396,

2-R*)+(R_ii-R_l№n-R*)+ • • .

. . . + (/?27,1 —Ri) • (#27,2—/?₂)]/26 = [(2—2,629)( 1 — 1,925) + -ИЗ—2,629)0 —1,925) + . . . +(3—2,629)(2—1,925)]/26 = —0,259.

Необходимы еще два элемента матрицы С:

С₂₁=—0,259; С₂₂=0,533.

В результате расчетов векторы средних равны

5= (2,9286; 1,4286)

£=(2,3077; 2,4615).

Матрица С равна

_г_( 0,396    —0,259)

(—0,259    0,533/.

По формуле (7) рассчитываем статистику В, но для этого необходима обратная матрица С^-1, которая имеет вид

Г-1- /3,706    1,803)

^— (1,803    2,755/.

Тогда

В - -—- {S—■ (S—£)'=

_ 14 13    /2,9286—2,3077)    /3,706    1,803)    _v

“ 27    '(1-4286—2,4615/(1,803    2,755/^А

Х(2,9286—2,3077; 1,4286 -2,4615)= 13,8494^13,85.

По таблице рекомендуемого приложения 8 верхняя 1-процентная точка х¹"Р^аспР^еД^еления с п—1 = 3—1=2 степенями свободы есть Хи о (2) =9,210. Поскольку В= 13,85>9,210, принимают гипотезу о несогласованности двух групп экспертов между собой.

3.5. Проверка согласованности между ранжировками группы экспертов и отдельной ранжировкой

3.5.1. При необходимости проверки согласованности между ранжировками группы экспертов и отдельной ранжировкой, кото-

УДК 658.562.014 : 006.354

Группа Т5К СОЮЗА ССР

ГОСУДАРСТВЕННЫЙ СТАНДАРТ

Система управления качеством продукции

гост

23554.2-81

ЭКСПЕРТНЫЕ МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ПРОМЫШЛЕННОЙ ПРОДУКЦИИ

Обработка значений экспертных оценок качества продукции

Product Quality Control System. Expert Methods for Assessment of Industrial Product Quality. Value Processing for Expert Assessment of Product Quality

с 01.01. 1983 г.

Постановлением Государственного комитета СССР по стандартам от 30 сентября 1981 г. № 2079 срок введения установлен

Настоящий стандарт устанавливает методы математической обработки (далее — обработки), используемые при экспертной оценке качества продукции производственно-технического назначения и товаров народного потребления массового, серийного и индивидуального производства на стадиях разработки, изготовления, обращения и эксплуатации (потребления).

Область применения и основные положения экспертных методов оценки качества продукции, правила организации и проведения основных операций при экспертной оценке качества продукции—по ГОСТ 23554.0-79 и ГОСТ 23554.1-79.

Отраслевые стандарты или методические указания и методики по использованию методов обработки значений экспертных оценок качества продукции с учетом специфики этой продукции разрабатываются на основе настоящего стандарта.

1. ОБЩИЕ ПОЛОЖЕНИЯ

1.1. Операции обработки значений экспертных оценок выполняет рабочая группа при проведении опроса экспертов и на заключительном этапе экспертной оценки качества продукции. При этом могут быть использованы значения экспертных оценок следующих видов:

классификации;

ранжировки;

значения оценок, полученные с применением процедуры парных сравнений; баллы.

Издание официальное 1

Перепечатка воспрещена

---

Стр. 2 ГОСТ 23554.2-81

Схема последовательности действий при обработке значений экспертных оценок качества продукции приведена в справочном приложении 1.

По схеме выбирают операции обработки, которые соответствуют характеру решаемой задачи оценки качества.

1.2.    При разработке отраслевых методических документов по экспертным методам оценки качества продукции допускается использовать другие виды и операции обработки значений экспертных оценок, если они отвечают конкретным условиям оценки и не противоречат требованиям ГОСТ 23554.0-79. Целесообразность их применения должна быть обоснована в методических документах.

1.3.    Цель обработки значений экспертных оценок заключается в получении обобщенного суждения экспертной группы о качестве продукции.

1.4.    Обработка значений экспертных оценок включает следующие операции:

обработка классификаций при построении иерархических структурных схем показателей качества;

проверка согласованности двух ранжировок — при определении согласованности суждений двух экспертов в задачах анализа экспертной группы;

проверка согласованности трех и более ранжировок, а также проверка согласованности результатов парных сравнений — при определении согласованности внутри экспертной группы с целью определить возможность получения обобщенного суждения экспертов;

проверка согласованности двух групп индивидуальных ранжировок— при наличии подгрупп в экспертной группе, а также при сравнении результатов работы экспертных групп, сформированных по различным признакам (например, профессиональным);

проверка согласованности группы индивидуальных ранжировок и отдельной ранжировки — при необходимости проверки принадлежности эксперта к группе с целью определения однородности группы, включения эксперта в группу, исключения эксперта из группы, а также для проверки согласованности группы экспертных ранжировок и ранжировки, полученной другим методом;

обработка данных при ранжировании — для получения обобщенных ранжировок и балльных значений экспертных оценок;

обработка данных, полученных методами парных сравнений — для получения индивидуальных и обобщенных ранжировок, если непосредственное ранжирование показателей затруднено, а также для получения балльных значений экспертных оценок;

ГОСТ 23554.2-81 Стр. 3

обработка балльных значений оценок — для определения показателей согласованности индивидуальных суждений и обобщенного суждения экспертной группы, выраженных в баллах;

обработка данных при применении метода «главных точек» — для построения обобщенного графика, характеризующего зависимость между значениями показателя и соответствующими значениями экспертных оценок.

2. ОБРАБОТКА КЛАССИФИКАЦИЙ ПРИ ПОСТРОЕНИИ ИЕРАРХИЧЕСКИХ СТРУКТУРНЫХ СХЕМ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

2.1.    Операции обработки классификаций применяют при построении иерархических структурных схем показателей качества. Обработка классификаций заключается в определении согласованности предложенных экспертами индивидуальных структурных схем показателей качества (классификаций) и построении обобщенной структурной схемы.

2.2.    Выбор номенклатуры показателей качества — на основе ГОСТ 22851-77. Построение экспертами структурных схем показателей качества — по ГОСТ 23554.1-79.

2.3.    Согласованность индивидуальных классификаций есть близость суждений экспертов относительно состава показателей иерархической структурной схемы. Определение согласованности индивидуальных классификаций производится для состава показателей каждой отдельной группы показателей, входящей в иерархическую структурную схему, начиная с первого уровня.

Для определения согласованности индивидуальных классификаций относительно состава показателей в анализируемой группе вычисляют характеристику согласованности а (а) для каждого показателя а, включенного хотя бы одним экспертом в состав этой группы:

/ \ т(а)

* (я) =--^L~,

т

где т(а)—число экспертов, включивших показатель а в состаЕ данной группы; т — общее число экспертов.

В состав группы для дальнейшей работы включают все пока' затели, для которых а(а)^а₀(а); 0,5^ао(а) ^1. Значения icto(a) выбирает рабочая группа.

2.4.    Если число таких показателей превышает семь, то следуем предложить экспертам разделить их на несколько групп, каждая из которых включает не более семи показателей.

2.5.    Если группа состоит из семи и более показателей, а числе показателей, для которых а(а)^ао(а), менее трех, то группу счи

2^i:

Стр. 4 ГОСТ 23554.2-81

тают несогласованной. Проводят заседание экспертной группы для обсуждения возникших расхождений. После обсуждения вычисляют характеристику согласованности для каждого показателя.

Пример определения согласованности индивидуальных классификаций относительно состава показателей приведен в справочном приложении 2.

3. ОБРАБОТКА ЗНАЧЕНИЙ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ РАНЖИРОВАНИИ

3.1.    Основные положения

3.1.1.    Ряд объектов (показателей, образцов продукции и т. п.), упорядоченных в соответствии с выраженностью определенного признака, присущего данным объектам, называется упорядоченным или ранжированным. Сам процесс упорядочения называется ранжированием. В результате процесса ранжирования получается ранжировка. Номер, который при этом получает каждый объект, называется его рангом. Например, несколько показателей упорядочивают по важности. Ранг 1 получает наиболее важный показатель. Ранг 2 получает показатель, наиболее важный среди оставшихся и т. д. Ранги могут также возникать при упорядочении количественных значений. Пусть измерения определенного показателя у объектов а, Ь, с, . . . дают количественные результаты х, у, г, . . . Числа х, у, г, . . . можно упорядочить по убыванию (возрастанию). Если, например, x>y>z> . . ., то объект а получает ранг 1, объект Ь — ранг 2 и т. д. Если ранжируется п объектов, то сумма всех рангов равна п(п+ 1)/2.

3.1.2.    Если несколько показателей одинаково важны, они получают одинаковые ранги, которые называют связанными рангами. Связанные ранги могут быть целыми и дробными. Группу одинаковых рангов называют связью. Для вычисления связанных рангов обозначаем через I количество показателей более важных, ■чем группа с одинаковой важностью из t показателей t = 2, 3, . . . Каждый из t показателей получает ранг г: r=l+ (t+ 1)/2. Сумма

П (/2+1)

всех рангов равна—    ¹    -

3.2.    Проверка согласованности двух экспертных ранжировок

3.2.1.    Проверка согласованности двух экспертных ранжировок применяется для определения близости ранжировок двух экспертов (подгрупп, групп экспертов) или для выявления недопустимо отклоняющихся ранжировок.

3.2.2.    Пусть Л=(Яь ... Яд... Rn)y Q=(Qi... Qh • • • Qn) — ранжировки без связанных рангов 1 и 2-го экспертов соответственно, Rj — ранг /-го объекта, назначенный 1-м экспертом, Qj—ранг /-го объекта, назначенный 2-м экспертом, /= 1,..п, где п — число ^ранжируемых объектов.

ГОСТ 23554.2-81 Стр. 5

Близость двух ранжировок измеряется коэффициентом ранговой корреляции Спирмена q

p(R, Q)=p=1-----S₉ ,    (l)

n^z—П

где

s_P = 2 (Rj-QjT,

— I^q^I, q= + 1, если i? = Q и q =—1, если jRj=Q_n-j+b /= 1»...»я*

Ранжировки считают несогласованными, если вычисленное значение q близко к нулю или отрицательно, и согласованными, если q близко к единице. Методы расчета согласованности изложены в пп. 3.2.3—3.2.9.

3.2.3. Если в ранжировках присутствуют связанные ранги числом не более п—1, то коэффициент ранговой корреляции Спирмена q вычисляют по формуле (2).

Назовем длиной связи число объектов, получивших данные значения ранга. Могут быть связи длиной 1 («несвязанные» ранги), 2 и т. д. Обозначим через ии и₂,..«&>... длины связей в ранжировке первого эксперта, v\,    Vi,.. . —■ длины связей

второго эксперта, где k — номер связи в ранжировке первого, а / — второго эксперта. Вычислим

где суммы берутся по всем связям. При наличии связанных рангов коэффициент ранговой корреляции Спирмена следует вычислять по формуле

л?—п—б*5₀ —6(«+v)

Р ⁼ _ЛГ    (2)

У п^—п—ПиУ лз—/г— \2v

где—+ 1.

л(л+1 )² 4

S R,Q-

1/2

При обработке данных на ЭВМ вместо формулы (2) целесообразно пользоваться формулой

J

п(п-\-\у²

L;=i

3.2.4.    Формула (1) является частным случаем формулы (2) при отсутствии связанных рангов. Если связей немного и длины их невелики, результат вычислений по формуле (2) близок к ре* зультату вычислений по формуле (1). Влияние связанных рангов на распределение ранговых статистик показано в справочном приложении 3.

3.2.5.    Вычислив q по формуле (1) или (2) и обозначив его как рнабл» следует проверить нулевую гипотезу Н₀ о несогласованности и альтернативную о согласованности ранжировок R и Q.

Обозначим р^в(а)_Табл> £>^н(а)_табл — верхние и нижние процентные точки (критические точки) коэффициента ранговой корреляции Спирмена при заданном значении уровня значимости а.

Если рнабл^ q^b (а) табл, то гипотеза #о о несогласованности отвергается и принимается альтернативная гипотеза о согласованности.

Если рнабл<Q^B(сс)табл, то принимается гипотеза о несогласованности.

Если риабл^=='Q^H(сс)табл, то следует рассматривать это как наличие значимой отрицательной корреляции.

Уровень значимости а принимают равным 0,01; 0,05; 0,10.

Примечание. Значение а есть вероятность принятия ошибочного решения, которая определяется спецификой задачи.

3.2.6.    Большие значения S₉ соответствуют малым значениям Q_r а малые значения S_p — большим значениям q; чем больше значение q (меньше S_P ), тем более вероятно принятие гипотезы о согласованности.

3.2.7.    Для малых значений п от 4 до 16 через 1 (/г = 4(1) 16) вместо коэффициента корреляции р следует использовать S_p , В обязательном приложении 4 приведена таблица верхних критических значений S^ _табл (а). Для проверки согласованности ранжировок двух экспертов следует перейти от верхних к нижним критическим точкам S^ _табл (а), как это указано в примечании к таблице обязательного приложения 4. Обозначим S_p, _Набл —вычисленное значение S_p по ранжировкам R и Q:

S₉=t (Rj-Qjf.

i=i

Гипотеза о несогласованности отвергается, если

S_p, набл ^Sp, табл(^а),

где S " _табл (а) есть значение S” _табл с вероятностью а из таблицы обязательного приложения 4.

Если 5_Р, набл ^S^B табл (°0> то принимается гипотеза о несогласованности.

ГОСТ 23554.2-81 Стр. 7

3.2.8.    При /г=17(1) 100 следует пользоваться таблицей рекомендуемого приложения 5, где представлены приближенные верхние критические значения д®_абл при а = 0,10; 0,05; 0,01.

Например, при /2=17 р^_абл (0,05) =0,414. Если р_Набл^0?_абл , то гипотеза о несогласованности отвергается.

3.2.9.    При /2^17 наряду с табличным применяют расчетный метод, а при п>100 применяют только расчетный метод. Следует вычислять значение статистики

-/иабл

Олабл

]/"я— 1 + "}/

П—2

(3)

-набл ^J

а затем

Ja, (п— 2 )

2

4“to..

(Я—2)

(4)

где 2_а—верхняя критическая точка стандартного нормального распределения при уровне значимости а. Значения 2_а в зависимости от уровня значимости а приведены в табл. 1; t_a^_n~2)—верхняя a-процентная критическая точка ^-распределения Стьюдента при п—2 степенях свободы (они приведены в рекомендуемом приложении 6 при уровне значимости а и f = n—2 степенях свободы).

Таблица 1

а 0,001 0,005 0,010 0,025 0,050 Z (а) 3,0902 2,5758 2,3263 1,9600 1,6449 Продолжение табл. 1 а 0Л00 0,200 0,300 0,400 0,500 Z (а) 1,2816 0,8416 0,5244 0,2533 0,0000

Если унабл^ ja,(n~2b ^т0 гипотеза о несогласованности отвергается в пользу гипотезы согласованности, т. е. экспертные ранжировки R и Q считаются согласованными.

3.2.10. Пример 1. Даны ранжировки R= (1; 2; 3; 4); Q = (3; 1,5; 1,5; 4), а = 0,05. В ранжировке Q есть одна связь длины 2. Рассчитываем 5р, набл = (1—3)²+ (2—1,5)²+ (3— 1,5)² + (4—4)² = 6,5. Находим по таблице обязательного приложения 4S£ _табл(0,05) ^20 и вычисляем S* _табл (0,05) ^/(4)~20 = 22—20 = 2.’ Поскольку

1

Зак. 1657