ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

ГОСТР

ИСО/МЭК 33003-2017

Информационные технологии ОЦЕНКА ПРОЦЕССА Требования к системам измерения процесса

(ISO/IEC 33003:2015,

Information technology — Process assessment — Requirements for process measurement frameworks, IDT)

Издание официальное

Предисловие

1    ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «Информационно-аналитический вычислительный центр» (ООО ИАВЦ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 22 «Информационные технологии»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 мая 2017 г. № 446-ст

4    Настоящий стандарт идентичен международному стандарту ИСО/МЭК 33003:2015 «Информационная технология. Оценка процесса. Требования к структурам измерения процесса» (ISO/IEC 33003:2015 «Information technology — Process assessment — Requirements for process measurement frameworks». IDT).

ИСО/МЭК 33003 разработан подкомитетом ПК 7 «Системная и программная инженерия» совместного технического комитета СТК 1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

Наименование настоящего стандарта изменено относительно наименования указанного международного документа для приведения в соответствии с ГОСТ Р 1.5-2012 (пункт 3.5)

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5    ВВЕДЕН ВПЕРВЫЕ

6    Некоторые положения международного стандарта, указанного в пункте 4. могут являться объектом патентных прав. ИСО и МЭК не несут ответственности за идентификацию подобных патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к наспюящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

© Стандартинформ. 2017

Настоящий стандарт не может быть воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

ГОСТ Р ИСО/МЭК 33003—2017

шкалы интервалов или отношений. В результате появятся опорные точки для рейтинга. Например шкалу рейтингов можно применить для выражения степени соответствия свойства процесса его образцу в определенном организационном контексте либо для выражения свойства процесса в нескольких его образцах в рамках определенного организационного подразделения.

Единообразие шкалы измерений предполагает, что преобразование нижнего уровня, начиная с более высокого уровня измерения до более низкого, возможно при соблюдении следующих условий: (i) шкала отношений может быть преобразована в шкалу интервалов, порядковую или номинальную шкалу, (ii) шкала интервалов может быть преобразована в порядковую или номинальную шкалу и (iii) порядковая шкала может быть преобразована в номинальную шкалу. При этом обратное преобразование не допускается.

Составное значение информативной конструкции можно рассчитать путем усреднения или суммирования значений измерений, если удовлетворяются соответствующие условия. Эти методы можно также применить к обобщению подконструкций с целью получить составное значение конструкции более высокого уровня в многомерной конструкции.

Следует проверить наличие посторонних значений, а значения измерений с большими искажениями необходимо преобразовывать по мере необходимости. Посторонние значения можно удалить из обобщенной конструкции. Если в измерениях содержатся разные диапазоны значений, перед действиями с данными необходимо привести их к единой системе измерений. Соответствующий метод приведения необходимо использовать в отношении как теоретической базы, так и свойств данных.

4.7 Анализ чувствительности

4.7.1    Требования

Целью анализа чувствительности является проверка устойчивости комплексногозначения. Типы и методы анализа чувствительности зависят от метода присвоения оценок и обобщения в системах измерения процесса.

a)    Анализ чувствительности должен быть проведен для шкал измерений свойств процесса.

b)    Анализ чувствительности должен быть проведен для методов обобщения.

c)    Анализ чувствительности должен быть проведен для весовых коэффициентов (в зависимости от ситуации).

4.7.2    Указания

Устойчивость составного значения оценивают путем анализа неопределенности или анализа чувствительности. В ходе анализа неопределенности проверяют степень неопределенности входящих факторов, например распространение значений по структуре составного измерения и их воздействие на составное значение. В ходе анализа чувствительности проверяют степень влияния каждого отдельного источника неопределенности на конечное расхождение. Анализ чувствительности может быть проведен на базе свойств процесса.

Включение весовых коэффициентов в составное измерение, например в большинство компенсационных моделей, требует проведения анализа чувствительности для весовых коэффициентов, где должен быть указан метод ранжирования веса. Весовые коэффициенты не требуются для некомпенсационных МСОМ-моделей.

5 Требования к утверждению систем измерения процесса

5.1 Требования

a)    Планирование степени достоверности и действительности систем измерения процесса должно быть осуществлено на начальном этапе стандартизации. В эти планы входят мероприятия, проводимые после процесса стандартизации.

b)    Требования к достоверности и пригодности систем измерения процесса должны соответствовать спецификации конструкции.

c)    Согласованность (также называемая равнозначностью) как мера достоверности должна быть проанализирована в приложении к свойствам процесса, если речь идет об информативной модели.

d)    Области действия должны быть проверены для качественного и количественных свойств процесса в системе измерения процесса.

e)    Спецификация конструкции должна быть проверена эмпирически для качественного свойства процесса и его измерений в системе измерения процесса.

f)    Внешние факторы (например, цели, критерии и (или) степень соответствия) в системе измерения процесса должны быть задокументированы для последующего анализа пригодности в ходе разработки.

7

5.2 Указания

Качество свойств процесса проверяют эмпирическими методами, такими как оценка достоверности (особенно если речь идет об информативном измерении) и тесты на пригодность. Системы измерения процесса устанавливают собственные требования к достоверности и пригодности, а также способы подтверждения этих требований. Статистическое подтверждение требований, приведенных в настоящем разделе, должно быть зафиксировано в отдельном документе или приложении к описанию системы измерения процесса.

5.2.1    Достоверность

Общее определение достоверности измерения представляет собой отклонение текущего значения (скрытая переменная) дисперсии от значения общей дисперсии, деленное на значение общей дисперсии измерения. Достоверность относится к степени воспроизводимости (стабильности) и согласованности (равнозначности) измерения в контексте его способности к сбору скрытых переменных Воспроизводимость предполагает, что повторные оценки (в два разных момента времени в отношении одного процесса с применением аналогичного или альтернативного методов тем же оценщиком) должны давать результаты, которые можно считать идентичными. Согласованность (равнозначность) относится в большей степени к множественным измерениям конструкции в отдельный момент времени, где каждое измерение считается отдельным, но равнозначным согласно фундаментальной концепции. Краткое описание статистических методов оценки достоверности приведено в приложении С. раздел С.2.

Удовлетворительная степень достоверности зависит от того, как используются результаты оценки, полученные системой оценки процесса. Например в примененных настройках, в которых в отношении составного значения принимаются важные решения, в качестве приемлемого рекомендуется высокое значение согласованности (например, 0,9).

В информативных конструкциях одномерность является необходимым условием для анализа достоверности и применимости конструкции.

5.2.2    Применимость конструкции

Качество свойств процесса следует проверять эмпирическими методами, такими какоценка достоверности (если речь идет об информативном измерении) и тесты на пригодность. Проверка достоверности системы измерения процесса — это процедура, которая определяет, имеются ли объективные свидетельства того, что измеряемые качественные или количественные характеристики соответствуют свойствам процесса, а также, что они являются пригодными для измерения по прямому назначению. Некоторые методы проверки могут применяться в ходе стандартной процедуры разработки согласно разделу 4. При этом в данном разделе рассмотрен статистический анализ полученных результатов, в рамках которого систему измерения процесса проверяют в ходе пробных испытаний и (или) после опубликования.

Если качественные или количественные свойства процессов в системе измерения процесса неправильно используют, измеряют или подтверждают статистически, то любое комплексное измерение можно считать недостаточно достоверным или ненадлежащим. Такие качественные или количественные свойства процессов в системе измерения процесса должны быть связаны с его статистической проверкой, несмотря на то. что статистические тесты не являются целью настоящего стандарта. Проблемы обоснованности должны быть рассмотрены при проведении оценки процесса. Проводимые тесты обоснованности зависят от спецификаций конструкции.

Данные внешних измерений следует собирать на объективной или субъективной основе и использовать для проверки предсказательной обоснованности. Описание обоснованности конструкций в краткой форме приведено в приложении С, раздел С.З.

5.2.3    Спецификация конструкции

Спецификации конструкций (также называемые моделями спецификаций) могут быть подвергнуты статистическому тестированию с целью определения, являются ли отношения между качественным свойством процесса и его количественными свойствами формирующими или информативными. При необходимости можно провести изучение путем моделирования. Все обобщения должны соответствовать логике спецификации конструкции.

Примечание — Подтверждающий тетрадный анализ, рассматриваемый в приложении В. раздел В.З, может быть использован для статистического тестирования спецификаций конструкции.

8

6 Подтверждение соответствия систем измерения процесса

Соответствие требованиям настоящего стандарта может быть подтверждено следующими способами:

-    собственным заявлением (первой стороной);

-    второй стороной (потребителем, заказчиком);

-    третьей стороной (независимыми оценщиками).

Подтверждающая сторона должна получить объективные свидетельства того, что система измерения процесса соответствует требованиям, установленным в разделе 4. Объективные свидетельства предоставляют для демонстрации целостности и согласованности системы измерения процесса.

9

ГОСТ Р ИСО/МЭК 33003—2017

Качественное свойство процесса используют на практике в качестве информативного или формирующего набора количественных свойств процесса. Правила принятия решения представляют собой инструкции по определению свойств процесса. Если свойства процесса определяют как информативные измерения, факторный анализ может помочь определить набор одномерных конструкций. С другой стороны, формирующие свойства процесса мотут рассматривать каждое свойство процесса как измерение. Каждое измерение свойства процесса может быть представлено скрытой переменной. С помощью тестов спецификации конструкции можно эмпирически оценить свойства процесса и определить, являются они информативными или формирующими. Рейтинг, полученный в ходе оценки, должен быть присвоен каждому из свойств процесса.

Рейтинги, присвоенные свойствам процесса, обобщают для получения составною измерения, результатом которого является значение (числового или порядкового уровня). Метод обобщения представляет собой разновидность МСОМ-модели (компенсационной или некомпенсационной). Выбранный метод обобщения может изменяться под воздействием спецификаций конструкции (т. е. информативной или формирующей), политики оценки (например, компенсационной или некомпенсационной), цели составного измерения и (или) шкалы измерения.

Анализ чувствительности может быть проведен для шкал измерения свойств процесса, методов обобщения и весовых коэффициентов (в зависимости от ситуации). Качественные и количественные свойства процесса должны быть проверены с применением эмпирических методов, таких как оценка достоверности и тесты на пригодность.

11

Приложение В (справочное)

Спецификация конструкции: информативная или формирующая

В настоящем приложении приведено описание трех моделей, которые можно использовать для разработки составных значений (например, уровня качества процесса) путем обобщения значений измерения (например, набора рейтингов свойств процесса). Две спецификации в качестве поясняющего материала представлены на рисунке В.1.

Рисунок В. 1 — Отношения между конструкцией и входящими в нее измерениями

Обозначения, приведенные на рисунке В. 1:

-    X — загрузочный параметр, указывающий на соотношение между конструкцией £ и измерением х;

-    8— ошибочное условие.

-    у — загрузочный параметр измерения х;

• q — возмущающее условие.

Направление причинных связей имеет важные последствия для свойств процесса в его контексте. Если качественное свойство процесса считается информативным, цель действий должна состоять в получении естественных преимуществ, отраженных всвойствах процесса. Вмешательства, исключительной целью которых являются отдельные свойства процесса, могут отвлекать ресурсы от более важных действий. Вмешательства в формирующей конструкции должны быть направлены в определенные области, связанные со свойствами процесса. которые представляют собой качественные свойства процесса. В этом случае улучшение одного свойства процесса не предполагает улучшения прочих измерений. Правила принятия решений для спецификации конструкций в обобщенной форме приведены в таблице 1.

В.1 Информативная модель

Согласно рисунку В. 1а) конструкция теоретически обозначена как абстрактная концепция, которая может быть оценена с применением косвенных составных измерений. Конструкции можно рассматривать как причины измерений. Измерения отражают или проявляют степень изменения конструкции, а вариации конструкции приводят к разным результатам измерений. Смещение в конструкции приводит к смещению всех измерений в том же направлении, поскольку измерения отражают туже основополагающую конструкцию. Таким образом, осуществляется тесная взаимосвязь между двумя измерениями.

Более того, поскольку измерения имеют идентичное или схожее содержание и предполагается их использование в качестве выборки однородной концептуальной области, надежные измерения являются взаимозаменяемыми. а исключение одного измерения не должно изменять концептуальную область конструкции. При измерении психологических конструкций, таких как черты характера и позиции, рекомендуется использовать измерения информативного типа.

ГОСТ Р ИСО/МЭК 33003—2017

Содержание

1    Область применения...................................................1

2    Нормативные ссылки..................................................1

3    Термины и определения................................................1

4    Требования «системам измерения процесса...................................3

4.1    Построение концепции...............................................3

4.2    Определение конструкции............................................4

4.3    Практическое применение............................................4

4.4    Проверка спецификации конструкции.....................................5

4.5    Свойства процесса присвоения оценок....................................6

4.6    Обобщение......................................................6

4.7    Анализ чувствительности.............................................7

5    Требования к утверждению систем измерения процесса ............................7

5.1    Требования......................................................7

5.2    Указания........................................................8

6    Подтверждение соответствия систем измерения процесса..........................9

Приложение А (справочное) Терминологическая карта.............................10

Приложение В (справочное) Спецификация конструкции: информативная или формирующая .... 12

Приложение С (справочное) Методы статистической проверки........................14

Приложение D (справочное) Методы реализации требований к системам измерения процесса. ... 16 Приложение ДА (справочное) Сведения о соответствии ссылочных международных стандартов

национальным стандартам.....................................18

Библиография........................................................18

III

Введение

В настоящем стандарте установлены требования, предъявляемые к системам измерения процесса с поддержкой возможности оценивать качественные свойства процесса, начиная с построения концепции до практического подтверждения. В системах измерения процесса в результате анализа качественных свойств процесса создаются составные измерения (например, уровни возможностей процесса в виде порядковой шкалы в ИСО/МЭК 33020). Среди примеров качественных свойств процесса, которые представляют собой параметры (теоретические концепции), можно назвать возможности процесса. защищенность процесса, скорость процесса и безопасность процесса. Основные пользователи настоящего стандарта — разработчики систем измерения процесса и моделей оценки процесса. Соответствие требованиям настоящего стандарта означает, что в ходе разработки системы измерения процесса будут создаваться надежные методы, обеспечивающие качественные составные измерения.

ИСО/МЭК 33003 относится к множеству международных стандартов, обеспечивающих содержательную и последовательную основу для оценки характеристик качества процесса, основанных на объективных данных реализации процессов. Основы оценки охватывают процессы, используемые при разработке, сопровождении и эксплуатации систем в области информационных технологий, а также применяемые при проектировании, передаче, поставке и улучшении услуг. В целом в этих международных стандартах рассматриваются характеристики качества процесса любого типа. Результаты оценки могут использоваться для улучшения процесса или определения и управления рисками, связанными с применением процессов.

В настоящем стандарте установлены требования к разработке систем измерения процесса, приведенных в ИСО/МЭК 33020. Эти требования могут быть использованы для определения моделей оценки процесса в соответствии с ИСО/МЭК 33004, а также для оценки процесса в соответствии с ИСО/МЭК 33002. Общее построение и содержание данного семейства стандартов приведено в ИСО/МЭК 33001.

Некоторые международные стандарты семейства ИСО/МЭК ЗЗОХХ по оценке процесса предназначены для замены и расширения частей серии стандартов ИСО/МЭК 15504. Детальные отличия семейства стандартов ИСО/МЭК ЗЗОХХ от серии стандартов ИСО/МЭК 15504 приведены в ИСО/МЭК 33001 (см. приложение А).

IV

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

ОЦЕНКА ПРОЦЕССА

Требования к системам измерения процесса

Information technologies. Process assessment. Requirements for process measurement frameworks

Дата введения — 2018—03—01

1    Область применения

В настоящем стандарте установлены требования к системам измерения, используемым для оценки процесса. Требования настоящего стандарта формируют структуру, которая представляет собой:

a)    требования к системам измерения процесса при его оценке;

b)    требования к проверке систем измерения процесса, используемого для оценки процесса:

c)    требования, применимые к любой системе измерения процесса при получении составных измерений в различных областях.

Настоящий стандарт применим при разработке систем измерения любых качественных свойств процессов в разных областях.

Схема технологий, используемых в настоящем стандарте, приведена в приложении А. Пояснения к спецификациям конструкции приведены в приложении В. Обзор методов статистической проверки приведен в приложении С. Описание некоторых методов и ссылок, которые можно использовать в реализации требований к системам измерения процесса, приведено в приложении D. Эти приложения должны быть использованы в качестве инструкции по созданию систем измерения процесса, которые будут разрабатываться в рамках семейства стандартов.

Примечание — В ИСО/МЭК 33020 приведена система измерения процесса для оценки его возможностей в соответствии с требованиями настоящего стандарта.

2    Нормативные ссылки

В настоящем стандарте применены следующие нормативные ссылки. Для датированных документов используются только указанные издания. Для недатированных документов используются последние издания с учетом внесенных в них изменений.

ISO/IEC 15939:2007 Systems and software engineering — Measurement process (Системная и программная инженерия. Процесс измерения)

ISO/IEC 33001:2015 Information technology — Process assessment — Concepts and terminology (Информационные технологии. Оценка процесса. Понятия и терминология)

3    Термины и определения

В настоящем стандарте применены термины, определенные в ИСО/МЭК 33001. ИСО/МЭК 15939. а также следующие термины и определения:

3.1 комплексный метод (aggregation method): Метод, совмещающий набор значений измерений для создания составного значения.

Примечание — Комплексные методы основаны на компенсационных и некомпенсационных моделях.

Издание официальное

3.2    компенсационная модель (compensatory model): MCDM-модель. в которой составное измерение включает в себя условия с собственным весом, и где критерии (также см. условия свойств) с высоким значением могут компенсировать критерии с низким значением пропорционально весу каждого из них.

Примечание — Компенсационная модель предполагает, что совершенствование более важных мер (с более высоким весовым коэффициентом) с большей вероятностью повысит или улучшит общее составное значение, нежели совершенствование менее важных мер. Эта модель предполагает, что вес (уровень влияния) критериев остается тем же вне зависимости от измеренного уровня критерия.

3.3    составное измерение (composite measure): Переменная, получаемая из набора операций составных измерений конструкции, определенная в соответствии со спецификацией конструкции (информативной или формирующей); эта спецификация описывает способ, каким представляющая нужную конструкцию скрытая переменная связана с соответствующими измерениями.

3.4    составное значение (composite value): Значение составного измерения.

Примечание — Составное значение может находиться на порядковой шкале, шкале интервалов или отношений.

3.5    конструкция (construct): Параметры (абстрактная идея, изображение, основная тема или предмет), которые необходимо измерить в ходе оценки процесса.

Примечания

1    В системах измерения процесса конструкции (этот термин относится также к скрытым конструкциям) представляют собой теоретические концепции, такие как качественные и количественные свойства процесса.

2    Присваиваемое конструкции значение называется теоретическим определением, которое должно разъяснять ее значение, а также указывает на ее точные размеры (фасеты).

3.6    размерность (dimension): Отдельные компоненты, входящие в многомерную конструкцию.

3.7    формирующая конструкция (formative construct): Конструкция, созданная на базе измерений путем наблюдения при взаимодействии конструкции и соответствующих измерений.

Примечание — Конструкция представляет собой последовательность измерений, каждое из которых является определяющим фактором конструкции.

3.8    скрытая переменная (latent vanable): Переменная, представляющая собой одномерную конструкцию.

Примечание — Для каждой размертюсти конструкции должна присутствовать отдельная скрытая переменная. а для каждой скрытой переменной должно проводиться по меньшей мере одно измерение.

3.9    MCDM — принятие решений с учетом множества критериев или принятие решений с учетом множества параметров (MCDM — Multiple Critena Decision Making or Multi-Attribute Decision Making): Принятие решений о предпочтениях (например, оценка, расстановка приоритетов и выбор) из имеющихся альтернатив, описываемых множеством критериев.

Примечания

1    Критерий в MCDM соответствует измерению.

2    MCDM с одной альтернативой аналогично разработке комплексного измерения.

3.10    модель измерения (measurement model): Скрытое или явное отношение между скрытой переменной и ее (многокомпонентными) измерениями.

Примечание — Отношения между информативной (формирующей) конструкцией и ее измерением (измерениями) называют информативной (формирующей) моделью измерения.

3.11    многомерная конструкция (multidimensional construct): Конструкция, состоящая из определенного числа одномерных конструкций.

Примечание — Каждое измерение многомерной конструкции называется одномерным и представлено одной скрытой переменой. У каждой размерности может быть несколько измерений. Многомерная конструкция, например значение возможностей, определяемое как общий фактор свойств соответствующего процесса, отличается от случая, когда возможности определяют как сумму свойств процесса. Первый случай представляет собой информативную многомерную конструкцию, а второй — формирующую. Многомерная конструкция может включать в себя неопределенное число уровней.

3.12    некомпенсационная модель (non-compensatory model): MCDM-модель, не допускающая взаимную компенсацию критериев пропорционально их весу.

2

ГОСТ Р ИСО/МЭК 33003—2017

Примечание — Строго положительные или отрицательные условия непропорционально влияют на общее составное значение, несмотря на то. что весовой коэффициент остается тем же. Существуют разные некомпенсационные модели в зависимости от политики оценки, цели составного измерения и (или) шкалы измерения.

3.13    информативная конструкция (reflective construct): Конструкция, которая в отношениях «конструкция — измерения» рассматривается как объект измерений.

Примечание — Информативная конструкция является ключевым фактором вариативности ее измерений.

3.14

шкала (scale): Упорядоченный набор значений, последовательных или дискретных, либо набор категорий, на которые накладывается свойство.

Примечание — Типы шкал зависят от характера отношений между значениями шкалы. Обычно используют четыре типа шкал:

-    номинальная — значения измерений имеют категорический характер. Например, классификация дефектов по типам не предполагает упорядочивание по категориям;

порядковая — значения измерения сортируются по рангам. Напри мер. отнесение дефектов к уровням серьезности представляет собой сортировку по рангам;

-    интервальная — между значениями измерений существуют равные промежутки, соответствующие равным качественным показателям свойства. Например, минимальным значением сложности организации циклов в программе может быть единица, но с каждым нарастанием добавляется еще один путь. Значение не может быть нулевым;

-    шкала отношений — между значениями измерений существуют равные промежутки в соответствии с равными количественными показателями свойства, где нулевое значение означает несоответствие какому-либо из свойств. Например, размер программного компонента в LOC представляет собой шкалу отношений, поскольку нулевое значение соответствует отсутствию строк кода и каждое новое приращение соответствует равному количеству кода.

(ИСО/МЭК 15939:2007)

3.15 одномерность (unidimensionality): Наличие одной характерной особенности или конструкции, подразумевающей набор измерений.

4 Требования к системам измерения процесса

В настоящем разделе установлены требования к разработке систем измерения процесса. Цель инструкций, содержащихся в настоящем стандарте, состоит в том. чтобы обеспечить лучшее понимание этих требований. Отношения между некоторыми элементами, описанными в настоящем разделе, приведены на рисунке А. 1 (приложение А).

Примечание — Инструкции по обеспечению соответствии данным требованиям, включая примеры и методы, будут приведены в руководстве по созданию систем измерения процесса, разрабатываемых в рамках данного семейства стандартов.

4.1    Построение концепции

4.1.1    Требования

a)    Система измерений должна определять и характеризовать качественное свойство отдельного процесса.

b)    Качественное свойство процесса в системе измерения следует определять на базе многомерной конструкции.

c)    Качественное свойство процесса в системе измерения следует определять как набор количественных свойств процесса.

d)    Каждое качественное свойство процесса должно определяться своим набором количественных свойств процесса.

e)    Каждое свойство процесса, которое не может быть измерено непосредственно, следует считать конструкцией.

f)    Свойства процесса в системе измерения процесса необходимо определять как информативные или формирующие.

д) Система измерений должна фиксировать политики и допущения, определяющие ее использование и применение.

3

4.1.2    Указания

Построение концепции состоит из ее определения и разъяснения. Концепция представляет собой идею или образ, который объединяет в одном термине интересующие феномены (например, характерные особенности, особенности поведения). Список характерных особенностей охватывается обобщающим признаком. Большинство качественных свойств процесса (например, его возможности) не поддаются наблюдению, представляя собой теоретические концепции, именуемые конструкциями.

Комплексные измерения (например, уровня возможностей процесса), используемые в системах измерения процессов, должны определяться на основе модели, состоящей из свойств процесса. Система измерений может быть структурирована в набор уровней, достижение которых предполагается управлением процессом

Если свойство процесса не поддается непосредственному измерению, его можно определить как конструкцию. Набор свойств процесса должен быть определен для любой конструкции, которая может быть информативной или формирующей.

Участие экспертов и заинтересованных лиц может повысить обоснованность качественного свойства процесса и количественных свойств; аспекты обоснованности приведены в приложении С. раздел СЗ.

Многомерную конструкцию можно изобразить в виде схемы путей, включая набор измерений и их взаимоотношений. Использование схемы путей делает более понятной сферу применения модели и ее структур.

4.2    Определение конструкции

4.2.1    Требования

a)    В определении конструкции должно содержаться определение значения качественного и количественного свойств процесса в системе измерения процесса.

b)    Определение конструкции должно прояснять спецификацию качественного и количественного свойств процесса в качестве измерений.

c)    Определение конструкции должно предоставлять инструкции по практическому применению качественного и количественного свойств процесса.

d)    Определение конструкции должно определять шкалы составных измерений, таких как качественные (например, серии порядковых значений, таких какуровень возможностей) или количественные.

e)    По меньшей мере одно из свойств процесса должно включать в себя достижение определенной цели процесса и результата процесса; это называется свойством результативности процесса.

4.2.2    Указания

Качественные и количественные свойства процесса должны описывать интуитивное понимание их представления, их интерпретация может быть разной в зависимости от точки зрения и квалификации оценщика. Поэтому для разъяснения и предоставления значения конструкции оценщику необходимо определить конкретный состав конструкции для измеряемого процесса. В этом состоит процедура определения конструкции.

Уточнение конструкции предполагает, что. например, определение показателя качества процесса, как превосходящей по классу, полностью охватывает свойства процесса на базе спецификации конструкции, а определенные свойства процесса. как имеющие более низкий класс, представляют собой его точные размеры. Скрытую переменную можно присвоить одномерной конструкции модели. Статистические методы, относящиеся к размерности, приведены в приложении С. раздел С.1.

4.3 Практическое применение

4.3.1    Требования

a)    Все свойства процесса следует определять в соответствии со спецификацией их конструкции.

b)    Соответствие свойствам процесса должно быть подтверждено объективными свидетельствами.

4.3.2    Указания

Если свойство процесса поддается непосредственной оценке с помощью формальных методов оценки, методов автоматической отчетности, опросов (включая анкеты и интервью), наблюдений или иных эмпирических способов, то речь идет о базовом измерении, которое функционально не зависит от других измерений. Если свойство процесса измеряют вместе с несколькими подконструкциями или измерениями, оно может рассматриваться как конструкция. Для измерения конструкции рекомендуется проводить четыре или более базовых измерений, а также выполнить набор статистических тестов (включая проверку модели и спецификации конструкции) в информативной спецификации.

4

ГОСТ Р ИСО/МЭК 33003—2017

Примечание — Индикаторы оценки, используемые для присвоения оценок свойствам процесса, приведены о ИСО/МЭК 33004. пункт 6.3.4.

4.4 Проверка спецификации конструкции

4.4.1    Требования

Спецификации конструкции качественного свойства процесса и связанные с ним количественные свойства следует проверять путем практического использования и логического обоснования.

4.4.2    Указания

Существует два типа спецификаций конструкций, которые описывают то, как скрытая переменная представляет связь конструкции со своими измерениями (т. е. отношения между одномерной конструкцией и ее измерениями): информативная и формирующая модели измерений. Качественные и количественные свойства процесса можно рассматривать как определяющие факторы или индексы, создаваемые наблюдаемыми измерениями. Первый тип называют информативными (эффективными) конструкциями или информативными моделями измерений, а второй — формирующими (обусловленными) моделями.

Цель информативной модели измерения состоит в измерении отдельного свойства путем проведения нескольких измерений, в то время как в рамках формирующей модели осуществляют попытку обобщить несколько свойств в одном составном значении. Данные спецификации изображены на рисунке В.1 приложения В.

Правила принятия решений при проверке спецификации информативной или формирующей конструкций приведены в таблице 1. Эти правила можно применять к качественным свойствам процесса и его соответствующим характеристикам. Данные правила можно проанализировать путем статистической проверки спецификации конструкции. Подробное описание спецификации конструкции приведено в приложении В.

Таблица 1 — Правила принятия решений для проверки информативной или формирующей модели измерения

Правило принятия решений Информативная модель измерений Формирующая модель измерений Свойства измерений конструкции Измерения определяют свойства (аспекты) конструкции Измерения определяют свойства (аспекты) конструкции У измерений общая направленность Измерения могут не иметь общей направленности Измерения должны быть взаимозаменяемыми Измерения не должны быть взаимозаменяемыми Содержание измерений должно быть идентичным или схожим Содержание измерений не должно быть идентичным или схожим Исключение измерения не должно изменять концептуальную область конструкции Исключение измерения может изменять концептуальную область конструкции Предполагается, что измерения изменяются параллельно друг другу Измерения не обязательно должны изменяться параллельно друг другу Направление причинной связи между конструкцией и измерениями Направление причинной связи — от конструкции к комплексным измерениям Направление причинной связи — от измерений к конструкции Изменения, вносимые в отдельное измерение, не должны приводить к изменению конструкции Изменения, вносимые в конструкцию. не должны приводить к изменению измерений

В некоторых случаях связи, изображенные на В.1 приложения В. могут иметь более высокий уровень. т. е. концептуальные определения конструкций часто указаны на более абстрактном уровне, куда иногда входит несколько информативных и (или) формирующих измерений первого уровня. Модели более высокого уровня должны иметь теоретическое определение в информативной модели измерения. Проверку определения проводят путем проведения статистического анализа.

5

4.5    Свойства процесса присвоения оценок

4.5.1    Требования

a)    Оценки должны быть присвоены свойствам процесса.

b)    Шкалы измерений, т. в. номинальная, порядковая, шкала интервалов, связей, должны быть определены для свойств процесса.

c)    Должен быть определен метод измерения, с помощью которого проводится объективное присвоение значения каждому свойству процесса.

4.5.2    Указания

В ходе некоторых оценок могут создаваться рейтинги качественных или количественных свойств процесса для отдельных оцениваемых образцов процесса. С другой стороны, в некоторых оценках, дающих общую картину без присвоения рейтингов, может рассматриваться набор образцов процесса в одном контексте с процессом. Рейтинг свойств процесса может быть основан на формальных оценках, автоматической отчетности, наблюдениях или иных эмпирических способах оценки. В связи с этим шкала для рейтинга базовых измерений должна соответствовать модульности оценки. Бывают случаи, когда рейтинги в автоматической отчетности и наблюдениях были выставлены на основе восприятия, а не объективных свидетельств. К шкале рейтингов для качественных и количественных свойств процесса должны применяться логические обоснования в соответствии со спецификацией конструкции (см. 4.3).

Хорошо организованная документированная процедура оценки свойств процесса обеспечит надежные результаты измерений. Подход к оценке свойств процесса должен быть определен документированной процедурой оценки и может зависеть от класса оценки с учетом ее целей. Таким образом, для данной цели документированная процедура оценки определяет процесс назначения, планирования. проведения и анализа оценки согласно интегрированной схеме оценки. При наличии соответствующей договоренности в организации документированная процедура оценки может быть утверждена после проверки ее соответствия целям проведения измерений.

4.6    Обобщение

4.6.1    Требования

При обобщении должно быть определено составное значение или рейтинг путем совмещения набора значений, полученных при измерении.

a)    Следует указать все обобщения, необходимые в рамках системы измерений.

b)    Необходимо указать методы обобщения.

c)    Методы обобщения должны быть проверены статистически.

d)    В методах обобщения должны использоваться единообразные шкалы измерений.

e)    Методы обобщения должны соответствовать линиям поведения и допущениям системы измерения.

f)    Методы обобщения должны соответствовать спецификациям конструкции.

4.6.2    Указания

Шкалу составного измерения для качественного и количественного свойств процесса следует устанавливать в соответствии со спецификацией конструкции. Количество необходимых обобщений зависит от структуры многомерной конструкции качественного свойства процесса, приведенной в 4.1. В первую очередь в качестве точки обобщения можно считать иерархический порядок конструкций, например качественные и количественные свойства процесса. Уровень каждого качественного свойства процесса на шкале определяется в условиях соответствия набору количественных свойств процесса.

MCDM с одной альтернативой также можно считать методом обобщения для получения значения комплексного измерения. Основой для метода обобщения может быть компенсационная или некомпенсационная модель, в зависимости от спецификации конструкции, политики оценки, цели составного измерения и (или) шкалы измерения. Формирующую модель без ошибок в измерениях можно рассматривать как MCDM компенсационного типа, обобщающую различные аспекты или измерения в одно комплексное значение.

В качестве примера обобщения можно привести комбинацию набора рейтингов свойств процесса для уровня возможностей процесса, исходя из формирующей спецификации В многомерной конструкции. такой как качественное или количественные свойства процесса, обобщение следует использовать для определения уровня возможностей процесса по набору рейтингов его свойств. Кроме этого, если рейтинг свойств процесса выполняется для каждого из нескольких образцов, необходимо представить методы обобщения.

Шкала рейтингов качественного свойства процесса или его количественных свойств представляет уровень соответствия данным свойствам. Порядковую шкалу можно получить путем преобразования

6