ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

ГОСТР

ИСО/МЭК 25041— 2014

Информационные технологии

СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ

Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке для разработчиков, приобретателей и независимых оценщиков

ISO/IEC 25041:2012

Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Evaluation guide for developers, acquirers and independent evaluators (IDT)

Издание официальное

Москва

Стандартинформ

2016

Предисловие

1    ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «Информационно-аналитический вычислительный центр» (ООО «ИАВЦ») на основе собственного аутентичного перевода на русский язык международного стандарта, указанного в пункте 4

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 22 «Информационные технологии»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 11 июня 2014 г. № 556-ст

4    Настоящий стандарт идентичен международному стандарту ИСО/МЭК 25041:2012 «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке для разработчиков, приобретателей и независимых оценщиков» (ISO/IEC 25041:2012 «Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Evaluation guide for developers, acquirers and independent evaluators»)

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ 1.5 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты Российской Федерации, сведения о которых приведены в дополнительном приложении ДА.

5    ВВЕДЕН ВПЕРВЫЕ

6    ПЕРЕИЗДАНИЕ. Октябрь 2016 г.

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в годовом (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (gost.ru)

© Стандартинформ, 2016

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

ГОСТ Р ИСО/МЭК 25041—2014

Каждый вид действий по оценке может быть выполнен сточки зрения оценки качества как статической, так и динамической продукции, основываясь на роли разработчика, приобретателя и независимого оценщика, и в соответствии с их целями оценки.

5.3 Роли и ответственности

5.3.1    Роли и ответственности разработчиков

Относительно оценки качества продукции зона ответственности разработчика может включать в себя следующее:

-    обеспечить качество разработанной конечной продукции;

-    принять готовый коммерческий продукт с требуемым качеством от субподрядчиков;

-    подобрать подходящий продукт коммерческого программного обеспечения требуемого качества от поставщиков;

-    повысить производительность процесса тестирования;

-    обучить персонал для оценки качества продукции.

При реализации проекта продукции заказного программного обеспечения для обеспечения качества разработанной программной продукции разработчики оценивают промежуточные и конечные продукты, включая следующее:

-    документы требований к качеству на ранних стадиях разработки;

-    промежуточные продукты, такие как документы проекта и исходные коды программ на этапе внедрения;

-    конечные программные продукты, которые включены в целевую систему в процессе тестирования.

Покупая готовый коммерческий продукт для адаптации его к конечной системе, разработчики оценивают и сравнивают альтернативные продукты, а затем выбирают из нихтот продукт, который удовлетворяет требуемому качеству.

Разработчики могут использовать результаты оценки качества продукции, обеспечивающие соответствие продуктов требуемым критериям качества, которые могут быть либоопределены приобретателями, либо сравнимы с другими продуктами.

5.3.2    Роли и ответственности приобретателей

Персонал заказчика, ответственный за оценку качества, отвечает за то, чтобы:

-    принятие заказных коммерческих продуктов, удовлетворяющих требованиям к качеству;

-    выбор продукта готового массового программного обеспечения приемлемого качества;

-    повышение эффективности динамических продуктов, включенных в функциональную целевую систему;

-    повышение производительности процесса приобретения;

-    обучение персонала для оценки качества.

Для обеспечения качества заказанной продукции при приобретении заказной программной продукции заказчик оценивает промежуточные или конечные продукты.

При приобретении заказной программной продукции заказчик устанавливает требования к качеству использования, к качеству продукции, определяет требования к поставщику и перед приобретением оценивает потенциальных поставщиков в соответствии с этими требованиями.

Конечная цель определения требований к качеству при приобретении заказной программной продукции состоит в том, чтобы обеспечить соответствие продукции заявленным и подразумеваемым потребностям пользователей. Возможные действия включают в себя:

-    анализ проектной документации перед запросом разработки программного обеспечения;

-    анализ и тестирование конечных продуктов перед приемкой продукции заказного программного обеспечения.

При приобретении готовой массовой программной продукции для сравнения и выбора продукции приобретатель оценивает конечные продукты альтернативных готовых продуктов.

Оценку при приобретении готовой программной продукции можно использовать для сравнения альтернативных продуктов, чтобы обеспечить удовлетворение выбранным продуктом требований к уровню качества. Возможные действия при этом включают в себя следующее:

-    анализ документации конечных продуктов перед выбором продукции для приобретения;

-    тестирование конечных продуктов с тем, чтобы приобрести на заказ продукт, наиболее соответствующий требованиям качества.

На этапе приемочных испытаний приобретатели тестируют продукты, чтобы принять их высокого качества.

5

При улучшении готовой продукции, входящей в состав целевой системы, приобретатели оценивают динамический продукт для повышения качества продукции. Возможные действия включают:

-    анализ качества статической конечной продукции на стадии эксплуатации;

-    проверку качества динамической конечной продукции на стадии эксплуатации.

При оценке готовой продукции, входящей в состав целевой системы продукт проверяют и измеряют с применением показателей качества использования.

Примечания

1    Оператор может входить в состав приобретателей. Человек или организация, которые управляют целевой системой, частью которой является продукция, могут выполнить оценку качества программной продукции для проверки соответствия продукции требованиям к уровню качества в различных эксплуатационных режимах, и, определив необходимость в изменениях, адресовать их ответственным за обслуживание.

2    Специалист по обслуживанию может входить в состав приобретателей. Человек или организация, обслуживающие целевую систему, частью которой является продукт, могут выполнить оценку программного обеспечения для проверки соответствия качества продукции требованиям к уровню качества, и особенно требованиям пригодности для обслуживания и мобильности.

5.3.3 Роли и ответственности независимых оценщиков

Обязанности независимых оценщиков определены договором с запрашивающей стороной.

Процесс оценки ими может быть выполнен как с точки зрения разработчиков, так и с точки зрения приобретателей.

В ответственность независимых оценщиков относительно оценки качества может быть включено следующее:

-    оценка целевой продукции на основе договора с запрашивающей стороной;

-    гарантия качества отчета об оценке качества продукции;

-    улучшение качества результата оценки;

-    улучшение производительности процесса оценки;

-    улучшение информационных систем, обеспечивающих процесс оценки качества;

-    обучение персонала оценке.

Прежде чем выполнять оценку, независимые оценщики анализируют на основе договора широту охвата оценки и представляют подходящее решение и условия оценки.

Для обеспечения надлежащего качества продукции независимые оценщики для оценки целевой продукции проводят оценку промежуточных или конечных продуктов. Подобная оценка может быть выполнена по запросу от разработчиков, приобретателей или некоторых иных сторон.

6 Требования и рекомендации организационного уровня к оценке качества программной продукции

6.1 Общие требования и рекомендации

Эталонная модель процесса оценки качества программной продукции определяет процесс и детали действий и задач, необходимых для достижения цели, а также предоставляет дополнительную информацию, которая может быть использована для выполнения оценки качества продукции (см. ИСО/МЭК 25040).

Эталонная модель процесса оценки качества программной продукции использует организации в роли разработчиков, приобретателей и независимых оценщиков.

Эталонная модель процесса оценки качества программной продукции предназначена для разработчиков, приобретателей и независимых оценщиков продуктов, но не ограничивается ими.

Эталонная модель процесса оценки качества программной продукции требует, чтобы оценка базировалась на спецификации требований к качеству продукции с использованием ИСО/МЭК 25030 перед оценкой и определением четких целей и критериев оценок. Требования к качеству продукции выражают потребности пользователя в рассматриваемой продукции и определены перед разработкой (см. ИСО/МЭК 25030).

ИСО/МЭК 25001 применим к группе оценки, которая обеспечивает поддержку в рамках всей организации всех проектов оценки качества продукции, выполняемых независимыми оценщиками в процессе разработки программного обеспечения или приобретения программного обеспечения.

ИСО/МЭК 25001 устанавливает требования и рекомендации для организации, ответственной за реализацию и управление спецификацией требований к качеству продукции, а также за действия по оценке качества программного обеспечения на основе предоставления технологии, инструментов, опыта и управленческих навыков.

6

ГОСТ Р ИСО/МЭК 25041—2014

Оценка качества программной продукции может быть выполнена разработчиками, приобретателями или независимыми оценщиками в процессе или по завершении процесса разработки или процесса приобретения.

Поскольку продукция может состоять из нескольких основных компонентов, то требования к качеству для всей продукции могут отличаться от требований для различных ее компонентов и требовать разных критериев оценки.

Качество программной продукции в рамках определенной структуры качества может быть оценено на всех этапах жизненного цикла, относящихся к процессу внедрения, как это определено в ИСО/МЭК 12207 и ИСО/МЭК 15288.

6.2 Документация оценки качества программной продукции

Для оценки качества продукции должна быть определена информация о входных документах, ограничениях, ресурсах и результатах действий по оценке.

Для гарантированного получения результатов оценки должен быть определен фактический результат действий и процесса оценки.

Протокол оценки должен включать в себя подробное описание выполняемых действий и содержать достаточное количество данных, необходимых для управления оценкой качества продукции при реализации плана оценки качества продукции.

Протокол оценки должен содержать все промежуточные данные, необходимые для понимания результатов оценки.

Решения, принятые в процессе оценки, также должны быть включены в протокол оценки, как это определено в плане оценки.

Для эффективной производительности последующих действий протокол оценки должен содержать достаточную информацию для каждого из последующих действий по оценке качества продукции.

Необходимо подготовить отчет об оценке качества продукции, в котором должны быть документированы действия по оценке и результаты оценки.

При использовании для выполнения действий по оценке инструментальных средств в отчет об оценке должна быть включена ссылка на инструмент. Ссылка должна состоять из идентификации инструмента, его поставщиков и версии инструмента.

В протокол оценки должны быть включены более подробные ссылки на используемые инструменты. Протокол оценки должен, кроме того, содержать подробную конфигурацию инструмента и любую соответствующую информацию, необходимую для обеспечения возможности повторить действия по оценке для получения того же самого промежуточного результата.

Примечания

1    В случае разработчиков, в состав которых входят не только проектировщики, но также и программисты или тестеры в связи с использованием, для оценки в протокол должны быть занесены:

-    результаты анализа спецификации проекта (статической промежуточной или конечной продукции);

-    результаты тестирования (тест модуля программы, комплексное испытание системы, тест в рабочих условиях перед выпуском продукции);

-    спецификация любой прогнозирующей модели, которая будет использоваться в качестве индикатора качества продукции;

-    идентификация любых субподрядных организаций разработчиков или тестеров и продукции или любых артефактов, произведенных такими организациями.

2    В случае приобретателя в связи с использованием для оценки в протокол должны быть занесены:

-    результаты анализа спецификации проекта (статическая, промежуточная или конечная продукция);

-    результаты тестирования (тестирование системы в эксплуатационном режиме, тестирование демонстрационной системы перед выбором самой подходящей продукции);

-    спецификация любой прогнозирующей модели, которая будет использована в качестве индикатора качества продукции;

-    идентификация любых субподрядных организаций разработчиков или тестеров и продукции или любых артефактов, произведенных такими организациями.

3    В случае приобретателя в связи с использованием для оценки в протокол должны быть занесены:

-    результаты анализа спецификации проекта (статическая, промежуточная или конечная продукция);

-    результаты тестирования (тест модуля программы, комплексное испытание системы, тест в рабочих условиях перед выпуском продукции, тестирование системы в эксплуатационном режиме, тестирование демонстрационной системы перед выбором самой подходящей продукции);

-    спецификация любой прогнозирующей модели, которая будет использована в качестве индикатора качества продукции.

7

6.3 Требования и рекомендации организационного уровня для поддержки каждой роли

6.3.1    Общие требования

Для обеспечения повторяемости, воспроизводимости, беспристрастности и объективности результатов оценки независимая группа оценки качества для управления и поддержки проектов по оценке в рамках организации должна действовать в организационных условиях, которые предоставляют все средства, необходимые для реализации действий по оценке с надлежащим качеством.

Любая организация, имеющая в своем составе группу оценки качества, должна определить обязанности по оценке качества программной продукции и включить их в организационную политику.

Любая организация, включающая в себя группу оценки качества, должна:

-    проявлять организационный подход в целях поддержки индивидуальных проектов разработки и совершенствования эффективности процесса оценки;

-    установить общую систему управления качеством и вспомогательные информационные системы для управления и поддержки конкретных проектов оценки с точки зрения общей оптимизации;

-    определить ресурсы и инфраструктуру для процесса оценки;

-    определить ограничения оценки с точки зрения общей структуры оценки, показанной в рисунке 2;

-    обеспечить общий промышленный формат для создания плана и отчета оценки для контроля и поддержки конкретных проектов оценки;

-    определить общую политику, правила и инструкции для контроля конкретных проектов по оценке;

-    установить и обслуживать вспомогательные системы, стандарты и методические материалы, включая инструменты и методы управления и выполнения оценки для использования проектами организации.

Одними из задач любой организации являются мотивация людей независимой группы оценки и обучение ихдля действий в соответствии со спецификацией требований и действий пооценке, подготовки надлежащих документов, определения или разработки требуемых методов и ответов на запросы по соответствующим технологиям.

Управление технологиями связано с планированием и управлением спецификацией требований к качеству программного обеспечения, процессом оценки, показателями и инструментами. Это включает в себя управление разработкой, приобретением, стандартизацией, контролем, передачей и получением обратно спецификации требований и технологического опыта оценки в рамках организации.

6.3.2    Рекомендации организационного уровня для разработчиков

Для достижения своих целей разработчики должны создать независимую группу оценки для поддержки отдельных проектов по разработке внутри организации.

Независимая группа оценки для поддержки индивидуальных проектов оценки в целях обеспечения качества проекта в целом и промежуточных продуктов, обеспечения качества конечных продуктов и повышения эффективности процессов разработки и оценки должна применять организационные подходы.

Совокупность измерений может указать на необходимость изменений организационной структуры, используемой для производства программного обеспечения.

Организации обеспечения/контроля качества или всей команде разработчиков, возможно, потребуется обучение по применению процедур сбора данных и измерений.

Если внедрение измерений вызвало изменения в процессе разработки, группа разработчиков, вероятно, должна пройти обучение по изменениям.

Для реализации измерений могут быть установлены, оценены, приобретены, адаптированы или разработаны аппаратные и программные средства.

6.3.3    Требования и рекомендации организационного уровня для приобретателей

Для достижения своих целей приобретатели должны создать независимую группу оценки для поддержки отдельных проектов приобретения в рамках организации.

Организация заказчика, в состав которой входит независимая группа оценки, должна:

-    обеспечивать стандартизированные общие методы оценки для принятия конечной продукции;

-    обеспечивать стандартизированные общие методы оценки для контроля поставщиков продуктов;

-    оценивать эффективность и качество динамических рабочих продуктов;

-    проявлять организационные подходы в целях поддержки отдельных проектов оценки для обеспечения качества принятой продукции и совершенствования эффективности процесса приобретения;

ГОСТ Р ИСО/МЭК 25041—2014

-    обеспечивать список или базу данных продуктов готового массового программного обеспечения и стандартизированный общий метод сравнения для выбора лучшего с точки зрения качества продукции.

В число целевых элементов управления с точки зрения качества программной продукции и качества в использовании входит следующее:

-    качество динамических рабочих продуктов, которые будут включены в фактический состав эксплуатируемой системы;

-    эффективность или производительность фактически используемых продуктов;

-    качество принятых продуктов;

-    технический уровень поставщиков;

-    уровень завершенности разработки программной продукции;

-    уровень завершенности обслуживания программной продукции;

-    человеческие ресурсы для оценки качества приобретений.

6.3.4 Требования организационного уровня для независимых оценщиков

Организация независимого оценщика должна:

-    для достижения своих целей создать независимую группу оценки для поддержки отдельных проектов в рамках организации;

-    проявлять организационные подходы в целях поддержки отдельных проектов оценки для обеспечения качества полученных результатов и совершенствования эффективности процесса оценки;

-    создать инфраструктуру и ресурсы организации для поддержки отдельных конкретных проектов оценки на основе потребностей запрашивающей оценку стороны;

-    обеспечить инфраструктуру с точки зрения разработчиков, приобретателей или независимых оценщиков на основании договора и опыта отдельных прошлых подобных проектов оценки.

Примечания

1    В целях обеспечения эффективности и надежной оценки с точки зрения опытного, знающего эксперта неза-висимая группа оценки для выполнения оценки качества продукции обеспечивает адаптацию лучших методов и инструментов.

2    Самыми типичными независимыми оценщиками являются специалисты, не работающие в компании приобретателя или разработчика, что обеспечивает объективную оценку продукции на основе запроса от любого из пользователей, таких как приобретатели и разработчики. В таком случае общая информационная база данных оценки качества программной продукции ведется для последующего использования заинтересованными лицами.

7 Требования и рекомендации для процесса оценки разработчиками

7.1 Общие требования

В настоящем разделе определены требования и рекомендации для практической реализации оценки качества продукции разработчиками на этапе жизненного цикла — этапе разработки.

Требования используют организации, которые планируют разработать новый продукт или улучшить существующий продукт и имеют намерение выполнять оценку качества продукции с использованием ее собственного технического персонала.

Требования основываются на использовании показателей, которые могут предсказать качество конечных продуктов посредством измерения промежуточных продуктов, разработанных в течение жизненного цикла.

В процессе разработки оценщики должны принять во внимание следующие специфические вопросы.

Оценка качества продукции непосредственно поддерживает разработку программного обеспечения, соответствующего пользовательским и потребительским потребностям.

Когда разработчики планируют и проводят измерение качества программного обеспечения и оценку, необходимо принимать во внимание процесс разработки.

Примечания

1    Соответствующие процессы жизненного цикла определены в ИСО/МЭК 12207. Входящие в их состав действия описаны в 6.4 и 7.1.

2    Общие понятия процесса оценки качества программной продукции можно найти в ИСО/МЭК 25040. Разработчики должны согласовывать действия по оценке с поддержкой процессов и действий.

3    Процессы поддержки программного обеспечения определены в ИСО/МЭК 12207, включая, в частности, процесс обеспечения качества (см. 7.2.3), процесс проверки программного обеспечения (см. 7.2.4), процесс проверки допустимости программного обеспечения (см. 7.2.5) и процесс аудита программного обеспечения (см. 7.2.7).

9

Для многих методов анализа данных требуются данные из предыдущих проектов, разработанных при подобных условиях и с сопоставимыми требованиями к качеству. В связи с этим для достижения своих целей разработчики должны применять модель разработки, подобную той, которая использовалась в предыдущих проектах в организации разработчика, не исключая дополнительные требования.

7.2 Установите требования к оценке

7.2.1    Входы и выходы процесса

Входными данными для определения требований коценке являются:

a)    потребности оценки качества продукции;

b)    спецификация требований к качеству продукции;

c)    применимые инструменты и методология измерений;

d)    продукт, который будет оценен, включая промежуточные и конечные продукты.

Результатами должны быть:

a)    спецификация целей оценки качества продукции;

b)    спецификация требований к оценке качества продукции;

c)    высокоуровневый план оценки качества продукции.

Все части продукции, которые будут включены в оценку, должны быть идентифицированы и документированы.

С точки зрения разработчика информация о продукте включает в себя также статические артефакты, такие как:

-    техническая характеристика изделия;

-    исходные коды программы;

-    производственные руководства;

-    описание продукции.

Определение требований коценке состоит из следующих задач.

7.2.2    Установите цели оценки

Цель оценки качества продукции должна быть документирована как основание для дальнейших действий и задач по оценке на базе роли разработчиков.

Для достижения цели разработчики должны оценивать, как статический и динамический промежуточный, таки конечный продукт.

Цель оценки статического и динамического промежуточного качества продукции может включать в себя следующее:

-    обеспечение качества проекта промежуточного продукта;

-    повышение качества промежуточных продуктов;

-    обеспечение качества промежуточных продуктов;

-    предсказание или оценку качества конечных продуктов;

-    определение причины отказов промежуточных продуктов в процессе тестирования;

-    решение о приемке промежуточных продуктов от субподрядчиков;

-    решение о завершении стадии жизненного цикла и переходе продукции на следующую стадию;

-    сбор информации промежуточных продуктов для контроля процесса разработки;

-    определение текущей целесообразности проекта разработки;

-    повышение производительности проектирования, реализации и тестирования;

-    обучение персонала для проекта оценки качества продукции.

Цель оценки качества конечной статической и динамической продукции может охватывать следующее:

-    обеспечение качества конечных продуктов;

-    решение, когда выпустить продукты;

-    оценка как положительных, так и отрицательных стороны продукции при использовании;

-    выбор продукта из числа альтернативных продуктов, чтобы использовать системный продукт;

-    сравнение продукта с конкурентоспособными продуктами, чтобы использовать системный продукт.

7.2.3    Получите требования к качеству программной продукции

Должны быть определены лица, заинтересованные в разработке продукции.

Перед оценкой качества программной продукции требования к качеству должны быть определены с точки зрения характеристик и подхарактеристик качества (см. ИСО/МЭК 25010). Спецификации требований к качеству продукции должны предусматривать следующее:

ГОСТ Р ИСО/МЭК 25041—2014

-    в случае оценки документов проекта требования к качеству продукции должны быть определены с использованием показателей внешнего качества и/или показателей качества использования;

-    в случае оценки промежуточных продуктов требования к качеству продукции должны быть определены с использованием показателей внутреннего качества;

-    в случае оценки конечных продуктов требования к качеству продукции должны быть определены при помощи показателей внешнего качества и/или показателей качества использования.

Оценщики должны анализировать требования к качеству продукции на основе целевых объектов оценки для каждой характеристики и подхарактеристики качества.

Для определения требований к оценке качества продукции необходимо определять с учетом требований к качеству продукции степень покрытия оценкой качества указанныхтребований к качеству программного обеспечения. При этом следует учитывать ограничения такие, как бюджет оценки, срок завершения оценки, цели оценки и критичность использования продукции.

Для планирования и реализации оценки на начальной стадии оценки необходимо изучать и идентифицировать эти требования.

Разработчики должны определять требования к качеству продукции так же, как и требования к качеству использования, путем применения соответствующих характеристик и/или подхарактеристик качества.

Чтобы удостовериться в том, что при оценке качества продукции будут учтены все необходимые требования, а ненужные требования будут исключены, необходимо оценить полноту и правильность спецификации требований к качеству.

Разработчики должны оценивать продукт относительно этих требований перед поставкой.

Для достижения качества программной продукции, при котором удовлетворялись бы и заявленные, и подразумеваемые потребности, важно провести все возможные детальные исследования и определения подразумеваемых потребностей для всех соответствующих характеристик качества.

Для оценки указанных в ней подразумеваемых потребностей спецификация требований к качеству должна быть оценена приобретателями и конечными пользователями.

Опыт использования прототипов зачастую приводит к более точным определениям требований к качеству использования.

Необходимо использовать оценку качества программной продукции для прогнозирования и проверки качества продукции в процессе разработки, определяя требования к показателям внутреннего качества программной продукции для промежуточных продуктов в процессе разработки.

Измеренное значение качества программной продукции из числа конечных программных продуктов для определенных конкретных пользователей может впоследствии быть оценено с точки зрения начальных требований.

В данном случае целью является идентификация проблем в достижении требуемого качества продукции на самом раннем этапе процесса разработки.

Разработчики должны определять требования к показателям внутреннего качества программной продукции.

При использовании требований к показателям внутреннего качества программной продукции разработчики должны определять их, используя модель качества, которая связывает эти требования с требованиями к показателям внешнего качества программной продукции. Требования к показателям внутреннего качества программной продукции следует применять для проверки качества промежуточных продуктов в процессе разработки.

В целях разработки определены требования к показателям внутреннего качества программной продукции, что позволяет проверить качество промежуточных продуктов.

Характеристики целевой статической программной продукции (например, спецификация или исходный код) могут быть измерены с помощью показателей внутреннего качества программной продукции.

В процессе разработки показатели внутреннего качества программной продукции представляют наибольший интерес.

Показатели внутреннего качества программной продукции можно использовать в качестве показателей внешних свойств.

Тестовое соответствие является примером показателей качества, которые могут быть измерены с использованием внутренних показателей.

Достижение требуемых показателей внутреннего качества программной продукции будет способствовать удовлетворению требований показателям внешнего качества программной продукции. Показатели внутреннего качества программной продукции можно, таким образом, использовать в качестве индикаторов для оценки показателей внешнего качества программной продукции.

11

7.2.4    Идентифицируйте части продукции, подлежащие оценке

Части целевого продукции, подлежащие оценке, должны быть идентифицированы и документированы на основе цели оценки качества продукции.

В случае обеспечения качества конечной продукции целевыми объектами оценки должны быть статические и динамические конечные продукты, такие как:

-    техническая спецификация изделия;

-    исходные тексты программы;

-    производственные руководства;

-    описание конечной продукции;

-    результаты тестов (комплексное испытание системы, рабочее тестирование перед выпуском продукции);

-    исполнимая программа тестирования.

В случае улучшения качества продукции и производительности процесса разработки целевыми объектами оценки должны быть статические и динамические промежуточные продукты, такие как:

-    проектная документация;

-    спецификация продуктов;

-    исходные тексты программы;

-    тестовая документация (модульный тест, комплексное испытание системы);

-    исполнимая программа тестирования.

7.2.5    Определите строгость оценки

Для каждой части целевой продукции на основе спецификации требований к качеству продукции должна быть определена строгость оценки.

В случае оценки спецификации требований в процессе анализа проекта строгость оценки должна быть определена для каждой характеристики качества продукции и характеристики качества использования с внешней точки зрения.

В случае оценки промежуточных продуктов на этапе внедрения строгость оценки должна быть определена для каждой характеристики качества продукции с внутренней точки зрения.

В случае оценки качества конечных продуктов на этапе поблочного тестирования строгость оценки должна быть определена для каждой характеристики качества продукции с внутренней точки зрения.

В случае оценки конечных продуктов на стадии тестирования прототипа или комплексного тестирования строгость оценки должна быть определена для каждой характеристики качества продукции и характеристики качества использования с внешней точки зрения.

Строгость оценки должна быть связана с рядом характеристик и подхарактеристик, которые определяют ожидаемые уровни оценки, в свою очередь определяющие применяемые методы оценки и полученные результаты оценки.

7.3 Задайте оценку

7.3.1    Входы и выходы процесса

Входными данными для определения оценки должны быть:

a)    спецификация требований к оценке качества продукции;

b)    спецификация требований к качеству продукции;

c)    высокоуровневый план оценки качества продукции.

Результатами этого действия должны быть:

a)    спецификация выбранных показателей качества;

b)    спецификация критериев решения для показателей качества продукции;

c)    спецификация критериев решения по оценке качества продукции;

d)    пересмотренный высокоуровневый план оценки качества продукции.

С точки зрения разработчика информация о продукте включает в себя также статические артефакты, такие как:

-    техническая характеристика изделия;

-    список целевых объектов, в который входят статические и динамические промежуточные и конечные продукты.

Это действие состоит из следующих задач.

7.3.2    Выберите показатели качества (модули оценки)

Оценщики должны выбрать показатели качества (модули оценки), чтобы они покрыли все требования коценке качества программной продукции.

ГОСТ Р ИСО/МЭК 25041—2014

Показатели качества продукции для каждой части целевой продукции, подлежащей оценке, должны быть определены исходя из цели оценки качества.

В случае оценки спецификации требований на этапе анализа проекта показатели качества должны быть выбраны из совокупности показателей внешнего качества и показателей качества использования.

В случае оценки промежуточных продуктов на этапе внедрения показатели качества должны быть выбраны из совокупности показателя внутреннего качества.

В случае оценки завершенных промежуточных продуктов на этапе поблочного тестирования показатели качества должны быть выбраны из совокупности показателей внутреннего качества.

В случае оценки конечных продуктов на стадии комплексного тестирования показатели качества должны быть выбраны из совокупности показателей внешнего качества и показателей качества использования.

Требования к оценке качества продукции должны быть определены отдельно для каждого компонента продукции, которому соответствуют используемые для оценки качества продукции показатели качества.

Методы оценки качества продукции должны быть документированы с учетом действий, которые следует выполнять для получения результатов оценки.

Если выбранные методы оценки основываются на использовании программного инструмента, инструмент должен быть идентифицирован в плане оценки.

Такая идентификация должна включать в себя, по крайней мере, название инструмента, идентификацию его версии и источников (например, поставщиков, разработчиков).

Спецификация методов оценки должна полностью определять компоненты продукции, к которым эти методы следует применять.

Если для интерпретации результатов оценки требуется экспертный анализ результатов измерений, то процедура интерпретации должна быть определена в спецификации оценки.

Для надежности сопоставления измеренных значений свойств целевых продуктов и значений критерия требуются проведение строгих измерений.

Процедуры измерения должны позволять применять функции измерения к характеристикам качества программного обеспечения (или подхарактеристикам). Они должны обеспечивать уверенность в том, что измерения произведены с точностью, достаточной для определения критериев и выполнения необходимых сравнений. Сравнение продуктов с различными свойствами с данными из опросных листов и мнениями эксперта могут не обеспечивать должный уровень надежности.

Для возможных ошибок измерения, вызванных измерительными инструментами или человеческими ошибками, должен быть определен допустимый диапазон ошибок.

Спецификация оценки должна включать в себя следующее:

-    область применения оценки со ссылкой на компоненты продукции, как указано в ее описании;

-    перекрестные ссылки между информацией, необходимой для выполнения оценки, компонентами целевой продукции и другими соответствующими документами, перечисленными в описании продукции;

-    спецификация выполняемых измерений и провероксо ссылками на компоненты целевой продукции;

-    соответствие спецификации измерений и проверок требованиям к оценке, со ссылками на стандарты или обоснования для каждого из перечисленных измерений или проверок.

Эту задачу обычно выполняют в основном при оценке качества промежуточных продуктов последовательными итерациями, поскольку некоторые показатели могут быть выбраны только по мере разработки проекта артефактов программного обеспечения.

Показатели внутренних свойств можно использовать в качестве характеристик промежуточных продуктов.

В частности, показатели внутренних свойств программного обеспечения зачастую используются, как показатели качества конечной продукции; однако какая-либо общая или непосредственная связь между измеренными значениями показателей внутреннего качества и значениями показателей внешнего качества не подтверждается.

Тем не менее, принято считать, что при использовании с осторожностью показатели качества могут быть полезны.

Использование показателей качества позволяет разработчикам программного обеспечения выявлять возможные проблемы с качеством на ранних стадиях разработки и принимать корректирующие меры немедленно.

К сожалению, не известно о существовании какого-либо универсального набора показателей качества, который подходил бы для любого действия по разработке программного обеспечения.

13

В связи с наличием различий в области приложения целевых систем и программных продуктов, в методах разработки и используемых инструментов, в проектных организациях и в корпоративной культуре некоторые показатели качества могут быть полезны в одной организации, но не могут использоваться в других.

Для каждого требования к показателю внешнего качества программной продукции выбирают одно или более свойств таким образом, чтобы представлять те свойства, которые необходимы в процессе разработки.

Значения, присвоенные в процессе внутренних измерений целевым свойствам программного обеспечения, используют для управления качеством в процессе разработки.

Оценщики должны определить ряд показателей внутренних свойств программного обеспечения, которые:

-    охватывают каждый соответствующий промежуточный продукт и его действия;

-    подходят для области приложения и методов, используемых в разработке;

-    покрывают идентифицированные риски продукции и разработки. Примерами рисков разработки являются нестабильные спецификации, выявленные нерешенные проблемы, отставание от графика, и т. д.

Должны быть включены надлежащие внутренние показатели, обеспечивающие измерения для оценки качества промежуточных продуктов.

В случае регулярного использования соответствующих внутренних показателей, некоторые из показателей могут быть использованы для выявления тенденции качества продукции в процессе разработки программного обеспечения.

Примерами таких показателей тенденции являются: «Количество тестирования завершенных модулей», «Количество разрешенных проблем», «Количество измененных требований», в течение каждой недели ит. д.

Оценщики должны определить набор показателей внутренних свойств программного обеспечения, которые либо связаны с показателями внешних свойств программного обеспечения, либо соответствуют требованиям к качеству.

Значения таких показателей внутренних свойств используют в качестве индикаторов характеристик или подхарактеристик качества продукции. Соответствующие промежуточные продукты должны быть проанализированы, а данные внутренних измерений получены для того, чтобы:

-    оценить качество промежуточных продуктов, чтобы определить, удовлетворяются ли требования к качеству;

-    предсказать качество конечных продуктов.

ИСО/МЭК 2502... можно использовать в качестве руководства для выбора показателей (мер) качества.

Оценщики должны определить прогнозирующую модель для определенной характеристики качества, связи между индикаторами и внешними показателями свойств программного обеспечения.

Индикатор не требует жесткой один к одному связи со свойствами, которые он призван измерить. Тем не менее, связь между индикатором(ами) и соответствующим свойством(ами) должна быть четко определена.

Для эффективного использования управления количество индикаторов не должно быть большим. Приоритет должен быть отдан индикаторам, которые могут быть поддержаны данными, уже собранными в ходе существующих процессов, таких как управление конфигурацией или комплексное тестирование.

Оценщики должны определить условия, при которых должны быть выполнены измерения, что в данном случае означает выявление других свойств, значения которых могут повлиять на измерение и определить значения измеряемых свойств.

Величина значения свойств программного обеспечения, измеренная внутренними показателями, может быть получена независимо от других свойств.

7.3.3 Определите критерии решения для показателей качества

Критерии принятия решения при сопоставлении измеренных значений каждой выбранной подхарактеристики или характеристики качества с рейтинговыми уровнями должны быть определены для каждого выбранного показателя качества.

Номинальный уровень каждой выбранной подхарактеристики или характеристики качества целевой продукции должен быть определен посредством определенного отображения измеренного значения каждого выбранного показателя.

ГОСТ Р ИСО/МЭК 25041—2014

Содержание

1    Область применения...................................................1

2    Соответствие.......................................................1

3    Нормативные ссылки..................................................1

4    Термины и определения................................................2

5    Понятие оценки с точки зрения каждой роли....................................2

5.1    Структура оценки качества продукции с точки зрения каждой роли...................2

5.2    Целевая сущность оценки качества программной продукции......................4

5.3    Роли и ответственности..............................................5

6    Требования и рекомендации организационного уровня к оценке качества программной продукции . 6

6.1    Общие требования и рекомендации......................................6

6.2    Документация оценки качества программной продукции..........................7

6.3    Требования и рекомендации организационного уровня для поддержки каждой роли........8

7    Требования и рекомендации для процесса оценки разработчиками.....................9

7.1    Общие требования.................................................9

7.2    Установите требования    к оценке.......................................10

7.3    Задайте оценку..................................................12

7.4    Спроектируйте оценку..............................................15

7.5    Выполните оценку.................................................17

7.6    Завершите оценку.................................................19

8 Требования и рекомендации для процесса оценки приобретателями...................22

8.1    Общие требования................................................22

8.2    Установите требования    к оценке.......................................23

8.3    Задайте оценку..................................................28

8.4    Спроектируйте оценку..............................................30

8.5    Выполните оценку.................................................31

8.6    Завершите оценку.................................................32

9    Требования и рекомендации для процесса оценки независимыми оценщиками.............33

9.1    Общие требования................................................33

9.2    Установите требования    к оценке.......................................35

9.3    Задайте оценку..................................................36

9.4    Спроектируйте оценку..............................................37

9.5    Выполните оценку.................................................37

9.6    Завершите оценку.................................................38

Приложение ДА (справочное) Сведения о соответствии ссылочных международных стандартов национальным стандартам Российской Федерации.........................40

Библиография........................................................41

ГОСТ РИСО/МЭК 25041—2014

В случае оценки спецификаций требований на стадии анализа проекта критерии решения для показателей качества должны быть определены для каждой характеристики качества продукции и характеристики качества использования.

В случае оценки промежуточной продукции на этапе внедрения критерии решения для показателей качества должны быть определены для характеристик качества продукции.

В случае оценки промежуточной исполняемой продукции на этапе поблочного тестирования критерии решения для показателей качества должны быть определены для характеристик качества продукции.

В случае оценки конечной продукции на стадии комплексного тестирования критерии решения для показателей качества должны быть определены для каждой характеристики качества продукции и характеристики качества использования.

7.3.4    Определите критерии решения для оценки

Критерии решения по оценке целевой продукции путем обобщения результата оценки (показателей качества) должны быть определены на основании требований к качеству целевой продукции.

Оценщики должны подготовить процедуру последующего обобщения результатов с отдельными критериями для различных характеристик качества. Каждый из критериев может относиться либо к отдельным подхарактеристикам и показателям качества, либо к взвешенной комбинации подхарактеристик и показателей качества.

Результаты обобщения следует использовать в качестве основания для оценки качества продукции.

В случае оценки спецификаций требований на стадии анализа проекта критерии решения по оценке качества должны быть определены для каждой характеристики качества продукции и характеристики качества использования.

В случае оценки промежуточной продукции на этапе внедрения критерии решения по оценке качества должны быть определены для характеристик качества продукции.

В случае оценки промежуточной продукции на этапе поблочного тестирования критерии решения по оценке качества должны быть определены для каждой характеристики качества продукции и каждой подхарактеристики качества продукции.

В случае оценки конечной продукции на стадии комплексного тестирования системы критерии решения по оценке качества должны быть определены для каждой характеристики качества продукции и характеристики качества использования.

7.4    Спроектируйте оценку

7.4.1    Входы и выходы процесса

Входные данные для разработки процесса оценки:

a)    спецификация требований к оценке качества продукции;

b)    спецификация требований к качеству продукции;

c)    спецификация выбранных показателей качества (модули оценки);

d)    спецификация критериев решения для показателей качества продукции;

e)    спецификация критериев решения по оценке качества продукции;

f)    высокоуровневый план оценки качества продукции.

Результатами этого действия должны быть:

a)    подробный план оценки качества продукции;

b)    методы оценки качества продукции.

Все части продукции, которые будут включены в оценку, должны быть идентифицированы и документированы.

С точки зрения разработчика информация о продукте должна включать в себя также и статические артефакты, такие как:

-    спецификация продукции;

-    исходные коды программы;

-    производственные руководства;

-    описания продукции.

Разработка оценки состоит из следующих действий.

7.4.2    Спланируйте деятельность по оценке

Необходимо разработать план оценки качества продукции, принимая во внимание доступность ресурсов, таких как персонал, программные инструменты и компьютеры.

15

Введение

В условиях, когда растет использование информационныхтехнологий, также растет и число критических компьютерных систем. К числу таких систем относятся, например, системы, критичные по требованиям безопасности, системы жизнеобеспечения, экономически критичные системы и системы опасного производства. Качество программного обеспечения в этих системах особенно важно, потому что его ошибки могут привести к серьезным последствиям.

Оценка — это систематическое определение степени, с которой объект соответствует заданным критериям. Оценка качества программной продукции жизненно важна, как при ее приобретении, так и при разработке. Относительная важность различных характеристик качества программного обеспечения зависит от предполагаемого использования или задач системы, частью которой программное обеспечение является. Для того чтобы решить, удовлетворяют ли соответствующие характеристики качества требованиям системы, необходимо произвести оценку программной продукции.

Настоящий стандарт — составная часть серии стандартов SQuaRE ИСО/МЭК 250.... Стандарт ИСО/МЭК 25040 содержит общие требования и рекомендации для оценки качества продукции, а также связанные с этим общие понятия. Настоящий стандарт отвечает на конкретные вопросы, связанные с разработчиками, приобретателями и независимыми оценщиками на основе ИСО/МЭК 25040.

Общая цель создания серии стандартов SQuaRE — построить логически организованную, обогащенную и объединенную серию стандартов, покрывающую два основных процесса: спецификацию требований к качеству программного обеспечения и оценку качества программного обеспечения с поддержкой процесса измерения качества. Цель серии стандартов SQuaRE — помочь разработчикам и приобретателям программных продуктов в спецификации и оценке требований к качеству. При этом определяются критерии для спецификации требований к качеству программного продукта, их измерения и оценку. Предлагаемая модель качества предназначена для того, чтобы согласовать потребительские определения качества с атрибутами процесса разработки. Кроме того, серия стандартов предоставляет рекомендуемые показатели атрибутов качества программной продукции, которые могут использоваться разработчиками, приобретателями и оценщиками.

SQuaRE обеспечивает:

-    термины и определения,

-    эталонные модели,

-    общее руководство,

-    отдельные разделы руководства,

-    стандарты для решения задач спецификации требований, планирования и менеджмента, измерения и оценки.

Серия SQuaRE включает в себя международные стандарты по модели качества и показателям, а также по требованиям к качеству и оценке.

Серия SQuaRE замещает текущие серии стандартов ИСО/МЭК 9126 и ИСО/МЭК 14598.

Серия стандартов SQuaRE состоит из следующих разделов под общим названием: «Требования и оценка качества систем и программных продуктов»:

-    ИСО/МЭК2500п — Раздел «Менеджмент качества»,

-    ИСО/МЭК2501 п — Раздел «Модель качества»,

-    ИСО/МЭК2502п — Раздел «Измерения качества»,

-    ИСО/МЭК 2503п — Раздел «Требования к качеству» и

-    ИСО/МЭК2504п — Раздел «Оценка качества».

Настоящий стандарт предназначен для использования в сочетании с другими стандартами серии SQuaRE, с серией ИСО/МЭК 14598 и серией ИСО/МЭК 9126 до тех пор, пока они не будут заменены серией стандартов ИСО/МЭК250...

Настоящий стандарт основан, главным образом, на международных стандартах ИСО/МЭК 14598-3, ИСО/МЭК 14598-4 и ИСО/МЭК 14598-5. Их заменой и будет настоящий стандарт.

Рисунок 1 иллюстрирует организацию серии стандартов SQuaRE, в которую входят семейства стандартов, далее называемые разделами.

IV

ГОСТ Р ИСО/МЭК 25041—2014

Раздел требований к качеству 2503п Раздел модели качества 2501л Раздел оценки качества 2504п Раздел менеджмента качества 2500л Раздел измерения качества 2502л Раздел расширения 25050-25099

Рисунок 1 — Организация SQuaRe серии международных стандартов

В модель SQuaRE входят следующие разделы:

-    ИСО/МЭК 2500л — Раздел «Менеджмент качества». Международные стандарты, входящие в этот раздел, определяют все общие модели, термины и определения, используемые всеми другими стандартами серии SQuaRE. Направляющие ссылки, используемые во всех документах SQuaRE, и высокоуровневые практические предложения по применению соответствующих стандартов в случаях конкретных приложений помогут всем потребителям. В разделе также представлены требования и методические материалы по поддерживающей функции, отвечающей за менеджмент требований к программной продукции, спецификацию и оценку;

-    ИСО/МЭК 2501 п — Раздел «Модель качества». Международные стандарты, которые входят в этот раздел, представляют детализированные модели качества программного обеспечения, качества при использовании и качества данных. Кроме того, представлено практическое руководство по использованию модели качества;

-    ИСО/МЭК2502п — Раздел «Измерение качества». Международные стандарты, входящие вэтот раздел, включают в себя эталонную модель измерения качества программной продукции, математические определения показателей качества и практическое руководство по их использованию. В этом разделе представлены показатели внутреннего качества программного обеспечения, показатели внешнего качества программного обеспечения и показатели качества при использовании. Кроме того, определены и представлены элементы показателей качества (ЭПК), формирующие основу для вышеперечисленных показателей;

-    ИСО/МЭК 2503п — Раздел «Требования к качеству». Международные стандарты, которые входят вэтот раздел, помогают задать требования к качеству. Такие требования к качеству могут использоваться в процессе формирования требований к качеству, при сборе информации перед разработкой программной продукции или как вход для процесса оценки. Процесс определения требований отнесен к техническим процессам, определенным в ИСО/МЭК 15288;

-    ИСО/МЭК 2504п — Раздел «Оценка качества». Международные стандарты, которые входят в этот раздел, формулируют требования, рекомендации и методические материалы для оценки программного продукта, выполняемой как независимыми оценщиками, так и приобретателями или разработчиками. Кроме того, там представлена поддержка документирования измерения, как модуля оценки.

Номера ИСО/МЭК 25050 — ИСО/МЭК 25099 зарезервированы с тем, чтобы быть использованными для расширения международных стандартов SQuaRE и/или технических отчетов.

Настоящий стандарт — это составная часть ряда стандартов 2504п из раздела оценки качества, который в настоящее время состоит из следующих международных стандартов:

-    ИСО/МЭК 25040 — «Процесс оценки». В нем содержатся общие требования к спецификации и оценке качества программного обеспечения, а кроме того и общие понятия. Содержится описание процесса оценки качества программного продукта и устанавливаются требования для использования этого процесса. Процесс оценки является основой оценки качества программной продукции для различных целей и подходов. Поэтому процесс можно использовать для оценки показателей качества при использовании внешнего и внутреннего качества программного обеспечения. Кроме того, процесс может быть применен для оценки качества как уже разработанного программного обеспечения, так и заказанного программного обеспечения в процессе его разработки. Оценка качества программного продукта может быть произведена, например, приобретателем, организацией разработчика или независимым оценщиком;

V

-    ИСО/МЭК 25041 — Методические материалы по оценке для разработчиков, приобретателей и оценщиков содержат специальные требования и рекомендации для разработчиков, приобретателей и оценщиков;

-    ИСО/МЭК25042 — «Модули оценки». Стандарт определяет структуру и содержание документации, которую следует использовать для описания модуля оценки. Эти модули оценки содержат спецификацию модели качества (т. е. характеристики, подхарактеристики и соответствующие показатели внутреннего, внешнего качества или показатели качества при использовании), соответствующие данные, а также информацию о планируемом использовании модели и информацию о ее фактическом применении. Для каждой оценки выбирают соответствующие модули оценки. В некоторых случаях, возможно, потребуется разработка новых модулей оценки. Руководство по разработке новых модулей оценки можно найти в ИСО/МЭК 25042. Этот международный стандарт также могут использовать организации, разрабатывающие новые модули оценки;

-    ИСО/МЭК 25045 — «Модуль оценки восстанавливаемости». В стандарте приведена спецификация оценки подхарактеристики восстанавливаемости, определенной как подмножество характеристики надежности из модели качества. Стандарт определяет показатели отказоустойчивости и автономного восстановления, относящиеся квнешнему качеству программного обеспечения, когда информационная система, выполняющая операции одного или более программных продуктов, подвергается серии угрожающих воздействий. Подобное воздействие может быть функциональной ошибкой (например, внезапное завершение работы процесса операционной системы, которое переводит систему в нерабочее состояние), или другим событием (например, существенное увеличение пользователей системы).

ИСО/МЭК 25040 является исправленной версией и заменяет ИСО/МЭК 14598-1.

Настоящий стандарт ИСО/МЭК 25041 является исправленной версией и заменяет ИСО/МЭК 14598-3, ИСО/МЭК 14598-4 и ИСО/МЭК 14598-5.

В настоящем стандарте термин «продукция» используется в качестве упрощенного термина для термина «система и программная продукция».

В настоящем стандарте термин «процесс оценки» используется как упрощенный термин для термина «процессоценки качества продукции».

В настоящем стандарте термин «отчет об оценке» используется как упрощенный термин для термина «отчет об оценке качества продукции», а термин «план оценки» — для термина «план оценки качества продукции».

VI

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ

Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке для разработчиков, приобретателей и независимых оценщиков

Information technologies. Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). Evaluation guide for developers, acquirers and independent evaluators

Дата введения — 2015—06—01

1    Область применения

Настоящий стандарт содержит требования, рекомендации и методические материалы по оценке качества продукции, предназначенные для разработчиков, приобретателей и независимых оценщиков. Однако он не ограничивается какой-либо конкретной прикладной областью и может быть использован для оценки качества любого типа продукции.

Настоящий стандарт описывает процессы оценки качества продукции и устанавливает специальные требования для применения процесса оценки с точки зрения разработчиков, приобретателей и независимых оценщиков. Процесс оценки можно использовать для различных целей и подходов. Процесс можно использовать для оценки качества ранее разработанного программного обеспечения, готового к использованию программного обеспечения или разработанного по заказу как в процессе, так и по завершении разработки.

Настоящий стандарт предназначен для лиц, ответственных за оценку программного продукта, однако, может быть использован также разработчиками, приобретателями и независимыми оценщиками продуктов.

Настоящий стандарт не предназначен для оценки других аспектов программных продуктов, таких как функциональные требования, требования к процессу, бизнес-требования, ит. д.

2    Соответствие

Оценка качества продукции соответствует настоящему стандарту, если для разработчиков выполняются требования разделов 6 и 7, для приобретателей выполняются требования разделов 6 и 8 и для независимых оценщиков выполняются требования разделов 6 и 9.

3    Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие международные стандарты.

ИСО/МЭК 25000 Системная и Программная инженерия. Требования и оценка качества программной продукции (SQuaRE). Руководство по SQuaRE (ISO/IEC 25000 Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Guide to SQuaRE)

ИСО/МЭК 25001 Системная и программная инженерия. Требования и оценка качества программной продукции (SQuaRE). Планирование и менеджмент (ISO/IEC 25001, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Planning and management)

ИСО/МЭК 25030 Программная инженерия. Требования и оценка качества программной продукции (SQuaRE). Требования к качеству (ISO/IEC 25030, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Quality requirements)

Издание официальное

ИСО/МЭК 25040 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Процесс оценки (ISO/IEC 25040, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Evaluation process)

4 Термины и определения

В настоящем стандарте применены термины по ИСО/МЭК 25000.

4.1    поставляемая продукция (deliverable product): Любая уникальная и поддающаяся проверке система или программная продукция для выполнения услуг, подлежащая одобрению спонсором проекта или потребителем.

4.2    динамическая продукция (dynamic product): Система или программная продукция, на которой можно проводить измерения в течение выполнения в тестовой и/или функциональной среде.

4.3    оценка (оценивание) (evaluation): Систематическое определение степени, с которой некоторый объект удовлетворяет установленным критериям (ИСО/МЭК 12207).

4.4    уровень оценки (evaluation level): Строгость оценки, которая определяет глубину или тщательность оценки сточки зрения применяемых методик и результатов оценки, которые будут получены.

4.5    записи оценки, протокол (evaluation records): Задокументированные объективные свидетельства о всех выполняемых действиях и всех полученных в процессе оценки результатах.

4.6    сторона, запрашивающая оценку (evaluation requester): Человек или организация, которые запрашивают оценку.

4.7    инструмент оценки (evaluation tool): Инструмент, который может использоваться во время оценки для сбора данных, интерпретации данных или автоматического выполнения части оценки.

Примечание — Примеры таких инструментов — это анализаторы показателей исходного кода, CASE-инструментарии, подготавливающие формализованные модели, тестовые среды для прогона исполняемых программ, контрольные списки для сбора проверочных данных или электронные таблицы для получения показателей.

4.8    строгость оценки (evaluation stringency): Степень, требуемая от характеристик и подхарактеристик качества программной продукции для ожидаемой критичности использования программной продукции.

4.9    независимый оценщик (independent evaluator): Человек или организация, которые выполняют оценку независимо от разработчиков и приобретателей.

Примечание — Человек или организация, выполняющие роль разработчика или приобретателя системы, подлежащей оценке, не могут быть независимыми оценщиками системы. Независимым оценщиком может быть организация. Независимые оценщики могут принадлежать той же организации, что и разработчики, при условии, что они независимы от разработчиков и приобретателей.

4.10    промежуточный продукт (intermediate product): Система или программный продукт процесса разработки, которые используются в качестве входного для другой стадии процесса разработки.

4.11    качество продукции (product quality): Степень, с которой продукция удовлетворяет заявленным и подразумеваемым потребностям при использования в заданных условиях.

Примечания

1    Данное определение отличается от определения качества ИСО 9000, потому что здесь определение качества программного обеспечения относится к удовлетворению установленных и подразумеваемых потребностей, в то время как определение качества ИСО 9000 относится кудовлетворениютребований.

2    Адаптировано из ИСО/МЭК 25000, изменено перефразированием «степень, с которой».

4.12    статическая продукция (static product): Неисполняемые система или программная продукция для анализа.

5 Понятие оценки с точки зрения каждой роли

5.1 Структура оценки качества продукции с точки зрения каждой роли

Разработчики, приобретатели и независимые оценщики выполняют разные действия в процессе системной оценки качества продукции в соответствии с каждой конкретной ролью и категорией целевого объекта оценки.

2

ГОСТ Р ИСО/МЭК 25041—2014

В основном процесс оценки качества продукции один и тот же для любой роли, однако целевой объект оценки отличается в соответствии с целями оценки и в зависимости от потребностей запрашивающей стороны.

На рисунке 2 представлена общая структура процесса оценки качества продукции. Далее приведены примеры входных данных и результатов процесса оценки.

Оценку качества продукции можно представить в виде системы, которая состоит из входных данных, результатов, ограничений и ресурсов процесса оценки.

Рисунок 2 — Общая структура процесса оценки качества продукции Входной информацией для процесса оценки являются:

-    потребности оценки разработчиков, приобретателей и независимых оценщиков;

-    целевые объекты оценки, такие как статические и динамические продукты.

Примечание — Потребности оценки качества продукции для каждой заинтересованной стороны, такой как разработчики, приобретатели и независимые оценщики, определяются с точки зрения каждой роли.

Итогом оценки являются отчет об оценке, результаты совершенствования процесса оценки и прибыли.

На этом рисунке стандарты серии SQuaRE (ИСО/МЭК 25010, ИСО/МЭК 25020, ИСО/МЭК 2502..., ИСО/МЭК 25030, ИСО/МЭК 2504...) входят в состав ресурсов для оценки.

Среди ограничений процесса оценки качества продукции могут быть следующие:

a)    конкретные потребности оценки пользователя;

b)    график проекта оценки;

c)    бюджет проекта оценки;

d)    условия среды проекта оценки;

e)    инструменты и методы, используемые в проекте оценки;

f)    специальные требования к отчету об оценке.

В ресурсы процесса оценки качества продукции могут входить:

a)    применимые инструменты и методы измерения;

b)    применимые международные стандарты из серии SQuaRE;

c)    человеческие ресурсы, используемые для оценки;

d)    финансовые ресурсы, необходимые для оценки;

e)    информационные системы, используемые для оценки;

f)    базы знаний, используемые для оценки качества.

Для стороны, ответственной за оценку качества продукции, применима эталонная модель оценки качества программной продукции. Она предназначена и применима для такой роли организаций, но не ограничена разработчиками, приобретателями и независимыми оценщиками.

3

Оценка качества продукции может быть выполнена в процессе или по завершении процесса приобретения или разработки.

5.2 Целевая сущность оценки качества программной продукции

Цель оценки различается в зависимости от роли разработчиков, приобретателей и независимых оценщиков.

Целевой объект оценки определяют в зависимости от цели оценки.

Целевые объекты оценки разделяют на статические продукты и динамические продукты.

В число статических продуктов, которые являются или промежуточными продуктами, или конечными продуктами, можно включить:

-    спецификацию требований к качеству;

-    спецификации проекта программного обеспечения;

-    исходные коды программы;

-    спецификацию плана тестирования;

-    спецификацию результатов отчета тестирования;

-    пояснения по продукту;

-    эксплуатационную документацию.

К динамическим продуктам можно отнести:

-    исполняемые промежуточные продукты, которые выполняются в процессе динамического тестирования в тестовой среде;

-    конечные продукты, которые выполняются в рабочих среде и режимах.

Чтобы оценить качество промежуточных продуктов, разработчики в соответствии со своей ролью анализируют статические продукты на каждой стадии разработки жизненного цикла программного обеспечения, таких как стадии проектирования, реализации и тестирования.

Промежуточные динамические продукты разработчики проверяют на этапе поблочного тестирования, а конечные динамические продукты — на стадии тестирования взаимодействия компонентов системы.

Примечание — Целевыми объектами оценки с точки зрения разработчика являются статические и динамические промежуточные и/или конечные продукты.

Приобретатели соответственно своей роли анализируют статические продукты с целью их приобретения на стадиях проектирования и тестирования.

Приобретатели тестируют динамический продукт на этапе приемочных испытаний или испытаний в реальных условиях.

Приобретатели оценивают как статические, таки динамические продукты, для сравнения качества нескольких альтернативных вариантов продукции и в соответствии со своей ролью выбирают из них продукт наиболее высокого качества.

Примечание — Целевыми объектами оценки с точки зрения приобретателя являются статические и динамические промежуточные и/или конечные продукты.

Независимые оценщики могут анализировать статические продукты и тестировать динамические продукты с целью оценки качества продукции, а также могут в соответствии с договором с запрашивающей оценку качества стороной подготовить отчет об оценке.

Примечание — Целевыми объектами оценкисточки зрения независимого оценщика являются на основании между оценщиком и запрашивающей стороной статистические и динамические промежуточные и/или конечные продукты. Таблица 1 — Пример целевого объекта для каждой роли

Целевой объект оценки Роль Статический продукт Динамический продукт Разработчики Промежуточные и конечные продукты для анализа Промежуточные и конечные продукты для анализа Приобретатели Требования к качеству и документы проекта для анализа конечного продукции Конечные продукты для выбора и приемки Независимые оценщики Промежуточные или конечные продукты для анализа Промежуточные или конечные продукты для анализа

4