Товары в корзине: 0 шт Оформить заказ
Стр. 1 

15 страниц

202.00 ₽

Купить МИ 3586-2017 — бумажный документ с голограммой и синими печатями. подробнее

Распространяем нормативную документацию с 1999 года. Пробиваем чеки, платим налоги, принимаем к оплате все законные формы платежей без дополнительных процентов. Наши клиенты защищены Законом. ООО "ЦНТИ Нормоконтроль"

Наши цены ниже, чем в других местах, потому что мы работаем напрямую с поставщиками документов.

Способы доставки

  • Срочная курьерская доставка (1-3 дня)
  • Курьерская доставка (7 дней)
  • Самовывоз из московского офиса
  • Почта РФ

Рекомендация описывает порядок проведения испытаний программного обеспечения для установления его соответствия требованиям стандартов и нормативных документов. Рекомендация предназначена для испытаний на совместимость программных стредств

 Скачать PDF

Оглавление

1. Область применения

2. Нормативные ссылки

3. Термины и определения

4. Общие положения

5. Программная документация, оборудование и программное обеспечение, представленные на испытания

6. Порядок проведения испытаний

     6.1. Проверка идентификации

     6.2. Определение показателей качества и методы испытаний

     6.2.1. Оценка функциональной совместимости

     6.2.2. Оценка сосуществования

7. Оформление результатов испытаний

Приложение 1. Внешние метрики способности к взаимодействию

Приложение 2. Внешние метрики сосуществования

 
Дата введения01.01.2021
Добавлен в базу01.01.2019
Актуализация01.01.2021

Этот документ находится в:

Организации:

21.12.2017УтвержденФГУП ВНИИМС
РазработанФГУП ВНИИМС
Нормативные ссылки:
Стр. 1
стр. 1
Стр. 2
стр. 2
Стр. 3
стр. 3
Стр. 4
стр. 4
Стр. 5
стр. 5
Стр. 6
стр. 6
Стр. 7
стр. 7
Стр. 8
стр. 8
Стр. 9
стр. 9
Стр. 10
стр. 10
Стр. 11
стр. 11
Стр. 12
стр. 12
Стр. 13
стр. 13
Стр. 14
стр. 14
Стр. 15
стр. 15

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ УНИТАРНОЕ ПРЕДПРИЯТИЕ «ВСЕРОССИЙСКИЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ МЕТРОЛОГИЧЕСКОЙ СЛУЖБЫ» (ФГУП «ВНИИМС»)

РЕКОМЕНДАЦИЯ

ГОСУДАРСТВЕННАЯ СИСТЕМА ОБЕСПЕЧЕНИЯ ЕДИНСТВА ИЗМЕРЕНИЙ

ТИПОВАЯ МЕТОДИКА ИСПЫТАНИЙ НА СОВМЕСТИМОСТЬ ПРОГРАММНЫХ СРЕДСТВ

МИ 3586-2017

Москва

2017

ПРЕДИСЛОВИЕ

РАЗРАБОТАНА Федеральным государственным унитарным предприятием «Всероссийский научно - исследовательский институт метрологической службы» (ФГУП «ВНИИМС»)

ИСПОЛНИТЕЛИ Ю.А. Кудеяров, д.ф.-м.н., профессор, А.Н. Паньков, к.т.н. (руководитель темы)

УТВЕРЖДЕНА ФГУП «ВНИИМС» «_»    декабря    2017    г.

ЗАРЕГИСТРИРОВАНА ФГУП «ВНИИМС» «_»    декабря    2017    г.

ВВЕДЕНА ВПЕРВЫЕ

2

Регистрационный метод основан на получении информации во время испытаний или функционирования ПС, когда регистрируются и подсчитываются определенные события.

Органолептический метод основан на использовании информации, получаемой в результате анализа восприятия органов чувств (зрения, слуха), и применяется для определения таких показателей как удобство применения, эффективность и т.п.

Расчетный метод основан на использовании теоретических и эмпирических зависимостей, статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПС.

Определение значений показателей качества ПС экспертным методом осуществляется группой экспертов-специалистов, компетентных в решении данной задачи, на базе их опыта и интуиции. Экспертный метод применяется в случаях, когда задача не может быть решена никаким другим из существующих способов или другие способы являются значительно более трудоемкими.

6.2.1. ОЦЕНКА ФУНКЦИОНАЛЬНОЙ СОВМЕСТИМОСТИ

Оценка подхарактеристики качества «функциональная совместимость» осуществляется на основании двух метрик: способности к обмену данными (основана на формате передаваемых данных) и способности к обмену данными (основана на количестве успешных попыток пользователя).

Первая метрика оценивает насколько корректно реализованы интерфейсные функции обмена данными. Суть метода испытаний состоит в проверке каждого из выходных форматов записи интерфейсной функции нижнего уровня системы согласно спецификациям полей данных и подсчете количества форматов данных, утвержденных для обмена с другим программным обеспечением или системой во время испытаний на предмет обмена данными, и их сравнении с общим количеством.

11

X = A / В

A - кол-во форматов данных, утвержденных для успешного обмена с другим программным обеспечением или системой во время испытаний на предмет обмена данными;

В - общее кол-во форматов данных для обмена.

Измеренное значение X тем лучше, чем ближе к 1.

Вторая метрика оценивает:

a)    как часто конечному пользователю не удается произвести обмен данными между испытываемым и иным ПС;

b)    как часто обмен данными между испытываемым и иным ПС происходит успешно и может ли пользователь обычно добиться успеха в процессе обмена данными.

Суть метода испытаний состоит в подсчете количества случаев, в которых функции интерфейса пользователя использовались и привели к отказу.

а) X = 1 - А / В

А - кол-во случаев, в которых пользователю не удалось произвести обмен данными с другим программным обеспечением или системами;

В - кол-во случаев, в которых пользователь пытался произвести обмен данными.

Измеренное значение X тем лучше, чем ближе к 1.

b) Y = А / Т

А - кол-во случаев, в которых пользователю не удалось произвести обмен данными с другим программным обеспечением или системами;

Т - период времени выполнения операции в секундах.

Измеренное значение Y тем лучше, чем ближе к 0.

Схема применения метрики «способности к обмену данными» приведена в Приложении 1. В качестве источника данных для измерений использу-

12

ются: спецификация требования, руководство пользователя и отчет о тестировании.

6.2.2. ОЦЕНКА СОСУЩЕСТВОВАНИЯ

Оценка подхарактеристики качества «сосуществования» осуществляется на основании метрики допустимость сосуществования.

Метрика оценивает, как часто пользователь сталкивается с ограничениями или отказами во время эксплуатации с иными программными средствами. Суть метода испытаний состоит в использовании испытываемого ПС с иным ПС, которое пользователь часто использует.

Х = А/Т

А - число любых ограничений или отказов, с которыми пользователь сталкивается во время параллельной работы с другим ПО;

Т - время работы параллельного ПО в секундах.

Измеренное значение X тем лучше, чем ближе к 0.

Схема применения метрики «сосуществование» приведена в Приложении

2. В качестве источника данных для измерений используются: отчеты о разрешении проблем, отчеты об эксплуатации.

7. ОФОРМЛЕНИЕ РЕЗУЛЬТАТОВ ИСПЫТАНИЙ

На основании Протокола испытаний составляет Акт проверки ПО. Акт проверки, выводом которого является решение о возможности выдачи сертификата соответствия ПО, может содержать замечания и выявленные нарушения, рекомендации по их устранению.

Акт проверки, подписанный всеми членами экспертной комиссии, передается в орган по сертификации: в случае положительного решения - для оформления сертификата соответствия, в случае отрицательного решения -для оформления обоснованного отказа в оформлении сертификата соответ

ствия.

13

ПРИЛОЖЕНИЕ 1. ВНЕШНИЕ МЕТРИКИ СПОСОБНОСТИ К ВЗАИМОДЕЙСТВИЮ

Название

метрики

Цель метрики

Метод применения

Измерение, формула и расчет элементов данных

Интерпретация измеренного значения

Тип

шкалы

метрик

Тип измерений

Источники входных данных для измерения

Способность к обмену данными (основана на формате данных)

Насколько корректно реализованы интерфейсные функции обмена конкретными данными.

Проверить каждый выходной формат записи интерфейсной функции нижнего уровня системы согласно спецификациям полей данных.

Подсчитать кол-во форматов данных, утвержденных для обмена с другим программным обеспечением или системой во время испытаний на предмет обмена данными, и сравнить с общим количеством.

X = А / В

А = Ко-во форматов данных, утвержденных для успешного обмена с другим программным обеспечением или системой во время испытаний на предмет обмена данными

В = Общее кол-во форматов данных для обмена

0 <= X <= 1 Чем ближе к 1, тем лучше

Абсолют

ная

А = Численный тип В = Численный тип Х= Численный тип

Спецификация

требований

(Руководство пользователя)

Отчет о тестировании

Способность к обмену данными (основанная на попытках пользователя, завершившихся успешно)

Как часто конечному пользователю не удается произвести обмен данными между целевым и прочим программным обеспечением

Подсчитывается кол-во случаев, в которых интерфейсные функции использовались и привели к отказу.

а) X = 1 - А / В

А = Кол-во случаев, в которых пользователю не удалось произвести обмен данными с другим программным обеспечением или системами

В = Кол-во случаев, в которых пользователь пытался произвести обмен данными

0 <= X <= 1 Чем ближе к 1, тем лучше.

а) Абсолютная

А = Численный тип В = Численный тип X = Численный тип

Спецификация требований

(Руководство пользователя)

Отчет о тестировании

Как часто обмен данными между целевым и прочим программным обеспечением происходит успешно?

b) Y = А / Т

Т = Период времени выполнения операции в секундах

0 <= Y

Чем ближе к 0, тем лучше.

Ь) Шкала отношений

Y = Численный тип Т = Временной тип

Может ли пользователь обычно добиться успеха в процессе обмена данными?

14

ПРИЛОЖЕНИЕ 2. ВНЕШНИЕ МЕТРИКИ СОСУЩЕСТВОВАНИЯ

Название

метрики

Цель

Метрики

Метод применения

Измерение, формула и расчет элементов данных

Интерпретация измеренного значения

Тип

шкалы

метрик

Тип измерений

Источники входных данных для измерения

Допустимость

сосуществова

ния

Как часто пользователь сталкивается с некоторыми ограничениями или неожиданными отказами во время эксплуатации с другим программным обеспечением?

Использовать оцениваемое программное обеспечение одновременно с другим программным обеспечением, которое пользователь часто использует.

X = А / Т

А = Число любых ограничений или отказов, с которыми пользователь сталкивается во время параллельной работы с другим ПО

Т = Время работы параллельного ПО в секундах

0<=Х

Чем ближе к 0, тем лучше.

Шкала

отношений

А = Численный тип Т= Временной тип X = (Численный тип) / (Временной тип)

Отчет о разрешении проблем

Отчет об эксплуатации

15

СОДЕРЖАНИЕ

1.    ОБЛАСТЬ ПРИМЕНЕНИЯ...............................................................................................................4

2.    НОРМАТИВНЫЕ ССЫЛКИ.............................................................................................................4

3.    ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ........................................................................................................5

4.    ОБЩИЕ ПОЛОЖЕНИЯ.....................................................................................................................7

5.    ПРОГРАММНАЯ ДОКУМЕНТАЦИЯ, ОБОРУДОВАНИЕ И ПРОГРАММНОЕ

ОБЕСПЕЧЕНИЕ, ПРЕДСТАВЛЕННЫЕ НА ИСПЫТАНИЯ................................................................7

6.    ПОРЯДОК ПРОВЕДЕНИЯ ИСПЫТАНИЙ.....................................................................................9

6Л. ПРОВЕРКА ИДЕНТИФИКАЦИИ................................................................................................9

6.2. ОПРЕДЕЛЕНИЕ ПОКАЗАТЕЛЕЙ КАЧЕСТВА И МЕТОДЫ ИСПЫТАНИЙ......................10

6.2.1.    ОЦЕНКА ФУНКЦИОНАЛЬНОЙ СОВМЕСТИМОСТИ.....................................................11

6.2.2.    ОЦЕНКА СОСУЩЕСТВОВАНИЯ........................................................................................13

7.    ОФОРМЛЕНИЕ РЕЗУЛЬТАТОВ ИСПЫТАНИЙ........................................................................13

ПРИЛОЖЕНИЕ 1. ВНЕШНИЕ МЕТРИКИ СПОСОБНОСТИ К ВЗАИМОДЕЙСТВИЮ................14

ПРИЛОЖЕНИЕ 2. ВНЕШНИЕ МЕТРИКИ СОСУЩЕСТВОВАНИЯ................................................15

3

Группа Т 85

РЕКОМЕНДАЦИЯ

Типовая методика испытаний на совместимость программных средств

МИ 3586-2017

1.    ОБЛАСТЬ ПРИМЕНЕНИЯ

1.1.    Настоящая рекомендация предназначена для испытаний на совместимость программных средств (ПС).

1.2.    Рекомендация распространяется на:

программное обеспечение устройств управления, контроля и безопасности; программные средства железнодорожного подвижного состава; программное обеспечение центров ситуационного управления и автоматизированных систем оперативного управления движением поездов; программное обеспечение автоматизированных измерительных, контрольноиспытательных стендов и систем, применяемых на железнодорожном транспорте;

программные средства и информационные продукты вычислительной техники.

1.3.    Рекомендация описывает порядок проведения испытаний программного обеспечения для установления его соответствия требованиям стандартов и нормативных документов, указанных в разделе 2.

2.    НОРМАТИВНЫЕ ССЫЛКИ

Технический регламент таможенного союза «О безопасности железнодорожного подвижного состава» (ТР ТС 001/2011) (с изменениями на 9 декабря 2011 года).

Технический регламент таможенного союза «О безопасности железнодорожного подвижного состава» (ТР ТС 002/2011) (с изменениями на 9 де-

4

кабря 2011 года).

Технический регламент таможенного союза «О безопасности железнодорожного подвижного состава» (ТР ТС 003/2011) (с изменениями на 9 декабря 2011 года).

ГОСТ 28195-89. Оценка качества программных средств.

ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению.

ГОСТ Р ИСО/МЭК 2510-2015. Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов.

ГОСТ Р 8.883-2015. ГСИ. Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний.

3. ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ

В настоящей рекомендации используются следующие термины и определения.

ЗЛ Инфраструктура железнодорожного транспорта: Технологический комплекс, включающий в себя подсистемы инфраструктуры железнодорожного транспорта, составные части подсистем и элементы составных частей подсистем инфраструктуры железнодорожного транспорта, обеспечивающие функционирование этого комплекса.

3.2    Метрика: Количественная характеристика функциональных свойств программного обеспечения.

3.3    Объект инфраструктуры железнодорожного транспорта: Составная часть подсистем инфраструктуры железнодорожного транспорта или совокупность составных частей ее подсистем.

5

3.4    Оценка качества программных средств: Совокупность операций, включающих выбор номенклатуры показателей качества оцениваемого ПС, определение значений этих показателей и сравнение их с базовыми значениями.

3.5    Программное обеспечение (ПО): Совокупность компьютерных программ и программных документов, необходимых для использования этих программ.

3.6    Программные средства (ПС): В настоящей методике рассматриваются как синоним программного обеспечения.

3.7    Совместимость: Способность продукта, системы или компонента обмениваться информацией с другими продуктами, системами или компонентами, и/или выполнять требуемые функции при совместном использовании одних и тех же аппаратных средств или программной среды. Применительно к программному обеспечению, используемому на железнодорожном транспорте, совместимость с инфраструктурой железнодорожного транспорта понимается, как его способность обмениваться информацией с элементами инфраструктуры и/или выполнять требуемые функции при совместном использовании одних и тех же аппаратных средств или программной среды.

3.8    Сосуществование (совместимость): Способность продукта совместно функционировать с другими независимыми продуктами в общей среде с разделением общих ресурсов и без отрицательного влияния на любой другой продукт.

3.9    Способность к взаимодействию: См. «функциональная совместимость».

3.10    Совместимые (компоненты): Свойство программных средств, способных предоставлять сервисы, требуемые другим компонентом, через соответствующий интерфейс каждого компонента в согласованной среде функционирования.

6

3.11    Функциональная совместимость (интероперабельность): Способность двух или более систем, продуктов или компонентов обмениваться информацией и использовать такую информацию.

3.12    Элемент подсистемы: Изделие или конструкция, применяемая при строительстве и монтаже составной части подсистемы инфраструктуры железнодорожного транспорта.

4. ОБЩИЕ ПОЛОЖЕНИЯ

4.1.    Рекомендация может применяться при всех видах подтверждения соответствия ПС.

4.2.    При испытаниях ПС должна быть обеспечена конфиденциальность предоставляемой заявителем испытаний информации.

4.3.    При испытаниях ПС должны использоваться методы определения и оценки их характеристик, основанные на международных и отечественных правилах и рекомендациях, которые позволяют с достаточной степенью достоверности подтвердить их соответствие требованиям нормативной документации, указанной в разделе 2 настоящей рекомендации, и определить действительные значения этих характеристик.

5. ПРОГРАММНАЯ ДОКУМЕНТАЦИЯ, ОБОРУДОВАНИЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ, ПРЕДСТАВЛЕННЫЕ НА ИСПЫТАНИЯ

На испытания должны быть представлены (либо к ним должен быть обеспечен доступ) программные средства, совместимость которых с инфраструктурой железнодорожного транспорта должна быть установлена в ходе испытаний, в том числе:

программное обеспечение устройств управления, контроля и безопасности; программные средства железнодорожного подвижного состава;

7

программное обеспечение центров ситуационного управления; программные средства для автоматизированных систем оперативного управления движением поездов;

программное обеспечение автоматизированных измерительных, контрольноиспытательных стендов и систем, применяемых на железнодорожном транспорте.

Аппаратные средства, в том числе компьютеры и другое оборудование, обладающие необходимым программным и техническим ресурсом для создания испытательных стендов и проведения испытаний.

Комплект сопроводительной программной документации, в том числе: документацию требований (технические задания, технические условия, спецификацию требований и пр.), материалы разработки, документы и материалы по испытаниям, эксплуатационную документацию.

Кроме того, в документации на ПС должна быть представлена информация, которая должна содержать сведения из приведенного ниже перечня в той части, которая применима к данному ПС: обозначение ПО, включающее в себя его наименование, обозначение его версии или версий его модулей;

описание назначения ПО, его структуры и выполняемых функций; описание методов и способов идентификации ПО, а также его метрологически значимых частей, функций и параметров, т.е. проверяется наличие информации о методе (алгоритме) идентификации ПО, способах идентификации ПО в соответствии с принятым методом, о системе кодификации номера версии;

описание интерфейсов связи ПО для передачи, обработки и хранения данных в том числе посредством открытых или закрытых сетей связи; описание требуемых системных и аппаратных средств.

6. ПОРЯДОК ПРОВЕДЕНИЯ ИСПЫТАНИЙ

6.1.    ПРОВЕРКА ИДЕНТИФИКАЦИИ

6.1.1.    Идентификация ПС представляет собой проверку соответствия реализованных методов идентификации тем, которые были декларированы его разработчиком.

6.1.2.    Проверку идентификационных данных ПС и методов идентификации проводят при испытаниях ПС на основе анализа документации и проведения функциональных проверок (тестирования).

6.1.3.    При тестировании (функциональной проверке) способов идентификации ПС убеждаются в том, что они соответствуют тем способам идентификации, которые описаны в документации.

6.1.4.    В случае, если идентификация может быть осуществлена несколькими способами, проверяется независимость идентификационных данных (признаков) от способа идентификации.

6.1.5.    На основе анализа программной документации и проведения функциональных проверок устанавливают идентификационные данные ПС:

-    идентификационное наименование ПС;

-    номер версии (идентификационный номер) ПС;

-    цифровой идентификатор ПС (например, контрольные суммы исполняемого кода ПС, рассчитанные по алгоритмам CRC32, md5, SHA1 и т. п. или по специально разработанным алгоритмам с указанием способа их вычисления);

-    наименование разработчика;

-    номер свидетельства или сертификата соответствия;

-    т. д., если эти данные непосредственно связаны с ПС.

6.1.6.    Проверяют наличие и достаточность идентификационных данных (признаков) ПС для его однозначной идентификации.

9

6.1.7. Результаты проверки технической информации о программном обеспечении, в том числе выявленные несоответствия заносятся в Протокол.

6.2. ОПРЕДЕЛЕНИЕ ПОКАЗАТЕЛЕЙ КАЧЕСТВА И МЕТОДЫ ИСПЫТАНИЙ

Совместимость ПС является одной из характеристик свойств качества программного продукта, которая включает в себя такие подхарактеристики качества как сосуществование и интероперабельность (функциональная совместимость, способность к взаимодействию).

Оценка подхарактеристик качества осуществляется на основании метрик, т.е. количественного масштаба и метода, который используется для измерения подхарактеристики.

Внешняя метрика способности к взаимодействию (Приложение 1) измеряет такой атрибут, как количество функций или возникновений меньшей коммуникативности, влияющих на данные и команды, которые легко переносятся с одной программной продукции на другие связанные с ней системы, другую программную продукцию или оборудование.

Внешняя метрика сосуществования (Приложение 2) измеряет такие атрибуты, как поведение системы или пользователя, который пробует использовать программное обеспечение с другим независимым программным обеспечением в общем окружении, совместно используя общие ресурсы.

При проведении испытаний на совместимость ПС могут применяться следующие методы определения показателей качества: измерительный, регистрационный, органолептический, расчетный и экспертный.

Измерительный метод основан на получении информации о свойствах и характеристиках ПС с использованием вспомогательного оборудования и специализированных программных продуктов.

10