ГОСТ Р ИСО/МЭК 9646-4-93
ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ
ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ.МЕТОДОЛОГИЯ и основы АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ
Часть 4. РЕАЛИЗАЦИЯ ТЕСТОВ
ГОССТАНДАРТ РОССИИ Мост
fl р е д и с л о и и с
1 ПОД! 'СЛОВЛЕН И ВНЕСЕН Техническим комитетом (ТК 22) * Информационная технология»
2 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Гос стандарта России от 20.12.93 № 262
Настоящий стандарт подготовлен на основе применения аутентичного текста международного стандарта ИСО/МЭК 9646—4 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 4. Реализация гостов»
3 ВВЕДЕН ВПЕРВЫЕ
Издательстпо стандартов. 1944
Настоящий «танлар! нс можа быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания бе I разрешения Госстандарта России.
U
ГОСТ Р ИСО/МЭК 9646 4-93
СОДЕРЖАНИЕ
] Область применения .............. I
2 Нормативные ссылки ... .... 1
3 Определении .................2
4 Сокращения ............ 2
5 Общее описание реализации тестов...........3
6 Требования, относящиеся к реализации тестов.......4
6.1 Введение 4
6.2 Требования, относящиеся к средствам тестирования 4
6.3 Требования к созданию КВТ....... - 6
6.3.1 Введение . 6
6.3.2 Соответствие эталонному стандартному КАТ.....6
5.3.3 Соотношения между КАТ и КВт........6
6.3.4 Образование подмножеств КАТ ........6
6.3.5 Независимость процесса создания ........ 7
6.4 Требования, относящиеся к журналу соответствия.....7
6.5 Требования к развитию формы ДИРПТ........8
6.6 Требования, относящиеся к другой документации.....9
7 Согласованность ...............10
Приложение Л (справочное) Дополнительные руководящие материалы но
реализации тестов .......11
Л. 1 Дополнительные руководящие материалы по СТ.....11
А. 1.1 Введение 11
А. 1.2 Реализация нижнего тестера..........11
Л. 1.3 Реализация верхнего тестера ........11
А. 1.4 Реализация процедур скоординированного тестирования .12
Л 2 Дополнительные руководящие материалы по процессу создания КВТ
А.2,1 Общее описание 12
А.2.2 Исходные данные к процессу создания тестов.....12
А.2.3 Обслуживание КВТ ......... 12
Л.З Дополнительные руководящие материалы по журналу соответствия
А.4 Дополнительные руководящие материалы по документации .14
Л.4.1 Введение ...............14
А.4.2 Документ «Информация о тестирующей системе» .14
А.4.3 Документ «Описание средств тестирования» .....15
А.4.4 Документ «Информация для клиента испытательной лаборатории» 15
А.4.5 Документ «Рабочие инструкции испытательной лаборатории» 15
111
ВВЕДЕНИЕ
Стандарты ГОСТ Р ИСО/МЭК 9646—1 и ГОСТ Р ИСО/МЭК 9646—2 определяют общую методологию проверки соответствия реализации спецификациям протоколов и/или синтаксисов передачи ВОС, изданных в виде международных стандартов или рекомендаций МККТТ; эти стандарты содержат также требования к разработке стандартов по аттестационному тестированию и стандартным комплектам абстрактных тестов (стандартным КАТ).
Часть ИСО/МЭК 9646—3 определяет стандартную тестовую нотацию — комбинированную древовидную и табличную нотацию (КДТИ) для спецификации стандартных комплектов абстрактных тестов.
Как только стандарты по аттестационному тестированию и стандартные комплекты абстрактных тестов становятся доступны, результаты тестирования, полученные различными испытательными лабораториями, могут быть сопоставимы, если их операции основаны на одних и тех же ссылочных стандартных КАТ.
ГОСТ Р ИСО/МЭК 9646—5 содержит требования к процессу оценки соответствия с тем, чтобы результаты тестирования можно было сравнить с результатами, полученными другими испытательными лабораториями, и она может иметь широкое применение.
Настоящий стандарт касается промежуточного этапа тестирования, а именно реализации тестов. Прежде чем может начаться подготовка тестирования, должны стать доступными средства тестирования тестируемой реализации (ТР).
Исполнители тестирования — это те организации, на которые возложена ответственность за обеспечение таких средств тестирования (СТ).
Настоящий стандарт налагает требования на реализацию тестов для гарантии того, что выполнение тестовых примеров отражает поведение, определенное в ссылочных стандартных КАТ. Таким образом достигается цель тестирования.
Настоящий стандарт опубликован так же, как МККТТ, в виде рекомендации Y.293 (1991) МККТТ.
Настоящий стандарт опубликован также, как рекомендация Х.293 (1991) МККТТ.
IV
ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Информационная технология
ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ МЕТОДОЛОГИЯ И ОСНОВЫ АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ
Часть 4. Реализация тестов
Information technology — Open Systems Interconnection — Conformance Testing Methodology and Ггяпеччогк, Part 4. Test Realization
Дата введения 1994—07—01
) ОБЛАСТЬ ПРИМЕНЕНИЯ
Настоящий стандарт содержит требования и руководящие материалы отностиельно реализации средств тестирования ТР, излагаемые в соответствии с указываемыми стандартизованными в рамках ВОС комплектами абстрактных тестов и определенными в соответствии с ГОСТ Р ИСО/МЭК 9646—2.
Примечание — Здесь предполагается использование стандартах коми лектов абстрактных тестов (КАТ) согласно 3 6.31 ГОСТ Р ИСО/МЭК 9646—1
Эти требования ограничены теми аспектами средств тестирования, которые могут быть преобразованы в функции абстрактного тестирования, определенные в ГОСТ Р ИСО/МЭК 9646—1, или которые существенно важны для надлежащего использования стандартных КАТ. Такие аспекты могут содержать средства создания журналов соответствия или развития формы ДИРПТ. Другие подробные сведения о реализации тестирующих систем и верхних тестеров нс входят в предмет рассмотрения настоящего стандарта.
Вопросы приемки и установки средств тестирования не входят в предмет рассмотрения настоящего стандарта.
2 НОРМАТИВНЫЕ ССЫЛКИ
Нижеперечисленные стандарты содержат положения, которые путем ссылок на них в данном тексте образуют положения настоящего стандарта. В момент публикации настоящего стандарта указанные издания стандартов были действующими. Все стандарты подвергаются пересмотрам и участникам соглашений, основанных
Издание официальное
I
на настоящем стандарте, следует рассмотреть возможность применения самых последних изданий перечисленных ниже стандартов. Комитеты—члены МЭК и ИСО имеют списки международных стандартов, действующих на текущий момент.
ГОСТ 28906-91 (ИСО/МЭК 7498—84). Системы обработки информации. Взаимосвязь открытых систем. Базовая эталонная модель. (См. также рекомендацию Х.200 МККТТ).
ГОСТ Р ИСО/МЭК 9646—1—93. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие концепции (См. также рекомендацию X.290 (1991) МККТТ).
ГОСТ Р ИСО/МЭК 9646—2—93. Информационная технология. Вазимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация абстрактного тестового комплекта (См. также рекомендацию Х.291 (1991) МККТТ).
ГОСТ Р ИСО/МЭК 9646—5—93. Информационная технология. Вазимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия (См. также рекомендацию X.294 (1991) МККТТ).
ИСО/МЭК 9646—3—91. Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 3. Комбинированная древовидная и табличная нотация. (См. также рекомендацию Х.292 (1991) МККТТ)1
3 ОПРЕДЕЛЕНИЯ
Для настоящего стандарта применимы все определения, приведенные в ГОСТ Р ИСО/МЭК 9646—1.
4 СОКРАЩЕНИЯ
В настоящем стандарте используются следующие сокращения» приведенные в разделе 4 ГОСТ Р ИСО/МЭК 9646—1:
АСП абстрактный сервисный примитив
ВОС взаимосвязь открытых систем
ДИРПТ дополнительная информация о реализации протокола для тестирования
ЗСРП заявка о соответствии реализации протоколу
КАТ комплект абстрактных тестов
ГОСТ Р ИСО/МЭК 9646—4—93
КВАТ комплект выбранных абстрактных тестов
КВВТ комплект выбранных выполнимых тестов
КВТ комплект выполнимых тестов
КДТН комбинированная древовидная и табличная нотация
КПАТ комплект параметризованных абстрактных тестов
КПВТ комплект параметризованных выполнимых тестов
ПБД протокольный блок данных
ПКН пункт контроля и наблюдения
СТ средства тестирования
ТОВ тест основной взаимосвязи
ТР тестируемая реализация
ТС тестируемая система
5 ОБЩЕЕ ОПИСАНИЕ РЕАЛИЗАЦИИ ТЕСТОВ
5.1. Реализация тестов — это процесс разработки средств тестирования (СТ) тестируемых реализаций на соответствие спецификациям протоколов ВОС, который основывается на стандарте но аттестационному тестированию и на КАТ.
5.2. Средства тестирования — это совокупность оборудования и процедур, способных выполнять:
a) создание;
b) выбор;
c) параметризацию и с!) выполнение
тестовых примеров в соответствии с указанным стандартным КАТ, а также вырабатывать журнал соответствия.
5.3. В процессе создания абстрактные тестовые примеры эталонного стандартного КАТ преобразуются таким образом, чтобы они могли быть выполнены в тестирующей системе.
В процессе выбора выбираются соответствующие тестовые примеры для ТР согласно содержимому ЗСРП и ДИРПТ.
В процессе параметризации параметрам выбранных тестовых примеров придаются соответствующие значения согласно содержимому ДИРПТ (и, возможно, ЗСРГ1).
После этого при выполнении процесса оценки соответствия ТР используются СТ, что приводит в результате к выработке журнала соответствия.
Результат процесса создания называется «комплектом выполнимых тестов» (КВТ). Он состоит из выполнимых тестовых примеров.
5.4. Могут быть созданы, но не обязательно, промежуточные формы тестовых комплектов в зависимости от того, когда происходит процесс создания.
ГОСТ Р ИСО/МЭК 9646- 4 - 93
Такие промежуточные формы получили названия:
a) КВАТ — комплект выбранных абстрактных тестов;
b) КВВТ — комплект выбранных выполнимых тестов;
c) КПАТ — комплект параметризованных абстрактных тестов;
d) КПВТ — комплект параметризованных выполнимых тестов.
5.5. Из всех этих разнообразных форм только комплекты абстрактных тестов явно необходимы.
Некоторые СТ могут генерировать КПВТ автоматически из эталонных стандартных КАТ (при наличии ЗСРП и ДИРПТ) во время фактического прогона тестовых примеров. Такие СТ не проявляют в явном виде ни КВТ, ни КВВТ, ни КПВТ.
Однако всегда выполняется КПВТ.
6 ТРЕБОВАНИЯ, ОТНОСЯЩИЕСЯ К РЕАЛИЗАЦИИ ТЕСТОВ
6.1 Введение
Требования, относящиеся к реализации тестов, касаются:
a) СТ как единого целого;
b) процесса создания выполнимых тестовых примеров из абстрактных;
c) средств выработки журнала соответствия;
d) развития формы ЗСРП;
e) других документов.
6.2 Требования, относящиеся к средствам тестирования
6.2.1. Средства тестирования реализаций протоколов ВОС должны обеспечиваться в контексте одного стандартного КАТ в соответствия с ГОСТ Р ИСО/МЭК 9646—2. Исполнитель теста должен использовать ту версию спецификации КАТ, которая имеет наивысший статус стандартизации (например, предпочтительнее проект международного стандарта (ПМС), чем проект предложена (ПП) или проект комитета (ПК).
СТ должны обеспечивать:
a) реализацию нижнего тестера;
b) спецификацию верхнего тестера в той степени, в какой она требуется методом абстрактного тестирования;
c) реализацию верхнего тестера для метода локального тестирования;
d) реализацию верхнего тестера для методов скоординированного и распределенного тестирования, факультативно;
e) спецификацию процедур скоординированного тестирования в соответствии с требованиями, определенными в стандартном КАТ;
4
ГОСТ Р ИСО/МЭК 9646—4—93
f) реализацию процедур скоординированного тестирования внутри тестирующей системы для метода локального тестирования;
g) реализацию протокола административного управления тестированием внутри тестирующей системы для метода скоординированного тестирования.
[См 7.4 ГОСТ Р ИСО/МЭК 9646—I и 12.3 ГОСТ Р ИСО/МЭК 9646—2).]
6.2.2. СТ может содержать либо выполнимые тестовые примеры, созданные из тестовых примеров эталонного стандартного КАТ, либо средства их создания.
СТ должны быть реализованы в соответствии с семантикой тестовой нотации, выработанной в эталонном стандартном КАТ.
СТ должны обеспечить средства выбора и параметризации тестовых примеров (будь они на абстрактном или на выполнимом уровне) согласно соответствующей информации ЗСРП и ДИРПТ, предоставляемой вместе с ТР (см. 7.3 и 7.4 ГОСТ Р ИСО/МЭК 9646-5).
6.2.3. СТ должны обеспечит» средства выбора тестовых примеров функциональных возможностей или поведения, упомянутых в перечне тестов основной взаимосвязи (перечень ТОВ), если таковой определен в эталонном стандартном КАТ, и должен предусмотреть средства их прогона, сначала в целом, до выполнения тестов функциональных возможностей и поведения.
СТ должны обеспечить так же возможность опускать из набора тестовых примеров, выбранных для тестирования функциональных возможностей и поведения, те тестовые примеры, которые указаны в перечне ТОВ.
6.2.4 СТ должны обеспечивать возможности выполнения параметризованных выполнимых тестовых примеров, образуемых в результате выполнения процессов создания, выбора и параметризации.
6.2.5 Исполнитель теста должен составить заявку в соответствии средств тестирования эталонному стандартному КАТ, указав то подмножество КАТ, которое не обеспечивается (см. 6.3.4).
Исполнитель теста должен идентифицировать все ограничения, налагаемые СТ на выполнение теста, помимо определенных эталонным стандартом КАТ (например, ограниченные диапазоны значений, предусмотренных в ДИРПТ).
Примечание — Исполнитель теста должен отмстить требования к услуге исчерпывающего тестирования, установленные в стандартном КАТ. Он может выразить пожелание разработать СТ для каждого из требуемых методов абстрактного тестирования с тем, чтобы испытательная лаборатория могла обеспечить услугу исчерпывающего тестирования.
5
ГОСТ Р ИСО/МЭК 9646—4—93
6.2.6 СТ должны обеспечивать возможность создания журнала соответствия (см. 6.4).
6.3 Требования к созданию КВТ
6.3.1 Введение
Требования 6.3 должны относиться ко всем комплектам выполнимых тестов, включая КВВТ и КПВТ независимо от их реального наличия.
6.3.2 Соответствие эталонному стандартному
КАТ
КВТ должны создаваться из одного эталонного стандартного КАТ.
Для того, чтобы КВТ соответствовал эталонному стандартному КАТ, он должен отвечать требованиям 6.3.3—6.3.5. Он должен отвечать также требованиям, установленным в самом эталонном стандартном КАТ, а также в других частях многочастевого стандарта по аттестационному тестированию, если таковой применим (например, ПАУТ).
6.3.3 Соотношение между КАТ и КВТ
Каждый выполнимый тестовый пример должен представлять собой реализацию отдельного абстрактного тестового примера и должен выбираться для выполнения на индивидуальной основе.
Все последовательности тестовых событий, образующие абстракций тестовый пример, должны быть реализуемы в выполнимом тестовом примере.
Цель тестирования и назначения вердиктов каждого абстрактного тестового примера должны обеспечиваться в соответствующем выполнимом тестовом примере.
СТ должны выполнять проверку действительности параметров ПБД, полученных из ТР, дополнительно к проверкам, определенным в абстрактном тестовом примере. Любые другие проверки, которые могла бы выполнять тестирующая система, не входят в предмет рассмотрения настоящего стандарта и не должны влиять на назначение вердиктов результатам выполнения каждого тестового примера.
Стандартный КАТ охватывает преобразование абстрактного тестового примера или примеров в позиции формы ЗСРП и ДИРПТ (см. раздел 15 ГОСТ Р ИСО/МЭК 9646—2 в КВТ.
6.3.4. Образование подмножеств КАТ
Процесс создания КВТ в общем случае приводит к созданию всех тестовых примеров эталонного стандартного КАТ. Однако может оказаться полезным создать КВТ для некоторого подмножества КАТ. Если такое подмножество создано, то исключение набора
6
1
До прямого применения данного документа в качестве ГОСТ распростра-1енне его осуществляет секретариат ТК 22 «Информационная технология».
2
