ГОСТ Р ИСО/МЗК 9646-5-93

ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ

ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ.

МЕТОДОЛОГИЯ и основы

АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ

Часть 5. ТРЕБОВАНИЯ К ИСПЫТАТЕЛЬНЫМ ЛАБОРАТОРИЯМ И КЛИЕНТАМ В ПРОЦЕССЕ ОЦЕНКИ СООТВЕТСТВИЯ

Издание официальное

ГОССТАНДАРТ РОССИИ Москва

Предисловие

1    ПОДГОТОВЛЕН И ВНЕСЕН Техническим комитетом (ТК 22) «Информационная технология»

2    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 20.12.93 № 262

Настоящий стандарт подготовлен на основе применения аутентичного текста международного стандарта ИСО/МЭК 9646—5 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия»

3    ВВЕДЕН ВПЕРВЫЕ

{£) Издательство стандартов, 1994

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения

Госстандарта России.

И

ГОСТ Р ИСО/МЭК 9646—5—93

5 ОБЩЕЕ ОПИСАНИЕ ПРОЦЕССА ОЦЕНКИ СООТВЕТСТВИЯ

5.1 Введение

На рисунке 1 показан процесс оценки соответствия. В 6.3 ГОСТ Р ИСО/МЭК 9646—1 содержится общее описание процесса оценки соответствия. В данном разделе в качестве руководящего материала приведено общее описание трех фаз этого процесса (подготовка к тестированию, операции тестирования и разработка отчета о тестировании).

— поток управляющей информации, ■ 1    у — поток информации Рисунок 1 — Вид процесса оценки соответствия

5.2 П о д го т ов к а к тестированию

Фаза подготовки включает в себя:

a)    общие административные шаги, например, подготовка задачи клиентом, подготовка документов испытательной лабораторией, описывающих общую политику, понятия и условия проведения операций тестирования, а также подготовка клиентом информации о ТС;

b)    проверка полноты документации, разработанной испытательной лабораторией (форма ДИРПТ), клиентом (ЗСРП, ДИРПТ, ЗСС), а также обмен контрольными списками между испытательной лабораторией и клиентом;

c)    анализ конфигурации ТС и выбор стандарта (ов) по аттестационному тестированию по протоколу (ам) ВОС, подлежащему (им) тестированию, либо соглашение о том, что как ТС, так и СТ испытательной лаборатории способны обеспечить методы абстрактного тестирования или использовать согласованный выход в случае невозможности достигнуть соглашения;

d)    подготовка ТС и СТ для тестируемой конфигурации, которая образуется в результате выбора метода абстрактного тестирования.

Требования по подготовке к тестированию для испытательной лаборатории и клиента приведены в разделе 6.

5.3    Операции тестирования

В ходе второй фазы выполняются операции тестирования. К ним относятся:

a)    рассмотрение статического соответствия, в ходе которого выполняется подробный анализ ЗСРП и ДИРПТ;

b)    выбор и параметризация теста применительно к комплекту выполнимых (или абстрактных) тестов; здесь определяется комплект параметризованных абстрактных тестов, которые будут выполняться;

c)    одна или несколько тестовых компаний, в ходе которых осуществляется прогон:

1)    тестов основной взаимосвязи (факультативно);

2)    тестов функциональных возможностей;

3)    тестов поведения.

Если выполнение операций тестирования сталкивается с трудностями, то клиент и испытательная лаборатория могут согласовать репетицию выполнения тестовой кампании полностью или частично. Они могут также осуществить согласованный выход из процесса оценки соответствия.

Пр имечание — Причины согласованного выхода документируются в неформальном отчете о тестировании

Требования к выполнению операций тестирования со стороны испытательной лаборатории и клиента приведены в разделе 7.

5.4    Р а з р а б о т к а отчета о тестировании

После завершения операций тестирования наступает третья фаза: выполняется оценка соответствия реализации ВОС. Эта оценка регистрируется в отчетах о тестировании на соответствие системе и протоколу, формы которых приведены в приложениях А и В соответственно.

Требования к разработке отчета о тестировании приведены в разделе 8.

6

ГОСТ Р ИСО/Л1ЭК 9646—5—93

6 ПОДГОТОВКА К ТЕСТИРОВАНИЮ

6.1 Введение

В разделе 6 определены требования к фазе подготовки тестирования, относящиеся как к испытательной лаборатории, так и к клиенту. На рисунке 2 показана фаза подготовки процесса оценки соответствия В этой фазе обе стороны озабочены тем, чтобы необходимая документация (включая ЗСС, ЗСРП, ДИРПТ и контрольные списки) была заполнена к обоюдному согласию; в частности, те характеристики ТС, которые определяют ее конфигурации и влияют на выбор методов тестирования, должны быть точно

Операции тестирования (см рисунок 3) - поток управляющей информации, ^ поток информации. ф — пункт принятия решения

Рисунок 2 — Подготовка к тестированию

определены. Предполагается, что требования к тестируемости ТС обеспечены клиентом до его контакта с испытательной лабораторией.

В качестве предпосылки к операциям тестирования клиент и испытательная лаборатория согласовывают метод абстрактного тестирования и условия проведения тестовой кампании. При дос-

7

тнжении соглашения испытательная лаборатория выбирает СТ для выбранного метода тестирования и переходит к фазе операций тестирования; в противном случае может быть предпринят выход из тестирования.

6.2 Требования к тестированию ТС

6.2.1    Роль клиента

6.2.1.1    Общие положения

Клиент должен обеспечить, чтобы ТС была тестируема с использованием, по меньшей мере, одного из методов абстрактного тестирования, определенных в ГОСТ Р ИСО/МЭК 9646—2.

Пр имечание — Настоящая часть ИСО/МЭК 9646 не налагает на клиента ограничений в вопросе согласования какого-либо конкретного метода до тех пор, пока имеется возможность использовать один метод путем соответствующей организации ТС.

Каждый из методов, описанных в разделе 12 ГОСТ Р ИСО/ МЭК 9646—2, предъявляет конкретные требования к ТС относительно ее тестируемости. Эти требования варьируются в зависимости от метода тестирования.

Для того метода, который клиент объявляет пригодным для тестирования ТС, он должен предусмотреть, чтобы ТС обеспечивала необходимые средства контроля и наблюдения и чтобы она могла выполнять соответствующую процедуру скоординированного тестирования.

В следующих четырех подразделах определяются дальнейшие требования к тестируемости для каждого из методов абстрактного тестирования.

6.2.1.2    Метод локального тестирования

6.2.1.2.1    При использовании локального метода тестирования клиент должен обеспечить аппаратную реализацию верхнего интерфейса ТР и его подключение к тестирующей системе.

Примечание — Единственные требования срстоят в том, чтобы этот интерфейс был стандартным и чтобы обеспечивалось четкое преобразование между соответствующими АСП и этим аппаратным интерфейсом.

6.2.1.2.2    К клиенту не предъявляется никаких требований по процедурам скоординированного тестирования.

6.2.1.3 Метод распределенного тестирования

6.2.1.3.1 При использовании метода распределенного тестирования клиент должен позаботиться о том, чтобы ТС содержала средства генерации АСП и индикации их приема для соответствующих пунктов контроля и наблюдения (ПКН), подходящих для данной ТР.

8

Примечания

1    Единственные требования состоят в том, чтобы в ТС были реализованы средства контроля и наблюдения результатов действия соответствующих АСП и чтобы верхняя сервисная граница ТР представляла собой либо интерфейс с пользователем-человека, либо интерфейс со стандартным языком программирования.

2    Любая реализация может удовлетворять этим требованиям при условии*

что соответствующие АСП могут генерироваться и недвусмысленно обнаруживаться. Примерами таких реализаций служат нажимаемые клавиши, наблюдение и контроль дейпвин протоколов ВОС, использующих сервисные примитивы, наблюдение действий периферийных устройств и др. Между этими средствами в ТС и АСП возможны отображения «один к одному», «один к нескольким» или «несколько к одному».

6.2.1.3.2 Клиент должен позаботиться о том, чтобы оператор ТС мог уведомить оператора тестирования (в испытательной лаборатории) о появлении событий АСП в ТС, если это требуется процедурами скоординированного тестирования.

Примечание — Способы передачи испытательной лаборатории уведомлений о появлении сгенерированных и наблюдаемых событий АСП не входят в предмет рассмотрения настоящего стандарта, но они могут быть обеспечены путем использования отдельного канала обмена данными, например речевого* телефонного, канала данных и др. Способ обмена данными представляет собой часть неформальных процедур скоординированного тестирования и указывается клиентом в его контрольном списке, передаваемом испытательной лабораторией для оценки соответствия.

6.2.1.4 Метод скоординированного тестирования

6.2.1.4.1    При использовании метода скоординированного тестирования клиент должен позаботиться о том, чтобы ТС могла обеспечить, по меньшей мере, один верхний тестер, который представляет собой реализацию стандартного протокола административного управления тестированием (ПАУТ), соответствующего данной ТР.

Примечание — Это требование не предполагает реализацию в ТС реальной сервисной границы ВОС с реальными сервисными примитивами.

6.2.1.4.2    После того как в процессе подготовки к тестированию будет выбран КАТ для метода скоординированного абстрактного тестирования, клиент должен позаботиться о том, чтобы ТС обеспечила верхний тестер, который реализует ПАУТ для данного КАТ,

Примечание — При подготовке к тестированию клиент может проконсультироваться у испытательной лаборатории по вопросам обеспечения этого требования. Клиент может также предпочесть реализовать верхний тестер и ПАУТ для конкретного КАТ в проверяемой ТР, прежде чем он обратится к испытательной лаборатории с запросом оценки соответствия.

9

ГОСТ Р ИСО/МЭК 9646—5—93

6.2.1.5 Метод удаленно го тестирования

6.2.1.5.1    При использовании метода удаленного тестирования после того, как будет выбран КАТ при подготовке к тестированию, клиент должен задокументировать в ДИРПТ ту степень контроля и наблюдения, которую могут достичь в ТС процедуры скоординированного тестирования, которые записаны неформально в стандартном КАТ.

Примечание — Из всех методов тестирования данный метод налагает на 1C наименьшие ограничения Предпола!аегся, однако, что ТС будет функционировать в соответствии с тем, что заявлено в ДИРПТ Эти заявки могут предполагать некоторую степень контроля, например, место, 1де ТС должна инициировать некоторое событие.

6.2.1.5.2    Для тех событий тестирования, для которых в ДИРПТ заявлена степень контроля или наблюдения, клиент должен обеспечить, чтобы о появлении в ТС таких событий оператор ТС уведомлял оператора тестирования (в той же испытательной лаборатории), если это требуется процедурами скоординированного тестирования.

Примечание — Способы передачи испытательной лаборатории уведомлении о появлении ci енерироланных и наблюдаемых тесювых собьпий не входят в предмет рассмотрения настоящего стандарта, но их можно обеспечить с помощью отдельного канала связи, например, речевого, телефонного или канала данных и др Способ осуществления такой связи составляет часть неформальных процедур скоординированного тестирования и указывается клиентом в своем кол’.рольном сипело при от передаче испытательной лаборатории для оценки соответствия

6.3 Взаимодействие между испытательной лабораторией и клиентом

6.3.1    Контрольные списки испытательной лаборатории и клиента

6.3.1.1    Введение

Во время подготовки к операции тестирования испытательная лаборатория и клиент обмениваются относящейся к тестированию информацией с целью согласования определения ТР, выбора метода (ов) абстрактного тестирования и комплекта(ов) абстрактных тестов для использования в процессе тестирования. Эта информация, часть которой может быть собрана в результате обсуждений, записывается в контрольных описках испытательной лаборатории и клиента. В результате обмена контрольными списками и их рассмотрения обе стороны могут придти к соглашению о возможности или невозможности перехода к фазе подготовки тестирования. Соглашение может быть не достигнуто, если испытательная лаборатория окажется неспособной предложить услуги тестирования, совместимые с представленной клиентом ТР. Если обе

10

ГОСТ Р ИСО/МЗК 9646—5—93

стороны согласились продолжать работу, они готовят документы, необходимые для оценки соответствия (см. 6.4).

6.3.1.2 Р о л ь испытательной лаборатории

В фазе подготовки к тестированию процесса оценки соответствия испытательная лаборатория должна предоставить клиенту свой контрольный список, содержащий, по меньшей мере, следующую информацию:

a)    требования, предъявляемые испытательной лабораторией к клиенту относительно обеспечения ЗСС, ЗСРП и ДИРПТ;

b)    заявка о согласованности с настоящим стандартом;

c)    метод(ы) абстрактного тестирования, обеспеченный (ые) для каждого из протоколов ВОС, который предлагается для тестирования;

d)    заявка о соответствии стандартам по аттестационному тестированию, на соответствие которым предлагается тестирование;

e)    заявление об обеспечении или необеспечении испытательной лабораторией услуги исчерпывающего тестирования в соответствии с требованиями каждого применимого стандарта по аттестационному тестированию и ГОСТ Р ИСО/МЭК 9646—2;

f)    ограничения нижнего (их) тестера (ов) (при его (их) наличии), налагаемые на обеспечиваемые методы тестирования ТС клиента;

g)    спецификация верхнего тестера (в применимых случаях) и процедур скоординированного тестирования для обеспечиваемых методов тестирования ТС клиента;

h)    описание процедур испытательной лаборатории, относящихся к прогону тестов в ходе тестовой кампании и к клиенту, в особенности тех, которые должны выполняться оператором ТС;

i)    ссылки на все документы, которые должны использоваться и разрабатываться испытательной лабораторией в ходе процесса оценки соответствия.

Примечание — Испьпатетьная лаборатория может npt юставить кш*

енту

a)    информацию об услугах тестирования, предлагаемых для набора протоколов ВОС, интересующих клиента;

b)    помощь в реализации верхнего тестера (при его использовании) для выбранною метода абстрактного тестирования;

c)    перечень тех, с кем необходимо контактировать для получения форм ДИРПТ и другой необходимой информации;

d)    оценки времен, необходимых для выполнения фаз операций тестирования и разработки отчетов о тестировании процесса оценки соответствия;

l)    об    аккредитации    испытательной    лаборатории    (при    необходимости).

63.1.3 Роль клиента

В фазе подготовки к тестированию процесса оценки соответствия клиент должен предоставить испытательной лаборатории свой

Ц

контрольный список, содержащий, по меньшей мере, следующую информацию:

a)    заявка о согласованности с настоящим стандартом;

b)    определение, какая часть ТС предлагается в качестве ТР и какие протоколы должны тестироваться;

c)    заявка о тестируемости ТС, основанная на конкретном (ых) методе(ах) абстрактного тестирования и/или на стандартах по аттестационному тестированию;

d)    перечень тех процедур скоординированного тестирования, которые пригодны для использования с этой ТР и которые соответствуют предложенному (ым) методу (ам) абстрактного тестирования.

Примечание — Клиент может предоставить испытательной лаборатории:

a)    информацию о любых физических требованиях к ТР (например, занимаемая площадь, кондиционирование и др), при необходимости, и любую другую практическую информацию, которая может потребоваться в процессе оценки соответствия;

b)    перечень тех, с кем необходимо контактировать в процессе оценки соответствия

6.3.2 Соглашения о методах тестирования и выбор тестового комплекта

6.3.2.1    Роль испытательной лаборатории

Испытательная лаборатория должна приспособить выбранный

клиентом метод абстрактного тестирования к каждому протоколу предложенной ТР (см. 6.3.2.2) и выбрать соответствующий эталонный стандартный КАТ (включая соответствующую спецификацию ПАУТ), который должен использоваться в процессе оценки соответствия.

Для каждого выбранного стандартного КАТ испытательная лаборатория должна идентифицировать и использовать СТ, согласованные со стандартным КАТ и ГОСТ Р ИСО/МЭК 9646—4.

Примечание — Используемый(ые) стандарт(ы) по аттестованному тестированию должен(ны) иметь наибольший на данный момент cTaiyc стандар1И?а-ции [см. раздел 5 ГОСТ Р ИСО/МЭК 9646—2].

6.3.2.2    Роль клиента

Клиент должен рассмотреть контрольный список испытательной лаборатории и выбрать метод абстрактного тестирования, подлежащий использованию для каждого протокола предложенной ТР в соответствии с заявками о тестируемости ТС и с услугами тестирования, предложенными испытательной лабораторией.

Примечания

1 Клиет можег по своему желанию выбрать 1акже меюд(ы) абстрактного тестирования, который(ые) ен предъявляет никаких дополнительных требований к ТС, кроме тех, которые содержатся в стандартах ВОС и соответствие которым

12

ГОСТ Р ИСО/МЭК 9646—5—93

ТС заявлено В подобных случаях клиент должен выбрать такую испытательную

лабораторию, которая обеспечивает услуги исчерпывающего тестирования. (См. 117 2 ГОСТ Р ИСО/МЭК 9646—2 и 9 1 настоящего стандарта)

2    ТР может содержать один логический объект протокола или несколько таких объектов Если ТР является многопротокольной, то методы одноуровнего встроенного тестирования должны использоваться нарастающим способом. (См. 7 6 ГОСТ Р ИСО/МЭК 9646—1).

3    При использовании методов встроенною одноуровнего тестирования КЛ Г ориентирован на отдельный протокол ВОС.

4    В ТС может быть определено несколько ТР, если в одной и той Же ТС для различных комбинаций протоколов и методов тестирования необходимо выполнить несколько оценок соответствия

6.3.2.3 Совместная роль

После того, как обе стороны рассмотрят информацию, содержащуюся в контрольных списках, для продолжения процесса оценки соответствия обе стороны должны согласовать:

a)    точность и достаточность информации, предусмотренной в контрольных списках;

b)    определение ТР;

c)    метод(ы) абстрактного тестирования и соответствующий(ие) КАТ, подлежащие использованию для процесса оценки соответствия.

Если соглашение не может быть достигнуто, должен быть пред-прчня'¹' cos пасованный выход для завершения процесса опечки соответствия. Если же соглашение достигнуто, то все согласованное должно быть зарегистрировано в отчете об аттестационном тестировании системы (ОАТС), создаваемом в конце процесса оценки соответствия.

6 3.3 Административное управление техническими вопросами

Не существует общих требований относительно процедур разрешения технических вопросов между клиентом и испытательной лабораторией, которые могут возникнуть в процессе оценки соответствия. Однако при обнаружении различий между стандартом по аттестационному тестированию и стандартом по протоколу в разрешении проблемы предпочтение следует отдать стандарту по протоколу.

П р и м е ч а н и е — Неразрешимые вопросы технического характера, относящиеся к пнгерпреiации соответствующих стандартов, могут быть адресованы в соответствующую определительную группу по стандартам ВОС

О 4 Ц м ¹ \ ч о и ] д ц и я по оценке с о о т в е т с т в и я

0.4 1 Общее описание

После того, как испытательная лаборатория и клиент согласу ют определения ТР, метод(ы) абстрактного тестирования и комплект (ы) абстрактных тестов для использования в процессе оценки соответствия, они обмениваются подробной информацией относи-

дельно ТС. Эта информация содержится в четырех документах, относящихся к подготовке тестирования:    ЗСРП, ДИРПТ, ЗСС и

заявке о реализации ПАУТ. В четырех следующих подразделах устанавливаются требования к клиенту и испытательной лаборатории относительно разработки этих документов и обмена ими.

6.4.2 Заявка о соответствии реализации протоколу (ЗСРП)

6.4.2.1    Содержимое ЗСРП

Подробная информация о роли и назначении ЗСРП приведена в 5.4 ГОСТ Р ИСО/МЭК 9646—1 и в основных руководящих хма-терналах по построению формы ЗСРП, приведенных в приложении С к ГОСТ ИСО/МЭК 9646—2.

Форма ЗСРП содержится в каждом стандарте по протоколу ВОС и в стандарте по синтаксису передачи, который соответствует требованиям ГОСТ Р ИСО/МЭК 9646—2 на тестируемость.

о.4.2.2 Роль испытательной лаборатории

В вопросах обеспечения клиента формой ЗСРП требования к испытательной лаборатории не предъявляются. Однако испытательная лаборатория может, при необходимости, обеспечить копии соответствующих форм ЗСРП.

6.4.2.3    Роль клиента

Клиент должен обеспечить ЗСРП для каждого стандарта по протоколу ВОС (и для каждого стандарта по синтаксису передачи в случае его применения), который реализован в ТР и на соответствие которому должно проводиться тестирование.

Клиент должен заполнить формы ЗСРП из соответствующих стандартов ВОС. Требования к информации, содержащиеся з ЗСРП. устанавливаются в соответствующих стандартах.

6.4.3    Дополнительная информация о реализации протокола для тестирования (ДИРПТ)

6.4.3.1    Содержимое ДИРПТ

Роль и назначение ДИРПЗ приведены в 6.2 ГОСТ Р ИСО/МЭК 9646—1. Требования и другие руководящие материалы по структуре и содержимому ДИРПТ приведены в приложениях С и D настоящего стандарта.

6.4.3.2    Роль испытательной лаборатории

Испытательная лаборатория должна разработать форму

ДИРПТ для каждого стандартного КАТ, предлагаемого для тестирования, в соответствии со скелетом формы, определенным в приложении С.

Каждая форма ДИРПТ должна содержать расширенную форму ДИРПТ, прилагаемую к СТ и соответствующую эталонному стандартному КАТ. Она должна содержать также вопросы, необходимые для получения всей информации относительно ТС, ТР и

14

ГОСТ Р ИСО/МЭК 9646-5-93

СОДЕРЖАНИЕ

1    Область применения ........... 1

2    Нормативные ссылки...........

3    Определения ............. 3

4    Сокращения .............4

4.1 Сокращения, определенные в ГОСТ Р ИСО/МЭК 9646— 1    .    .    4

4.2    Прочие сокращения ...........4

5    Общее описание процесса    оценки    соответствия......5

5.1    Введение.............5

5.2    Подготовка к тестированию.........5

5.3    Операции тестирования..........6

5.4    Разработка отчета о тестировании........6

6    Подготовка к тестированию ..........    7

6.1    Введение.............7'

6.2    Требования к тестированию ТС     8

6.2.1    Роль клиента...........8

6.3    Взаимодействие между испытательной лабораторией    и    клиентом .    10

6.3.1    Контрольные списки испытательной лаборатории    и    клиента .    10

6.3.2    Соглашения о методах тестирования и выбор тестового комплекта .............12

6.3.3    Административное управление техническими вопросами    .    .    13

6.4    Документация по оценке соответствия .    .    .    .    .    .13

6.4.1    Общее описание..........13

6.4.2    Заявка о соответствии реализации протоколу    (ЗСРП)    .    .    14

6.4.3    Дополнительная информация о реализации протокола для

тестирования (ДИРПТ).........14

6.4.4    Заявка о соответствии системы (ЗСС).....15

6.4.5    Заявка о реализации ПАУТ........16

7    Операции тестирования...........16

7.1    Введение.............16

7.2    Рассмотрение статического соответствия......16

7.2.1    Роль испытательной лаборатории......16

7.2.2    Роль клиента...........18

7.2.3    Совместная роль..........18

7.3    Выбор теста............18

7.3.1    Роль испытательной лаборатории.......18

7.3.2    Роль клиента...........19

7.4    Параметризация тестов..........19

7.4.1    Роль испытательной лаборатории......19

7.4.2    Роль клиента...........29

7.5    Верификация процедур скоординированного    тестирования    .    20

7.5.1    Введение............29

7.5.2    Совместная роль..........20

7.6    Тестовая кампания     2<1

7.6.1    Введение............20

7.6.2    Роль испытательной, лаборатории......20

7.6.3    Роль клиента...........22

7.6.4    Совместная роль..........23

7.7    Согласованный выход из тестовой кампании.....24

7.7.1    Использование согласованного выхода .....24

7.7.2    Роль испытательной лаборатории......24

7.7.3    Роль клиента...........24

Ш

ГОСТ Р ИСО/МЭК 9646—5—93

соответствующих параметров КАТ, которая отсутствует в соответствующих ЗСС и ЗСРП, но которая необходима испытательной лаборатории для прогона выполнимых версий стандартных КАТ.

Испытательная лаборатория должна представить клиенту форму ДИРПТ для каждого КАТ, который должен использоваться в процессе оценки соответствия.

Примечание — На каждый протокол имеется один стандартный КАТ

при методах одноуровневого и встроенного одноуровневою тестирования Таким образом, при использовании этих методов на каждый протокол имеется одна форма ДИРПТ.

6.4.3.3 Роль клиента

Клиент должен обеспечить ДИРПТ на каждый КАТ, используемый при тестировании, путем заполнения соответствующей формы ДИРПТ, представленной испытательной лабораторией.

Примечание — Если запрошенная информация слишком обширна, в ДИРПТ можно дать ссылку па другие документы, содержащие необходимую информацию.

6.4.4 Заявка о соответствии системы (ЗСС)

6.4.4.1    Содержимое ЗСС

Роль и назначение ЗСС кратко упоминались в 5.4 ГОСТ Р ИСО/МЭК 9646—1. Формат ЗСС не стандартизован, однако ЗСС должна содержать, как минимум, следующую информацию:

a)    информацию о ТС и клиенте:

1)    административную информацию, идентифицирующую клиента;

2)    системную информацию, идентифицирующую ТС, например, наименование и номер версии;

b)    информацию, относящуюся ж тем протоколам в ТС, для которых предусмотрена ЗСРП:

1)    идентификацию о стандартах по протоколу БОС (и синтаксис передачи БОС), включая номера-версий;

2)    ссылку на соответствующую ЗСРП.

ЗСС факультативно может содержать сведения о том, доступны ли ОАТС и ОАТП, полученные из предыдущей оценки соответствия.

6.4.4.2    Роль испытательной лаборатории

К испытательной лаборатории не предъявляется требований по обеспечению формы ЗСС. Сама ЗСС содержит независимую от теста информацию относительно ТС.

6.4.4.3    Роль клиента

Клиент должен представить испытательной лаборатории ЗСС в соответствии с 6.4.4.1.

15

7.7.4 Совместная роль..........24

8    Разработка отчета о тестировании........25

8.1    Отчеты об аттестационном тестировании......25

8.1.1    Введение............25

8.2    Отчет об аттестационном тестировании системы (ОАТС)    .    25

8.2.1    Роль испытательной лаборатории     25

8.2.2    Роль клиента...........26

8.2.3    Совместная роль..........26

8.3    Отчет об аттестационном тестировании    протокола (ОАТП)    26

8.3.1    Роль испытательной лаборатории......26

8.3.2    Роль клиента...........2.7

8.3.3    Совместная роль..........27

9    Согласованность....... 28

9.1    Роль испытательной лаборатории ........28

9.2    Роль клиента............29

Приложение А Отчет об аттестационном тестировании системы (ОАТС) 30

А.1 Введение ..........30

A. 2 Форма ОАТС..........30

Приложение В Отчет об аттестационном тестировании протокола (ОАТГ1) 32

B. 1 Введение ..........32

B. 2 Форма ОАТП .........32

Приложение С Скелетная форма ДИРПТ .......    35

C. 1 Введение..........35

С.2 Форма ДИРПТ.........35

Приложение D Руководство по ДИРПТ........38

Приложение Е Сводный перечень документов по аттестационному тестированию ......-.....39

ЕЛ Сокращения, используемые в данном приложении .    39

Е.2 Использование документов по аттестационному тестированию клиентом и испытательной лабораторией .    39

IV

ГОСТ Р ИСО/МЭК 9646—5—93

ВВЕДЕНИЕ

Аттестационное тестирование требует наличия взаимопонимания и согласия между испытательной лабораторией и клиентом. В настоящем стандарте описываются роли той или другой сторон при выполнении процесса оценки соответствия, необходимость взаимного соглашения между ними и требования к каждой из сторон.

Процесс оценки соответствия — это наиболее наблюдаемый процесс аттестационного тестирования, где результаты стандартизации тестовых комплектов получают практическое применение. Это также этап, на котором имеется возможность множества ва риаций. Поскольку настоящий стандарт касается сравнительно формального процесса тестируемой реализации, важно, чтобы число и характер этих вариаций были максимально ограничены. Одна из основных целей стандартизации по аттестационному тестированию состоит в том, чтобы достичь приемлемой и полезной степени сопоставимости результатов оценок соответствия сходных реализаций. Для достижения этой цели должен использоваться не только один и тот же исходный материал тестирования (то есть определенный в стандартах), но и методы выбора и параметризации этих тестов, представления их результатов должны быть в основном одинаковыми.

В настоящем стандарте рассматриваются вопросы, которые должны учитываться как испытательной лабораторией, так и ее клиентами, при необходимости достижения согласованных оценок: соответствия. Основными объектами настоящего стандарта являются испытательные лаборатории и их клиенты.

Испытательная лаборатория несет ответственность за оценку соответствия конкретной реализации ВОС по запросу клиента. Обычно функции испытательных лабораторий выполняют:

a)    организации, разрабатывающие или поставляющие реализации ВОС (испытательные лаборатории первой стороны);

b)    организации, желающие сами проверить реализации ВОС перед их использованием (испытательные лаборатории второй стороны);

c)    организации независимых поставщиков или пользователей ВОС, основной сферой деятельности которых является тестирование таких реализаций (испытательные лаборатории третьей стороны).

Клиентами могут быть разработчики или 'поставщики реальных открытых систем или других систем ВОС, которые применяют их для своих собственных реализаций, подлежащих тестированию. Ими могут быть также владельцы этих реализаций или другие за-

ГОСТ Р ИСО/МЭК 9646—5—93

интересованные стороны. Применимость настоящего стандарта не зависит от взаимоотношений между клиентами и реализацией. При выполнении процесса оценки соответствия клиент несет ответственность за заявки о соответствии, которые прилагаются к тестируемой системе (ТС), и за конфигурацию ТС.

Вторичными, но заинтересованными в настоящем стандарте сторонами, могут быть

a)    исполнители тестов;

b)    организации, ответственные за аккредитацию испытательны ч лабораторий первой, второй и третьей сторон;

c)    организации, ответственные за выдачу аттестационных сертификатов, которые основываются на отчетах об аттестационном тестировании, выдаваемых испытательными лабораториями;

d)    читатели отчетов об аттестационном тестировании.

В настоящем стандарте процесс оценки соответствия, относящийся к испытательной лаборатории и к ее клиентам, подразделяется на три фазы:

a)    подготовка к тестированию;

b)    операции тестирования;

c)    разработка отчетов о тестировании.

Общее описание этих трех фаз приведено в разделе 5. В разделах 6—9 изложены требования к выполнению этих трех фаз.

В настоящем стандарте предполагается, что испытательная лаборатория доступна и готова к предоставлению услуг по оценке соответствия. Предполагается также, что испытательная лаборатория приобрела у исполнителя тестов (независимо от принадлежности последнего к той же организации) средства тестирования для одного или нескольких протоколов ВОС, которые соответствуют одному или нескольким методам абстрактного тестирования. В настоящем стандарте определяются требования к испытательной лаборатории относительно выполнения процесса оценки соответствия для конкретного клиента.

Точно также предполагается, что клиент готов к применению оценки соответствия для реализации ВОС. Считается, что клиент знаком с соответствующими стандартами, с принципами аттестационного тестирования и методами абстрактного тестирования и готов сотрудничать с испытательной лабораторией. В настоящем стандарте определяются требования к клиенту относительно тестируемости предложенной ТС и к выполнению процесса оценки соответствия.

Рекомендуется изучать настоящий стандарт в сочетании с ГОСТ Р ИСО/МЭК 9646—1.

Настоящий стандарт опубликован также в виде рекомендации Х.294 (1991) МККТТ.

VI

ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационная технология

ВЗАИМОСВЯЗЬ ОТКРЫТЫХ СИСТЕМ. МЕТОДОЛОГИЯ И ОСНОВЫ

АТТЕСТАЦИОННОГО ТЕСТИРОВАНИЯ

Часть 5 Требования к испытательным лабораториям и клиентам

в процессе оценки соответствия

Information technology. Open Systems Interconnection.

Conformance Testing Methodology and Framework.

Part 5: Requirements on Test Laboratories and Clients for the Conformance Assesment Process

Дата введения 1994-07-01

1 ОБЛАСТЬ ПРИМЕНЕНИЯ

Настоящий стандарт определяет требования к испытательной лаборатории и к клиентам при выполнении процесса оценки соответствия. Эти требования необходимы для получения сопоставимых результатов тестирования сходных реализаций, полученных различными испытательными лабораториями. Настоящий стандарт содержит также некоторые руководящие материалы по процессу оценки соответствия.

К этим требованиям относятся:

a)    требования к тестируемости реализации относительно методов абстрактного тестирования;

b)    общие требования к испытательной лаборатории и к клиенту применительно к любому процессу аттестационного тестирования;

c)    обмен технической и административной информацией, включая заявку о соответствии системы (ЗСС), заявку о соответствии реализации протоколу (ЗСРП) для каждого соответствующего стандарта по протоколу ВОС и дополнительную информацию о реализации протокола для тестирования (ДИРПТ) для каждого комплекта абстрактных тестов (КАТ), которые должны использоваться для тестирования;

d)    взаимодействие между испытательной лабораторией и клиентом для достижения согласованности в определении тестируемой реализации (ТР), по используемым методам аттестационного тестирования, по комплектам аттестационных тестов и по условиям выполнения тестирования;

Издание официальное

ГОСТ Р ИСО/МЭК 9646—5—93

е) требования к структуре и содержимому отчетов об аттестационном тестировании, в которых документируются результаты оценки соответствия.

Настоящий стандарт применим в равной степени и к тем испытательным лабораториям, которые относятся к поставщикам и владельцам, и к независимым испытательным лабораториям.

Настоящий стандарт применим к оценке соответствия тех реализаций ВОС и двухчастевых стандартов по протоколам ISDN, которые отвечают соответствующим требованиям ГОСТ Р ИСО/ МЭК 9646—2 на тестируемость, основанным на стандартах по ат-тестациононму тестированию, определенных в соответствии с ГОСТ Р ИСО/МЭК 9646—2 и использующих средства тестирования, соответствующие ГОСТ Р ИСО/МЭК 9646—4.

В предмет рассмотрения настоящего стандарта не входят:

a)    выработка диагностической трассовой информации, дополнительно к той, которая содержится в журнале соответствия, в результате тестирования, проведенного испытательной лабораторией, и ее предоставление клиенту;

b)    те аспекты операций испытательной лаборатории, которые неспецифичны для тестируемой реализации протоколов ВОС;

c)    аккредитация испытательной лаборатории;

d)    сертификация реализаций протоколов ВОС.

2 НОРМАТИВНЫЕ ССЫЛКИ

Нижеперечисленные стандарты содержат положения, которые путем ссылок на них в данном тексте образуют положения настоящего стандарта. В момент публикации настоящего стандарта указанные издания стандартов были действующими. Все стандарты подвергаются пересмотрам, и участникам соглашений, основанных на настоящем стандарте, следует рассмотреть возможность применения самых последних изданий перечисленных ниже стандартов. Комитеты — члены МЭК и ИСО имеют списки международных стандартов, действующих на текущий момент.

ГОСТ 28906-91 (ИСО 7498) «Системы обработки информации. Взаимосвязь открытых систем. Базовая эталонная модель». (См. также рекомендацию Х.200 МККТТ).

ИСО/ТО 8509—87 «Системы обработки информации. Взаимосвязь открытых систем. Соглашения по услугам». (См. также рекомендацию X.2I0 МККТТ) ¹.

ГОСТ Р ИСО/МЭК 9640—5—93

ГОСТ Р ИСО/МЭК 9646—1—93 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие концепции» (См. также рекомендацию Х.294 (1991) МККТТ).

ИСО/МЭК 9646—3—92 «Информационная технология. Взаи-мосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 3. Комбинированная древовидная и табличная нотация». (См. также рекомендацию Х.292 (1991) МККТТ)².

ГОСТ Р ИСО/МЭК 9646—2—93 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация абстрактного тестового комплекта» (См. также рекомендацию Х.291    (1991)

МККТТ)

ГОСТ Р ИСО/МЭК 9646—4—93 «Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 4. Реализация тестов» (См. также рекомендацию Х.293 (1991) МККТТ)

3 ОПРЕДЕЛЕНИЯ

Для целей настоящего стандарта применимы все определения, приведенные в ГОСТ Р ИСО/МЭК 9646—1. Приводимые в данном разделе определения также применимы к настоящему стандарту.

3.1    Администратор клиента по тестированию — лицо, назначенное организацией клиента ответственным за все вопросы, относящиеся к аттестационному тестированию ТР.

3.2    Администратор испытательной лаборатории — лицо, назначенное испытательной лабораторией ответственным за все вопросы, относящиеся к операциям испытательной лаборатории.

3.3    Оператор тестирования — лицо-или лица, назначенные испытательной лабораторией ответственным (и) за прогон аттестационных тестов относительно ТР.

3.4    Оператор ТС — лицо или лица, назначенное организацией клиента ответственным (и) за работу ТС во время операционного тестирования.

3.5    Согласованный выход (СВ) (из процесса оценки соответствия) — момент времени, в который испытательная лаборатория и клиент совместно решили закончить процесс оценки соответствия.

3.6    Контрольный список испытательной лаборатории — запись относящейся к тестированию информации, предоставляемая клиенту испытательной лабораторией на фазе подготовки к тестиро~ ванию процесса оценки соответствия.

3.7    Контрольный список клиента — запись относящейся к тестированию информации, предоставляемая клиентом для испыта* тельной лаборатории на фазе подготовки к тестированию процесса оценки соответствия.

4 СОКРАЩЕНИЯ

4.1    Сокращения, определенные в ГОСТРИСО/

МЭК 9646 — 1

Для настоящего стандарта применимы следующие сокращения: АСП — абстрактный сервисный примитив.

ВОС — взаимосвязь открытых систем.

ДИРПТ — дополнительная информация о реализации прото* кола для тестирования.

ЗСРП — заявка о соответствии реализации протокол}.

ЗСС — заявка о соответствии системы.

КАТ — комплект абстрактных тестов.

КВАТ — комплект выбранных абстрактных тестов.

КПВТ — комплект параметризованных выполнимых тестов.

МАТ — метод абстрактного тестирования.

ОАТП — отчет об аттестационном тестировании протокола. ОАТС — отчет об аттестационном тестировании системы. ПБД-АУТ — протокольный блок данных административного управления тестированием.

ПДУ — пункт доступа к услугам.

ПКН — пункт контроля и наблюдения.

СТ — средства тестирования.

ТОВ — тест основной взаимосвязи.

ТР — тестируемая реализация.

ТС — тестируемая система.

4.2    Прочие сокращения

Для настоящего стандарта применимо также следующее сокращение:

СВ — согласованный выход.

4

1

До прямого применения данного документа в качестве государственного стандарта распространение его осуществляет секретариат ТК 22 «Информационная технология»

2

2

До прямого применения данного документа в качестве государственного стандарта распространение его осуществляет секретариат ТК22 «Информационная технология».

3