Товары в корзине: 0 шт Оформить заказ
Стр. 1 

56 страниц

Стандарт:

- устанавливает общие требования к проведению эксплуатационных испытаний биометрических систем в отношении определения вероятности появления ошибок и пропускной способности, используемых для прогнозирования и сравнения эксплуатационных характеристик систем, а также для проверки их соответствия установленным эксплуатационным требованиям;

- определяет эксплуатационные характеристики биометрических систем;

- устанавливает требования к методам испытаний и форме представления протоколов с результатами испытаний;

- является основой для разработки и анализа протоколов испытаний для предотвращения систематических ошибок, обусловленных несоответствующими процедурами сбора и анализа данных, а также для более точной оценки результатов эксплуатационных испытаний и уточнения области их применения.

Стандарт распространяется на эмпирические эксплуатационные испытания биометрических систем и алгоритмов на основании анализа степеней схожести и решений, выдаваемых системой, без детальной информации об алгоритмах системы или о законе распределения биометрических характеристик испытуемой выборки.

Оценка вероятностей ошибок и пропускной способности биометрических систем при попытке умышленного обмана (то есть активной попытке "самозванца") находится вне области применения стандарта.

 Скачать PDF

Переиздание. Февраль 2019 г.

Оглавление

1 Область применения

2 Соответствие

3 Нормативные ссылки

4 Термины и определения

     4.1 Биометрические данные

     4.2 Взаимодействие пользователя с биометрической системой

     4.3 Персонал, задействованный в испытании

     4.4 Виды испытаний

     4.5 Биометрические приложения

     4.6 Эксплуатационные характеристики

     4.7 Графическое представление данных

     4.8 Статистические термины

5 Обобщенная биометрическая система

     5.1 Принципиальная схема обобщенной биометрической системы

     5.2 Принципиальные компоненты обобщенной биометрической системы

     5.3 Функции обобщенной биометрической системы

     5.4 Транзакции регистрации, верификации и идентификации

     5.5 Эксплуатационные характеристики

6 Планирование испытания

     6.1 Общие положения

     6.2 Использование других методов испытаний

     6.3 Определение информации о системе

     6.4 Контроль факторов, влияющих на эксплуатационные характеристики

     6.5 Отбор испытуемых субъектов

     6.6 Объем испытания

     6.7 Многократные испытания

7 Сбор данных

     7.1 Исключение отказа сбора данных

     7.2 Собранные данные и особенности испытания

     7.3 Регистрация

     7.4 Транзакции подлинных лиц

     7.5 Транзакции идентификации пользователей, зарегистрированных в системе

     7.6 Транзакции «самозванца»

     7.7 Транзакции идентификации пользователей, не зарегистрированных в системе

8 Анализ

     8.1 Общие положения

     8.2 Фундаментальные эксплуатационные характеристики

     8.3 Эксплуатационные характеристики системы верификации

     8.4 Эксплуатационные характеристики системы идентификации (на открытом множестве)

     8.5 Идентификация на замкнутом множестве

     8.6 Кривая компромиссного определения ошибки и кривая рабочей характеристики...... 28

     8.7 Неопределенность оценок

9 Хранение записей

10 Протоколы эксплуатационных испытаний

     10.1 Фундаментальные показатели

     10.2 Показатели биометрической системы верификации

     10.3 Показатели биометрической системы идентификации

     10.4 Показатели биометрической системы идентификации на замкнутом множестве

     10.5 Учет особенностей испытания

     10.6 Графическое представление результатов

Приложение А (справочное) Различия между видами испытаний

Приложение В (справочное) Объем испытаний и неопределенность

Приложение С (справочное) Факторы, влияющие на эксплуатационные характеристики

Приложение D (справочное) Предварительный отбор

Приложение Е (справочное) Идентификационные эксплуатационные характеристики как функция размера базы данных .......................... 46

Приложение F (справочное) Алгоритмы генерации кривых РХ, КОО и ХСС

Приложение ДА (справочное) Сведения о соответствии ссылочных международных стандартов национальным стандартам

Библиография

 

56 страниц

Дата введения01.07.2009
Добавлен в базу01.09.2013
Актуализация01.01.2021

Этот ГОСТ находится в:

Организации:

25.12.2008УтвержденФедеральное агентство по техническому регулированию и метрологии403-ст
РазработанНИИ БМТ МГТУ им. Н.Э. Баумана
ИзданСтандартинформ2008 г.
ИзданСтандартинформ2009 г.
ИзданСтандартинформ2019 г.

Automatic identification. Biometrics identification. Biometric performance testing and reporting. Part 1. Principles and framework

Стр. 1
стр. 1
Стр. 2
стр. 2
Стр. 3
стр. 3
Стр. 4
стр. 4
Стр. 5
стр. 5
Стр. 6
стр. 6
Стр. 7
стр. 7
Стр. 8
стр. 8
Стр. 9
стр. 9
Стр. 10
стр. 10
Стр. 11
стр. 11
Стр. 12
стр. 12
Стр. 13
стр. 13
Стр. 14
стр. 14
Стр. 15
стр. 15
Стр. 16
стр. 16
Стр. 17
стр. 17
Стр. 18
стр. 18
Стр. 19
стр. 19
Стр. 20
стр. 20
Стр. 21
стр. 21
Стр. 22
стр. 22
Стр. 23
стр. 23
Стр. 24
стр. 24
Стр. 25
стр. 25
Стр. 26
стр. 26
Стр. 27
стр. 27
Стр. 28
стр. 28
Стр. 29
стр. 29
Стр. 30
стр. 30

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ



НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИ И


ГОСТ Р

исо/мэк

19795-1—

2007


Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 1

Принципы и структура


ISO/IEC 19795-1:2006 Information technology — Biometric performance testing and reporting — Part 1: Principles and framework (IDT)

Издание официальное


00

<0

CM


h-

o

о

CM


00


CO

Ш


Москва

Стандартинформ

2009


Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации — ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения»

Сведения о стандарте

1    ПОДГОТОВЛЕН Научно-исследовательским институтом биометрической техники Московского государственного технического университета имени Н. Э. Баумана (НИИ БМТ МГТУ им. Н. Э. Баумана) на основе собственного аутентичного перевода стандарта, указанного в пункте 4

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 355 «Автоматическая идентификация»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 25 декабря 2008 г. № 403-ст

4    Настоящий стандарт идентичен международному стандарту ИСО/МЭК 19795-1:2006 «Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура» (ISO/IEC 19795-1:2006 «Information technology — Biometric performance testing and reporting — Part 1: Principles and framework»).

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (подраздел 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных (региональных) стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении G

5    ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок — в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет

©Стандартинформ, 2009

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

4.7    Графическое представление данных

4.7.1    кривая компромиссного определения ошибки; кривая КОО (detection error trade-off curve; DET curve): Модифицированная кривая рабочей характеристики, по осям которой отложены вероятности ошибки (ложноположительная — по оси X и ложноотрицательная — по оси У).

Примечание — Пример кривых КОО приведен на рисунке 3.

4.7.2    кривая рабочей характеристики; кривая РХ (receiver operating characteristic curve; ROC curve): Кривая, представляющая собой параметрически заданную функцию порога принятия решений, на которой по оси X откладываются вероятности ложноположительных решений (т.е. учитываются попытки «самозванца»), а по оси У - вероятности истинно положительных решений (т.е. учитываются попытки подлинного лица).

Примечание — Пример кривых РХ приведен на рисунке 4.

4.7.3    кривая характеристики совокупной схожести; кривая ХСС (cumulative match characteristic curve; CMC curve): Г рафическое представление результатов идентификационных испытаний, на которой по оси X откладываются значения ранга, а по оси У - вероятность верной идентификации при данном или меньшем ранге.

Примечание — Пример кривых ХСС приведен на рисунке 5.

4.8    Статистические термины

4.8.1    дисперсия V(variance): Мера разброса данных статистического распределения.

Примечание1 — Если Е[Х] является оператором математического ожидания случайной величины X, то

V(X) = E[(X- м)2 ],

где р = Е [X].

П р и м е ч а н и е 2 — Дисперсия, если она известна, показывает, насколько оцениваемая величина соответствует своему истинному значению.

4.8.2    доверительный интервал (confidence interval): Интервал между нижней оценкой L и верхней оценкой U параметра х, в котором вероятность нахождения истинного значения величины х равна установленному значению (например, 95 %).

Пример— Если [L, U] является 95%-ным доверительным интервалом для параметрах, то вероятность (х е [L, U]) = 95 %.

Примечание — Чем меньше объем испытания, тем больше доверительный интервал.

5 Обобщенная биометрическая система

5.1 Принципиальная схема обобщенной биометрической системы

Различные биометрические системы имеют много общих элементов. Сбор биометрических образцов субъекта проводят с помощью датчика. С выхода датчика сигнал посылают на процессор, с помощью которого извлекают отличительные, повторяющиеся характеристики образца (признаки), отбрасывая все остальные элементы. Полученные в результате извлечения признаки хранят в базе данных в виде шаблона или сравнивают с конкретным шаблоном, множеством шаблонов или со всеми шаблонами базы данных для определения соответствия. Решение относительно запрошенной идентичности принимают на основании соответствия признаков образца и сравниваемого шаблона или шаблонов.

Информационные потоки внутри обобщенной биометрической системы, содержащей подсистемы сбора данных, обработки сигнала, хранения, сравнения и принятия решения, показаны на рисунке 1. Данный рисунок поясняет процесс регистрации и работу систем верификации и идентификации. Детальные описания подсистем приведены в следующих подразделах. Состав реальной биометрической системы может отличаться от состава обобщенной биометрической системы, например, контроль качества может проводиться перед сегментацией или выделением признаков.

ГОСТ Р ИСО/МЭК 19795-1—2007

Регистрация

< Верификация

Идентификация

Рисунок 1 — Компоненты обобщенной биометрической системы

5.2 Принципиальные компоненты обобщенной биометрической системы

5.2.1    Подсистема сбора данных

Подсистема сбора данных предназначена для получения изображения или сигнала биометрических характеристик субъекта, предоставившего их биометрическому датчику, и преобразования их в биометрический образец.

5.2.2    Подсистема передачи*

Подсистема передачи, которая не всегда (или неявно) входит в состав биометрической системы, осуществляет передачу образцов, признаков и (или) шаблонов между различными подсистемами. Образцы, признаки и (или) шаблоны могут передаваться с помощью стандартных форматов обмена биометрическими данными. Биометрический образец может быть сжат и (или) зашифрован перед передачей и распакован и (или) расшифрован перед использованием. Биометрический образец может быть изменен во время передачи из-за наличия помех в канале передачи, а также может быть искажен в процессе сжатия или распаковки. Для защиты подлинности, целостности и конфиденциальности хранимых и передаваемых биометрических данных следует использовать методы шифрования.

5.2.3    Подсистема обработки данных

Подсистема обработки данных предназначена для извлечения характерных признаков из биометрических образцов. Данная подсистема обеспечивает обнаружение характерных признаков субъекта в полученном образце (процесс называется сегментацией), выделение признаков и контроль качества для обеспечения различимости и воспроизводимости выделяемых признаков. Если подсистема контроля качества отклоняет полученный образец или образцы, то в подсистему сбора данных поступает управляющая команда для сбора дополнительных образцов.

В случае регистрации подсистема обработки данных создает шаблон из выделенных биометрических признаков. Часто процесс регистрации требует наличия признаков нескольких представлений биометрических характеристик субъекта. Иногда шаблон содержит только признаки.

В оригинале ИСО/МЭК 19795-1 указано, что подсистема передачи не представлена на рисунке 1.

5.2.4    Подсистема хранения данных

Шаблоны, хранимые в базе данных зарегистрированных пользователей, содержатся в подсистеме хранения данных. Каждый шаблон связан с информацией о зарегистрированном субъекте. Шаблоны перед сохранением в базе данных зарегистрированных пользователей могут быть преобразованы в соответствии с форматом обмена биометрическими данными. Шаблоны могут быть сохранены в устройстве сбора биометрических данных на портативном носителе, таком как смарт-карта, или локально, то есть на персональном компьютере в локальной сети или в центральной базе данных.

5.2.5    Подсистема сравнения

В подсистеме сравнения происходит сравнение признаков субъекта с признаками одного или более шаблонов и передача значений степеней схожести в подсистему принятия решения. Степени схожести показывают степень соответствия между сравниваемыми шаблонами. В некоторых случаях признаки представляются в виде шаблонов, хранимых в базе данных. При верификации имеется единственный запрос регистрации субъекта, поэтому подсистема сравнения возвращает единственное значение степени схожести. При идентификации происходит сравнение признаков субъекта с признаками нескольких или всех шаблонов и возвращается значение степени схожести для каждого сравнения.

5.2.6    Подсистема принятия решения

Подсистема принятия решения использует значения степеней схожести, полученные после одной или нескольких попыток, для предоставления результата транзакции верификации или идентификации.

При проведении верификации считают, что шаблон схож со сравниваемым шаблоном, если степень схожести превышает установленный порог принятия решений. Запрос о регистрации субъекта может быть выполнен в соответствии с политикой принятия решения, которая может регламентировать несколько попыток.

При проведении идентификации считают, что поступающий идентификатор является потенциальным кандидатом для субъекта в том случае, если степень схожести превышает установленный порог принятия решений и (или) если значение степени схожести находится среди первых значений, число которых равно установленному значению к. Политика принятия решения может разрешить или потребовать сделать несколько попыток, прежде чем выдать результат идентификации.

Примечание — Мультимодальные биометрические системы могут использоваться аналогично унимодальным биометрическим системам путем обработки общих биометрических образцов, шаблонов или степеней схожести, как если бы они были отдельным образцом, шаблоном или степенью схожести и позволяли подсистеме принятия решений проводить операцию объединения степеней схожести и решений.

5.2.7    Подсистема управления*

Подсистема управления регулирует общую политику, внедрение и эксплуатацию биометрической системы в соответствии с правовыми, юридическими и социальными требованиями и ограничениями, например, такими как:

-    обеспечение обратной связи с субъектом во время и (или) после сбора данных;

-    запрос дополнительной информации от субъекта;

-    хранение и форматирование биометрических шаблонов и (или) биометрических данных;

-    обеспечение окончательной экспертизы результата на основании принятых решений и (или) оценок;

-    установка пороговых значений;

-    установка настроек биометрической системы;

-    проверка условий эксплуатации и хранение небиометрических данных;

-    обеспечение необходимых мер безопасности для конфиденциальности конечного пользователя;

-    взаимодействие с приложением, которое использует биометрическая система.

5.2.8    Интерфейс*

Биометрическая система может взаимодействовать с внешним приложением через прикладной программный интерфейс, интерфейс аппаратного обеспечения или интерфейс протокола.

5.3 Функции обобщенной биометрической системы

5.3.1 Регистрация

При регистрации транзакция субъекта обрабатывается системой для создания и сохранения регистрационного шаблона данного субъекта.

В оригинале ИСО/МЭК 19795-1 указано, что подсистема передачи не представлена на рисунке 1.

ГОСТ Р ИСО/МЭК 19795-1—2007

Процесс регистрации состоит из следующих этапов:

-    получение образца;

-    сегментация и выделение признаков;

-    проверка качества (в результате которой образец или признаки, непригодные для создания шаблона, могут быть отклонены, и будет сформирован запрос на получение дополнительных образцов);

-    создание шаблона (может потребовать признаки нескольких образцов) с возможным преобразованием его в формат обмена биометрическими данными и хранения;

-    попытки верификации или идентификации, чтобы гарантировать пригодность регистрации;

-    попытки повторной регистрации, которые могут быть предоставлены, если первоначальная регистрация оказалась неудовлетворительной.

5.3.2    Верификация

При верификации транзакция субъекта обрабатывается системой для проверки конкретного запроса о регистрации субъекта (например, «Я зарегистрирован как субъект X»). Верификация примет или отклонит запрос. Результат верификации считается ложным, если принимается ошибочный запрос (ложный допуск) или отклоняется правильный запрос (ложный недопуск). Необходимо отметить, что некоторые биометрические системы позволяют одному конечному пользователю регистрировать более одного экземпляра биометрических характеристик (например, система регистрации радужной оболочки глаза может позволить конечному пользователю зарегистрировать изображения радужной оболочки двух глаз, а система регистрации отпечатков пальцев может зарегистрировать два или более пальцев конечного пользователя в качестве резервных на случай, если один из пальцев будет поврежден).

Процесс верификации состоит из следующих этапов:

-    получение образца;

-    сегментация и выделение признаков;

-    проверка качества (в результате которой образец или признаки, непригодные для создания шаблона, могут быть отклонены, и будет сформирован запрос на получение дополнительных образцов);

-    сравнение признаков образца с признаками, извлеченными из шаблона, для определения степени схожести;

-    формирование решения о соответствии признаков образца признакам, извлеченным из шаблона, которое принимают, если степень схожести образца превышает порог принятия решений;

-    возвращение результата верификации, основанного на результате сравнения одной или более попыток в соответствии с политикой принятия решений.

Пример — В системе верификации, позволяющей сделать до трех попыток сравнения с зарегистрированным шаблоном, ложный недопуск возникает при любой комбинации с отказом сбора данных и ложного несоответствия по трем попыткам. Ложный допуск возникает в том случае, если образец получен и ложно совпал с зарегистрированным шаблоном для запрошенной идентичности в любой из трех попыток.

5.3.3    Идентификация

При идентификации транзакция субъекта обрабатывается системой для нахождения идентификатора зарегистрированного субъекта. Результат идентификации предоставляет собой список идентификаторов кандидатов, который может быть пустым или содержать один и более идентификатор. Идентификация считается правильной в том случае, если субъект зарегистрирован и его идентификатор находится в списке идентификаторов кандидатов. Идентификация считается ошибочной, если зарегистрированный идентификатор субъекта не находится в итоговом списке идентификаторов кандидатов (ложноотрицательная идентификация) или транзакция незарегистрированного пользователя выдает непустой список идентификаторов кандидатов (ложноположительная идентификация).

Процесс идентификации состоит из следующих этапов:

-    получение образца;

-    сегментация и выделение признаков;

-    проверка качества (которая может отклонить образец или признаки, непригодные для сравнения и потребовать получения дополнительных образцов);

-    сравнение с некоторыми или со всеми шаблонами базы данных, определяющее степень схожести для каждого сравнения;

-    формирование решения об идентичности шаблонов, которое принимается, если степень схожести превышает порог принятия решений и (или) находится среди первых значений к степеней схожести;

9

-    возвращение результата идентификации одной или более попыток в соответствии с политикой принятия решений.

4—1928

Примечание1 — В полностью автоматизированных биометрических системах идентификатор может соответствовать шаблону с наивысшей степенью схожести (в случае превышения установленного порога принятия решений). При наличии оператора система предоставляет список кандидатов первых г соответствий оператору для принятия окончательного решения. Основные показатели эксплуатационных характеристик биометрических систем, в которых проверку возможных соответствий проводит оператор, не рассматриваются в настоящем стандарте.

Примечание2 — Ложноположительная идентификация невозможна, если известно, что все использующие систему идентификации субъекты зарегистрированы в системе. В данном случае, известном как идентификация на замкнутом множестве, оценка интересующих эксплуатационных характеристик зависит от того, каким образом вероятность правильной идентификации связана с размером возвращаемого списка кандидатов.

5.4 Транзакции регистрации, верификации и идентификации

Каждая из вышеперечисленных биометрических функций зависит от транзакции пользователя. Транзакция состоит из одной или нескольких попыток, разрешенных или требуемых в соответствии с политикой принятия решений. Например, если политика принятия решений для верификации допускает три попытки, то транзакция может состоять из одной попытки или из двух попыток в случае отклонения первой попытки и, наконец, из трех попыток в случае отклонения двух первых попыток.

Каждая попытка может состоять из одного или нескольких представлений образцов, зависящих от работы датчика, политики оценки качества образца и других настроек, ограничивающих число представлений или время, установленное для проведения попытки. Например при попытке регистрации может потребоваться предъявить биометрический образец более одного раза. Часто в биометрических системах верификации последовательность образцов обрабатывается водной попытке, например:

a)    сбор образцов за определенный период времени для поиска наиболее подходящего образца;

b)    сбор образцов до момента достижения соответствия или момента истечения системного времени;

c)    сбор образцов до момента удовлетворения одному из критериев качества или момента истечения системного времени.

Взаимодействие пользователя с биометрической системой включает в себя последовательность транзакций

Для формирования транзакции необходима или разрешена одна или несколько попыток в зависимости от того, требуются ли или разрешены ли системой несколько образцов биометрической характеристики


Для формирования попытки необходимо или разрешено одно или несколько представлений. Для определенных систем понятия представления и размещения эквивалентны


Представление 1

Попытка 1

Транзакция 1

Представление 2

Попытка 2

Транзакция 2

• • • •

• • • •

• • • •

Представление N

Попытка N

Транзакция N

При типичной политике принятия решения неудавшейся попыткой считается невозможность получения биометрических данных, необходимых для формирования попытки после N представлений

В типичной политике принятия решения неудавшейся транзакцией считается невозможность регистрации или сравнения последовательности после N попыток

Рисунок 2 — Представления, попытки и транзакции

ГОСТ Р ИСО/МЭК 19795-1—2007

5.5 Эксплуатационные характеристики

5.5.1    Вероятности появления ошибок

Ошибки результатов верификации и идентификации возникают вследствие ошибок соответствия (т.е. ошибок ложного соответствия и ложного несоответствия) или ошибок получения образцов (т.е. отказов регистрации и отказов сбора данных). Влияние сочетания данных базовых ошибок на появление ошибок принятия решения зависит от числа требуемых сравнений, от того, является ли истинным или ложным запрос идентичности, а также от политики принятия решения, т.е. допускает ли биометрическая система проведение нескольких попыток.

Примечание — Несмотря на то что описание эксплуатационных характеристик в биометрии традиционно проводилось в терминах вероятностей допуска, т.е. вероятностей ложного допуска и ложного недопуска, в литературе неявно возникают определения, противоречащие друг другу: в описании идентификационных биометрических систем встречается понятие «ложное отклонение», возникающее вследствие неправильного соответствия представленного образца шаблону, зарегистрированному другим пользователем. В литературе по управлению доступом встречается понятие «ложное принятие», возникающее вследствие неправильного соответствия представленного образца шаблону, зарегистрированному другим пользователем. ВЛС и ВЛНС в общем случае не являются синонимами ВЛД и ВЛНД. ВЛС и ВЛНС вычисляют относительно сравнений, а ВЛД и ВЛНД - относительно транзакций и относят к принятию или отклонению утверждаемых гипотез, положительных или отрицательных. ВЛД и ВЛНД также включают в себя отказы сбора данных.

5.5.2    Показатели пропускной способности

Показатели пропускной способности устанавливают число пользователей, подвергаемых анализу в единицу времени, зависящее от скорости вычислений и взаимодействия человека с биометрической системой. В общем случае данные показатели применяются во всех биометрических системах и устройствах. Достижение достаточного значения пропускной способности является важным показателем работы биометрической системы. Показатели пропускной способности для системы верификации, например для системы управления доступом, обычно связаны со скоростью взаимодействия пользователя с системой в процессе получения высококачественного биометрического образца. Показатели пропускной способности для системы идентификации, например для системы регистрации в программе социального обеспечения, могут быть сильно занижены из-за потерь во времени, необходимых для сравнения зарегистрированного образца с образцами базы данных. Таким образом, в зависимости от типа системы целесообразно определить время взаимодействия пользователя с системой, а также время режима работы вычислительных аппаратных и программных средств. Фактические экспериментальные измерения быстродействия вычислительной системы приведены в таких руководствах, как [12], и не рассматриваются в настоящем стандарте. Для определения скорости взаимодействия человека с системой необходимо точно установить признаки начала и окончания этого взаимодействия, которое следует провести перед началом испытаний и указать его в протоколе испытаний. В протокол испытаний следует также включить краткий список действий, выполненный пользователем в процессе работы с биометрической системой.

5.5.3    Виды эксплуатационных испытаний

Испытание биометрической системы предусматривает сбор входных данных, таких как изображения и сигналы, которые используются для создания шаблонов при регистрации и для вычисления степеней схожести при попытках верификации и идентификации. Собранные изображения и сигналы можно использовать в режиме реального времени или в режиме отложенного задания при регистрации, верификации или идентификации.

a)    В процессе технологического испытания проводят испытание всех алгоритмов с использованием стандартизированной базы данных, собранной «универсальным» датчиком сбора данных (т.е. датчиком, собирающим образцы, подходящие для всех испытуемых алгоритмов). Тем не менее, эксплуатационные характеристики по отношению к этой базе данных будут зависеть как от внешних условий, так и от выборки. Несмотря на то что для разработки и настройки биометрической системы перед испытанием могут использоваться экспериментальные данные, необходимо, чтобы фактическое испытание проводилось на данных, заведомо неизвестных разработчикам алгоритмов. Испытание проводят путем обработки данных в режиме отложенного задания. Вследствие неизменяемости базы данных результаты технологических испытаний являются воспроизводимыми.

b)    В процессе сценарного испытания проводят испытание всей биометрической системы в условиях, моделирующих определенную ситуацию, максимально приближенную к действительности. Каждая испытуемая биометрическая система имеет свой собственный датчик сбора данных, в результате чего могут быть небольшие различия в получаемых начальных данных. Поэтому при сравнении многоэлементных

4*

11

биометрических систем необходимо уделить внимание тому, чтобы сбор данных для всех испытуемых систем проходил в одних и тех же условиях окружающей среды и с использованием одной и той же выборки. В зависимости от объема памяти каждого устройства, в процессе испытания допускается сочетание сравнения в режимах реального времени и отложенного задания. Воспроизводимость результатов испытания обеспечивается тщательным контролем выполнения сценария.

с) В процессе оперативного испытания, которое зависит от объема памяти рабочей системы, использование режима отложенного задания иногда бывает невозможным. В общем случае, из-за недокументированных различий в условиях эксплуатации добиться воспроизводимости результатов эксплутационных испытаний невозможно. Более того, трудно установить «истинную информацию» (т.е. найти истинный источник «достоверных» биометрических параметров), особенно в условиях проведения оперативного испытания при отсутствии администратора, оператора или наблюдателя.

Эксплуатационные характеристики для различных видов испытаний приведены в приложении А.

6 Планирование испытания

6.1    Общие положения

На первом этапе испытания экспериментатор должен определить:

a)    тип испытуемых систем, их применение и условия испытания;

b)    эксплуатационные характеристики биометрических систем;

c)    данные, необходимые для оценки эксплуатационных характеристик (т.е. определить вид испытания: технологическое, сценарное или оперативное).

Вышеуказанные данные являются основой для разработки соответствующего протокола испытания, определяя необходимые средства контроля условий испытаний, выборку испытуемых субъектов и объем испытаний.

Примечание — Вид испытания может быть определен заранее, например, при наличии базы данных испытуемых образцов для технологического испытания или установленной системы для оперативного испытания. Возможны также условия, при которых все виды испытаний могут быть проведены последовательно, с постепенным сужением модальности вариантов и методов, рассматриваемых для окончательного ввода в действие системы биометрической идентификации.

6.2    Использование других методов испытаний

Для различных биометрических систем и условий их применения испытания могут проводиться разными методами, например, по причине:

a)    различных условий испытаний;

b)    различий в выборке пользователей (например, различий в привыкании пользователей);

c)    различных биометрических модальностей (например, модальностей, находящихся под влиянием различных условий, а также различий между испытаниями преимущественно поведенческой и преимущественно физиологической биометрии);

d)    различных эксплуатационных характеристик (например, измерение общих эксплуатационных характеристик для верификации, идентификации на открытом множестве и идентификации на замкнутом множестве проводят разными методами);

e)    различий в имеющихся данных (например, системы биометрической идентификации, использующие предварительный отбор, не будут предоставлять степени схожести всех признаков образца в сравнении с шаблоном, но недостающие данные не могут считаться неизвестными: образец обычно имеет худшую степень схожести по сравнению с любым шаблоном без предварительного отбора);

f)    дополнительных проблем в установлении истинной информации для систем идентификации (в которой пользователи не представляют требуемую идентичность).

Настоящий стандарт регламентирует основные принципы проведения оценки эксплуатационных характеристик и оформления протокола испытаний. Более точные методы и требования к конкретным видам испытаний, биометрическим модальностям, целевым применениям или оценкам результатов испытаний в настоящем стандарте не рассматриваются.

6.3    Определение информации о системе

При планировании процедур сбора данных экспериментатор должен дать ответы на следующие вопросы о биометрической системе, которая будет подвергнута испытанию:

а) регистрирует ли система информацию о транзакциях? Если нет, то данная информация должна быть записана самим испытуемым субъектом, оператором или наблюдателем за испытанием;

12

ГОСТ Р ИСО/МЭК 19795-1—2007

b)    сохраняет ли система изображения или признаки образцов для каждой транзакции? Это необходимо, если степень схожести определяется в режиме отложенного задания;

c)    выдает ли система информацию о степени схожести или только решения о допуске или недопуске? В последнем случае данные могут быть собраны с различными параметрами настройки безопасности для создания кривой КОО (см. 7.2.3). Если доступна информация о степени схожести, то о каких параметрах;

d)    предоставил ли изготовитель комплект программного обеспечения (КРПО)? Создание степеней схожести для подлинных лиц и «самозванцев» в режиме отложенного задания потребует использования программных модулей КРПО для:

1)    создания зарегистрированных шаблонов от зарегистрированных образцов;

2)    извлечения признаков образца из испытуемых образцов;

3)    определения степеней схожести между признаками образца и шаблонов.

Степени схожести, определяемые программами в режиме отложенного задания, должны быть такими же, которые созданы активной системой. Для этого может потребоваться регулирование параметров;

e)    требует ли система проведения модификаций для испытания? Требуемые модификации будут изменять эксплуатационные характеристики системы;

f)    создает ли система независимые шаблоны? Если шаблоны зависимы, процедуры для сбора или создания транзакций «самозванцев» будут различными (см. 7.6.2.6 и 7.6.3.2);

д) использует ли система алгоритмы, которые адаптируют шаблон после успешной верификации? В этом случае необходимо исходить из количества адаптаций шаблона, которые должны произойти до измерения эксплуатационных характеристик, и возможности неблагоприятного влияния испытания «самозванца» на шаблоны (см. 7.4.4 и 7.6.1.4);

h)    каковы рекомендуемое качество изображения и пороги принятия решений для целевого применения? Данные параметры настройки влияют на качество представленных образцов и вероятности ошибок;

i)    известны ли ожидаемые вероятности ошибок? Данную информацию используют при проверке достаточности объема испытания (см. приложение В.1);

j)    какие факторы будут влиять на эксплуатационные характеристики для этого типа системы? Они должны быть контролируемыми (см. 6.4);

k)    зависят ли эксплуатационные характеристики от размера регистрационной базы данных? Данная зависимость существует у большинства систем идентификации и у некоторых систем верификации, которые выполняют регистрацию группы или осуществляют поиск «один ко многим» во время процесса верификации.

Примечание — При проведении сценарного и оперативного испытаний любые изменения условий окружающей среды и настроек устройств (включая пороги оценки качества и принятия решения) для получения оптимальных эксплуатационных характеристик следует выполнять до начала сбора данных. Строгий контроль качества может привести к уменьшению числа ложных соответствий и ложных несоответствий, но к увеличению ВОСД. Если результаты сравнения предоставляют пользователю, то порог принятия решения также должен быть установлен соответствующим образом, так как положительная или отрицательная обратная связь влияет на поведение пользователя. Оптимальные условия и компромиссные параметры настройки могут быть рекомендованы изготовителем.

6.4 Контроль факторов, влияющих на эксплуатационные характеристики

6.4.1    Показатели эксплуатационных характеристик биометрической системы могут значительно зависеть от способов ее применения, условий окружающей среды и выборки. Список особенностей пользователя, факторов применения, внешних и системных факторов, которые влияют на эксплуатационные характеристики биометрической системы, приведен в приложении В. До начала сбора данных должно быть определено, каким образом будет осуществляться контроль данных факторов.

6.4.2    Факторы, влияющие на измеряемые эксплуатационные характеристики, должны быть явно или неявно отнесены к одному из следующих четырех классов:

a)    контролируемые управляемые факторы, включенные в методику испытания (как независимые переменные);

b)    контролируемые неуправляемые факторы (постоянные в течение испытаний), являющиеся частью условий испытания;

c)    неконтролируемые факторы - случайные и независимые от испытания факторы;

13

d)    незначительные факторы, эффект от которых не будет учитываться. Без данной категории факторов испытание будет очень сложным.

5—1928

Для определения того, какие факторы наиболее существенны, а какие могут быть отнесены к незначительным, может понадобиться провести предварительное испытание биометрических систем. При определении контролируемых факторов может возникнуть противоречие между необходимостью внутренней достоверности (то есть различия в эксплуатационных характеристиках вызваны только независимыми переменными, зарегистрированными при испытании) и внешней достоверности (то есть результаты действительно представляют эксплуатационные характеристики при целевом применении).

Пример — При сравнении эксплуатационных характеристик двух биометрических систем необходимо определить, влияет ли квалификация или личность оператора регистрации на эксплуатационные характеристики. Контролировать этот фактор можно следующим образом:

a)    спланировать эксперимент так, чтобы измерять эксплуатационные характеристики между наблюдателями дифференциально, как и между системами;

b)    использовать только одного оператора или регламентировать взаимодействие оператора или субъекта для соблюдения единообразия в течение испытания;

c)    случайно распределить попытки регистрации между всеми операторами, тем самым исключая любую систематическую ошибку;

d)    если есть данные о том, что различия между операторами регистрации являются небольшими по сравнению с различиями между системами, то данный фактор можно не учитывать.

6.4.3    При технологическом испытании могут быть учтены особенности применения и выборки, гарантирующие, что испытания будут не слишком трудными и не слишком простыми для испытуемых систем.

6.4.4    Для того чтобы биометрическая система могла быть испытана на репрезентативной выборке в реальных условиях, при сценарном испытании должны быть определены и смоделированы условия реального применения и выборка.

6.4.5    При оперативном испытании условия окружающей среды и выборка определяются в реальных условиях под контролем экспериментатора.

6.4.6    Очень важным условием при планировании испытания является определение временного интервала между регистрацией и сбором данных верификации или идентификации. Продолжительные временные интервалы, как правило, затрудняют сравнение образцов и шаблонов из-за явления, известного как «старение шаблона». Это сопряжено с увеличением вероятностей ошибок, вызванных изменениями датчика и биометрических характеристик субъекта, связанными со временем представления образца. Поэтому сбор данных транзакции подлинного лица должен быть отделен во времени от регистрации интервалом, соразмерным с целевым применением. Если данный интервал неизвестен, то разделение во времени должно быть настолько продолжительным, насколько это возможно. Эмпирическое правило заключается в отделении образцов по времени, по крайней мере, обычным временем восстановления структуры (заживления) испытуемой части тела.

Пример —Для заживления раны на пальце должно быть достаточно двух - трех недель. Структуры радужной оболочки глаза могут восстанавливаться быстрее, что позволяет отделять изображения по времени только несколькими днями. Стрижку можно рассматривать как изменение структуры лица, поэтому изображения лица могут быть отделены по времени одним или двумя месяцами.

Примечание — Специальное испытание, разработанное для исследования адаптации пользователя (улучшающаяся степень схожести) или старения шаблона (ухудшающаяся степень схожести), требует получения множества образцов в течение длительного времени. Невозможно разделить эффекты старения шаблона и адаптации пользователя.

6.5 Отбор испытуемых субъектов

6.5.1 Транзакции требуют входных сигналов или изображений биометрических характеристик. Сначала образцы должны поступать от испытуемой выборки или группы. При необходимости использования искусственных образцов или признаков (включая созданных путем изменения реальных данных) их применение должно быть обосновано и указано в протоколе испытания, в котором также должен быть описан метод получения образцов и условия его применимости. Результаты испытания искусственных и неискусственных образцов должны быть указаны в протоколе отдельно, а результаты испытания смешанных искусственных и неискусственных образцов — содержать подробности смешения.

Примечание — Использование искусственно синтезированных изображений биометрических характеристик повысило бы внутреннюю достоверность технологических испытаний, поскольку контролируются все независимые переменные, влияющие на эксплуатационные характеристики. Внешняя достоверность при этом, вероятно, будет снижена. В базу данных также, вероятно, будет внесена систематическая ошибка относительно моделирующих биометрические изображения систем.

ГОСТ Р ИСО/МЭК 19795-1—2007

6.5.2    Испытуемая группа не должна включать в себя людей, биометрические характеристики которых предварительно использовались для разработки или настройки испытуемой биометрической системы.

6.5.3    Испытуемая группа должна быть демографически подобна группе целевого применения, для которой по результатам испытания будут определены эксплуатационные характеристики. В данном случае испытуемые субъекты должны быть выбраны случайным образом из возможных пользователей для целевого применения. В других случаях необходимо использовать добровольцев.

6.5.4    Увеличение числа людей в испытуемой группе за счет добровольцев может оказать влияние на испытания. Люди с редкими признаками, например, инвалиды, могут быть недостаточно представлены в выборке. Если они против использования биометрической технологии, то они не станут добровольцами при испытании биометрической системы. Может возникнуть необходимость неравномерного набора добровольцев, чтобы испытуемая группа была максимально репрезентативной. Современное понимание демографических факторов, влияющих на эксплуатационные характеристики биометрической системы, недостаточно, поэтому целевое приближение остается являться главной проблемой, снижающей достоверность испытания.

6.5.5    Сбор биометрических данных и проведение испытания обычно состоят из нескольких этапов, которые в зависимости от целевого применения биометрических систем отделены друг от друга днями, неделями, месяцами или годами. Не всегда можно собрать испытуемую группу с постоянным составом на данный период, и следует ожидать, что некоторые испытуемые субъекты могут выбыть из группы в период между сбором данных и испытанием.

6.5.6    Для открытых целевых применений испытуемая группа должна быть соответственно проинструктирована и мотивирована так, чтобы ее поведение соответствовало целевому применению. Следует избегать ситуаций, когда испытуемым субъектам надоедают обычные испытания, и они начинают экспериментировать или становятся менее аккуратными.

6.5.7    Для скрытых целевых применений испытуемые субъекты должны вести себя так, будто они не подозревают о получении образца в данный момент. Это может быть достигнуто путем пассивного захвата данных на протяжении длительного периода и путем использования радиометок, чтобы установить правильный идентификатор испытуемых субъектов без их участия.

6.5.8    По возможности испытуемые субъекты должны быть полностью проинформированы о необходимой процедуре сбора данных и осведомлены об условиях использования и распространения необработанных данных. Также следует сообщить о числе и продолжительности этапов испытания. Независимо от характера использования личных данных, они не подлежат разглашению. Должна быть подписана форма соглашения, подтверждающая, что каждый испытуемый субъект принимает соглашение, и информация о нем будет храниться в тайне.

Примечание — Для некоторых видов испытаний, например для оперативного испытания скрытой системы идентификации, информирование испытуемых субъектов, возможно, будет нецелесообразным или может изменить их поведение, что приведет к непригодности собранных данных.

6.6 Объем испытания

6.6.1    Общие положения

Объем числа испытуемых субъектов и числа попыток (а также количества биометрических характеристик, используемых для каждого человека) влияет на точность измерения вероятностей ошибок. Чем больше проводят попыток, тем выше точность результатов. Для уменьшения числа попыток, необходимых для конкретного уровня точности, применяют правило трех и правило тридцати (см. приложение В, раздел В.1). Данные правила являются очень оптимистичными, поскольку предполагают, что вероятности ошибок является следствием единственного источника вариации, что неверно в отношении биометрических систем. Десять испытуемых зарегистрированных пар образцов от каждого из 100 человек статистически не эквивалентны одной испытуемой зарегистрированной паре образцов от каждого из 10ОО человек и не обеспечивают ту же доверительную вероятность результатов.

Примечание — По мере увеличения объема испытания дисперсия оценки уменьшается, но масштабный коэффициент зависит от источника дисперсии. Например, пользователи могут иметь отличающиеся вероятности ошибки [16], дающие компоненту дисперсии, которую вычисляют как единицу, разделенную на число испытуемых субъектов, вместо единицы, разделенной на число попыток. Подробное описание данного эффекта приведено в приложении В.

6.6.2    Сбор нескольких транзакций пользователя

6.6.2.1 В процессе испытания может использоваться несколько транзакций от каждого испытуемого субъекта. Испытания, при которых от каждого пользователя необходимо получить несколько транзакций, включают в себя:

15

ГОСТ Р ИСО/МЭК 19795-1—2007

Содержание

1    Область применения.............................. 1

2    Соответствие................................. 1

3    Нормативные ссылки ............................. 1

4    Термины и определения............................ 2

4.1    Биометрические данные........................... 2

4.2    Взаимодействие пользователя с биометрической системой.............. 2

4.3    Персонал, задействованный в испытании..................... 3

4.4    Виды испытаний.............................. 3

4.5    Биометрические приложения......................... 4

4.6    Эксплуатационные характеристики....................... 4

4.7    Графическое представление данных...................... 6

4.8    Статистические термины........................... 6

5    Обобщенная биометрическая система....................... 6

5.1    Принципиальная схема обобщенной биометрической системы............. 6

5.2    Принципиальные компоненты обобщенной биометрической системы........... 7

5.3    Функции обобщенной биометрической системы................... 8

5.4    Транзакции регистрации, верификации и идентификации...............10

5.5    Эксплуатационные характеристики.......................11

6    Планирование испытания............................12

6.1    Общие положения.............................12

6.2    Использование других методов испытаний....................12

6.3    Определение информации о системе......................12

6.4    Контроль факторов, влияющих на эксплуатационные характеристики..........13

6.5    Отбор испытуемых субъектов.........................14

6.6    Объем испытания..............................15

6.7    Многократные испытания...........................16

7    Сбор данных.................................17

7.1    Исключение отказа сбора данных........................17

7.2    Собранные данные и особенности испытания...................18

7.3    Регистрация................................18

7.4    Транзакции подлинных лиц..........................19

7.5    Транзакции идентификации пользователей, зарегистрированных в системе........ 20

7.6    Транзакции «самозванца»...........................21

7.7    Транзакции идентификации пользователей, не зарегистрированных в системе....... 23

8    Анализ...................................24

8.1    Общие положения.............................24

8.2    Фундаментальные эксплуатационные характеристики................24

8.3    Эксплуатационные характеристики системы верификации...............26

8.4    Эксплуатационные характеристики системы идентификации (на открытом множестве) ....    27

8.5    Идентификация на замкнутом множестве.....................28

8.6    Кривая компромиссного определения ошибки и кривая рабочей характеристики......28

8.7    Неопределенность оценок..........................29

9    Хранение записей...............................29

10    Протоколы эксплуатационных испытаний......................30

10.1 Фундаментальные показатели.........................30

a)    испытание эффектов старения, адаптации и других систематических изменений;

b)    испытание биометрических систем, использующих обновление шаблона;

c)    определение диапазонов вероятностей ошибок, индивидуальных для каждого пользователя;

d)    испытание, при котором транзакция не полностью определена до испытания, например при определении влияния числа попыток в транзакции на эксплуатационные характеристики.

Примечание — Если стоимость и усилия по организации и регистрации группы субъектов не являются важным условием, то для обеспечения независимости транзакций используют большое число испытуемых субъектов, каждый из которых создает отдельную транзакцию. Значительно легче использовать ранее зарегистрированных субъектов, чем найти и зарегистрировать новых. Кроме того, каждый раз при совершении попытки в это же время могут быть проведены несколько дополнительных попыток. Между несколькими транзакциями существует некоторая корреляция; но часто при использовании нескольких транзакций от меньшего числа испытуемых субъектов возникает меньшая неопределенность результатов испытания, чем при испытании аналогичной стоимости, использующем одну транзакцию от большего числа испытуемых субъектов.

6.6.2.2 Число и частота применения испытательных транзакций, полученных от каждого испытуемого субъекта, должны соответствовать их целевому применению. Транзакции могут быть изменены в плане испытания при условии, что измененная структура транзакции незначительно влияет на вероятности ошибок.

Примечание — Поведение пользователя может изменяться при проведении каждой следующей попытки из-за увеличения его осведомленности об устройстве или обратной связи, то есть о результате идентификации. Например первая попытка, которую совершает пользователь, будет иметь более высокую вероятность отказа, чем следующие попытки. В результате наблюдаемая ВЛНС будет зависеть от структуры попыток пользователя, как определено в соответствии с протоколом испытания. Вероятности ошибок оценивают в среднем не только по целевой выборке, но также по попыткам, которые пользователь может выполнить корректно. В этом случае применяют усреднение по нескольким попыткам. Изменение числа и структуры попыток пользователя может повлиять на поведение пользователя и на значение вероятности ошибок.

Пример — Использование нескольких транзакций непригодно для испытаний, в которых пользователь должен быть незнаком с устройством или биометрическим приложением.

6.6.3 Рекомендации по объему испытания

При определении точности результатов испытания число испытуемых субъектов имеет большее значение, чем число проводимых попыток.

a)    Группа должна быть настолько большой, насколько это практически осуществимо. Мерой целесообразности могут быть затраты на набор и испытание группы.

b)    От каждого испытуемого субъекта должно быть получено достаточное число образцов, чтобы общее число попыток превысило значение, требуемое по правилу 3 или правилу 30 соответственно. Если есть возможность собрать несколько образцов в разные дни или разных пальцев, глаз или рук (при условии сохранения репрезентативности1), то можно уменьшить зависимости между образцами одного и того же человека.

c)    После того как данные будут собраны и проанализированы, должна быть проведена оценка неопределенности измерений рабочих характеристик, а также было ли проведено испытание в достаточном объеме.

Примечание — В этом случае применяют закон убывающей отдачи, т.е. цель достигнута, если число ошибок, возникающих из-за изменений условий использования или выборки испытуемых субъектов, превышает число ошибок, возникающих вследствие объема группы и числа опытов.

6.7 Многократные испытания

6.7.1 Если процедура сбора данных не может быть использована из-за ее стоимости, то допускается провести несколько испытаний с одним набором данных. Данный метод используют при проведении технологического испытания. Для биометрических систем, работающих с биометрическими характеристиками, требования к которым установлены в [18] — [21] (отпечаток пальца, лицо, радужная оболочка глаза и голос), может быть собрана одна база данных для испытания алгоритмов сравнения образца от множества

10.2    Показатели биометрической системы верификации.................30

10.3    Показатели биометрической системы идентификации................30

10.4    Показатели биометрической системы идентификации на замкнутом множестве......30

10.5    Учет особенностей испытания.........................30

10.6    Графическое представление результатов....................31

Приложение А (справочное) Различия между видами испытаний..............34

Приложение В (справочное) Объем испытаний и неопределенность.............36

Приложение С (справочное) Факторы, влияющие на эксплуатационные характеристики......42

Приложение D (справочное) Предварительный отбор...................45

Приложение Е (справочное) Идентификационные эксплутационные характеристики как функция размера базы данных ..........................46

Приложение F (справочное) Алгоритмы генерации кривых РХ, КОО и ХСС...........47

Приложение G (справочное) Сведения о соответствии ссылочных международных стандартов национальным стандартам.........................48

Библиография..................................49

IV

ГОСТ Р ИСО/МЭК 19795-1—2007

Введение

Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.

Стандарт устанавливает общие требования к проведению эксплуатационных испытаний биометрических систем, определяет эксплуатационные характеристики, а также требования к записи данных и представлению результатов испытаний.

Настоящий стандарт рекомендуется использовать вместе с другими стандартами комплекса «Идентификация биометрическая».

Сноски в тексте стандарта приведены для пояснения текста стандарта и выделены курсивом.

V

ГОСТР ИСО/МЭК 19795-1—2007

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 1 Принципы и структура

Automatic identification. Biometrics.

Biometric performance testing and reporting. Part 1. Principles and framework.

Дата введения — 2009 — 01 — 01

1    Область применения

Настоящий стандарт:

-    устанавливает общие требования к проведению эксплуатационных испытаний биометрических систем в отношении определения вероятности появления ошибок и пропускной способности, используемых для прогнозирования и сравнения эксплуатационных характеристик систем, а также для проверки их соответствия установленным эксплуатационным требованиям;

-    определяет эксплуатационные характеристики биометрических систем;

-    устанавливает требования к методам испытаний и форме представления протоколов с результатами испытаний;

-    является основой для разработки и анализа протоколов испытаний для предотвращения систематических ошибок, обусловленных несоответствующими процедурами сбора и анализа данных, а также для более точной оценки результатов эксплуатационных испытаний и уточнения области их применения.

Настоящий стандарт распространяется на эмпирические эксплуатационные испытания биометрических систем и алгоритмов на основании анализа степеней схожести и решений, выдаваемых системой, без детальной информации об алгоритмах системы или о законе распределения биометрических характеристик испытуемой выборки.

Оценка вероятностей ошибок и пропускной способности биометрических систем при попытке умышленного обмана (то есть активной попытке «самозванца») находится вне области применения настоящего стандарта.

2    Соответствие

Соответствие биометрических систем требованиям настоящего стандарта обеспечивается соответствием планирования, выполнения и подготовки протоколов эксплуатационных испытаний.

3    Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующий стандарт, которые необходимо учитывать при использовании настоящего стандарта. В случае ссылок на документы, у которых указана дата утверждения, необходимо пользоваться только указанной редакцией. В случае, когда дата утверждения не приведена, следует пользоваться последней редакцией ссылочных документов, включая любые поправки и изменения к ним:

ИСО/МЭК 17025 Общие требования к компетентности испытательных и калибровочных лабораторий

1

Издание официальное

2—1928

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

4.1    Биометрические данные

4.1.1    образец (sample): Биометрическая характеристика пользователя, получаемая на выходе подсистемы сбора данных.

Пример — Изображения отпечатка пальца, лица и радужной оболочки глаза.

Примечание — В сложных системах образец может состоять из множества представленных характеристик (например, запись отпечатков десяти пальцев; изображения лица, полученные с разных углов; изображения радужной оболочки правого и левого глаз).

4.1.2    признаки (features): Цифровое представление информации, извлеченной из образца (подсистемой обработки сигналов) и используемой для создания шаблонов или сравнения с зарегистрированными в базе данных шаблонами.

Пример — Координаты контрольных точек и коэффициенты главных компонент.

4.1.3    шаблон/модель (template/model): Информация, предназначенная для сохранения, полученная из биометрических характеристик пользователя на основе признаков, извлекаемых из образцов, предназначенных для регистрации.

Примечание — Шаблон, как правило, формируется из признаков и предназначен для представления «идеального» образца, который мог бы быть получен от пользователя. В общем случае шаблон — это модель, представляющая собой возможный диапазон биометрических признаков конкретного пользователя. В настоящем стандарте термины «шаблон» и «модель» являются синонимами.

4.1.4    степень схожести/степень подобия (matching score/similarity score): Количественный показатель, характеризующий схожесть извлеченных из образца признаков с шаблоном базы данных.

Примечание1 — Решение о схожести или несхожести принимают в зависимости от того, превышает или нет степень схожести/степень подобия порог принятия решений.

Примечание2 — Чем меньше различий между извлеченными из образца признаками и шаблоном базы данных, тем выше степень схожести.

4.1.5    результат верификации (verification decision): Решение о возможной достоверности заявления пользователя о том, что он является источником определенного шаблона в базе данных системы.

4.1.6    список кандидатов (candidate list): Набор идентификаторов зарегистрированных субъектов, полученный в результате попытки идентификации (или предварительного отбора), которые могут соответствовать идентифицируемому субъекту.

4.1.7    результат идентификации (identification decision): Список кандидатов, для которых источником соответствующих шаблонов может быть идентифицируемый пользователь.

4.2 Взаимодействие пользователя с биометрической системой

4.2.1    представление (presentation): Предъявление пользователем одного биометрического образца.

4.2.2    попытка (attempt): Предъявление системе одного биометрического образца или набора биометрических образцов.

Примечание — Попытка приводит к появлению зарегистрированного шаблона, степени (или степеней) схожести или, возможно, к отказу сбора данных.

4.2.3    транзакция (transaction): Последовательность попыток со стороны пользователя для регистрации, верификации или идентификации2.

Примечание — Существует три вида транзакций: транзакция регистрации, приводящая к регистрации или к отказу от нее, транзакция верификации, приводящая к результату верификации, и транзакция идентификации, приводящая к результату идентификации.

ГОСТ Р ИСО/МЭК 19795-1—2007

4.2.4    попытка подлинного лица (genuine attempt): Попытка пользователя получить положительный результат сравнения представленного биометрического образца и собственного шаблона, хранимого в базе данных.

4.2.5    пассивная попытка «самозванца»3 (zero-effort impostor attempt): Попытка, при которой пользователь предоставляет собственные биометрические характеристики для сравнения с шаблоном другого пользователя.

4.2.6    активная попытка «самозванца» (active impostor attempt): Попытка, при которой субъект предоставляет поддельный или скопированный биометрический образец или специально измененные собственные биометрические характеристики с целью получить положительный результат сравнения с шаблоном другого пользователя.

Примечание — Вероятность ошибки, вызванной активной попыткой «самозванца», будет отличаться от вероятности ошибки, вызванной пассивной попыткой «самозванца». Методы и средства, используемые при активной попытке «самозванца», не рассматриваются в настоящем стандарте.

4.2.7    эффекты представления (presentation effects): Влияние различных параметров датчика и внешних условий на результат представления биометрических характеристик человека.

Пример — При распознавании лиц такими эффектами являются угол расположения субъекта и освещение; при распознавании отпечатков пальцев — поворот пальца и влажность кожи. Во многих случаях различия между изменениями основных биометрических характеристик и эффекты представления могут быть неявными (например, выражение лица при распознавании лиц или изменение высоты звука в системах верификации диктора).

4.2.8    эффекты канала передачи (channel effects): Изменения передаваемого сигнала в процессе преобразования и передачи вследствие дискретизации, помех и особенностей амплитудно-частотных характеристик датчика и канала передачи.

4.3 Персонал, задействованный в испытании

4.3.1    пользователь (user): Человек, предоставляющий системе биометрический образец.

4.3.2    испытуемый субъект (test subject): Пользователь, биометрические данные которого будут регистрироваться или подвергаться сравнению при испытании.

4.3.3    группа (crew): Множество испытуемых субъектов, отобранных для испытания.

4.3.4    целевая выборка (target population): Группа пользователей системы, для которых происходит оценка эксплуатационных характеристик.

4.3.5    администратор (administrator): Человек, проводящий испытание или регистрацию.

4.3.6    оператор (operator): Человек, работающий с реальной системой.

Пример — Персонал, проводящий регистрацию или наблюдающий за процессом верификации или идентификации.

4.3.7    наблюдатель (observer): Штатный сотрудник, записывающий данные испытания или наблюдающий за группой.

4.3.8    экспериментатор (experimenter): Человек, несущий ответственность за описание, разработку и анализ испытания.

4.3.9    испытательная организация (test organization): Официальная организация, под руководством которой проводится испытание.

4.4 Виды испытаний

4.4.1    технологическое испытание (technology evaluation): Испытание одного или более алгоритмов распознавания одинаковых биометрических модальностей с использованием существовавшей ранее или специально собранной базы данных образцов в режиме отложенного задания.

4.4.2    сценарное испытание (scenario evaluation): Испытание, при проведении которого эксплуатационные характеристики системы определяются с помощью прототипа или имитирующего приложения.

4.4.3    оперативное испытание (operational evaluation): Испытание, в котором эксплуатационные характеристики биометрической системы определяются в специальных условиях эксплуатации по специальной целевой выборке.

4.4.4    режим реального времени (online): Режим испытания, при котором регистрация и сравнение выполняются в процессе представления изображения или сигнала.

Примечание — Преимущество испытания в режиме реального времени состоит в том, что биометрический образец может быть немедленно удален, что избавляет от необходимости хранения образца и работы системы в режиме, отличающемся от обычного. Несмотря на это, данные изображения и сигналы рекомендуется по возможности сохранять.

4.4.5    режим отложенного задания (offline): Режим испытания, при котором регистрация и сравнение выполняются отдельно от процесса представления изображения или сигнала.

Примечание1 — Сбор данных изображений и сигналов для регистрации и вычисления степеней схожести в режиме отложенного задания позволяет лучше контролировать, какие попытки и шаблоны следует использовать в каждой транзакции.

Примечание2 — Технологические испытания должны включать в себя запись данных для последующей обработки в режиме отложенного задания. При проведении сценарного и оперативного испытаний транзакции в режиме реального времени могут быть проще для испытателя, так как система работает в обычном режиме, а сохранение изображений и сигналов является рекомендуемым, а не обязательным требованием.

4.5    Биометрические приложения

4.5.1    верификация (verification): Процесс, при котором происходит сравнение представленного пользователем образца с шаблоном, зарегистрированным в базе данных, при этом признаки передаваемого пользователем образца сравниваются с зарегистрированным шаблоном и по результатам сравнения возвращается положительное или отрицательное решение о запрошенной идентичности.

Примечание — Запрос об идентичности может представлять собой имя, персональный идентификационный номер (ПИН), контактной карты или другого уникального идентификатора данного пользователя, предусмотренного биометрической системой.

4.5.2    идентификация (identification): Процесс, при котором осуществляется поиск4 в регистрационной базе данных и предоставляется список кандидатов, содержащий от нуля до одного или более идентификаторов.

4.5.3    идентификация на замкнутом множестве (closed-set identification): Идентификация, при которой все пользователи зарегистрированы в системе.

4.5.4    идентификация на открытом множестве (open-set identification): Идентификация, при которой некоторые пользователи не зарегистрированы в системе.

4.6    Эксплуатационные характеристики

4.6.1    вероятность отказа регистрации; ВОР (failure-to-enrol rate; FTE): Доля выборки, для которой система не может завершить процесс регистрации.

Примечание — Экспериментальное значение ВОР определяют при регистрации испытуемой группы. Рассчитанное или ожидаемое значение ВОР применяют для всей целевой выборки.

4.6.2    вероятность отказа сбора данных; ВОСД (failure-to-acquire rate; FTA): Доля попыток верификации или идентификации, для которых система не может получить или отобрать изображение или сигнал удовлетворительного качества.

Примечание — Экспериментальное значение ВОСД отличается от рассчитанного или ожидаемого и может быть использовано для оценки рассчитанного или ожидаемого значения.

ГОСТ Р ИСО/МЭК 19795-1—2007

4.6.3    вероятность ложного несовпадения; ВЛНС (false non-match rate; FNMR): Доля образцов, полученных в результате попыток подлинного лица, которые ошибочно признаны несовпадающими с шаблоном той же биометрической характеристики данного пользователя, представившего образец.

Примечание — Экспериментальное значение ВЛНС отличается от рассчитанного и может быть использовано для оценки рассчитанного значения.

4.6.4    вероятность ложного совпадения; ВЛС (false match rate; FMR): Доля образцов, полученных в результате пассивных попыток «самозванца», которые ошибочно признаны совпадающими с шаблоном другого пользователя.

Примечание — Экспериментальное значение ВЛС отличается от рассчитанного и может быть использовано для оценки рассчитанного значения.

4.6.5    вероятность ложного недопуска; ВЛНД (false reject rate; FRR): Доля транзакций верификации подлинного лица, которые будут ошибочно отвергнуты.

4.6.6    вероятность ложного допуска; ВЛД (false accept rate; FAR): Доля транзакций верификации «самозванца», которые будут ошибочно приняты.

4.6.7    вероятность истинно положительной идентификации / вероятность идентификации ((truepositive) identification rate/identification rate): Доля транзакций идентификации зарегистрированных в системе пользователей, в результате которых среди возвращаемых идентификаторов присутствует правильный пользовательский идентификатор.

Примечание — Вероятность идентификации зависит от размера регистрационной базы данных, от порога принятия решения для степеней схожести и (или) числа возвращаемых соответствующих идентификаторов.

4.6.8 вероятность ложноотрицательной идентификации; ВЛОИ (false-negative identification-error rate; FNIR): Доля транзакций идентификации зарегистрированных в системе пользователей, в результате которых среди возвращаемых идентификаторов отсутствует правильный пользовательский идентификатор.

Примечание — Значение ВЛОИ равно единице минус значение вероятности истинно положительной идентификации.

4.6.9    вероятность ложноположительной идентификации; ВЛПИ (false-positive identification-error rate; FPIR): Доля транзакций идентификации незарегистрированных в системе пользователей, в результате которых возвращается идентификатор.

Примечание1 — ВЛПИ зависит от размера зарегистрированной базы данных, от порога принятия решения для степеней схожести и (или) числа возвращаемых идентификаторов.

Примечание2 — Для идентификации на замкнутом множестве невозможно определить ВЛПИ, так как все пользователи зарегистрированы.

4.6.10    алгоритм предварительного отбора (pre-selection algorithm): Алгоритм, позволяющий уменьшить число шаблонов, необходимых для сравнения при идентификационном поиске по регистрационной базе данных.

4.6.11    ошибка предварительного отбора (pre-selection error): Ошибка алгоритма предварительного отбора, заключающаяся в отсутствии шаблона пользователя, представившего образец соответствующей биометрической характеристики для идентификации, в отобранной подгруппе кандидатов.

Примечани е — В предварительном отборе с использованием исключительной классификации ошибка предварительного отбора возникает в том случае, если зарегистрированный шаблон и образец того же пользователя той же биометрической характеристики находятся в разных подгруппах.

4.6.12    вероятность проникновения (penetration rate): Характеристика алгоритма предварительного отбора, являющаяся долей числа предварительно отобранных шаблонов от общего числа шаблонов.

4.6.13    ранг идентификации (identification rank): Наименьшее значение к, для которого правильный идентификатор пользователя находится в первых к идентификаторах, возвращенных идентификационной системой.

5

Примечание — Ранг идентификации зависит от размера регистрационной базы данных и должен приводиться как «ранг к из л».

3—1928

1

Например использование мизинца может быть нерепрезентативным для нормального использования биометрической системы отпечатка пальца, и значения вероятности ошибок будут различными [17]. Точно также использование перевернутой левой руки не будет репрезентативным в биометрической системе, предназначенной для регистрации правой руки.

16

2

Транзакция в системах обработки данных — последовательность логических связанных действий для обработки запроса, поступившего в систему. Может содержать большое число (тысячи или сотни тысяч) элементарных логических или арифметических операций.

3

Под термином «самозванец» в настоящем стандарте понимают субъекта, предпринимающего умышленную или неумышленную попытку получить ложный положительный результат сравнения, используя собственные биометрические характеристики, или путем манипуляции, в том числе путем подделки биометрической характеристики.

3

4

Под термином «поиск» в контексте настоящего стандарта подразумевается процесс последовательного сравнения признаков передаваемого пользователем образца с множеством шаблонов, зарегистрированных в базе данных.