ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

ПОЖАРНО-ТЕХНИЧЕСКИЙ АНАЛИЗ

Часть 1

Валидация и верификация методов расчета

(ISO 16730-1:2015,

Fire safety engineering —

Procedures and requirements for verification and validation of calculation methods — Part 1: General, MOD)

Издание официальное

Москва

Стандартинформ

2017

ГОСТ P 57639—2017

Предисловие

1    ПОДГОТОВЛЕН Обществом с ограниченной ответственностью «СИТИС» (ООО «СИТИС») на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 274 «Пожарная безопасность»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 5 сентября 2017 г. № 1009-ст

4    Настоящий стандарт является модифицированным по отношению к международному стандарту ИСО 16730-1:2015 «Пожарно-технический анализ. Процедуры и требования к верификации и валидации методов расчета Часть 1. Общие положения» (ISO 16730-1:2015 «Fire safety engineering — Procedures and requirements for verification and validation of calculation methods — Part 1: General». MOD) путем изменения отдельных фраз. слов, которые выделены в тексте курсивом.

Наименование настоящего стандарта изменено относительно наименования указанного между* народного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные и межгосударственные стандарты, сведения о которых приведены в дополнительном приложении ДА

5    ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты» В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

© Стандартинформ. 2017

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

II

ГОСТ P 57639—2017

определения правильности решения уравнений при условии, что используемые уравнения верны. Валидация позволяет убедиться в том. что фактические результаты соответствуют ожидаемым данным.

На рисунке 1 в общем схематическом виде представлены этапы моделирования и роль верификации и валидации в этих процессах применительно к компьютерным моделям пожаров.

Рисунок 1 — Пример этапов разработки и оценки компьютерных (компьютеризированных) моделей

Концептуальная модель создается на основе анализа реального мира (иногда физической системы) и состоит из данных математического моделирования и уравнений, описывающих физическую систему (уравнения Навье — Стокса, сохранения энергии и массы, а также дополнительные физические модели, например модели турбулентности, аспекты человеческого поведения, поведение конструкции, риск и т. д ). Верификация рассматривает взаимосвязь между концептуальной моделью и компьютеризированной моделью, в то время как валидация — взаимосвязь между расчетной моделью и реальностью.

На рисунке 2 более детально раскрыт пример, приведенный на рисунке 1. и представлена блок-схема для широкого применения, которая включает возможные способы использования алгебраических уравнений в случае их целесообразности.

Процедура начинается с получения необходимых знаний об испытаниях и экспериментах или исследованиях для описания явлений реального мира. На основе восприятия реального мира разрабатывают концептуальную модель в виде подробного словесного описания рассматриваемого(ых) процесса(ов), которая в дальнейшем преобразуется в набор математических взаимосвязей. На основе этих взаимосвязей формируется решение (или ряд решений) путем разбиения одной строки за другой — от более сложных уровней до менее сложных, с применением приближений до такой степени, при которой задача может быть решена с достаточной точностью и приемлемым уровнем затрат на решение (например, временные и связанные с производительностью компьютера).

Теоретическая основа метода расчета компьютерной модели должна быть исследована одним или несколькими экспертами, хорошо знакомыми как с научными основами явлений пожаров, так и с техникой расчетов, но не принимавшими участие в разработке модели. Данное исследование должно включать оценку полноты документации, в частности в отношении численных аппроксимаций. Эксперт должен быть способен оценить, достаточно ли существует научных доказательств в научной литературе для использования применяемых подходов. Данные, используемые в программе для постоянных величин и значений по умолчанию, также должны оценивать на предмет точности и применимости с точки зрения метода расчета и предполагаемого использования. Последнее требование особенно важно в тех случаях, когда данные, используемые для численных постоянных, могут иметь специальные значения для конкретных сценариев. Практические верхние и нижние предельные значения переменных, используемых в качестве входных данных, должны быть четко определены, чтобы ограничить их применение проверенной областью.

7

Рисунок 2 — Схематическое изображение валидации и верификации модели

Между этапами преобразования элементов в систему, пригодную для дальнейшей работы, необходимо выполнять процессы верификации и валидации с целью постоянной проверки системы на возможные источники ошибок В связи со сложностью математической интерпретации явлений пожара в примере на рисунке 2 приведены подробные данные, которые не нужны для оценки (эмпирических) методов расчета т.е. алгебраические уравнения, которые также рассмотрены в настоящем стандарте и представлены в определенной ячейке таблицы.

Методология не ограничена расчетом распространения пожара и подобными задачами, но может быть применена относительно валидации и верификации методов расчета поведения и движения людей. поведения конструкции и оценки рисков.

5.2 Верификация

Верификация представляет собой процесс определения того, что реализация метода расчета в точности соответствует его концептуальному описанию и решению, предоставленным разработчиком.

8

ГОСТ P 57639—2017

Это не подразумевает, что разрешающие уравнения являются пригодными, однако означает, что уравнения реализованы и решены правильно и их реализация точно соответствует концептуальному описанию метода расчета и его решению, предоставленным разработчиком метода.

Таким образом, цель процесса верификации заключается в том. чтобы проверить правильность программного кода и оценить контроль численных ошибок, которые могут быть разделены на три категории; округление, усечение и дискретизация. Ошибки округления возникают вследствие того, что компьютеры предоставляют действительные числа, используя конечное число цифр. Ошибки усечения возникают при замене непрерывного процесса конечным. Например, такие ошибки могут происходить, когда бесконечный ряд усекается после конечного числа членов или когда повторное действие прекращается после того, как критерий сходимости был удовлетворен. Ошибки дискретизации возникают. когда непрерывный процесс, такой как вычисление производной, аппроксимируется дискретным аналогом, таким как разделенная разность. Верификация вычислительного метода должна включать в себя анализ и обсуждение используемых методов и присущих ограничений в конкретных выбранных вариантах.

5.2.1    Проверка компьютерных программ

Программный код может быть проверен на структурной основе, вручную или с помощью программ проверки кода, с целью выявления нарушений и несоответствий в компьютерном коде. Обеспечение четкого определения и регистрации методов и методологий, используемых для проверки программного кода, а также любых обнаруженных недостатков повышает уровень уверенности в способности программы надежно обрабатывать данные, однако это не может служить показателем возможной пригодности и точности используемой программы. Не всегда ошибка указывает на непригодность программы, однако документирование этих «ошибок» предотвращает использование ошибочных режимов программы.

5.2.2    Временная и пространственная дискретизация

Математические модели, как правило, выражены в виде дифференциальных или интегральных уравнений. Модели, в целом, имеют сложную структуру, и аналитические решения часто бывает трудно найти. Для нахождения приближенных решений необходимы численные методы В численном методе происходит дискретизация непрерывной математической модели, то есть приближение с помощью дискретной. численной модели. Дискретизация осуществляется во времени и в пространстве (разбиение на сетки).

Непрерывная математическая модель может быть дискретизирована множеством различных способов, в результате чего будет получено множество различных дискретных моделей Для достижения хорошего приближения к решению непрерывных моделей дискретная модель должна имитировать свойства и поведение непрерывной модели. Это означает, что дискретное решение должно сходиться к решению (если оно существует) непрерывной задачи при уменьшении параметров дискретизации (временного шага, пространственной сетки и т. д.). Это достигается путем выполнения требований совместимости и устойчивости. Совместимость означает, что дискретная модель максимально приближена к непрерывной модели в отношении некоторых оценок, например норм определенных величин. Устойчивость означает, что погрешность не увеличивается по мере выполнения программы.

Следует выявлять и изучать формальный порядок ошибки в пространственной и временной дискретизации Возможно, не удастся провести исчерпывающий анализ, однако необходимо осуществить как часть процесса верификации анализ представления уравнений в дискретную числовую форму.

Многие задачи, связанные с пожаром, включают взаимодействие различных физических процессов. таких как химические или тепловые процессы и механические реакции. Временные и пространственные масштабы, относящиеся к этим процессам, могут существенно отличаться, что приводит к возникновению численных трудностей. Следовательно, при решении дифференциальных уравнений необходимо позаботиться о выборе нужных временных и пространственных шагов, чтобы обеспечить устойчивость (особенно в отношении временного шага для переходных вычислений) и достаточную сходимость вычислений. Некоторые численные методы могут быть использованы для динамического мониторинга параметров дискретизации в соответствии с требованиями устойчивости и точности (например. в отношении пространственной дискретизации, апостериорная оценка ошибок, объединенная с динамическим измельчением сетки). Рекомендуется использовать такие методы, особенно для временной устойчивости, а также для нелинейных задач, которые встречаются в зонных моделях. В этом случае документация программы должна в полной мере объяснять, каким образом это было достигнуто.

и должны быть представлены численные эксперименты со ссылкой на достоверность используемого алгоритма. Это не мешает пользователю проводить для некоторых расчетов исследование сходимости времени и пространства. Каким образом выполняется данная задача систематически в случае выбора параметров дискретизации, остается на усмотрение пользователя.

5.2.3    Проверки сходимости итераций и устойчивости

Важно, чтобы реализация концептуальной модели в виде компьютерной программы была выполнена правильно. Для этого необходимо осуществить следующие действия, когда это применимо:

a)    проверить критерии остаточных ошибок:

b)    проверить устойчивость выходных переменных;

c)    применить глобальные проверки по сохранению соответствующих величин;

d)    по мере возможности, проводить сравнение с аналитическими решениями;

e)    проводить сравнение с более точными решениями, полученными с помощью более полных моделей, которые достоверно прошли верификацию и валидацию;

О проверить воздействие искусственных граничных условий для незамкнутых задач.

5.2.4    Обзор числовой обработки моделей

Важная часть верификации модели заключается в том, чтобы удостовериться, что уравнения и методы, указанные в документации, описывающей подход, были реализованы надлежащим образом, что подразумевает оценку документации, реализацию уравнений в компьютерном коде и анализ используемых методов дискретизации и численных методов.

5.3 Валидация

5.3.1 Общие положения

В данном пункте представлены процедуры с целью определения точности метода расчета для широкого спектра применений. Строгое соблюдение процедуры валидации необходимо, чтобы установить диапазон применения метода расчета и определить точность метода расчета в приемлемом диапазоне. Это является верным для любого вида метода расчета, представленного в настоящем стандарте. Корреляции — это допустимые прогнозирующие инструменты, которые должны быть проверены таким же образом, как компьютерные модели с использованием аналогичных методов.

Даже для простейших случаев задач по оценке пожаров не существует универсальных аналитических решений, то есть решений в аналитическом виде. Однако существует возможность выполнить два типа проверки. Первый тип представляет собой способ, с помощью которого отдельные алгоритмы сверяют с алгоритмами в экспериментальной работе. Второй тип состоит из простых экспериментов. например теплопроводность и излучение, результаты в которых асимптотичны. В частности, в простом испытании с одним помещением при отсутствии возгорания температура должна асимптотически приходить в равновесие к единому значению. Модель должна быть в состоянии воспроизвести это поведение. Наконец, есть возможность вычислить решения для ситуаций, в которых существуют аналитические ответы, однако такие ситуации можно воспроизводить в эксперименте, но не естественным путем.

Расхождение при сравнении алгебраического уравнения или компьютерной модели с экспериментальными данными связано со степенью неопределенности, в которой метод расчета является точным отражением реальной картины с точки зрения его предполагаемого использования (валидация), а также с погрешностью в концептуальном описании метода расчета, предоставленном разработчиком, и решением метода расчета (верификация).

В настоящем стандарте предусмотрены две процедуры, любая из которых может сопровождаться валидацией, которую проводит заинтересованная сторона. Эти процедуры называются «слепая» и «открытая» валидация.

При проведении процедуры слепой валидации сторона, которая проводит валидацию, имеет данные только начальных и граничных условий эксперимента, необходимых для выполнения методов расчета. проходящего валидацию. Эти данные могут включать любой параметр (например, скорость выделения тепла), для которого прогнозирующую способность модели не проверяют. Сторона, проводящая валидацию, не имеет доступа к экспериментальным измерениям выходных данных метода расчета, проходящего валидацию.

В открытой процедуре сторона, проводящая валидацию, имеет данные о начальных и граничных условиях эксперимента, а также сведения об измерениях выходных параметров метода расчета, про-

10

ГОСТ P 57639—2017

ходящего валидацию, до того, как выполняется метод расчета В литературе встречаются и другие определения, используемые по данному вопросу, такие как «априори», «апостериори», «абсолютно слепая» и «наполовину слепая» валидация. В настоящем стандарте приняты и использованы только два термина, «слепая» и «открытая» валидация, как определено выше, которые охватывают диапазон условий, возникающих в процессе валидации.

Существует ряд достоинств и недостатков этих двух процессов валидации. Заинтересованная сторона должна самостоятельно определить, какой из процессов валидации больше соответствует ее потребностям. Пользователь настоящего стандарта должен соблюдать его требования, проводя открытую или слепую валидацию.

Процедура, которую должны использовать в процессе открытой или слепой валидации, представлена в 5.3.2 и 5.3.3.

Во всех случаях обеих процедур валидации необходимо определять сравнительные метрики характеристик качества,

Далее должен быть выбран характер значений, подлежащих сравнению. Если модель прошла валидацию для общей скорости выделения тепла, это не означает ее прохождение валидации для других параметров. Ряд взаимосвязанных типов поведения моделей может приводить к соответствию с общей кривой выделения тепла, однако это происходит при неправильном рассмотрении предметов горения, которые выделяют тепло.

Зонная модель в первую очередь решает глобальные балансы массы и энергии по слоям.

Первым шагом в процессе валидации для таких моделей является проверка скорости выделения тепла и массы, затем могут быть сделаны сравнения значений, связанных с каждым слоем, такие как граница слоя, температура и состав,

С точки зрения модели вычислительной гидродинамики CFD должны быть подтверждены глобальная валидация и локальная валидация энергии, массы, массы по видам и величин перемещения. Полная валидация модели потребует глобальных данных, таких как общая потеря массы или выделение тепла HRR, и локальных данных, таких как скорость движения воздушной массы, местный состав газа и местные значения температур

5.3.2    Процедура открытой валидации

Не существует строгих требований к проведению аудита процедуры открытой валидации. Процедура. которую следует соблюдать в процессе открытой валидации, представлена ниже:

a)    сторона, проводящая валидацию, имеет или получает доступ к начальным и граничным условиям экспериментов, а также к измерениям выходных параметров, прогнозируемых с помощью их метода расчета, прежде чем осуществляют методы расчета:

b)    граничные условия и входные значения, которые будут использованы для методов расчета. должны быть установлены и задокументированы прежде, чем будут осуществлены методы расчета;

c)    методы расчета ни в коем случае не следует осуществлять повторно с измененными граничными условиями экспериментов в качестве входных значений, за исключением рамок анализа неопределенности при оценке риска, где рассматривается результат неопределенности в экспериментальных данных.

5.3.3    Процедура слепой валидации

Процедура слепой валидации требует проведения аудита для того, чтобы подтвердить выполнение процедур, приведенных в данном пункте. Аудит можно проводить либо в соответствии с требованиями. установленными организацией, осуществляющей проверку, либо более формально согласно ГОСТ Р ИСО 19011 и ГОСТ Р ИСО/МЭК 17021 в качестве аудита, проводимого «первой» или «второй стороной», либо «аудита и сертификации, проводимых третьей стороной».

Процедура процесса слепой валидации заключается в следующем:

a)    сторона, проводящая валидацию, должна иметь данные только о начальных и граничных условиях эксперимента, которые необходимы для осуществления методов расчета, проходящих валидацию. Сторона, проводящая валидацию, не должна иметь доступ к результатам экспериментальных измерений данного метода расчета, который проходит валидацию;

b)    процесс слепой валидации может быть использован только тогда, когда должны быть проведены новые эксперименты по валидации или когда существуют опыты валидации, не доступные для общественности и для стороны, проводящей валидацию;

и

c)    спецификация экспериментов, используемая для процесса валидации, включая начальные и граничные условия, должна быть достаточно подробной, чтобы обеспечить аналитиков методов расчета всеми необходимыми входными данными;

d)    в зависимости от цели валидации в качестве граничного условия и вводных данных для метода расчета могут использовать некоторые параметры, такие как скорость выделения тепла, которые должны быть определены при осуществлении валидации;

e)    сторона, проводящая валидацию, должна иметь доступ к экспериментальным измерениям, соответствующим выходным данным расчета, проходящего валидацию, после того, как метод расчета был осуществлен и результаты были предоставлены аудитору;

О эксперименты, в ходе которых получают результаты, используемые для валидации метода расчета, могут проводить либо до. либо после осуществления методов расчета;

д)    в некоторых случаях начальные и граничные условия экспериментов, предоставляемые стороне. проводящей валидацию, должны быть изменены после того, как эксперименты были проведены, чтобы отразить их фактические условия. В таких случаях пересмотренные граничные условия должны быть предоставлены стороне, проводящей валидацию, для повторного осуществления расчетных методов. если расчеты были осуществлены до проведения опытов;

h) во всех случаях должно быть достигнуто соглашение о граничных условиях и входных данных, используемых для методов расчета, до окончательного осуществления расчетных методов и до выхода экспериментальных измерений выходных данных расчета, проходящего валидацию;

О метод расчета ни в коем случае не может быть повторно осуществлен после того, как были получены экспериментальные измерения выходных данных расчета, проходящего валидацию;

j)    результаты метода расчета, подвергаемого валидации, должны быть предоставлены аудитору до того, как будут получены экспериментальные измерения выходных данных расчета;

k)    сторона, проводящая валидацию, должна разработать специальную процедуру валидации в соответствии с настоящим стандартом. Данная процедура должна быть утверждена аудитором до начала процесса валидации.

5.3.4    Отчетность по валидации

Результаты процесса открытой и слепой валидации должны быть документально оформлены и включать в себя следующее;

a)    описание экспериментов и измерений, включая неопределенность в измерениях (см. приложение В);

b)    входные данные, используемые для методов расчета;

c)    сравнение результатов метода расчета с экспериментальными данными с использованием установленных метрик характеристик качества в количественном выражении;

d)    представление расхождений в виде таблиц с использованием установленных метрик характеристик качества в количественном выражении.

Примечание — Расхождение может быть связано с ошибкой и неопределенностью в методе расчета;

е)    граничные и начальные условия экспериментов и, следовательно, сценарии пожаров, для которых применима валидация.

5.3.5    Особые соображения в сравнении прогнозов с данными

Поскольку результаты алгебраической формулы в большинстве своем представляют точечные прогнозы, для них применимы те же принципы, что и для точечных прогнозов компьютерных моделей. Точечные прогнозы следует соотносить с данными (экспериментов, исследований) каждый раз. когда они доступны для рассматриваемой задачи и если они были получены с эквивалентным набором начальных и граничных условий.

Для сравнения прогнозирования временной величины с данными в приложении В представлены два метода для количественной оценки сходства и различия двух кривых, таких как изменение во времени температуры верхнего слоя для прогнозирования модели и эксперимента. Первый метод реализован путем рассмотрения кривых как бесконечномерных векторов и дальнейшего описания различий с помощью векторного анализа. Данный анализ обеспечивает количественный метод валидации моделей пожара и количественной оценки неопределенности в опытных данных.

Второй метод, называемый нормированным евклидовым расстоянием, рассматривает различия между результатами расчетов и измерениями в течение всего пожара. Данная метрика обеспечивает информацию о глобальных ошибках и дает полный обзор возможностей программного кода.

В приложении В показано применение обоих методов.

ГОСТ P 57639—2017

Содержание

1    Область применения ............................................................... 1

2    Нормативные ссылки................................................................ 1

3    Термины и определения............................................................. 2

4    Документация...................................................................... 3

4.1    Общие положения................................................................. 3

4.2    Техническая документация......................................................... 3

4.3    Руководство пользователя.......................................................... 5

5    Методика......................................................................... 6

5.1    Общие положения................................................................. 6

5.2    Верификация.................................................................... 8

5.3    Валидация ......................................................................10

5.4    Обзор теоретической и экспериментальной основы вероятностных моделей................ 13

5.5    Анализ чувствительности .......................................................... 13

5.6    Обеспечение качества............................................................. 14

6    Требования к справочным данным для валидации метода расчета.......................... 15

6.1    Общие положения................................................................. 15

6.2    Особые требования к данным для валидации ......................................... 15

Приложение А (справочное) Неопределенность........................................... 17

Приложение В (справочное) Примеры методов валидации.................................. 19

Приложение С (справочное) Методы анализа чувствительности .............................26

Приложение D (справочное) Методика обеспечения контроля качества .......................29

Приложение ДА (справочное) Сведения о соответствии ссылочных национальных

и межгосударственных стандартов международным стандартам, использованным

в качестве ссылочных в примененном международном стандарте................33

Библиография.......................................................................34

III

Введение

Цель пожарно-технического анализа заключается в оказании помощи в достижении приемлемого расчетного уровня пожарной безопасности. Кроме того, в настоящем стандарте описано использование методов расчета для того, чтобы:

-    прогнозировать ход событий, которые потенциально могут иметь место в случае пожара или в его результате:

• оценивать возможности противопожарной защиты по снижению воздействия неблагоприятных последствий пожара на людей, имущество, окружающую среду и другие объекты.

Основные принципы, которые необходимы для обеспечения надежности этих методов расчета. — верификация и валидация.

В настоящем стандарте в общих чертах рассмотрены оценка, верификация и валидация методов расчета пожарно-технического анализа

Потенциальные пользователи методов расчета и лица, ответственные за принятие полученных результатов, должны быть уверены в том. что методы расчета обеспечивают достаточно точные прогнозы течения и последствий пожара в каждом конкретном случае. В связи с чем необходимо, чтобы выбранные методы расчета прошли верификацию на предмет математической точности и валидацию на способность воспроизводить эти процессы. Тщательно проводимый процесс валидации и верификации является ключевым элементом обеспечения качества проделанной работы.

Не существует четко установленного требования к точности, применимого ко всем методам расчета. так как уровень точности зависит от цели использования метода расчета. Причем не все методы расчета должны демонстрировать высокую точность при наличии выявленных ошибок, неопределенностей и ограничений применимости.

Предметом настоящего стандарта является точность прогнозирования методов расчета. Однако и другие факторы, такие как удобство использования, актуальность, завершенность и статус разработки, играют важную роль в оценке применения наиболее подходящего метода расчета в каждом конкретном случае Оценка пригодности метода расчета для специального назначения в области пожарно-технического анализа достигается благодаря использованию методологии контроля качества, что гарантирует выполнение требований. В настоящем стандарте в краткой форме изложено руководство по определению системы метрик для измерения свойств соответствующих характеристик качества.

Настоящий стандарт содержит части, которые используют полностью или частично в своей работе следующий круг лиц:

-    разработчики методов расчета (частные лица или организации, осуществляющие деятельность в области разработок, в том числе анализ требований, проектирование и тестирование компонентов) для документального подтверждения актуальности того или иного метода расчета, возможно, для конкретного применения. Часть разработки метода расчета включает в себя определение прецизионности и границ применимости, а также независимое тестирование:

-    разработчики методов расчета (частные лица или организации, которые осуществляют поддержку компьютерных моделей, их поставку и оценку качества в рамках обеспечения оценки и контроля качества) для документального оформления процесса разработки программного обеспечения и предоставления пользователям гарантии, что соответствующие методы испытаний соблюдены с целью обеспечения качества прикладных инструментов;

-    пользователи методов расчета (лица или организации, которые используют методы расчета для выполнения анализа), которым необходимо удостовериться в том, что они применяют соответствующий метод для конкретного случая и что данный метод обеспечивает достаточную точность при расчете;

-    разработчики норм и стандартов для определения соответствия метода расчета сообразно его применению;

-    надзорные органы/представители надзорных органов (частные лица или организации, занимающиеся изучением и утверждением применения методов и инструментов оценки), которые несут ответственность за то, что метод расчета используется в рамках определенной области применения и имеет приемлемый уровень точности;

-    преподаватели, которые объясняют применение и допустимость данных методов расчета.

Пользователи настоящего стандарта должны иметь соответствующую квалификацию и компетентность в области пожарно-технического анализа и оценки риска. Важно, чтобы пользователи могли определять параметры, в пределах которых могут быть использованы конкретные методики.

ГОСТ P 57639—2017 (ИСО 16730-1:2015)

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ПОЖАРНО-ТЕХНИЧЕСКИЙ АНАЛИЗ Часть 1

Валидация и верификация методов расчета

Fire safety engineering Part 1 Validation and verification of calculation methods

Дата введения — 2018—06—01

1    Область применения

Настоящий стандарт обеспечивает основу для верификации и валидации всех видов методов расчета, используемых в качестве инструментов для пожарно-технического анализа. В нем не представлены конкретные модели пожара, однако настоящий стандарт предназначен для применения в аналитических моделях, алгебраических зависимостях и сложных численных моделях, которые рассмотрены в качестве методов расчета в контексте настоящего стандарта.

Настоящий стандарт включает:

-    процесс, позволяющий определить, что соответствующие уравнения и методы расчета реализованы правильно (верификация) и что рассматриваемый метод расчета точно отображает реальность (валидация);

-    требования к документации, подтверждающей пригодность научно-технической основы метода расчета;

-    требования к данным, на основе которых должны быть проверены прогнозируемые результаты метода расчета;

-    руководство по использованию настоящего стандарта разработчиками и/или пользователями методов расчета и лицами, которые занимаются оценкой результатов, полученных с помощью методов расчета.

2    Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 28195-89 Оценка качества программных средств. Общие положения

ГОСТ Р ИСО/МЭК 25010—2015 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE) Модели качества систем и программных продуктов

ГОСТ Р ИСО/МЭК 25040—2014 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Процесс оценки

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте национального органа Российской Федерации по стандартизации в сети Интернет или по ежегодному информационному указателю «Национальные стандарты*, который опубликован по состоянию на 1 января текущего года и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия) Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная

Издание официальное

ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1    точность (accuracy): Степень точности, присущая приближению, измерению и т. д.

3.2    метод расчета (calculation method): Математический метод, используемый для прогнозирования явлений, вызванных пожаром.

Примечание — Методы расчета могут отражать поведение лкадей, а также объектов или пожара, по типу они могут быть как вероятностными, так и детерминированными и могут быть выражены как алгебраическими формулами, так и в виде сложных компьютерных моделей

3.3    калибровка (модели) (calibration of a model): Процесс корректировки параметров моделирования в вычислительной модели с целью повышения их соответствия экспериментальным данным.

3.4    компьютерная (компьютеризированная) модель (computer(rized) model): Исполняемая компьютерная программа, которая реализует концептуальную модель.

3.5    концептуальная модель (conceptual model): Описание, включающее в себя всю информацию. данные математического моделирования и математические уравнения, описывающие представляющую интерес (физическую) систему или процесс.

3.6    значение по умолчанию (default value): Стандартная настройка или состояние, которые использованы программой, если системой или пользователем не задана другая настройка или состояние.

3.7    детерминированная модель (detenninistic model): Метод расчета, использующий научно-обоснованные математические выражения для получения одного и того же результата каждый раз, когда расчет осуществляют с одним и тем же набором значений входных данных.

3.8    инженерная оценка (engineering judgment): Процесс, выполняемый специалистом, который обладает соответствующими квалификацией, образованием, опытом и навыками и который уполномочен выполнять, дополнять, принимать или отклонять компоненты количественного анализа.

3.9    ошибка (error): Опознаваемая неточность на определенном этапе или в действии в процессе расчета, не являющаяся следствием недостаточности знаний.

3.10    модель пожара (fire model): Представление системы или процесса, связанного с развитием пожара, включая динамику и воздействие пожара

3.11    математическая модель (mathematical model): Набор уравнений, описывающих поведение физической системы.

3.12    показатель измерения (measure): Переменная, которой присваивают значение по результатам измерений.

3.13    измерение (measurement): Набор операций с целью определения значения показателя измерения.

3.14    метрика характеристик качества (metric): Количественная или качественная мера относительного достижения желаемой характеристики качества.

3.15    моделирование (modelling): Процесс построения или модификации модели.

3.16    численная модель (numerical model): Численное представление физической модели (пожара).

3.17    физическая модель (physical model): Модель, демонстрирующая воспроизведение пожара в упрощенных физических условиях (например, масштабная модель).

3.18    вероятностная модель (probabilistic model): Модель, которая рассматривает явление в виде серии последовательных событий или состояний, с использованием математических правил для управления переходом от одного события к другому, например от возгорания к установившемуся горению, а также вероятностей, заданных для каждой точки перехода.

3.19    прецизионность (precision): Ошибка в реализации и решении метода расчета, точно отображающая представленное разработчиком концептуальное описание метода расчета.

3 20 анализ чувствительности (sensitivity analysis): Исследование методом расчета степени, в которой изменения в конкретных параметрах воздействуют на результаты, полученные с помощью метода расчета.

3.21 моделирование (simulation): Выполнение или использование метода расчета.

2

ГОСТ P 57639—2017

3.22    расчетная модель (simulation model): Модель, рассматривающая динамические соотношения. существование которых предполагается в реальности, как ряд элементарных операций с соответствующими переменными.

3.23    неопределенность (uncertainty): Потенциальная неточность на определенном этапе или в действии в процессе моделирования, вызванная недостаточностью знаний.

3.24    валидация (validation): Процесс определения степени, в которой метод расчета является точным отражением реальности сточки зрения предполагаемого использования метода расчета.

3.25    верификация (verification): Процесс определения того, что реализация метода расчета точно отражает выполненное разработчиком концептуальное описание метода расчета и решение метода расчета.

Примечание — Фундаментальная стратегия верификации вычислительных моделей представляет собой идентификацию, количественную оценку ошибок в расчетной модели и их решение

4 Документация

4.1    Общие положения

Техническая документация должна быть достаточно подробной, чтобы все результаты расчетов могли быть воспроизведены с установленной достоверностью и прецизионностью квалифицированным(ой) независимым лицом или группой лиц. Подробная документация методов расчета, в том числе компьютерное программное обеспечение, имеет существенное значение для оценки адекватности научно- технической основы методов расчета и точности вычислительных процессов. Кроме того, составленная должным образом документация может помочь в предотвращении некорректного применения методов расчета. Отчеты о любой верификации и валидации конкретного метода расчета должны становиться частью документации. Достоверность метода расчета включает в себя сравнение результатов сданными реальных пожаров или статистических исследований, испытаний и экспериментов и должна быть подтверждена с применением методики обеспечения контроля качества. Это дает показатель или набор показателей измерений, которые следует сравнивать с заранее определенными критериями, чтобы продемонстрировать соблюдение утвержденных требований к качеству

В состав документации следует включать:

-    техническую документацию с пояснением научной основы метода расчета (см 4.2);

-    руководство пользователя в том случае, если метод расчета является компьютерной программой (см. 4.3).

Необходимые требования к технической документации и руководству пользователя представлены в 4.2 и 4.3. Перечень требований достаточно подробный, однако это не исключает использование других форм информации, которые могут помочь пользователю в оценке применимости и пригодности метода расчета.

4.2    Техническая документация

4.2.1    Общие положения

Техническая документация необходима для оценки научной базы метода расчета. Предоставление технической документации метода расчета является задачей разработчиков модели. Необходимо. чтобы техническая документация детально описывала метод расчета и его основу, отражала возможности метода надлежащим образом и предоставляла пользователям информацию, необходимую для правильного применения метода расчета. В случае расчетов путем алгебраических уравнений, полученных по результатам испытаний путем регрессии, или если применены аналитические решения, пользователю следует полагаться на соответствующую документацию стандартов или аналогичного рода материалы, например на научную литературу. Когда разрабатывают стандарты, которые содержат методы расчета для использования в системе пожарной безопасности, источник(и) для применяемых методов расчета, а также техническую документацию в соответствии с 4 2.2—4.2.4 следует предоставлять, где это применимо.

4.2.2    Описание метода расчета

Описание метода расчета должно включать подробную информацию о нижеследующем:

а) цель:

1) определить решаемую задачу или выполняемую функцию.

3

2)    описать результаты метода расчета.

3)    включить технико-экономические обоснования и формулировку обоснованности:

b)    теория:

1)    описать основную концептуальную модель (главное явление), если применимо,

2)    описать теоретическую основу явления и физические законы, на которых основан метод расчета. если применимо;

c)    реализация теории, если применимо:

1)    представить основополагающие уравнения,

2)    описать используемые математические методы, процессы и вычислительные алгоритмы и предоставить их источники,

3)    определить все допущения, вложенные в логику, с учетом ограничений по входным параметрам, вызванных областью применения метода расчета.

4)    обсудить прецизионность (погрешность) результатов, полученных посредством использования основных алгоритмов, и в случае с компьютерными моделями — любую зависимость от конкретных компьютерных возможностей.

5)    описать результаты анализа чувствительности;

d)    входные данные:

1)    описать необходимые входные данные.

2)    предоставить информацию об источнике необходимых данных.

3)    для компьютерных моделей перечислить все необходимые вспомогательные программы или внешние файлы данных.

4)    предоставить информацию об источнике, содержании и использовании библиотек данных для компьютерных моделей.

4.2.3    Описание верификации и валидации метода расчета

Верификация и валидация метода расчета должны быть полностью и подробно описаны и содержать информацию:

a)    о результатах любых попыток оценки прогностических возможностей метода расчета в соответствии с разделом 5. что должно быть представлено в количественном выражении;

b)    ссылках на уже выполненные обзоры, аналитические испытания, сравнительные испытания, экспериментальную валидацию и проверки кода. Если в случае с компьютерными моделями валидация метода расчета основана на бета-тестировании, в документации должен быть указан профиль лиц. участвовавших в тестировании (например, участвовали ли они в разработке метода расчета или были обычными пользователями; были ли им предоставлены дополнительные инструкции, не доступные потенциальным пользователям конечного продукта, и т. д );

c)    степени, в которой метод расчета соответствует требованиям настоящего стандарта.

Техническая документация должна быть представлена как один документ, такой как руководство,

если речь идет о компьютерных моделях. Всякий раз. когда алгебраические уравнения в явном виде используют для решения задачи пожарной безопасности, соответствующая техническая документация может быть приведена из источников, указанных выше.

Методы обеспечения качества следует использовать для определения соответствия программного обеспечения предполагаемым целям. Данный процесс более подробно изложен в 5.6. Он поддерживается путем определения и использования соответствующих методов обеспечения качества для достижения показателя измерения или набора (полученных) показателей измерения, что позволяет масштабировать качество расчетного метода и определяет, является ли метод расчета достаточно точным. чтобы соответствовать требованиям потенциального пользователя. (См., например, требования ГОСТ 28195 и понятие внутренних и внешних метрик характеристик качества и качества программного продукта в использовании, приведенное в серии стандартов ИСО/МЭК «Требования и оценка качества программного обеспечения (SquaRE)»).

Цель оценки метода расчета заключается в том, чтобы сравнить качество метода расчета с требованиями к качеству, в которых отражены потребности пользователей, или даже выбрать метод расчета путем сравнения различных методов расчета.

4.2.4    Примеры с решением

Техническая документация должна включать по меньшей мере один пример (или несколько примеров) с решением. Примеры с решением могут потребоваться как для алгебраических уравнений

4

ГОСТ P 57639—2017

в явной форме, так и для математических моделей. Последние рассмотрены в 4.3.9. Задача примера с решением заключается в том. чтобы продемонстрировать, какие входные данные необходимы и степень их ограничения, а также показать область применения результата(ов) рассматриваемого метода расчета. Примерами необходимых входных данных и их предполагаемой областью применения или ограничений, в пределах которых вычисление прошло валидацию, могут быть геометрия, свойства материалов и граничные условия. Область применения и точность метода расчета должны быть четко определены в документации.

Примечание — Использование метода расчета вне указанных сценариев, определенных посредством валидации, может приводить к значительным ошибкам в реализуемых решениях вопросов безопасности и мерах противопожарной защиты (см, требования к определению области применения, установленной в процессе валидации. в 5 3)

4.3 Руководство пользователя

4.3.1    Общие положения

Руководство пользователя необходимо, только когда речь идет о компьютерных моделях. Руководство пользователя для компьютерной модели должно позволять пользователю понять применение модели и методологию, воспроизводить компьютерную операционную среду и результаты примеров задач, включенные в руководство, изменять входные данные и осуществлять запуск программы для указанных областей значений параметров и предельных значений. Руководство должно быть изложено достаточно четко, чтобы служить в качестве справочного документа для подготовки входных данных и интерпретации результатов. Документация по установке, техническому обслуживанию и программированию может быть включена в руководство пользователя или представлена отдельно. Для установки программы на компьютере необходимо достаточное количество информации. Все формы документации должны включать в себя имя и необходимую информацию для определения конкретной версии метода расчета и определения организации, ответственной за техническую поддержку метода расчета и дальнейшее обслуживание.

В случае с компьютерными моделями руководство пользователя должно предоставлять в полном объеме информацию, необходимую пользователю, для правильного применения компьютерных моделей (см 4.3.2—4.3.10).

4.3.2    Описание программы

Описание программы представляет собой полное описание:

a)    модели;

b)    основных выполненных задач обработки данных и используемые методы и процедуры расчетов (блок-схема может быть полезна);

c)    знаний и навыков, необходимых для выполнения стандартных запусков программы.

4.3.3    Инструкции по установке и эксплуатации

В инструкциях по установке и эксплуатации должны быть:

a)    указана минимально необходимая аппаратная конфигурация;

b)    указан(ы) компьютер(ы). на котором(ых) программа была успешно выполнена:

c)    указаны используемые языки программирования и операционные системы, а также версия программного обеспечения;

d)    предоставлены инструкции по установке программы;

e)    определены стандартное время для персонала и время установки, чтобы выполнить стандартный запуск программы;

f)    предоставлена информация, необходимая для оценки времени выполнения программы компьютером с помощью действующих компьютерных систем для определенных задач.

4.3.4    Расчеты программы

Расчеты программы должны содержать:

a)    описание функции кахщой значительной опции, доступной для решения различных задач, а также руководства по выбору этих опций;

b)    определение границы области применения (например, ряд сценариев, для которых достоверно или предположительно действует основополагающая теория, или ряд входных данных, для которых был испытан метод расчета);

5

с) список ограничений программы, включая соответствующие диапазоны данных и поведение программы, в том случае, когда эти диапазоны превышены, а также, когда данная информация должна быть представлена в технической документации.

4.3.5    Описание входных данных

Описание входных данных должно:

a)    предоставить имя и описание каждой входной переменной, ее размерных единиц, значений по умолчанию (при их наличии) и источника (если он не находится в широком доступе):

b)    описать все особые способы ввода данных;

c)    определить ограничения входных данных на основе устойчивости, точности и практичности данных и применимости модели, а также полученные в результате ограничений для выходных данных;

d)    описать все значения переменных по умолчанию и процесс присвоения этих переменных значений. определенных пользователем;

e)    если возможна обработка последовательных случаев, объяснить условия сохранения данных или их повторной последовательной инициализации.

4.3.6    Файлы внешних данных

Файлы внешних данных включают:

a)    описание содержания и организации файлов внешних данных;

b)    ссылки на вспомогательные программы, которые создают, изменяют или редактируют эти файлы

4.3.7    Требования управления системой

В требованиях управления системой следует:

a)    подробно описать процедуру, необходимую для установки и запуска программы;

b)    перечислить команды управления операционной системой;

c)    перечислить подсказки программы и привести область соответствующих ответов;

d)    при возможности, описать, каким образом прервать работу программы во время ее выполнения, продолжить или осуществить выход из нее. а также указать статус файлов и данных после прерывания работы.

4.3.8    Выходные данные

Выходные данные должны содержать:

a)    описание выходных данных программы и порядок графического изображения данных;

b)    руководство по оценке того, достигает ли программа правильного решения, при необходимости.

4.3.9    Примеры задач/примеры с решением

Примеры задач/примеры с решением предоставляют файлы с примерами соответствующих выходных данных, позволяющих пользователю верифицировать правильность работы программы; эти примеры задач должны выполнять большую часть доступных запрограммированных вариантов (для сравнения см. 4.2.4.)

4.3.10    Обработка ошибок

На данном этапе необходимо:

a)    предоставить список сообщений об ошибках, которые могут быть сгенерированы программой;

b)    предоставить список инструкций для соответствующих действий при возникновении сообщений об ошибках:

c)    описать поведение программы при нарушении ограничений;

d)    описать процедуры восстановления.

5 Методика

5.1 Общие положения

Верификация и валидация метода расчета — это процессы, используемые для определения точности соответствия метода расчета реальному миру с точки зрения предполагаемых целей его применения (валидация) и степени точности, с которой реализация метода расчета отображает представленное разработчиком концептуальное описание и решение (верификация). Верификация — это процесс

6