МЕЖГОСУДАРСТВЕННЫЙ СОВЕТ ПО СТАНДАРТИЗАЦИИ, МЕТРОЛОГИИ И СЕРТИФИКАЦИИ

(МГС)

INTERSTATE COUNCIL FOR STANDARDIZATION, METROLOGY AND CERTIFICATION

(ISC)

ГОСТ ISO/IEC 23988—

2015

Информационные технологии

КОДЕКС ПРАКТИЧЕСКОГО ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ (IT) ДЛЯ ДОСТАВКИ АССЕСМЕНТА

(ISO/IEC 23988:2007, ЮТ)

Издание официальное

Предисловие

Цели, принципы и основной порядок проведения работ по межгосударственной стандартизации установлены ГОСТ 1.0-92 «Межгосударственная система стандартизации. Основные положения» и ГОСТ 1.2-2009 «Межгосударственная система стандартизации. Стандарты межгосударственные, правила и рекомендации по межгосударственной стандартизации. Правила разработки, принятия, применения, обновления и отмены»

Сведения о стандарте

1    ПОДГОТОВЛЕН федеральным государственным бюджетным образовательным учреждением высшего профессионального образования «Московский государственный технологический университет «СТАНКИН» на основе собственного аутентичного перевода на русский язык стандарта, указанного в пункте 4

2    ВНЕСЕН Федеральным агентством по техническому регулированию и метрологии

3    ПРИНЯТ Межгосударственным советом по стандартизации, метрологии и сертификации (протокол от 18 июня 2015 г. № 47)

За принятие проголосовали:

Краткое наименование страны по МК (ИСО 3166) 004—97 Код страны по МК (ИСО 3166)004—97 Сокращенное наименование национального органа по стандартизации Армения AM Минэкономики Республики Армения Киргизия KG Кыргызстандарт Россия RU Росстандарт Узбекистан UZ Узстандарт

4 Приказом Федерального агентства по техническому регулированию и метрологии от 17 ноября 2015 г. № 1840-ст межгосударственный стандарт ГОСТ ISO/IEC 23988—2015 введен в действие в качестве национального стандарта Российской Федерации с 1 ноября 2016 г.

5    Настоящий стандарт идентичен международному стандарту ISO/IEC 23988:2007 Information technology — A code of practice for the use of information technology (IT) in the delivery of assessments (Информационные технологии. Кодекс практического использования информационной технологии (IT) для доставки ассесмента).

Перевод с английского языка (еп).

Сведения о соответствии межгосударственных стандартов ссылочным международным стандартам приведены в дополнительном приложении ДА.

Степень соответствия — идентичная (ЮТ)

6    ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодном информационном указателе «Национальные стандарты», а текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячном информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет

© Стандартинформ, 2015

В Российской Федерации настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

Примечание — Ответ может состоять в выборе одного или нескольких вариантов, открытых ответов в формате ИТ, более сложных ответов в формате ИТ, которые должны пройти проверку человеком, но затем могут быть переданы ИТ. Ответ может быть аудиозаписью. См. также 3.9 и 3.18.

3.23    результат (result): Итог прохождения кандидатом ассесмента.

Примечание — Результат может быть выражен как зачет/незачет, уровень, процент или в случаях формального или диагностического ассесмента в виде устного ответа.

3.24    оценка (score): Численная мера достижений кандидата в ассесменте в целом или по отдельным элементам.

3.25    валидность (validity): Степень, в которой оценка соответствует поставленной цели, путем измерения того, что она должна измерять, и получения результатов, которые можно использовать по их прямому назначению.

Примечание — Ассесмент имеет низкую валидность, если на результат ассесмента сильно влияют навыки, не имеющие отношения к заявленным целям оценки.

3.26    рабочее место (workstation): Оборудование, предоставленное для отдельного кандидата в ассесмент-центре, в том числе аппаратные ИТ-средства, стул, стол или свободное место за ним.

4    Руководящие принципы

В основе настоящего стандарта лежат следующие руководящие принципы, имеющие отношение ко всем заинтересованным организациям:

a)    доставка или подсчет результатов ассесмента с использованием ИТ не должны приводить к снижению валидности и надежности ассесмента;

b)    ИТ-доставка и подсчет результатов должны быть одинаково доступны для всех кандидатов, и по мере возможности значимыми не должны быть факторы, которые не имеют отношения к знаниям, пониманию и навыкам оценивания (к таким факторам относится отсутствие современных компьютерных навыков, если это не является объектом ассесмента);

c)    должны быть сделаны разумные корректировки для обеспечения потребностей людей с ограниченными возможностями так, чтобы ни один кандидат не испытывал дискомфорта.

Примечание — Обратить внимание на любые законодательные нормы в отношении инвалидности и людей с ограниченными возможностями;

d)    здоровье и безопасность кандидатов (или тех, кто разрабатывает, организовывает или проводит ассесменты) не должны быть поставлены под угрозу;

e)    если конфиденциальность ассесмента и правильных ответов является важным требованием, то необходимо наличие процедур для поддержания конфиденциальности ассесмента в течение всего цикла;

f)    конфиденциальность и целостность данных кандидата следует поддерживать в течение всего жизненного цикла ассесмента.

Примечание — Обратить внимание на любые законодательные нормы, касающиеся защиты данных, неприкосновенности частной жизни или свободы информации и т. д.;

д) должен вестись контрольный журнал, чтобы любые вопросы или неисправности могли быть исследованы;

h) должно осуществляться резервное копирование объектов, чтобы минимизировать задержки, когда задержки во времени или сбои влияют на результат, особенно для высокоуровневых ассесментов.

5    Интерфейс между содержанием и ИТ-доставкой ассесмента

Примечание — Раздел описывает взаимосвязь между содержанием ассесмента и программным обеспечением ассесмента, и относится как к заказчикам ассесмента, которые определяют педагогические требования ассесмента, так и к распространителям ассесмента, которые отвечают за разработку и настройку программного обеспечения. Заказчики ассесмента должны следовать 5.1, распространители ассесмента — 5.2.

Этот раздел применим как для высокоуровневого, так и для низкоуровневого ассесмента, как для ассесмента с использованием общего программного обеспечения (способного работать с целым рядом различных ассесментов), так и для ассесмента с использованием специфичного программного обеспечения, которое используется для единичного ассесмента или группы ассесментов.

ГОСТ ISO/IEC 23988—2015

5.1    Обязанности заказчиков ассесмента

5.1.1    Заказчики ассесмента должны гарантировать, что они ознакомлены с программным обеспечением, которое используется в настоящее время или которое будет использовано в будущем, и со связанными с программным обеспечением платформами доставки, чтобы:

a)    понимать их достоинства и ограничения;

b)    оценивать возможные последствия ИТ-доставки по валидности и надежности отдельных элементов ассесмента;

c)    использовать программные функции (например, типы элементов данных, мультимедийные элементы), имеющие отношение к предполагаемому ассесменту;

d)    выявлять ассесмент, для которого ИТ-доставка не подходит или должна быть дополнена другими методами ассесмента.

5.1.2    Заказчики ассесмента должны четко определить параметры, необходимые для каждого ассесмента, в том числе:

a)    количество и типы элементов, которые будут использоваться;

b)    принцип выбора элементов для каждой ассесмент-сессии (например, фиксированные формы ассесмента, компьютерный выбор из банка данных, любые ограничения на выбор);

c)    различные ограничения по времени;

d)    любые ограничения на навигацию между элементами (см. 7.1);

e)    правила ассесмента, в том числе разрешенные и запрещенные ресурсы (см. 6.4.3 и 7.3.3);

f)    правила оценки для отдельных элементов и для подсчета общего результата (если необходимо), в том числе правила оценки элементов, не выполненных до конца (см. 8.1 и 8.3);

д) правила обеспечения обратной связи (см. 8.3).

5.1.3    Заказчики ассесмента должны протестировать ассесмент (сочетание программного обеспечения и содержимого) в процессе разработки и непосредственно перед использованием, чтобы убедиться, что все аспекты доставки, подсчета результата и обратной связи работают согласно своему назначению и в соответствии с педагогическими требованиями.

Примечание — Признано, что некоторое «стандартное» программное обеспечение для подсчетов и доставки может использоваться для решения нетиповых задач.

5.1.4    При разработке содержания ассесмента заказчики ассесмента должны рассмотреть и вопросы, касающиеся кандидатов с ограниченными возможностями, в том числе:

a)    для кандидатов, не владеющих ИТ, должны быть предложены альтернативные методы ассесмента;

b)    эффект от использования вспомогательных технологий, влияющий на достоверность элементов (например, когда текстовая формулировка, альтернативная графическому изображению, изменяет характер элемента).

Примечание — Некоторые системы могут «блокировать» рабочий стол, чтобы предотвратить использование другого программного обеспечения во время ассесмента, которое может ограничить использование вспомогательных технологий.

5.1.5    Необходимо убедиться, что выбранная система достаточно надежна и масштабируема, что она сможет обеспечить ассесмент таким образом, чтобы ни один кандидат не находился в невыгодном положении по техническим причинам.

5.2 Обязанности распространителей ассесмента

Распространители ассесмента должны обеспечить заказчику ассесмента:

a)    полную информацию о возможностях, ограничениях и функциях программного обеспечения и связанной с ним платформы доставки результатов, которая имеет отношение к педагогическим аспектам ассесмента;

b)    перечень параметров, которые определяются заказчиком ассесмента (см. 5.1.2).

6 ИТ-доставка ассесмента — общие положения

Примечание — Данный раздел применим к распространителям ассесмента, которые разрабатывают, покупают или адаптируют программное обеспечение к ассесменту. Раздел также представляет интерес для разработчиков программного обеспечения. Все подразделы применимы к высокоуровневым ассесментам; 6.1, 6.2, 6.3

7

и 6.5 также применимы к низкоуровневым ассесментам. Раздел применим как для ассесмента с использованием общего программного обеспечения (способного работать с целым рядом различных ассесментов), так и с использованием специфичного программного обеспечения, которое используется для единичного ассесмента или группы ассесментов.

6.1    Интероперабельность

6.1.1    При разработке программного обеспечения необходимо обратить внимание на упрощение обмена данными с другими пользователями ассессмента (например, использование стандартов IMS для вопросов и тестирование интероперабельности). Это также может включать в себя отслеживание тестирования кандидатов заказчика или системы управления обучением коммерческих организаций.

6.1.2    После импортирования элементов ассесмента принимающая организация должна убедиться, что они функционируют правильно с аппаратным и программным обеспечением, используемым кандидатами.

6.2    Оборудование, программное обеспечение и средства коммуникации

6.2.1    Средства ИКТ, доступные для кандидатов

При проектировании программного обеспечения для ИТ-доставки ассессмента должны учитываться средства ИКТ, которые могут быть доступны предполагаемым кандидатам и в ассесмент-цен-трах. Ключевые стороны, которые должны быть рассмотрены, включают следующее:

a)    доступ к ассесменту, если программное обеспечение требует ИКТ более высокого уровня, чем доступно в большинстве ассесмент-центров;

b)    влияние платформы доставки результатов в ассесмент-центре на скорость работы программного обеспечения, необходимого для ассесмента;

c)    возможность обеспечения платформы доставки более чем одной версией программного обеспечения, необходимого для ассесмента;

d)    скорость подключения к сети Интернет, поскольку это может повлиять на типы элементов, которые могут использоваться.

6.2.2    Спецификация платформ доставки

Спецификация поставки платформы доставки для программного обеспечения ассесмента, хотя она может быть использована не только для ассесмента, должна включать следующую информацию:

a)    минимальные требования к оборудованию, в том числе к сети и периферийным устройствам;

b)    раскладка клавиатуры (например, EN/RU);

c)    разрешение и яркость экрана;

d)    операционная система(ы), включая диапазон допустимых номеров версий;

e)    язык (например, английский, французский) операционной системы (это может затронуть, например, отображение дат и чисел, используя десятичную запятую, и число битов для кодирования символов);

f)    любое программное обеспечение, требуемое в дополнение к основному программному обеспечению ассесмента (например, программное обеспечение браузера, программные расширения, определенные шрифты), включая версии применяемого программного обеспечения;

д) линии связи;

h) вспомогательные технологии, на которые программное обеспечение ассесмента может ссылаться (включая любые особые параметры настройки или включения аппаратных средств).

6.2.3    Согласованность требований

Насколько это возможно, распространители ассесмента должны свести к минимуму изменения в платформе доставки необходимой для различных ассесментов в течение долгого времени.

6.2.4    Требования к серверу и подключение к сети доставки

6.2.4.1    Там, где ассесменты доставляются по сети или с помощью сети Интранет, сервер и соединения должны быть достаточными, чтобы время отклика на компьютере кандидата или терминала было приемлемым. Также необходимо принять во внимание:

a)    средний объем трафика между сервером и кандидатом в пределах одного ассесмента (частота, размер транзакций);

b)    максимальное количество кандидатов в любой момент времени.

6.2.4.2    Там, где ассесменты доставляются через Интернет или другим способом, где скорость соединения не может быть гарантирована, должны быть приняты меры для обеспечения того, чтобы

8

ГОСТ ISO/IEC 23988—2015

кандидаты не испытывали неудобства в связи с медленным соединением. В зависимости от обстоятельств меры могут включать одно или более из следующих действий:

a)    загрузить ассесмент целиком в локальную сеть или на жесткий диск непосредственно перед началом ассесмента;

b)    устранить ненужное использование мультимедиа;

c)    увеличить лимит времени (если таковой имеется), чтобы компенсировать задержки (для некоторых ассесментов эта мера не действует);

d)    возбудить процедуру апелляции в случае задержки.

6.2.5 Специальные символы

6.2.5.1    Следует проявлять осторожность, гарантировать, что любые необходимые специальные символы или форматы отображаются корректно при ИТ-доставке ассесмента. Это может быть необходимо, например:

a)    для ассесмента знания иностранного языка;

b)    если ассесмент доставляется посредством другого языка;

c)    для валютных символов (€, £);

d)    для некоторых математических или научных символов, включая верхние и нижние индексы;

e)    при отображении на дисплее математических уравнений.

6.2.5.2    Если в результате ассесмента кандидату требуется ввести символы, которые не указаны на клавиатуре (как могло бы быть в случае ассесмента знания иностранных языков или для математических или научных символов), то необходимо предоставить простой способ ввода этих символов (например, сочетание клавиш или диапазон символов, которые могут быть скопированы или которые необходимо перетащить) при поддержке информационно-справочной системы.

6.3    Ассесменты с ограничением по времени

Если ассесмент имеет ограничение по времени, отсчет времени не должен начинаться, пока кандидат не ознакомится с инструкциями и вводной информацией.

Если ассесмент имеет ограничение по времени, необходимо обратить внимание на следующее:

a)    дополнительное время для кандидатов с использованием вспомогательных технологий (см. 3.7);

b)    увеличение времени задержки из-за снижения производительности системы;

c)    остановка и перезапуск времени, если есть запланированный перерыв;

d)    обеспечение наблюдателя возможностью повторно устанавливать время после незапланированного перерыва (например, при необходимости или при наличии определенных технических факторов).

6.4    Функции безопасности

6.4.1    Безопасность программного обеспечения для ассесмента

Программное обеспечение для ассесмента должно быть защищено от несанкционированного изменения в коде или параметрах, в процессе разработки и использования. Процедуры разработки и технического обслуживания должны осуществляться в соответствии с ISO/IEC 17799:2005,12.4, 12.5 и 12.6.

6.4.2    Безопасность элементов и правильных ответов

6.4.2.1    Программное обеспечение для ассесмента должно включать возможности для защиты безопасности и целостности элементов и (если необходимо) правильных ответов. Для высокоуровневого ассесмента такие возможности могут включать (но не ограничиваются ими) следующее:

a)    защита паролем на различных уровнях;

b)    индивидуальные пользовательские Ю и пароли;

c)    шифрование файлов элементов и правильных ответов.

6.4.2.2    Если пользователю под своим Ю дан только один доступ к ассесменту, наблюдатель должен иметь возможность это изменить, чтобы позволить кандидату возобновить работу после планового или внепланового перерыва.

6.4.2.3    Алгоритмы оценивания, правильные ответы и т. д., которые присутствуют в ассесмент-цен-тре, должны быть защищены от несанкционированного доступа. Распространитель ассесмента должен обеспечить реализацию любых мер безопасности в ассесмент-центрах.

9

6.4.3    Предотвращение несанкционированного доступа кандидатов к внешней информации и посторонней помощи

Примечание — Данный подраздел относится только к использованию запрещающих правил ассесмен-та. Его не следует рассматривать в тех случаях, когда, например, кандидаты должны находить нужную информацию, используя Интернет. Меры предосторожности, изложенные в настоящем подразделе, не нужны, если есть процедуры, гарантирующие, что программное обеспечение для ассесмента используется только на автономных компьютерах и нет никакой возможности для посторонней помощи. Данный подраздел является наиболее значимым для высокоуровневых ассесментов, но его также следует рассматривать для использования в низкоуровневых ассесментах для обеспечения надежных результатов.

6.4.3.1    По возможности программное обеспечение для ассесмента должно включать средства для предотвращения получения кандидатами электронного доступа к посторонней помощи во время проведения ассесмента, такие как:

-    источники информации, включая Интернет и собственные файлы кандидата, хранимые в другой области сети;

-    калькулятор, проверка правописания и словари;

-    общение с другими людьми, в том числе с другими кандидатами.

Такие средства могут включать:

a)    сокрытие всех панелей навигации и т. д., которые могут предоставить доступ к такой помощи;

b)    отключение быстрых клавиш, которые могут дать такого рода доступ;

c)    запрет на возвращение к программному обеспечению ассесмента, если было зафиксировано обращение к другой программе;

d)    предотвращение просмотра исходного кода в браузере;

e)    применение подобных гарантий для любой информации или пособий, использование которых разрешено.

6.4.3.2    Там, где предотвращение такого несанкционированного доступа не представляется возможным, должны быть приняты меры по выявлению такого доступа через процедуры наблюдения.

Следует также обратить внимание на использование программных средств для обнаружения несанкционированного доступа к внешней информации и посторонней помощи. Это может включать:

a)    контроль нажатия клавиш;

b)    регистрацию времени, необходимого для решения каждого задания.

Эти данные могут быть подвержены ретроспективному мониторингу для того, чтобы обнаружить любые необычные явления, которые могут свидетельствовать о мошенничестве.

Примечание — Кандидаты должны быть проинформированы о любых средствах контроля нажатия клавиш.

6.4.4    Предотвращение несанкционированного доступа в ходе ассесмента

Где это возможно, программное обеспечение должно включать в себя средства для предотвращения несанкционированного доступа к содержанию ассесмента кандидатом или другим лицом, например, предотвращая:

a)    печать элементов ассесмента;

b)    копирование элементов ассесмента в другие приложения;

c)    перенаправление элементов ассесмента на другие компьютеры.

Там, где невозможно предотвращение посредством программного обеспечения, должны быть приняты меры по выявлению такого доступа через процедуры наблюдения. Такие меры также должны обеспечить то, что любая заметка или решение, сделанные в ходе ассесмента, не попадут за пределы помещения.

6.4.5    Предоставление перерывов

6.4.5.1    При длительности ассесмента более 1,5 ч, когда кандидат работает почти все время с использованием экрана компьютера, необходим перерыв, если он не наносит ущерба цели и достоверности ассесмента.

6.4.5.2    Там, где требуется перерыв, должны быть приняты меры по обеспечению безопасности и следованию правилам во время перерыва. В зависимости от характера ассесмента они могут включать:

a)    разбиение ассесмента на две или более независимые части;

b)    программные функции и процедуры, которые позволяют сессии, которая будет прервана, возобновиться с места паузы;

c)    наблюдение за кандидатами во время перерыва.

ГОСТ ISO/IEC 23988—2015

6.4.5.3 Во время перерыва должен быть обеспечен запрет на несанкционированный доступ к ас-сесменту как кандидатом, так и любыми другими лицами, будь то запланировано или нет. Наблюдатель должен контролировать доступ к ассесменту после перерыва.

6.5 Проверка программного обеспечения для ассесмента

6.5.1    Проверка распространителем

6.5.1.1    Проверка программного обеспечения должна быть:

a)    систематической;

b)    плановой;

c)    документированной;

d)    охватывать конкретные моменты, перечисленные в настоящем стандарте.

6.5.1.2    Программное обеспечение ассесмента должно быть тщательно проверено:

a)    на всех платформах ИТ-доставки, для которых оно указано как пригодное к использованию;

b)    для всех альтернативных версий программного обеспечения (если используется);

c)    при максимально вероятной нагрузке.

Проверка должна подтвердить, что:

1)    ассесмент соответствует педагогическим требованиям (что должно быть подтверждено либо экспертами педагогики, либо ссылкой на спецификации, которые предоставлены педагогами-экспертами);

2)    программное обеспечение функционирует, в том числе правильно отображается текст и графическая информация, правильно функционируют мультимедийные элементы, навигация и управление периферийными устройствами и вспомогательными технологиями (см. 7.4);

3)    любая разница в скорости работы между рабочими местами слишком мала, чтобы иметь влияние на общее время, затраченное кандидатом на выполнение ассесмента (см. 6.2.4).

Примечание — В низкоуровневом ассесменте или где нет ограничения по времени, некоторые различия в скорости работы могут быть приемлемы.

6.5.1.3    Если используется общее программное обеспечение, операция каждого отдельного ассесмента или группы ассесментов должна быть успешно проверена непосредственно до использования. Необходимо обратить внимание на любые особые характеристики, такие как использование специальных символов и шрифтов, использование нетекстовых функций (например, графики, мультимедийных файлов).

6.5.2 Информация и возможности проверки для ассесмент-центров

6.5.2.1    Информация об оборудовании, программном обеспечении и требованиях к связи (включая любые изменения требований) должна быть предоставлена ассесмент-центрам до начала ассесмент-сессии. Эта информация должна включать:

a)    предназначенную платформу доставки (см. 6.2.2 и 6.2.4);

b)    сочетание аппаратного и программного обеспечения, на котором работа программного обеспечения для ассесмента была проверена распространителем ассесмента, включая вспомогательные технологии;

c)    размеры файлов, которые будут храниться на локальных аппаратных средствах и сетях.

6.5.2.2    Ассесмент-центры должны иметь возможность проверки связи и совместимости платформ доставки с программным обеспечением ассесмента заранее, непосредственно до начала ассесмент-сессии.

6.5.2.3    Для каждого ассесмента (или каждой группы аналогичных ассесментов) должны быть предусмотрены пробы, позволяющие ассесмент-центрам заранее проверить, что все функции оборудования, на котором планируется проведение ассесмента, работают удовлетворительно. Это особенно важно там, где используются нетекстовые функции или специальные символы.

6.5.2.4    Если есть вероятность, что ассесмент, включающий нетекстовые функции, будет использоваться на различных платформах ИКТ без тщательной проверки, необходимо информировать кандидатов сообщениями с советом обратиться за технической помощью, если нетекстовые функции недоступны.

7 Программное обеспечение для ИТ-доставки ассесмента — навигация, удобство и простота использования

Примечание — Этот раздел применим к распространителям ассесмента, которые разрабатывают, приобретают или адаптируют программное обеспечение к высокоуровневому и низкоуровневому ассесменту. Это также относится к разработчикам программного обеспечения и разработчикам открытых учебных материалов и пособий, которые включают тесты, контрольные вопросы для самооценки.

11

7.1    Обеспечение соответствующими навигационными средствами

7.1.1    Программное обеспечение для ассесмента должно обеспечивать простую, понятную и последовательную навигацию, которая позволит кандидату перемещаться по элементам ассесмента так же свободно, как это разрешено правилами.

7.1.2    Если кандидату разрешается пропустить или оставить элемент ассесмента без ответа, то этот метод должен быть простым и ясным. Если есть возможность пропустить элемент и вернуться к нему позже, то метод возврата к элементу также должен быть простым и ясным.

7.1.3    Если кандидат может выполнять элементы в любой последовательности в пределах всего ассесмента либо в пределах определенного подмножества элементов, то:

a)    порядок перемещения вперед и назад по элементам должен быть простым и ясным, возврат на один элемент вперед или назад должен проходить легко. Каждый элемент ассесмента должен иметь свою нумерацию;

b)    особое внимание должно быть уделено переходу на первый или последний элемент, а также на любой элемент с запросом по его номеру;

c)    если кандидату разрешают вернуться и изменить ответ по данному элементу, этот метод должен быть простым и ясным.

7.1.4    Если возврат к данному элементу системой не предусмотрен, то необходимо уделить внимание тому, чтобы кандидат подтвердил, что ответ является окончательным, особенно если некоторые элементы в подмножестве остаются без ответа.

7.1.5    Если кандидату разрешают отправить результаты ассесмента до истечения положенного времени, то необходимо, чтобы кандидат подтвердил, что ответы являются окончательными, особенно если некоторые элементы в подмножестве остаются без ответа.

7.2    Обеспечение кандидатов информационной поддержкой

Программное обеспечение должно предоставить адекватную информацию и помощь кандидатам,

в том числе:

a)    информацию о том, как отвечать на различные элементы, как работают средства навигации и выхода (информация предоставляется до начала ассесмента);

b)    информацию о количестве элементов, типах элементов, допустимом времени (если используется ограничение), об оценке ассесмента (информация предоставляется до начала ассесмента);

c)    текущую информацию о количестве элементов, оставленных без ответа, об оставшемся времени (если применяется ограничение по времени);

d)    если есть ограничение по времени, то должно появляться предупреждающее сообщение о том, что время проведения ассесмента подходит к концу (предлагается выдавать его за 10 мин. до конца ассесмента);

e)    легкодоступное меню «Помощь».

7.3    Удобство и простота использования

7.3.1 Проектирование программного обеспечения для удобства и простоты использования

При проектировании программного обеспечения для ассесмента должны учитываться требования к удобству и простоте использования, такие как:

a)    соответствие дизайна пользовательским умениям и особенностям, особенно в области ИТ-навыков (см. ISO 9241-11);

b)    соответствие платформы ИТ-доставки и интерфейса пользователей (см. ISO 9241-11);

c)    контроль пользователя за отображением данных, если это совместимо с педагогическими или оценочными требованиями (см. ISO 9241-11);

d)    соответствие экранных форм, верстки и цветовых отображений (см. ISO 9241-302, ISO 9241-303, ISO 9241-305, ISO 9241-11 и ISO 9241-12);

e)    соответствие навигации, функциональности, позиционирования и названия кнопок и значков, позиционирование и терминология выводимых на экран сообщений (см. ISO 9241-11, ISO 9241-12 и ISO 9241-13);

f)    альтернативные методы ввода данных, навигации по мере возможности (например, использование цифровой клавиатуры или мыши) (см. ISO 9241-11);

g)    выбор цветов и шрифтов для легкой читаемости, в том числе для кандидатов с нарушениями зрения (см. ISO 9241-302, ISO 9241-303, ISO 9241-305).

12

ГОСТ ISO/IEC 23988—2015

7.3.2 Отказоустойчивость

7.3.2.1    Программное обеспечение для ассесмента должно включать функции отказоустойчивости:

a)    отключение неподходящих ключей;

b)    принятие верхнего и нижнего регистра, если нет заданий с реагированием на определенный регистр;

c)    меры (например, диалоговые окна), чтобы предотвратить случайный выход кандидата из ассесмента;

d)    меры по предотвращению недопустимых моделей ответа (например, проверкой наличия двух ответов там, где требуется только один).

7.3.2.2    Применение функций по отказоустойчивости должно быть обсуждено с экспертами, т. к. ИТ-доставка ассесмента представляет собой альтернативу бумажной версии. Должны быть рассмотрены все преимущества/недостатки для кандидатов, которые используют электронную версию.

7.3.3 Доступ к отображаемым данным и вспомогательным устройствам

Если ассесмент позволяет использовать электронные устройства (например, калькуляторы), они должны быть:

a)    четко обозначены;

b)    доступны непосредственно на экранной форме элемента, для которого они необходимы;

c)    видны, по крайней мере частично, одновременно с элементом;

d)    легко перемещаться или прокручиваться по мере необходимости.

7.4    Ссылки на вспомогательные технологии

Примечание — Некоторые аспекты хорошего дизайна, такие как четкость экранов и последовательное позиционирование кнопок, полезны всем пользователям, а не только людям с ограниченными возможностями. См. Библиография, источники информации по обеспечению доступа к ИТ людей с ограниченными возможностями.

7.4.1    При разработке программного обеспечения для ассесмента необходимо обратить внимание на интерфейсы для облегчения использования вспомогательных технологий, включая:

a)    альтернативные и вспомогательные устройства вывода, такие как увеличители экрана, наушники и упаковки с шрифтом Брайля;

b)    альтернативные и вспомогательные устройства ввода, такие как программное обеспечение распознавания речи, сенсорные экраны, звуковое подтверждение нажатия клавиш.

7.4.2    Меры по облегчению использования вспомогательных устройств вывода могут включать в

себя:

a)    текстовые эквиваленты для изображений (в том числе графиков и диаграмм) и мультимедиа;

b)    теги, задающие используемый язык;

c)    использование стилей, которые позволяют пользователю изменять аспекты представления презентации.

7.4.3    Следует уделить внимание возможным интерфейсам для вспомогательных технологий. В частности:

a)    нецелевое использование интерфейсов для вспомогательных технологий может изменить характер элемента или дать несправедливое преимущество кандидату с ограниченными возможностями (например, описание изображения может открыть ответ на элемент);

b)    использование вспомогательных устройств может замедлить процесс ассемента, по сравнению с использованием обычных методов. Если есть ограничение по времени, то это может снизить надежность результатов;

c)    для некоторых элементов ассесмента (например, устный опрос) предпочтительным может быть использование вспомогательных технологий.

Примечание — В некоторых случаях использование вспомогательных технологий не является необходимым или целесообразным: например, ассесмента, учитывающего местоположение, когда кандидаты с некоторыми типами специальных потребностей не имеют доступа к этому местоположению.

7.5    Возможность проверки программного обеспечения на удобство

и простоту использования

7.5.1 Программное обеспечение для ассесмента должно быть опробовано с кандидатами, которые являются представителями целевой группы конечных потребителей, чтобы гарантировать:

13

a)    простоту использования;

b)    надежность;

c)    безопасность.

В случае необходимости должна быть возможность проверки программного обеспечения с учетом вспомогательных технологий.

7.5.2 Соответствующие аналитические инструменты для проверки доступности должны использоваться там, где это возможно.

8 Система мгновенной автоматизированной оценки, определение результата и обратная связь

Примечание — Этот раздел применим к распространителям ассесмента, которые разрабатывают, приобретают или адаптируют программное обеспечение, чтобы обеспечить автоматизированную оценку, определение результата или обратную связь. Это также относится к разработчикам программного обеспечения. Это применимо и к высоко-, и к низкоуровневому ассесменту. Запись ответов и данных кандидата описана в разделе 10.

8.1    Оценка ответов

8.1.1    Поддержка педагогических аспектов

Программное обеспечение, используемое для того, чтобы подсчитывать ответы кандидатов, должно быть разработано таким образом, чтобы поддержать педагогические аспекты правил оценки результатов, особенно относительно:

a)    правильности ответов;

b)    «стоимости» ответов, которая должна быть взвешенной для различных элементов или типов

элементов;

c)    распределения более низких баллов за частично правильный ответ;

d)    расчета общей оценки или результата;

e)    коррекций вопросов таким образом, чтобы исключить угадывание ответов.

Программное обеспечение для оценки результатов должно учитывать:

1)    случайный выбор элементов с помощью программного обеспечения;

2)    перетасовку последовательности выдачи элементов ассесмента;

3)    перетасовку последовательности, в которой представлены альтернативные ответы;

4)    введение случайных величин в элементы ассесмента.

Правила оценки результатов должны быть как можно более простыми и понятными кандидатам.

8.1.2    Возможность автоматизированной оценки

Автоматизированная оценка должна быть апробирована с широким спектром ответов кандидата, чтобы убедиться в ее последовательной и точной работе.

8.1.3    Оценка открытых ответов

Примечание — Оценка эссе, которая проводится только человеком, не рассматривается в настоящем стандарте.

8.1.3.1    Программное обеспечение для оценки открытых ответов должно быть разработано и апробировано с особой тщательностью, чтобы убедиться, что любой ответ, который был проверен человеком, учтен. Аспекты, которые требуют особого рассмотрения, включают:

a)    альтернативные варианты написания или неправильное написание;

b)    использование верхнего или нижнего регистра;

c)    синонимы;

d)    пунктуацию;

e)    использование «или», «/», «и», «&», «не», отрицательных выражений и соответствующих терминов на других языках;

f)    включение или исключение единиц измерения в числовых ответах.

8.1.3.2    Если элемент требует расчета или оценки численного ответа, следует указать диапазон допустимых ответов, чтобы учесть такие факторы, как возможные ошибки округления в расчетах и различия в числе десятичных знаков.

8.1.3.3    Все ответы на элементы со свободным вводом текста от кандидатов страдающих дислексией, должны быть пересмотрены вручную, если правильное написание не является педагогическим требованием.

ГОСТ ISO/IEC 23988—2015

8.1.3.4    В высокоуровневом ассесменте, за исключением случаев, где правильные ответы строго определены, оценка элементов со свободным вводом текста должна быть проведена человеком. В обзоре, который должен быть сделан при консультации с экспертами педагогики, должны быть рассмотрены все непредвиденные ответы кандидатов.

8.1.3.5    Обратная связь от опытной или промышленной эксплуатации должна использоваться для усовершенствования алгоритма определения правильных и неправильных ответов.

8.1.4 Информация для кандидатов

Информация об оценке результатов должна быть доступна для кандидатов до проведения ассес-мента, так как это может повлиять на стратегию выполнения ассесмента.

Примечание — Это должно быть сделано в том случае, если информация об оценке не ставит под угрозу законность теста или излишне смущает кандидатов.

8.2    Программное обеспечение для определения результата

Если программное обеспечение автоматически вычисляет общий результат ответов кандидата (например, «зачет», «незачет»), то это должно базироваться на четких правилах, которые должны быть известны (по крайней мере общие понятия) кандидатам.

Работа программного обеспечения должна пройти проверку для подтверждения соответствия действительности результатов.

Примечание — Полностью автоматизированные оценка и определение результата ассесмента, которые «существенно влияют» на кандидата, могут подпадать под действие законов в отношении защиты данных или

частной жизни.

8.3    Программное обеспечение для обратной связи

8.3.1    Обеспечение обратной связи

Уровень обратной связи либо предоставляется кандидату автоматически, либо ассесмент-центр согласовывает это с целью оценки. Уровень обратной связи может быть различным: вывод только общего результата, вывод промежуточного результата, результат для отдельных элементов, о разъяснении правильных ответов, подсказки для дальнейшего решения и ссылки на учебные материалы или источники информации.

8.3.2    Степень доверия

Обратная связь должна быть оправдана в педагогическом плане. В программное обеспечение, возможно, потребуется включить процедуры для подавления обратной связи в случае отсутствия достаточного обоснования.

8.3.3    Представление обратной связи

8.3.3.1    Представление обратной связи (будь то на экране или на бумаге, в текстовом, графическом редакторе или иным образом) должно быть четким, легко интерпретируемым и с использованием любых необходимых пояснений.

8.3.3.2    Обратная связь при высокоуровневом ассесменте должна поддерживать конфиденциальность элементов.

8.3.3.3    Обратная связь должна быть направлена на содействие обучению и развитию обучающегося.

8.3.3.4    Если обратная связь будет вызывать неудобства, внимание должно быть уделено обеспечению обратной связи человеком (неавтоматически).

8.3.4    Апробация

Программное обеспечение для обеспечения обратной связи должно быть апробировано с рядом различных ответов кандидатов, чтобы гарантировать, что оно работает последовательно и в соответствии с педагогическими требованиями.

8.4    Сохранение конфиденциальности данных при апробации

Когда фактические ответы кандидатов используются при апробации программного обеспечения, чтобы обеспечить подсчет, определение результата или обратную связь, любые персональные данные кандидатов должны быть удалены или заменены фиктивными данными, чтобы гарантировать конфиденциальность.

15

ГОСТ ISO/IEC 23988—2015

Содержание

1    Область применения.................................................................1

2    Нормативные ссылки.................................................................3

3    Термины и определения..............................................................4

4    Руководящие принципы...............................................................6

5    Интерфейс между содержанием и ИТ-доставкой ассесмента................................6

6    ИТ-доставка ассесмента — общие положения............................................7

7    Программное обеспечение для ИТ-доставки ассесмента — навигация, удобство

и простота использования.............................................................11

8    Система мгновенной автоматизированной оценки, определение результата и обратная связь ... .14

9    Подготовка и передача содержания ассесмента и правильных ответов.......................16

10    Программное обеспечение и процедуры для записи и передачи данных и ответов кандидатов,

а также для их хранения распространителями ассесмента.................................17

11    Обеспечение ассесмент-центров инструкциями и информацией, связанной сассесментом......18

12    Обеспечение кандидатов информацией и практическим материалом........................19

13    Оборудование и средства ассесмент-центров, включая хранение ответов....................21

14    Штатное расписание ассесмент-центра................................................23

15    Подготовка к ассесмент-сессии.......................................................24

16    Проведение ассесмент-сессии........................................................25

17    Процедуры, касающиеся чрезвычайных ситуаций, технических сбоев    и    нарушений............26

Приложение А (справочное) Сценарии....................................................27

Приложение ДА (справочное) Сведения о соответствии межгосударственных стандартов

ссылочным международным стандартам (международным документам)..........29

Библиография........................................................................30

9 Подготовка и передача содержания ассесмента и правильных ответов

Примечание 1 —Данный раздел применим к распространителям ассесмента, охватывает подготовку содержания ассесмента и ответов для эксплуатационного использования и их передачи к месту назначения. Предполагается, что подготовка и доставка ассесмента, как правило, происходят в разных местах, которые могут быть расположены либо дистанционно, либо могут быть помещениями в одном и том же здании. Доставка ассесмента может быть произведена либо в определенный ассесмент-центр, либо в библиотеку, если это низкоуровневый ассесмент для единого кандидата.

Примечание 2 — Данный раздел применим к ИТ-передаче содержания ассесмента для ИТ-доставки, независимо оттого, автоматически или вручную будет вестись подсчет результатов.

Примечание 3 — 9.1 и 9.2.1 применимы как к высокоуровневому, так и к низкоуровневому ассесменту.

9.2.2 и 9.2.3 применимы только к высокоуровневому ассесменту.

Примечание 4 — Для хранения содержания ассесмента в ассесмент-центрах см. 13.5.2, для хранения файлов с ответами см. 13.6.

9.1    Подготовка содержания ассесмента и правильные ответы для использования

9.1.1    Подлинность и целостность

Распространители ассесмента должны установить процедуры для обеспечения подлинности и целостности содержания ассесмента, элементов и правильных ответов, в том числе для того, чтобы:

a)    форма ассесмента и все отдельные элементы относились к предполагаемому ассесменту;

b)    использовались только современные и утвержденные формы ассесмента и версии элементов;

c)    каждая форма ассесмента имела соответствующее количество элементов и соответствовала любым другим требованиям;

d)    информация о правильных ответах являлась точной и правильной, связанной с соответствующими элементами;

e)    запись правильных ответов и любых связанных с ними алгоритмов принятия решений в случае необходимости, для выбора элементов из банка данных, перетасовки последовательности элементов или ответов, в пределах элементата и для вставки случайных величин в элементы.

9.1.2    Конфиденциальность

Конфиденциальность содержания ассесмента и правильных ответов должна быть сохранена во время необходимых процедур при подготовке к релизу.

Примечание — Конфиденциальность материала ассесмента на ранних этапах подготовки, хотя и является необходимой, выходит за рамки настоящего стандарта.

9.2    Передача содержания ассесмента и правильных ответов

9.2.1    Распространители ассесмента должны установить процедуры для обеспечения безопасности содержания ассесмента (включая форму ассесмента и правильные ответы) во время передачи данных между исходными организациями и получателями. Эти меры должны быть направлены на обеспечение того, чтобы:

a)    содержание ассесмента было получено предполагаемым получателем;

b)    достоверность ассесмента подтверждалась;

c)    сохранялась целостность ассесмента;

d)    содержание ассесмента не стало известно посторонним лицам.

9.2.2    Для высокоуровневого ассесмента следует учитывать следующее:

a)    уведомление об отправке и получении;

b)    в том случае, если используется физическая транспортировка данных (например, на CD-ROM), меры безопасности должны быть сопоставимы с соответствующими мерами при передаче данных на бумажных носителях;

c)    использование криптографически зашифрованных материалов при отправлении в электронном виде, в частности через внешние системы;

d)    передача содержания ассесмента только по предварительной договоренности, с помощью «обратного вызова» (передача в ответ на запрос);

e)    использование протоколов передачи для проверки целостности записи ответа;

f)    процедуры для сотрудников ассесмент-центров для проверки подлинности и целостности записи ответа;

16

Введение

Рост возможностей информационных технологий (ИТ) привел к их активному применению при оценке, передаче и записи результатов тестов и ассесментов в широком спектре образовательных услуг. При должном применении ИТ пользователь получает преимущества в скорости доставки и эффективности результатов, обратной связи, а также улучшении достоверности и надежности данных. Но при увеличении применения таких методов встают вопросы о безопасности ИТ-доставки ассесментов.

Цели данного стандарта состоят в том, чтобы обеспечить средства:

-    показывающие, что результаты ассесментов справедливы и не ставят в невыгодное положение некоторые группы кандидатов, например, неграмотных в области ИТ;

-    показывающие, что итоговая оценка результата была проведена с соблюдением требований безопасности и является подлинным результатом работы кандидата;

-    показывающие, что справедливость ассесмента не изменилась при ИТ-доставке данных;

-    свидетельствующие о безопасности проведения ассесмента, который может быть предоставлен в регламентирующие и финансирующие организации (в том числе в регулирующие органы в области образования и профессиональной подготовки или в промышленности);

-    устанавливающие единый подход к правилам доставки, которые должны быть полезны для ас-сесмент-центров, взаимодействующих более чем с одним распространителем ассесмента;

-    предоставляющие гарантии качества покупателям «стандартного» программного обеспечения для ассесмента.

Предполагается, что достижение этих целей будет способствовать повышению статуса ИТ-доставки ассесмента и программного обеспечения, поощрять их более широкое применение.

Пользователи должны обратить внимание на любые существующие особенности и законодательные нормы, охватывающие предметную область настоящего стандарта. Это может включать, но не ограничиваться им, законодательство, касающееся инвалидности, специальных образовательных потребностей, защиты информации, персональных данных, свободы информации, языка, здоровья и безопасности по отношению к оборудованию или рабочей обстановке.

Настоящий стандарт имеет форму указаний и рекомендаций. Пользователи стандарта несут непосредственную ответственность за их правильное применение.

Настоящий стандарт предназначен для организаций, использующих информационные технологии для доставки ассесмента, включая, но не ограничиваясь перечисленным:

-    университеты, колледжи, учебные центры и школы, оценивающие учащихся по результатам текущей деятельности и экзаменов;

-    организации, занимающиеся доставкой и/или простановкой оценок на основе экзаменов;

-    профессиональные организации, промышленные и другие организации, занимающиеся доставкой и/или простановкой оценок по профессионально-техническим (узкоспециализированным) предметам;

-    производителей и распространителей ИТ-сертификационных тестов;

-    ассесмент-центры, которые проставляют ассесмент локально;

-    открытые, дистанционные ассесмент-центры и другие организации, которые могут заниматься простановкой оценок на нерегулярной основе;

-    компании, занимающиеся тренингами, работодатели и правительственные/военные организации, проводящие ассесменты в рамках узкоспециализированного обучения или тренинга;

-    организации, проводящие ассесменты по теме регулирования: например, финансовой компании может потребоваться оценить своих сотрудников на предмет знания собственного продукта или фармацевтической компании потребуется оценить свой персонал на знание техники безопасности;

-    поставщики материалов для открытого и дистанционного обучения, в т. ч. онлайн-университеты, коммерческие издатели и распространители учебных материалов, которые включают ассесменты в их материал;

-    составителям баз тестов, опросов и проверочных тестов.

Настоящий стандарт также предназначен разработчикам программного обеспечения для доставки ассесмента, которым нужно будет предоставить своим клиентам программный продукт, соответствующий требованиям настоящего стандарта.

Настоящий стандарт различает три основные роли в ИТ-доставке ассесмента:

-    заказчики ассесмента, ответственные за результат и награждение сертификатами;

-    распространители ассесмента, ответственные за ИТ-доставку ассесмента, включая разработку или выбор программного обеспечения для доставки ассесмента;

-    ассесмент-центры, где данные мероприятия будут проведены.

ГОСТ ISO/IEC 23988—2015

Роли вовлеченных в различные этапы жизненного цикла ассесмента (см. 1.3) могут быть объединены различными способами в зависимости от участвующих организаций, при этом не все организации обязательно присутствуют во всех ролях. Таким образом, университет может объединять в себе роли заказчика ассесмента, распространителя ассесмента и ассесмент-центра, в то время как ассесмен-ты, распространяемые организацией (являющейся в данном случае заказчиком и распространителем ассесмента), принимаются в ассесмент-центрах, которые являются отдельными организациями. Настоящий стандарт рекомендует действовать, сообразуясь стремя вышеперечисленными ролями, независимо от типа организации. Сценарии, приведенные в приложении А, могут служить примером того, как данный подход работает на практике.

Роли различных организаций часто взаимосвязаны, особенно если речь идет о высокоуровневом ассесменте. К примеру, организация-распространитель может быть полностью ответственной за интеграцию всего процесса, включая мониторинг ассесмент-центров. Ассесмент-центры должны соответствовать требованиям распространителей ассесмента, особенно тем, которые являются специфическими для использования в ИТ.

Также следует отметить, что некоторые организации, к которым применим настоящий стандарт, должны в своей конкретной области соответствовать требованиям регулирующих органов в отношении разработки и проведения ассесмента, принимая во внимание педагогические аспекты. В случае, если кандидаты являются сотрудниками ассесмент-центра, то к ним могут применяться более конкретные законодательные требования.

V

МЕЖГОСУДАРСТВЕННЫЙ СТАНДАРТ

Информационные технологии

КОДЕКС ПРАКТИЧЕСКОГО ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ (IT)

ДЛЯ ДОСТАВКИ АССЕСМЕНТА

Information technology.

A code of practice for the use of information technology (IT) in the delivery of assessments

Дата введения — 2016—11—01

1 Область применения

1.1    Общее

Настоящий стандарт дает рекомендации по использованию информационных технологий (ИТ) для доставки ассесмента кандидатам, регистрации и оценки их ответов. Область применения настоящего стандарта рассмотрена стрех позиций: типы ассесментов, этапы жизненного цикла ассесмента и конкретные ИТ-аспекты.

1.2    Типы ассесментов

Настоящий стандарт имеет отношение к широкому ряду ассесментов, включая:

-    ассесменты, использующиеся в образовании (как в общем, так и в высшем), тренингах и оценке соответствия (например, соответствие законодательства, касающегося здоровья и безопасности или финансовых услуг);

-    ассесменты, тестирующие знание, понимание и навыки (так называемые «тесты достижений»), но не психологические тесты личности;

-    высокоуровневые ассесменты и экзамены, а также низкоуровневые ассесменты, использующиеся для обратной связи, выявления потребностей в обучении, самотестировании и корректирующем обучении;

-    ассесменты, включающие обратную связь, а также те, что предоставляют только результат;

-    тесты, как запланированные, так и по требованию;

-    оба случая, когда оценка может быть поставлена компьютером или доставлена (но не оценена), т. е. когда задания доставляются посредством ИТ, но оценка проставляется человеком; исключая случаи, когда ИТ используется для оценивания открытых ответов со свободным вводом текста («эссе» и тому подобное);

-    широкий ряд ассесментов, связанных с владением компьютером, включающих не только «объективные тесты» (множественный выбор, разные типы элементов), но также тесты, определяющие навыки работы с клавиатурой и использования программного обеспечения.

Примечание — Элементы ассесмента могут содержать графики, мультимедиа, тематические исследования и т. д. Однако в настоящем стандарте не рассматривается использование профессиональных симуляций (к примеру, процесс вождения/пилотирования);

-    ассесменты, проводящиеся в университетах, институтах, академиях, колледжах, школах, тренировочных центрах и ассесмент-центрах, а также ассесменты, проходящие в менее формальной обстановке, включая центры обучения и рабочее место;

-    ассесменты, составленные, проведенные и оцененные внутри одной организации (например, университет или компания), и ассесменты, проведенные в организациях, отдельных от организаций, ответственных за содержимое ассесмента;

Издание официальное

-    ассесменты поставляются в различных формах, включай онлайн, в локальных сетях и на автономных компьютерах.

Раздел 9 настоящего стандарта также применим к использованию ИТ для передачи курсовых работ кандидатов.

1.3    Жизненный цикл ассесмента

Хотя процедуры ассесмента варьируются, типичный жизненный цикл ассесмента состоит из следующих этапов:

a)    определение необходимости в ассесменте;

b)    разработка методологии ассесмента;

c)    подготовка и уточнение;

d)    предварительная регистрация (включает в себя оплату);

e)    распределение;

f)    проверка подлинности (включает идентификацию);

д) доставка;

h)    возврат ответа;

i)    оценка, определение результата и/или обратная связь;

j)    возврат данных;

k)    анализ;

l)    апелляция;

т) сертификация.

Подготовка содержания ассесмента выходит за рамки настоящего стандарта. Но при использовании предварительных (пробных) вариантов тестирования с использованием ИТ-доставки должны быть приняты во внимание соответствующие разделы настоящего стандарта.

1.4    Конкретные ИТ-аспекты

В настоящем стандарте основной упор делается на дополнительные или иные меры, которые должны быть приняты в результате внедрения ИТ. Меры, которые являются общими как для бумажной, так и для ИТ-доставки либо опущены, либо описаны только в общих чертах.

Настоящий стандарт не распространяется на чисто педагогические аспекты подготовки ассесмента или оценивания, но охватывает использование ИТ для реализации педагогических решений и взаимосвязи между содержанием ассесмента и ИТ-доставкой. Качество содержания ассесмента и процедуры оценивания имеют решающее значение для валидности и достоверности конечного результата, но выходят за рамки настоящего стандарта.

Настоящий стандарт не должен толковаться как призывающий заказчиков ассесмента отказаться от передовых практик в разработке ассесментов, включающих стандартизацию и особое внимание к валидности, достоверности.

Настоящий стандарт не распространяется на оценку человеком, но распространяется на:

-    оценивание с использованием ИТ, которое затем может быть проверено человеком;

-    частичную или полную ИТ-передачу и доставку ассесмента человеку на оценку и возврат результатов для простановки оценки.

Настоящий стандарт распространяется на использование ИТ для обеспечения мгновенного автоматизированного подсчета баллов, определения результатов и обратной связи, где не требуется вмешательство или принятие решений человеком.

1.5    Принципы

Целью настоящего стандарта является установление принципов и передовых практик, но не средств, с помощью которых они могут быть достигнуты. Таким образом, можно следовать рекомендациям, используя различные технологические и процедурные подходы. Настоящий стандарт не является специфичным для какого-либо конкретного аппаратного или программного обеспечения.

Во многих областях принципы, изложенные в настоящем стандарте, будут дополнены конкретными правилами распространителей ассесмента.

1.6    Соответствие

Заказчики ассесмента, распространители ассесмента и ассесмент-центры могут претендовать на соответствие требованиям настоящего стандарта, если они соответствуют всем разделам или подразделам, применимым к их роли (см. таблицу ниже).

2

ГОСТ ISO/IEC 23988—2015

Примечания к разделам указывают на роль(и), в которых применяется каждый раздел или подраздел.

Настоящий стандарт распространяется как на высокоуровневые, так и на низкоуровневые ассес-менты, но некоторые разделы или подразделы относятся исключительно к высокоуровневым ассесмен-там; это указано в таблице 1.

Таблица 1 — Применение стандарта ISO/IEC DIS23988

Роль Тип ассесмента Соответствующие разделы и подразделы Заказчик ассесмента Высокоуровневый и низкоуровневый 5.1 Распространители ассесмента Высокоуровневый 5.2, 6—12 Распространители ассесмента Низкоуровневый 5.2, 6.1,6.2, 6.3, 6.5, 7.1, 7.2, 7.3, 7.4, 7.5, 8.1, 8.2, 8.3, 8.4, 9.1, 9.2.1, 10.1, 10.2, 11.1, 11.2, 12.1, 12.2, 12.3 Ассесмент-центры Высокоуровневый 13, 14, 15, 16, 17 Ассесмент-центры Низкоуровневый 13.1, 13.2, 13.3, 13.4

Сценарии, представленные в приложении А, иллюстрируют соответствие требований настоящего стандарта различным типам организаций.

2 Нормативные ссылки

Для применения настоящего стандарта необходимы следующие ссылочные документы. Для датированных ссылок применяют только указанное издание ссылочного документа, для недатированных ссылок применяют последнее издание ссылочного документа (включая все его изменения):

ISO/IEC 17799:2005 Information technology — Code of practice for information security management (Информационные технологии. Методы и средства обеспечения безопасности. Свод правил по менеджменту информационной безопасности)

ISO 9241-5:1998 Ergonomic requirements for office work with visual display terminals (VDTs) — Part 5: Workstation layout and postural requirements (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 5. Требования к расположению автоматизированного рабочего места и позам человека)

ISO 9241-11:1998 Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 11. Руководство по определению и измерению используемости)

ISO 9241-12:1998 Ergonomic requirements for office work with visual display terminals (VDTs) — Part 12: Presentation of information (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 12. Представление информации)

ISO 9241-13:1998 Ergonomic requirements for office work with visual display terminals (VDTs) — Part 13: User guidance (Эргономические требования, связанные с использованием видеотерминалов для учрежденческих работ. Часть 13. Руководство пользователя)

ISO 9241-302:2008* Ergonomics of human-system interaction — Part 302: Terminology for electronic visual displays (Эргономика взаимодействия человек — система. Часть 302. Терминология для электронных визуальных дисплеев)

ISO 9241-304:2008** Ergonomics of human-system interaction — Part 304: User performance test methods for electronic visual displays (Эргономика взаимодействия человек — система. Часть 304. Методы испытаний характеристик пользователя для электронных визуальных дисплеев)

ISO 9241-305:2008* Ergonomics of human-system interaction — Part 305: Optical laboratory test methods for electronic visual displays (Эргономика взаимодействия человек — система. Часть 305. Оптические лабораторные методы испытания электронных визуальных дисплеев)

Действует взамен ISO 9241-3:1992, ISO 9241-8:1997. Действует взамен ISO 9241-3:1992.

3

ISO 9241-307:2008¹ Ergonomics of human-system interaction — Part 307: Analysis and compliance test methods for electronic visual displays (Эргономика взаимодействия человек — система. Часть 307. Анализ и методы испытаний на совместимости электронных визуальных дисплеев)

ISO 9241-303:2011² Ergonomics of human-system interaction — Part 303: Requirements for electronic visual displays (Эргономика взаимодействия человек — система. Часть 303. Требования к электронным визуальным дисплеям)

ISO/TS 9241-411:2012³ Ergonomics of human-system interaction — Part 411: Evaluation methods for the design of physical input devices (Эргономика взаимодействия человек — система. Часть 411. Методы оценки для проектирования физических устройств ввода)

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1    ассесмент (assessment): Тест, экзамен и т. п., предназначенный для оценки знаний, умений и понимания кандидата в конкретной области.

Примечание — Ассесмент может быть высокоуровневым и низкоуровневым (см. 3.13 и 3.19).

3.2    ассесмент-центр (assessment centre): Формально обозначенное место, в котором производится ассесмент, при этом необязательно использующееся исключительно для проведения ассесмента.

Примечание — Ассесмент-центр имеет персонал, отвечающий за выставление и сохранность оценки. Ассесмент-центры часто, но не всегда, отделены от распространителей ассесмента и являются частью другой организации. При использовании высокоуровневого ассесмента центры, как правило, контролируют выполнение данных мероприятий. Некоторые виды ассесмента (низкоуровневый ассесмент) могут быть проведены за пределами ассесмент-центров.

3.3    содержание ассесмента (assessment content): Вопросы и связанные с ними изображения или дополнительная информация, которые предоставляются кандидату во время прохождения ассесмента.

3.4    распространитель ассесмента (assessment distributor): Организация, ответственная за доставку ассесмента (особенно высокоуровневого ассесмента) посредством информационных технологий, включая надзор за ассесмент-центрами, но необязательно ответственная за содержание ассесмента.

3.5    форма ассесмента (assessment form): Альтернативная версия ассесмента; две или более формы ассесмента, которые различаются содержимым, состоящим из различного набора элементов, но при этом направленных на оценку одного и того же знания, понимания или умения, относящегося к области ассесмента.

3.6    программное обеспечение для ассесмента (assessment software): Программное обеспечение, которое производит ассесмент кандидата и записывает его ответы.

Примечание — Может быть общим (способным запускать множество различных ассесментов) или интегрированным в содержимое ассесмента. Обычно (но необязательно) разделяют программное обеспечение для разработки и хранения элементов ассесмента, журнала записей кандидата, менеджера ассесмент-сессий и т. д.

3.7    заказчик ассесмента (assessment sponsor): Организация, ответственная за определение содержания ассесмента и вручение сертификатов или других форм официального признания.

Примечание — Заказчики ассесмента часто передают доставку ассесмента распространителю ассесмента.

3.8    вспомогательные технологии (assistive technology): Функциональные блоки и сервисы, которые облегчают использование ИТ людям с ограниченными возможностями (например, с физическими ограничениями).

3.9    кандидат (candidate): Субъект, получающий ассесмент.

3.10    правильный ответ (correct response): Заранее отобранный ответ, который принесет положительную оценку при его выборе.

Примечание — Использование этого термина не подразумевает, что существует только один возможный правильный ответ по каждому элементу. См. также 3.19 и 3.20.

ГОСТ ISO/IEC 23988—2015

3.11    платформа доставки (delivery platform): Компьютерное аппаратное обеспечение, системное программное обеспечение и при необходимости телекоммуникационное программное обеспечение и связанные с ним средства, которые поддерживают доставку ассесмента кандидатам и прием обратной информации (например, результатов) в конкретное место для проставления оценки или отчетности, если оценка хранится локально.

3.12    справедливость (fairness): Непредвзятость теста для различных групп кандидатов.

Примечание — Компьютерная доставка и система оценивания должны быть одинаково справедливы для всех кандидатов и, насколько это возможно, не должны учитывать недостатки кандидата, являющиеся результатом факторов, которые не относятся к теме оцениваемых знаний, навыков и понимания материала (к таким факторам относится отсутствие передовых навыков работы на компьютере, если только эти навыки не

оцениваются).

3.13    высокоуровневый ассесмент (high-stakes assessment): Ассесмент, результаты которого имеют большое значение для кандидата или для организации, и следовательно, оценка должна быть надежной и достоверной.

Примечание — Высокоуровневые ассесменты включают в себя большинство образовательных экзаменов, относящихся к завершению курса и ведущих к получению сертификата (а также модульные ассесменты, которые вносят свой вклад в окончательный результат), квалификационные экзамены и экзамены на получение лицензии. Ассесмент может также считаться высокоуровневым, если определение качества организации зависит от того, как прошли ассесмент сотрудники или учащиеся, как может быть в случае оценки техники безопасности. См. также 3.19.

3.14    ИКТ (ICT): Информационно-коммуникационные технологии.

Примечание — Данный термин включает в себя такое понятие, как скорость интернет-подключения или «пропускная способность».

3.15    ИТ (IT): Информационные технологии.

3.16    наблюдение (invigilation): Контроль за процессом проведения ассесмента для обеспечения безопасности и исключения мошенничества.

Примечание — Прокторинг — это альтернативный термин для наблюдения. Несмотря на то что эта тема не затрагивается в настоящем стандарте, наблюдение также может осуществляться удаленно с использованием оборудования для контроля, если это допускается заказчиком ассесмента.

3.17    наблюдатель (invigilator): Лицо, осуществляющее наблюдение.

Примечание — Проктор — это альтернативный термин для наблюдателя.

3.18    элемент (item): Наименьший отдельный идентифицируемый вопрос, часть информации, относящейся к вопросу, или задача в пределах ассесмента.

Примечание — Элемент может являться закрытым вопросом, открытым вопросом, эссе, а также небольшим заданием (к примеру, «выделите заголовок в данном тексте»),

3.19    низкоуровневый ассесмент (low-stakes assessment): Ассесмент, результаты которого имеют небольшое значение для кандидата или соответствующей организации.

Примечание — Формальные и диагностические ассесменты, как правило, считаются низкоуровневыми. См. также 3.13. За низкоуровневыми ассесментами не нужно проводить наблюдение и устраивать их в центрах тестирования, если они одобрены заказчиком теста.

3.20    открытый ответ (open-ended response): Ответ, который не ограничивается выбором из списка вариантов.

Примечание — Большинство открытых ответов подразумевают ввод текста, но также ответ может быть в числовом или графическом формате. См. также 3.10 и 3.24.

3.21    достоверность (надежность) (reliability): Величина, которой измеряется ассесмент.

Пример — Ассесмент будет считаться малодостоверным, если две формы ассесмента различаются по сложности или покрывают различные области или присутствуют ошибки в процедуре подсчета оценки или в отчетности показателей.

3.22    ответ (response): Ответ кандидата на элемент ассесмента.

5

1

Действует взамен ISO 9241-3:1992.

2

Действует взамен ISO 9241-3:1992, ISO 9241-8:1997.

3

Действует взамен ISO 9241-4:1998, ISO 9241-9:2000.