ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

СИСТЕМЫ И ОБОРУДОВАНИЕ МУЛЬТИМЕДИА

Оценка качества. Системы аудио-, видеосвязи

(IEC/TR 62251:2003, ЮТ)

Издание официальное

Москва

Стандартинформ

2018

Предисловие

1    ПОДГОТОВЛЕН Автономной некоммерческой организацией «Научно-технический центр сертификации электрооборудования «ИСЭП» (АНО «НТЦСЭ «ИСЭП») на основе собственного перевода на русский язык англоязычной версии международного документа, указанного в пункте 4

2    ВНЕСЕН Техническим комитетом по стандартизации ТК 452 «Безопасность аудио-, видео-, электронной аппаратуры, оборудования информационных технологий и телекоммуникационного оборудования»

3    УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 17 октября 2018 г. № 801-ст

4    Настоящий стандарт идентичен международному документу IEC/TR 62251:2003 «Системы и оборудование мультимедиа. Оценка качества. Системы аудио-, видеосвязи» (IEC/TR 62251:2003 «Multimedia systems and equipment — Quality assessment — Audio-video communication systems». IDT).

Международный документ разработан Техническим комитетом ТС 100 «Аудио-, видео- и мультимедийные системы и оборудование» Международной электротехнической комиссии (IEC).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5    ВВЕДЕН ВПЕРВЫЕ

Правипа применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации». Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — в ежемесячном информационном указателе «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске информационного указателя «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (mvw.gost.ru)

©Стандартинформ. оформление. 2018

Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии

II

5.3.3 Представление результата оценки

Результаты оценки, включающие входные и выходные цвета в формате данных R, G и В, должны быть рассмотрены как цвета в цветовом пространстве sRGB. определенном в МЭК 61966-2-1. Они должны быть преобразованы в CIE 1976 L*a*b* однородное цветовое пространство. Цветовые разности ЛЕ*_аЬ между эталонными и полученными данными должны быть рассчитаны и представлены, как показано в таблице 2.

Таблица 2 — Пример воспроизведения цвета

Измерение Спецификация Входной сигнал (8-битный *3) Выходной сигнал (8-битный«3) Цветовая разность. R. % G. % В. % R G В R G В 0 87.053 80,546 87,216 222 205 222 221 211 215 3.5 1 48.904 24,181 23,419 184 134 132 186 135 129 1.4 2 37,405 27,352 12.466 163 141 99 164 144 91 4.2 3 25,874 32,782 5,646 138 154 69 139 156 66 2.0 4 12,176 34,717 19,279 98 158 121 96 158 123 0,9 5 15,414 34,081 41,443 109 156 171 109 158 166 2.2 6 17,982 29,222 61.449 117 146 204 119 145 196 1.9 7 36,893 24,007 52,231 164 130 190 163 137 187 3.9 8 51,332 22,896 45.507 188 130 178 187 132 162 5.3 9 43,311 3,062 4,885 174 52 65 172 56 54 8.1 10 83,988 56,759 4,964 236 197 65 219 201 62 4.7 11 2,426 25,943 13,965 47 138 104 45 140 105 1.2 12 3,259 7,178 18,424 54 77 118 50 77 113 2,7 13 82,033 49,052 37,190 233 184 163 219 186 157 3.7 14 10,356 12,908 4,612 91 101 63 89 100 53 5,2

Средняя цветовая разность составляет = 3.396

5.4 Сквозные цветовые разности

5.4.1    Параметр, подлежащий оценке

Оценивают среднее значение цветовых разностей в психофизически однородном цветовом пространстве, определенном в МЭС 15.2, между эталонным видеокадром и соответствующим ухудшенным видеокадром.

5.4.2    Метод оценки

В качестве исходного эталонного сигнала для позиции 1 рисунка 2 используют эталонные видеосигналы из таблицы А.1. Видеосигнал должен быть подготовлен путем уменьшения размера кадра видеосигнала в несжатом формате AVI (позиция 2 на рисунке 2). В этой точке необходимо встроить номера кадров, чтобы их можно было использовать для идентификации принятых кадров, соответствующих переданным кадрам.

Закодированные и переданные потоковые видеосигналы должны непрерывно регистрироваться. Вычисления должны быть проведены попиксельно.

Среднюю цветовую разность ДЁ^ в психофизически однородном цветовом пространстве между эталонными и ухудшенными кадрами к рассчитывают по формуле

1 Ч-    .

=jr X X ЬЕ_аь,.    (1)

^A m-M,n-N,

где К = — триплеты в цветовом пространстве CIELAB, соответствующие каждому пикселю эталонного видеокадра к, 2 (M2-My*i){N2-N, +1) *Eob, =    -    Ч    )    +    (ad,    ~ao,) + (bd, - b0,)

— цветовая разность CIELAB меэду пикселями.

---

Триплеты в цветовом пространстве CIELAB должны быть исключены из значений пикселей R. G и В эталонных и ухудшенных видеокадров по умолчанию в цветовом пространстве RGB (sRGB), определенном МЭК 61966-2-1. Каждый пиксель располагается в строке т и столбце п видеокадра.

5.4.3 Представление результатов оценки

Результаты оценки представляют в виде графика зависимости цветовой разности между каждым из соответствующих кадров и номерами кадров, как показано на рисунке 6. вместе с идентификацией исходных эталонных видеосигналов. Также должны быть представлены условия измерения, такие как размер кадра в пикселях, частота кадров, скорость потока передачи данных.

Цветовая раэностъ

Цветовая разность 20,-i-

Цветовая разность 20

15

5

Эталонный исходный закодированный/ потоковый видеосигнал

50

100

150

200

10

5 ■

Эталонный исходный закодированный/ потоковый видеосигнал

50

100

150

200

250 Кадры Ь) Пример для SRC14_REF_525 Цветовая разность

d) Пример для SRC16_REF_525 Цветовая разность 20

250 Кадры с) Пример для SRC15_REF_525 Цветовая разность

10 •

5

Эталонный исходный закодированный/ потоковый видеосигнал

250

Кадры

f) Пример для SRC18_REF_525

Рисунок 6 — Цветовые разности между эталонными и потоковыми видеокадрами при 250 кбит/с и 30 кадр/с. лист 1

Цветовая разность

Цветовая разность 20

Эталонный исходный закодированный/ потоковый видеосигнал

¹⁰

5 ■

250

Кадры

д) Пример для SRC19_REF_525

h) Пример для SRC20_REF_525

Цветовая разность 20 Цветовая разность

Эталониый исходный закодированный/ потоковый видеосигнал 20 1-1 1 1-г- Эталонный исходный закодированный/ потоковый видеосигнал 15 10 1-1 1 --J-r-—L-. 5 0 1-1—-1_-_1_-—1—

50 100 150 200 50 100 150 200 Кадры Кадры

О Пример для SRC21_REF_525

j) Пример для SRC22_REF_525

Условия оценки:

-    размер видеокадра — 320 х 240 пикселей;

-    частота кадров — 30 кадр/с;

-    потоковая скорость передачи данных — 250 кбит/с,

-    пропускная способность сети — более 250 кбит/с;

-    воспроизведение — плейер Microsoft Media Player ® версия 7.1

Рисунок 6. лист 2

Для заключительной оценки полученные данные должны быть усреднены по кадрам с помощью формулы (2). чтобы обеспечить единичный параметр для объективной оценки, являющийся общим средним значением цветовой разности, которое должно быть представлено, как показано в таблице 3.

к.

ЬЕоь =

(2)

Таблица 3 — Общие средние значения цветовых разностей

Идентификация исходного эталонного видеосигнала Общее среднее значение цветовой разности SRC13_REF_525 9.6 SRC14_REF_525 8.4 SR С15_R Е F_525 14,9 SRC16_REF_525 8.3

Окончание таблицы 3

Идентификация исходного эталонного видеосигнала Общее среднее значение цветовой разности SRC17_REF_525 16.8 SRC18_REF_525 8.2 SRC19_REF_525 8,2 SRC20_REF_525 9.2 SRC21_REF_525 5.4 SRC22_REF_525 13.2

5.5 Сквозное отношение максимального сигнала к шуму (PSNR)

5.5.1    Параметр, подлежащий оценке

Оценивают отношение мощности максимального сигнала к мощности шума. PSNR, в трехмерной системе координат.

5.5.2    Метод оценки

В качестве исходного эталонного сигнала для позиции 1 рисунка 2 используют эталонные видеосигналы из таблицы А.1. Видеосигнал должен быть подготовлен путем уменьшения размера кадра видеосигнала в несжатом формате AVI (позиция 2 на рисунке 2). При необходимости в этой точке встраивают номера кадров, чтобы их можно было использовать для идентификации принятых кадров, соответствующих переданным кадрам.

Закодированные и переданные потоковые видеосигналы должны приниматься непрерывно. Вычисления должны быть проведены попиксельно.

Следует использовать отношение максимального сигнала к шуму (PSNR) между полным эталонным изображением и воспроизведенным изображением, рекомендованное в ITU-T J.144 PSNR рассчитывают по формуле

PSNR = 10lg(^M.    (3)

1 ^{Рг м}-' , 2 г_aeMSE = -^ £ £ (d(p.m.n)-o{p.m.n)) .

p^P,m=Af,n= N,

(P₂ - + 1)(M₂ -    * 1)(N₂ - Л/, +    1)’

d (p. m. n) и о (p. m. n) — представляют, соответственно, ухудшенные и исходные пиксельные векторы в кадре р. строке т и столбце л;

S_max — максимально возможное значение пиксельных векторов.

В случае цветных изображений кахщый элемент изображения обычно состоит из трехмерных значений: красного (R), зеленого (G) и синего (В). Таким образом, для определения среднеквадратичных ошибок применяют формулу

wse_rgb=-X £ |(((?_й-к₀)²+(е_а-е₀)²+(в_й-е₀))²,    (4)

p=P,m=M,n=N,

где S_max(RGB)~ 3 • 2^2(Л/-1) для значений при N-битном кодировании.

Для оценки PSNR в более однородном цветовом пространстве CIE 1976 LAB рекомендуют применять формулу

, р, м, N, /    ^    2

HSEu_Ь = -Х £ I 4Е_Л .    (5)

* p-P,m-M,n-/V,^v

где S_max|_Lab|AE_at>i = ^(Cia*) +(^nax) +(^hax) ■ фактическое значение которого зависит от цветовой

гаммы исходного цветового пространства RGB.

Рекомендуется по умолчанию использовать цветовое пространство RGB, определенное МЭК 61966-2-1. в котором    =148.254.

Примечание — Следует отметить, что члены суммирования в формуле (5) являются квадратом цветовых разностей в психофизически однородном цветовом пространстве, описанных в 5 4

Дополнительно для сравнения рассчитывают сигнал яркости У и два цветоразностных сигнала С_ь и С_г обозначенных как У^. по формуле

1 X((^y«-^yo)²⁺(^Cb,-^C<,.f ⁺ (^-Cjt    (в)

В системе цветового пространства УСЬСг, определенного в МЭК 61966-2-1 S^fY^ = 1,01659.

5.5.3 Представление результатов оценки

PSNR в трехмерных пространствах Lab, Y^. и RGB вместе с PSNR в одномерных пространствах L* и У должны быть представлены в протоколе, как показано на рисунке 7.

Также должны быть представлены условия измерения, такие как размер кадра в пикселях, частота кадров, скорость потока передачи данных в битах.

Примечание — В приложении А для информации приведено программное обеспечение для оценки различных параметров качества в отношении известного гипотетического ухудшения, используемого группой экспертов по качеству видеосигнала (GQEG), с точки зрения трехмерных и одномерных PSNR вместе со средней цветовой разностью, разработанное университетом Чиба в сотрудничестве с компанией Mitsubishi Electric Corp

PSNR. дБ PSNR. дБ

Кадры a) SRC13_REF_525 Кадры Ь) SRC14_REF_525 Рисунок 7 — Примеры оценки PSNR, лист 1

PSNR. дБ

PSNR. дБ

PSNR. дБ 351-

PSNR. дБ 35

SRC 17 REF 525

SRC 18_RE F_525

30

20

I 1 I I i ХГ Г Г
15

¹⁰o

50    100    150    200    250

Кадры

e) SRC17_REF_525

PSNR. дБ

30

25

20b

15b

Ю,

f) SRC18_REF_525

Кадры

h) SRC20_REF_525

Рисунок 7, лист 2

PSNR. дБ

i) SRC21_REF_525    j)    SRC22_REF_525

Условия оценки:

-    размер видеокадра — 320 х 240 пикселей;

-    частота кадров — 30 кадр/с.

-    скорость потока передачи данных — 250 кбит/с;

-    пропускная способность сети — более 250 кбит/с;

-    воспроизведение — плейер Microsoft Media Player ® версия 7 1

Рисунок 7, лист 3

1

(К₂-К₁₊1)

I PSNR_K. к-К,

PSNR =

(7)

Для заключительной оценки PSNR должны быть усреднены по кадрам с помощью формулы (7). чтобы обеспечить общие параметры для объективной оценки. Результаты расчета должны быть представлены в виде таблицы 4.

Таблица 4 — Общие PSNR, усредненные по кадрам

Идентификация эталонного сигнала PSNR в CIELAB PSNRbYCC PSNR в RGB PSNR в L* PSNR BY SRC13_REF_525 20,9 24,4 24.4 23.3 26,1 SRC14_REF_525 22.3 29,9 30,0 24,4 30,9 SRC15_REF_525 17,7 21,5 21.5 21,9 23,5 SRC16_REF_525 22.1 27,0 27,2 23,7 28,2 SRC17_REF_525 16,9 23,7 23.7 19,6 25.1 SRC18_REF_525 22.5 28,3 28.3 25,2 30,2 SRC19_REF_525 22.3 27,0 27.0 24,4 28,4 SRC20_REF_525 20.7 23,2 23.0 21.3 23,6 SRC21_REF_525 24.4 29,8 29.7 24,9 30,3 SRC22_REF_525 18,8 23,6 23.5 21.5 24,9

5.6 Сквозная объективная оценка качества видеосигнала

5.6.1 Параметр, подлежащий оценке

Оценивают субъективную разность средних экспертных оценок (DMOS) качества видеосигнала с использованием модели, имитирующей характеристики зрения и восприятия человеком цифровых видеосигналов.

5.6.2    Метод оценки

В результате первого этапа испытаний и изучения VQEG в соответствии с ITU-R 10-11Q/56-E предложенных десяти моделей оценки (фактически девять из десяти представленных моделей были признаны эффективными) приняты следующие модели для оценки качества видеосигнала:

a)    оценка изображения на основе сегментации, обеспечивающая прогнозирование качества по набору заранее заданных сцен;

b)    оценка зрительного различения, имитирующая реакции пространственно-временных зрительных механизмов человека;

c)    оценка имитации характеристик зрения человека с использованием пространственно-временных трехмерных фильтров;

d)    оценка среднеквадратической ошибки (MSE). взвешенной с помощью зрительных фильтров человека, таких как фильтры на основе пикселей, блоков и последовательностей;

e)    оценка параметра искажения восприятия, основанного на пространственно-временной модели зрительной системы человека;

О оценка, включающая оценку модели восприятия и выделителя признаков, специально настроенного на определенные типы искажений;

д) оценка качества цифрового видеосигнала, включающая множественные аспекты зрительной чувствительности человека при обработке простых изображений;

h) оценка субъективного измерения восприятия видеосигнала с использованием подхода к измерению качества видеосигнала, такого же. как для измерения качества восприятия речи;

О оценка с использованием характеристик ограниченной полосы пропускания, выделенных из пространственно-временных областей и линейной комбинации параметров для оценки субъективных показателей качества.

Эффективность оценки всех моделей была проверена с точки зрения возможности выделения признаков по сравнению с традиционным методом отношения максимального сигнала к шуму.

VQEG в настоящее время проводит испытания новой предложенной модели для оценки (метода оценки) на основе полного эталонного телевидения. Возможный на практике метод оценки на основе полного эталонного телевидения находится на рассмотрении.

Примечание — Республикой Корея был представлен «новый метод», включающий в себя пространственно-временное вейвлет-преобразование, как описано в ITU-R 6Q/42-E В настоящем стандарте этот метод был рассмотрен в области цветового пространства sRGB, как показано в приложении В

5.6.3    Представление результатов оценки

Результаты оценки качества видеосигнала должны быть представлены в виде оценки разности средних экспертных оценок вместе с используемой оцениваемой моделью и условиями.

Примечание — Пример представления результатов оценки находится на рассмотрении

6 Качество аудиосигнала

6.1    Воспринимаемое качество аудиосигнала по отношению к полным эталонным сигналам

6.1.1    Параметр, подлежащий оценке

Оценивают значения объективной разницы качества (ODG), измеренные методом PEAQ (оценка восприятия качества аудиосигнала), рекомендованным ITU-R BS. 1387-1.

6.1.2    Обоснование

Воспринимаемое качество аудиосигнала (PEAQ) является одним из ключевых факторов при разработке цифровых систем аудио-, видеосвязи. Официально принятые испытания на прослушивание всегда были важным методом оценки качества аудиосигнала. Однако субъективные оценки качества являются трудоемкими и дорогостоящими. В связи с этим возникла необходимость разработки объективного метода измерения при проведении оценки качества аудиосигнала. Традиционные объективные методы измерений, такие как отношение сигнала к шуму (SNR) или общее гармоническое искажение (THD), в действительности никогда не показывали достоверного воспринимаемого качества аудиосигнала. Проблемы возникают, когда эти методы применяют по отношению к современным кодекам, которые являются нелинейными и неустановившимися. МСЭ-Р (сектор радиосвязи Международного союза электросвязи) рекомендовал объективный метод измерения для оценки воспринимаемого качества аудиосигнала испытуемого оборудования, например, кодека с низкой скоростью передачи данных, известный как PEAQ (оценка восприятия качества аудиосигнала). Этот метод установлен в ITU-R BS.1387-1 и кратко описан в приложении В.

Выходная переменная объективного метода измерений PEAQ является показателем объективной разницы качества (ODG) и показателем искажения (Dl). ODG соответствует показателю субъективной разницы качества (SDG) в субъективной области. Точность оценки ODG ограничена одним десятичным знаком. Однако следует соблюдать осторожность и, в целом, не ожидать, что разница между любой парой ODG в одну десятую показателя будет являться значительной. DI имеет то же значение, что и ODG. Однако DI и ODG можно сравнивать только количественно, но не качественно. Как правило. ODG следует использовать в качестве показателя качества для значений ODG. приблизительно более минус 3.6. ODG очень хорошо коррелируется с субъективной оценкой в этом диапазоне. Если значение ODG составляет менее минус 3.6. следует использовать DI. Таким образом, должны быть измерены обе выходные переменные ODG и DI.

6.1.3 Метод оценки и алгоритм PEAQ

Базовая модель метода объективного измерения PEAQ показана на рисунке 8. Базовая модель состоит из двух входов, один из которых предназначен для (необработанного) эталонного аудиосигнала. соответствующего позиции 2 рисунка 2. а другой — для испытуемого аудиосигнала. Испытуемый аудиосигнал может быть, например, выходным сигналом цифровых систем аудио-, видеосвязи, соответствующим выходу позиции 4 рисунка 2, на который подается эталонный сигнал.

Расчетное

Объективный качество аудиосигнала метод измерений

Настоящий метод измерения применим к большинству типов оборудования для обработки цифровых и аналоговых аудиосигналов. В настоящем стандарте рассматривают применение метода только по отношению к цифровым каналам аудиосвязи. Блок «испытуемое устройство» соответствует позициям 2 и 3 рисунка 2.

Например цифровая система аудио-, видеосвязи Цифровой КОНТООЛИОУОМЫЙ сигнал Испытуемое сигнал устройство

Рисунок 8 — Базовая модель проведения объективных измерений

Алгоритм проведения оценки методом PEAQ приведен на рисунке 9. Метод PEAQ основан на общепринятых психоакустических принципах. В целом он сравнивает сигнал, который был некоторым образом обработан, с соответствующим синхронизированным во времени эталонным сигналом. На первом этапе обработки сигнала используется периферийное устройство, моделирующее ухо. известное как «модель восприятия», или «модель уха». Одновременные блоки данных эталонного и обработанного сигнала преобразуются в выходные сигналы моделей уха. На следующем этапе модели алгоритма определяют присутствие слышимого искажения в испытуемом сигнале путем сравнения выходных сигналов моделей уха. Информация, полученная посредством этих процессов, дает несколько значений, так называемых MOV (выходных переменных метода измерений), и может использоваться для детального анализа сигнала.

Конечной целью является управление показателем качества, состоящего из одного числа, указывающего на слышимость искажений, присутствующих в испытуемом сигнале. В целях сохранения этого параметра требуется некоторая дальнейшая обработка MOV. имитирующая когнитивную часть слуховой системы человека. Поэтому алгоритм PEAQ включает искусственную нейронную сеть.

Существуют две версии PEAQ. «базовая» версия, отличающаяся низким уровнем сложности, и «расширенная» версия, обеспечивающая большую точность за счет более высокой сложности. Структура обеих версий очень похожа и точно соответствует модели PEAQ. показанной на рисунке 9. Основное различие между базовой и расширенной версиями заключается в соответствующих моделях уха и наборе используемых MOV. В приложении С приводится дополнительная информация о PEAQ. которая помогает понять результаты измерений.

Рекомендуется использовать доступные эталонные сигналы из ITU в виде WAV-файлов (в формате Microsoft RIFF) на CD-ROM-диске. Все эталонные сигналы были отобраны на частоте 48 кГц для 16-битного РСМ. Эталонные и испытуемые сигналы, предоставленные ITU, уже согласованы друг с другом по времени и уровню, поэтому дополнительного усиления или задержки не требуют.

Алгоритм измерения должен быть откорректирован на уровень прослушивания 92 дБ SPL.

Рисунок 9 — Представление модели PEAQ 6.1.4 Представление результатов оценки Результаты измерения PEAQ должны быть приведены в виде таблицы параметров указанных эталонного и испытуемого сигналов*), а также полученных значений DI и ODG. Таблица 5 относится к базовой версии, а таблица 6 содержит значения для расширенной версии.

Та блица 5 — Параметры испытуемого сигнала и полученные значения DI и ODG для базовой версии

Параметр DI ODG Acodsnawav 1,304 -0,676 Bcodtn wav 1,949 -0,304 Ccodsax wav 0,048 -1,829 Dcodrycwav 1,648 -0,458 Ecodsmg wav 1,731 -0,412 Fcodsblwav 0,677 -1,195 Fcodtrl wav 1,419 -0,598 Fcodtr2 wav -0,045 -1,927 fcodtr3 wav -0,715 -2,601 gcodcla wav 1,781 -0,386 hcodryc wav 2,291 -0,166 Hcodstrwav 2,403 -0,128 Icodsna wav -3,029 -3,786 kcodsme wav 3,093 0,038 Icodhrp wav 1,041 -0,876 Icodpip wav 1,973 -0,293 mcodda wav -0,436 -2,331 ncodsfe wav 3,135 0,045 scodclv wav 1,689 -0,435

*) Наименования соответствующих параметров эталонных сигналов получаются путем замены подстроки «cod» в наименованиях параметров испытуемых сигналов на «ref», например наименованием параметра эталонного сигнала для «bcodtn wav» является «breftri wav»

Содержание

1    Область применения....................................................................................................................................1

2    Нормативные ссылки....................................................................................................................................1

3    Термины и определения...............................................................................................................................2

4    Конфигурация для оценки качества............................................................................................................2

4.1    Входные и выходные каналы.................................................................................................................2

4.2    Точки входных и выходных оконечных устройств................................................................................3

5    Качество видеосигнала................................................................................................................................3

5.1    Введение.................................................................................................................................................3

5.2    Сквозное воспроизведение тонов.........................................................................................................4

5.3    Сквозное воспроизведение цвета.........................................................................................................6

5.4    Сквозные цветовые разности................................................................................................................7

5.5    Сквозное отношение максимального сигнала к шуму (PSNR)..........................................................10

5.6    Сквозная объективная оценка качества видеосигнала.....................................................................13

6    Качество аудиосигнала..............................................................................................................................14

6.1    Воспринимаемое качество аудиосигнала по отношению к полным эталонным сигналам.............14

6.2    Частота дискретизации и разрешение квантования.........................................................................17

6.3    Задержка...............................................................................................................................................17

7    Качество видео- и аудиосигналов в целом...............................................................................................18

7.1    Синхронизация аудио- и видеосигнала (синхронизация изображения и речевых сигналов)........18

7.2    Масштабируемость...............................................................................................................................19

7.3    Общее качество испытуемых сигналов..............................................................................................19

Приложение А (справочное) PSNR. определенные в трехмерных пространствах, применяемые

к гипотетическому ухудшению испытуемых сигналов по отношению

к исходным эталонным видеосигналам.............................................................................20

Приложение В (справочное) Сквозная объективная оценка качества видеосигнала

в пространственно-частотной области..............................................................................24

Приложение С (справочное) Описание метода объективного измерения PEAQ.....................................28

Приложение ДА (справочное) Сведения о соответствии ссылочных международных

стандартов национальным стандартам..........................................................................32

Библиография................................................................................................................................................33

Таблица б — Параметры испытуемого сигнала и полученные значения DI и ОСЮдля расширенной версии

Параметр 01 ODG Acodsna wav 1,632 -0.467 Bcodtn wav 2,000 -0,281 Ccodsaxwav 0,567 -1,300 Dcodryc wav 1,725 -0.415 Ecodsmg wav 1,594 -0.489 Fcodsbl wav 1,039 -0,877 Fcodtrl wav 1,555 -0,512 Fcodtr2 wav 0,162 -1,711 Fcodtr3 wav -0,783 -2,662 Gcodda wav 1,457 -0,573 Hcodryc.wav 2,410 -0,126 Hcodstrwav 2,232 -0,187 Icodsna wav -2,510 -3,664 Kcodsme wav 2,765 -0.029 Lcodhrp wav 1,538 -0,523 Lcodpip wav 2,149 -0,219 Mcodcla wav 0,430 -1,435 Ncodsfe.wav 3,163 0,050 Scodch/wav 1,972 -0,293

6.2 Частота дискретизации и разрешение квантования

6.2.1    Параметр, подлежащий оценке

Оценивают частоту дискретизации и пропускную способность эталонного и обработанного аудиосигнала.

6.2.2    Метод оценки

Частота дискретизации зависит от полосы пропускания аудиосигналов. Для высококачественных аудиосигналов используется частота дискретизации 48 кГц. Должны быть выбраны значения частоты дискретизации и ширины полосы эталонного и обработанного аудиосигналов.

Разрешение квантования относится к динамическому диапазону аудиосигналов или шума квантования. Для высококачественных аудиосигналов используют линейный (или равномерный) метод квантования. имеющий 16-битное разрешение квантования. Значение разрешения и метод квантования должны быть идентифицированы.

6.2.3    Представление результатов оценки

Должны быть зарегистрированы выбранные и идентифицированные значения.

6.3    Задержка

6.3.1    Параметр, подлежащий оценке

Оценивают время задержки аудиосигналов от аудиовходов до кодера и их принятия, измеренное в секундах.

6.3.2    Метод оценки

Импульсные аудиосигналы должны быть использованы в качестве входных для позиции 2 рисунка 2. Время обработки сигнала межцу входом позиции 3 и выходом позиции 4 рисунка 2 должно быть измерено в секундах.

Введение к международному стандарту

Международная электротехническая комиссия (МЭК) — всемирная организация по стандартизации. включающая в себя все национальные комитеты (национальные комитеты МЭК). Цель МЭК заключается в развитии международного сотрудничества по всем вопросам стандартизации в области электрики и электроники. Для этого, кроме осуществления других видов деятельности. МЭК публикует международные стандарты, технические требования, технические отчеты, технические требования открытого доступа (ТТОД) и руководства (далее — публикации МЭК). Их подготовка возлагается на технические комитеты. Любой национальный комитет МЭК, заинтересованный в объекте рассмотрения, может принять участие в этой подготовительной работе. Международные, правительственные и неправительственные организации, сотрудничающие с МЭК. также принимают участие в этой подготовительной работе. МЭК тесно сотрудничает с Международной организацией по стандартизации (ИСО) на условиях, определенных в соглашении между этими двумя организациями.

Официальные решения или соглашения МЭК по техническим вопросам выражают, насколько это возможно, международное согласованное мнение по относящимся к проблеме вопросам, так как каждый технический комитет имеет представителей от всех заинтересованных национальных комитетов МЭК.

Выпускаемые документы имеют форму рекомендаций для международного использования, публикуются в форме стандартов, технических условий, технических отчетов или руководств и принимаются национальными комитетами МЭК именно в таком качестве.

В целях содействия международной унификации национальные комитеты МЭК обязуются максимально ясно и понятно использовать Публикации МЭК в своих национальных и региональных публикациях. Любое расхождение между стандартами МЭК и соответствующими национальными или региональными стандартами должно быть ясно обозначено в последних.

МЭК не предоставляет никакой маркировки соответствия и не несет ответственности за любое оборудование, заявленное как соответствующее одному из ее стандартов.

Необходимо обратить внимание на то. что некоторые элементы данного технического отчета могут быть предметом патентного права. МЭК не несет ответственности за идентификацию частично или полностью такого патентного права.

Основная задача технических комитетов МЭК заключается в подготовке международных стандартов. Тем не менее технический комитет может внести предложение о публикации технического отчета в том случае, когда он собрал данные, отличные от тех. которые обычно публикуются в качестве международного стандарта, например данные, относящиеся к последним техническим достижениям.

Технические комитеты МЭК не обязаны пересматривать технические отчеты до тех пор. пока предоставляемые ими данные не перестанут считаться действительными или полезными для разработчиков документа.

Текст настоящего технического отчета основан на следующих документах:

Проект документа для голосования Отчет о голосовании 100/561/DTR 100/662/RVC

IEC/TR 62251, который является техническим отчетом, был подготовлен Техническим комитетом ТС 100 «Аудио-, видео- и мультимедийные системы и оборудование».

Полную информацию о голосовании по одобрению настоящего технического отчета можно найти в вышеуказанном отчете о голосовании.

Настоящая публикация была составлена в соответствии с Директивами ИСО/МЭК. часть 2.

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ И ОБОРУДОВАНИЕ МУЛЬТИМЕДИА Оценка качества. Системы аудио-, видеосвязи

Multimedia systems and equipment Quality assessment Audio-video communication systems

Дата введения — 2019—04—01

1    Область применения

Настоящий стандарт устанавливает параметры, которые должны быть измерены объективными методами, а также методы и условия измерений, процедуры обработки измеренных данных и представления полученной информации для объективной сквозной (здесь и далее по тексту термин «сквозной» обозначает «от начала и до конца») оценки качества систем аудио-, видеосвязи, осуществляемой посредством цифровых сетей. Измерения следует проводить при двухстороннем и полном эталонном сигнале. Предполагается, что системы обеспечены каналами электрических интерфейсов на входе и выходе аудио-, видеосигналов для объективной оценки.

Дополнительные требования для систем, не обеспеченных такими каналами, оставлены для дальнейшего изучения.

2    Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты. Для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных — последнее издание ссылочного стандарта (включая все изменения к нему).

IEC 60268-4. Sound system equipment — Part 4: Microphones (Оборудование звуковых систем. Часть 4. Микрофоны)

IEC 60268-5, Sound system equipment — Part 5: Loudspeakers (Оборудование звуковых систем. Часть 5. Громкоговорители)

IEC 61146-1:1994, Video cameras (PAL/SECAM/NTSC) — Methods of measurement — Part 1: Nonbroadcast single-sensor cameras (Видеокамеры (PAL/SECAM/NTSC). Методы измерения. Часть 1. Камеры с одним преобразователем, не предназначенные для телевещания]

IEC 61146-2:1997, Video cameras (PAL/SECAM/NTSC) — Methods of measurement — Part 2: Two-and three-sensor professional cameras [Видеокамеры (PAL/SECAM/NTSC). Методы измерения. Часть 2. Профессиональные камеры с двумя и тремя преобразователями]

IEC 61966-2-1:1999 with Amendment 1 (2003), Multimedia systems and equipment — Colour measurement and management — Part 2-1: Colour management — Default RGB colour space — sRGB (Мультимедийные системы и оборудование. Измерение и управление цветом. Часть 2-1. Управление цветом. Цветовое пространство RGB, используемое по умолчанию — sRGB]

IEC 61966-3:2000, Multimedia systems and equipment — Colour measurement and management — Part 3: Equipment using cathode ray tubes (Мультимедийные системы и оборудование. Измерение и управление цветом. Часть 3. Оборудование, использующее электронно-лучевые трубки)

Издание официальное

IEC 61966-4:2000. Multimedia systems and equipment — Colour measurement and management — Part 4: Equipment using liquid crystal display panels (Мультимедийные системы и оборудование. Измерение и управление цветом. Часть 4. Оборудование, использующее жидкокристаллические дисплейные панели)

IEC 61966-5:2000’. Multimedia systems and equipment — Colour measurement and management — Part 5: Equipment using plasma display panels (Мультимедийные системы и оборудование. Измерение и управление цветом. Часть 5. Оборудование, использующее плазменные дисплейные панели)

IEC 61966-9:2000". Multimedia systems and equipment — Colour measurement and management — Part 9: Digital cameras (Мультимедийные системы и оборудование. Измерение и управление цветом. Часть 9. Цифровые камеры)

ITU-R BS.1387-1:2001. Method for objective measurements of perceived audio quality (Метод объективных измерений воспринимаемого качества аудиосигнала)

ITU-R ВТ.601-5:1995. Studio encoding parameters of digital television for standard 4:3 and wide-screen 16:9 aspect ratios (Параметры студийного кодирования цифрового телевидения для стандартного форматного соотношения 4:3 и широкоэкранного форматного соотношения 16:9)

ITU-T J. 144 2001, Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference (Методы объективного измерения воспринимаемого качества видеосигнала для цифрового кабельного телевидения при наличии полного эталонного сигнала)

ITU-T P.931:1998. Multimedia communications delay, synchronization and frame rate measurement (Задержка при передаче мультимедийных данных, синхронизация и измерение частоты кадров)

3    Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1    система аудио-, видеосвязи (audio-video communication system): Система, обрабатывающая аудио-, видео- и. возможно, другие потоки данных синхронизированным в рамках восприятия пользователей способом для передачи и/или обмена информацией, работающая, как предполагается, через локальную или глобальную цифровую сеть.

3.2    DMOS (DMOS): Разность качества исходного и обработанного видеосигнала, оцениваемого на основании средних экспертных оценок (MOS). полученных в результате субъективной оценки испытаний, проведенных группой экспертов по качеству видеосигнала (VQEG).

3.3    PEAQ (PEAQ): Оценка восприятия качества аудиосигнала, определенная согласно ITU-R BS. 1387-1.

3.4    PSNR (PSNR): Объективный параметр качества видеосигнала, определяемый отношением пикового сигнала к шуму, который вычисляют из сравнения исходных и обработанных видеокадров.

3.5    VQR (VQR): Объективная оценка качества видеосигнала, заниженная по сравнению с любым объективным параметром благодаря наличию оптимальной корреляции с DMOS.

4    Конфигурация для оценки качества

4.1 Входные и выходные каналы

Аудио- и видеосигнал в аудио-, видеопотоках должны быть зарегистрированы на соответствующих входном и выходном каналах системы аудио-, видеосвязи, как показано на рисунке 1.

* Заменен на IEC 61966-5 2008 Однако для однозначного соблюдения требований настоящего стандарта, выраженного в датированной ссылке, рекомендуется использовать только указанное в этой ссылке издание

Заменен на IEC 61966-9:2003 Однако для однозначного соблюдения требований настоящего стандарта, выраженного в датированной ссылке, рекомендуется использовать только указанное в этой ссылке издание

I Вход 7Y 1 1

Кодер

Видеоканал

Камера

Декодер

Выход

ч-

Дисплей

D-

Микрофон

Кодер

Аудиоканал

Декодер

Громкогоеорител ь

Рисунок 1 — Модель систем аудио-, видеосвязи

4.2 Точки входных и выходных оконечных устройств

Руководствуясь принципом сквозной оценки качества систем аудио-, видеосвязи, точки для получения необработанных данных должны быть в максимально возможной степени предельными оконечными точками. Методы измерения и характеристики оборудования, входящего в состав систем аудио-. видеосвязи, стандартизованы, например на входные преобразователи, такие как видеокамеры и микрофоны, распространяются МЭК61146-1, МЭК61146-2. МЭК61966-9 и МЭК60268-4, а на выходные преобразователи, такие как дисплеи видеосигнала и громкоговорители, — МЭК 61966-3, МЭК 61966-4, МЭК 61966-5 и МЭК 60268-5, требования которых могут быть не применимы для сквозной оценки качества систем аудио-, видеосвязи.

Структурная схема оценки качества при двухстороннем и полном эталонных сигналах приведена на рисунке 2.

4

1    — исходный эталонный аудио- или видеосигнал;

2    — предварительная подготовка аудио- или видеосигнала:

-    уменьшение динамического частотного диапазона аудиосигнала:

-    уменьшение размера кадра и частоты кадров видеосигнала для получения пригодности к оценке качества систем аудио-. видеосвязи, при необходимости.

3    — кодирование с помощью кодера сетевой потоковой передачи с заданной скоростью передачи данных для согласования пропускной способности сквозного сетевого соединения,

4    — декодирование с помощью декодера и визуализация полученных данных для получения слькиимых и видимых данных.

5    — сбор данных и расчет оценки качества для предоставления информации, установленной настоящим стандартом

Рисунок 2 — Структурная схема оценки качества

5 Качество видеосигнала

5.1 Введение

В настоящем стандарте для сквозной объективной оценки качества видеосигнала рассмотрены два аспекта;

-статические характеристики, такие как воспроизведение тона и воспроизведение цвета, описанные в 5.2 и 5.3:

-динамические характеристики, основанные на потоковой передаче видеокадров в сети, описанные в 5.4. 5.5 и 5.6.

В качестве исходного эталонного видеосигнала, указанного на рисунке 2 (позиция 1), рекомендуется использовать набор наиболее распространенных исходных видеосигналов, например испытательные последовательности канадского научного центра (CRC). Для фактического кодирования потокового видеосигнала в сеть с ограниченной полосой пропускания исходный эталонный сигнал должен быть уменьшен по размеру кадра и скорости передачи, как указано на рисунке 2 (позиция 2). из-за высокой скорости передачи данных и большого размера кадра, при необходимости.

Доступные в настоящее время эталонные видеопоследовательности для динамических характеристик приведены в таблице А.1. Все источники эталонных видеосигналов, указанные в таблице А.1. которые были использованы группой экспертов по качеству видеосигнала (VQEG) для проведения субъективных испытаний качества видеосигнала в целях получения разности средних экспертных оценок (DMOS), а также для объективной оценки качества видеосигнала (VRG) согласно ITU-R 10-11Q/56-E1, были использованы в настоящем стандарте с разрешения владельца — канадского научного центра (CRC).

Формат каждого из исходных эталонных видеосигналов состоит из 10 кадров (для ракорда) + видеокадры за 8 с + 10 кадров (для трейлера). Существует два видеоформата 525/60 Гц и 625/50 Гц. однако в настоящем стандарте для оценки качества используют только формат 525/60 Гц. приведенный в таблице А.1.

Каждая строка находится в пиксельном мультиплексированном 4:2:2 компонентном видеоформате в последовательности Cb Y Cr Y... и так далее, закодированной в соответствии с ITU-R ВТ.601-5, где 720 байт/строка для Y, 360 байт/строка для СЬ, а Сг — 360 байт/строка для Сг. Строки соединены последовательно в кадры, а кадры соединены последовательно в форме последовательности файлов.

Формат содержит 720 пикселей (1440 байт) на горизонтальную строку и имеет 486 активных строк на кадр. Размеры кадров составляют 1440x486 = 699840 байт/строка, а размеры последовательности — размер файла из 240 кадров за 8 с + 20 кадров. Таким образом, размер файла составляет 699840 байт/кадр * 260 кадров = 181958 400 байт. 30 кадров/с дает скорость передачи данных 699840 байт/кадр * 30 кадров/с * 8 бит = 167961600 бит/с. Поскольку эта скорость передачи данных слишком высокая для обработки обычными персональными компьютерами и потоковой передачи в сети Интернет, исходные испытательные последовательности были уменьшены по размеру кадра до 320*240 пикселей и по формату — до 24-бит/пиксель цветового пространства RGB (вместо цветового пространства YCC) для соответствия типовому видеоформату (AVI) с учетом требований IEC 61966-2-1.

Примечание 1— Оценка ошибок, проводимая попиксельно. требует уверенного использования крайне высокой степени нормализации Для нормализации требуется как пространственное, так и временное выравнивание, а также поправки на усиление и смещение С этой целью следует обратиться к разделу А2 ITU-R 6Q/39-E

Примечание 2 — Поскольку значения объективных показателей качества в значительной степени зависят от контента видеосигнала, следует в максимально возможной степени использовать различные наиболее распространенные источники видеосигналов.

Примечание 3 — Показатели качества видеосигнала, полученные путем объективной оценки, проведенной согласно разделу 5. должны быть преобразованы в VQR посредством оптимальной корреляции с DMOS, рассматриваемой в ITU-R WP 6Q

5.2 Сквозное воспроизведение тонов

5.2.1    Параметры, подлежащие оценке

Оценивают сквозную нелинейность в отношении воспроизведения тонов.

5.2.2    Метод оценки

В качестве исходного эталонного сигнала для позиции 1 рисунка 2 должно быть использовано изображение шкалы серых тонов, установленное МЭК 61146-1. как показано на рисунке 3. Статическое ахроматическое изображение должно быть подготовлено (позиция 2 на рисунке 2) и повторно закодировано как потоковый видеосигнал, переданный в сеть.

Рисунок 3 — Изображение шкалы серых тонов, установленное МЭК 61146-1

Полученный потоковый видеосигнал должен быть декодирован и воспроизведен устройством просмотра входящих потоковых видеосигналов. Подлежащие отображению данные изображения должны быть зарегистрированы выходным оконечным устройством.

Данные принятого изображения следует сравнивать по показателям трехкомпонентных данных: R (красный), G (зеленый) и В (синий), усредненных в каждой из соответствующих областей.

5.2.3 Представление результата оценки

Результаты оценки, включающие данные воспроизведения изображения по сравнению с входными данными изображения, должны быть представлены в виде таблицы и графика, как показано в таблице 1 и на рисунке 4. соответственно, вместе с оцениваемой системой аудио-, видеосвязи и спецификацией точки входа-выхода.

Таблица 1— Пример воспроизведения тонов

Измерение Спецификация Входной сигнал Выходной сигнал R. % G, % В, % R G В R G В 0 2.0 2.0 2.0 44 43 44 34 39 28 1 4.5 4.5 4.5 63 63 62 55 60 53 2 8.1 8.1 8.1 82 81 82 73 78 69 3 13,0 13,0 13.0 102 102 101 93 98 87 4 19,8 19,8 19,8 123 122 123 115 120 110 5 27,9 27,9 27.9 144 144 144 136 140 128 6 37,8 37,8 37,8 165 164 165 158 163 152 7 48,6 48,6 48.6 184 184 186 174 180 171 8 63,0 63,0 63,0 207 206 208 198 203 195 9 77.3 77.3 77.3 226 227 228 216 219 213 10 89,9 89,9 89,9 243 243 235 217 218 211

Уровень выходного сигнала (8-битный)

Рисунок 4 — Пример графика воспроизведения тонов

5.3 Сквозное воспроизведение цвета

5.3.1    Параметр, подлежащий оценке

Оценивают сквозные сдвиги цвета в цветовом пространстве CIELAB для статического цветного изображения.

5.3.2    Метод оценки

В качестве исходного эталонного сигнала для позиции 1 рисунка 2 должно быть использовано изображение шкалы воспроизведения цвета, установленное МЭК 61146-1, как показано на рисунке 5. Статическое цветное изображение должно быть подготовлено (позиция 2 на рисунке 2) и повторно закодировано как потоковый видеосигнал, переданный в сеть.

Рисунок 5 — Изображение шкалы воспроизведения цвета по МЭК 61146-1

Полученный потоковый видеосигнал должен быть декодирован и воспроизведен устройством просмотра потоковых видеосигналов. Подлежащие отображению данные цветного изображения должны быть зарегистрированы на выходном оконечном устройстве.

Данные принятого изображения должны быть получены в формате трехкомпонентных данных: R (красный), G (зеленый) и В (синий), усредненных по каждой из соответствующих областей.