IP视频系统的视频质量客观测试

3.3 测试过程的自动化实现

我们在测试过程中发现，视频采集、视频转化及数据收集等过程投入的人力较多，并且在视频采集机转化过程中，虽然只进行了一些辅助性工作，但是也会给测试结果带来较大的误差，因此需要对上述测试过程进行自动化实现，排除人为的影响，具体实现过程如下：

1. 选择并处理好视频测试序列之后，将相关视频测试场景文件保存在参考视频输入PC上，然后在该PC上架设WEB服务器，将该PC作为视频点播网站，在其主页中嵌入视频播放控件，远端用户可通过登录该WEB网站在参考视频输入PC本地播放视频测试场景。

2.在视频采集PC上使用AutoIT实现了视频文件采集、转换，VQM计算及结果收集的自动化运行；并最终使用AutoIT整合了步骤1及步骤2的所有自动化脚本，实现了在测试环境搭建后可完全的自动化运行，无需人工干预，排除了人为的影响。

3.4 测试结果

视频质量客观测试实践验证过程中，为保证测试的稳定性，我们对每个场景进行了多次测试之后求平均值，具体数据如表4所示：

表4 多个场景测试结果（VQM平均值）

从测试结果可看出，视频处理系统对于静止及画面复杂度较低的场景的处理效果要好于运动较大及细节丰富的场景。但是此测试结果无法同人眼的主观感受关联起来，因此接下来需要进行VQM测试结果与主观测试标准 DMOS 测试结果的一致性分析。

4.VQM与DMOS主观测试方案结果一致性分析

4.1 DMOS主观测试方案分级原理

DMOS 主观测试方案直接由视频质量观察人员同时对参考图像及测试图像进行打分，再对参考图像和测试图像的结果进行归一化（转换为0-100）；然后计算参考图像及测试图形之间的差值并求平均值，通过该平均值的分布来反映被测系统视频主力能力的好坏，其分布范围为0-100，值越小越好。分布范围与主观感觉的映射如表5所示：

表5 DMOS与主观感受映射表

4.2 两个分级方案一致性分析

VQM 客观测试和 DMOS 主观测试均是通过计算参考图像与测试图像之间的差值平均值来对被测系统进行评价；其中VQM 客观测试方案是在模拟人眼视觉系统的基础上提取出人眼可感知的特征值进行计算得出结果，DMOS 主观测试结果则直接通过人眼的可感知性得出结果；因此从测试原理上，VQM 与 DMOS应该是线性相关的。 VQEG 视频质量专家组在其进行的第二次视频质量专题测试中将VQM的值乘以100后再通过下面的非线性公式转换为DMOS值：DMOSp = b1 / ( 1 + exp( - b2*(VQM-b3) )

再与其他独立实验测试的实际DMOS值进行比较计算得出表格1与表格2的一致性结果。 VQEG 视频质量专家组经过分析，若不经过非线性转换而是只将VQM*100线性转换为DMOS值，则其对应的皮尔森相关系数只会下降 0.003 及 0.015。

通过上述分析，可以初步得出，VQM的测试结果值可以通过乘以100线性转为 DMOS值，通过 DMOS 值的分布可以间接映射为用户的主观感觉。将上文表4的VQM测试结果直接映射为DMOS主观评价结果，如表5所示。

表6 VQM测试结果映身为DMOS主观评价结果

上述映射结果值，已通过测试人员观看实际的参考与测试视频进行验证。综上所述，VQM可以作为日常视频质量测试中的一个评价标准。

5.结论

视频质量客观测试标准是在模拟人眼视觉系统的基础上提出的，与主观测试结果一致性较好。但是由于目前对于人眼视觉系统的的研究还不是很透彻，人眼视觉系统的数学模拟并不能够真实反映人眼的主观感受，因此依据频质量客观测试标准得出的测试结果只能作为视频质量评价的一个重要参考，更适合用于视频处理系统厂商之间的对比测试。直接用户是视频处理系统的最终效果评价者。