论文部分内容阅读
近年来随着科学技术和多媒体技术的快速发展,越来越多的新技术应用到现实生活中。从黑白图像到彩色图像,再从二维图像到三维图像,整个过程都展现了多媒体技术的快速发展。在多媒体技术中,值得一提的是3D技术,例如:虚拟现实、三维电视、自由视点电视等。3D技术可以更好的满足人类对视觉体验的要求,更好地模拟人类的视觉感知,但是这些技术的研究需要人们获取更多的图像,而图像的获取需要很大的人力、物力和财力。因此,基于深度信息的图像渲染技术油然而生,该技术的主要目标是减少图像的获取量、图像的存储量和图像的运输量。但该技术无法避免的缺点是在人类获取图像、存储图像、显示图像以及图像渲染生成过程中,会使得图像的质量降低,从而降低人的视觉体验。因此,对降质图像的质量评价显得尤为重要。由于图像的产生和发展的需求对象是人类,人是图像显示的“感受物”。因而,如果利用人眼直接对图像质量进行评分,那么评分的结果是非常准确的,这种方法称为主观图像质量评价。但是,主观质量评价耗费人力、物力和财力。所以,人们希望能够通过计算机算法模拟人眼对图像的质量进行间接评分,这种方法称为客观图像质量评价,该方法全程不需要人的参与。本文将介绍一种无参考的合成图像质量评价算法和一种全参考的合成图像质量评价算法。由于人是图像显示的“感受物”,所以本文中的两种图像质量评价方法以人类视觉感知特性为基础设计,通过提取图像视觉感知特征,设计简单、有效的客观图像质量评价算法。本文具体研究内容包含以下两个方面:(1)在无参考合成图像质量评价的设计中,我们考虑了合成图像的颜色信息和空洞信息。由于人眼在观察图像时,对彩色信息比较敏感,所以在设计算法时,我们提取了彩色信息,彩色信息用饱和度和色调特征来表示。特别地,我们使用局部二值模式(Local Binary Pattern,LBP)方法计算饱和度映射图和色调映射图的一阶导数图,并从得到的两种LBP映射图中提取了纹理特征向量。此外,根据人类视觉系统(Human Visual System,HVS)的特点和合成图像特异性的失真类型,本方法提取合成图像的空洞区域图作为LBP映射图的加权图。最后,采用支持向量回归(Support Vector Regression,SVR)模型对提取到的全部特征向量进行训练,拟合得到一个回归函数,然后根据函数预测每个测试图像的视觉质量分数。本文提出的方法同现有的8种最先进的自然图像和合成图像无参考质量评价算法进行了比较,我们的算法在IRCCyN/IVC DIBR数据库和MCL-3D数据库上的性能都得到了明显的改善。(2)随着自由视点电视(Free-viewpoint TV,FTV)技术的迅速发展,基于深度图像的渲染(Depth-image-based Rending DIBR)技术在“虚拟”视点图像合成中得到了广泛的应用。但是,“虚拟”合成图像中的失真类型与自然图像中的失真类型不同,例如:不连续性、闪烁和拉伸等。为了测量合成图像的畸变程度,本文提出了一种基于局部变化测量的全参考合成图像质量评价方法。首先,由于合成图像的畸变主要发生在图像的结构区域,因此,我们基于中性(Neutrosophic,NS)域提取了图像的结构映射图,基于此图可获得局部图像结构质量分数。其次,由于二维图像的扭曲或空洞区域信息的丢失,使得虚拟合成的图像的纹理可能受到破坏,因此,我们基于频域提取了局部纹理特征,并计算得到局部纹理质量分数。然后,针对合成图像中所特有的拉伸失真,我们采用信息熵的方法计算拉伸区域的视觉质量分数。最后,我们利用池化操作融合三个模块的视觉质量分数来获得最终的预测质量分数。实验结果表明,本算法的性能优于现有的全参考和无参考图像质量评价方法。