论文部分内容阅读
近年来,随着高清电视、互联网视频流和视频点播等新媒体形式的出现,图像、视频等数字视觉信息在日常的生活和工作中越来越重要。而无论是图像还是视频,其图像的质量在整个生成和传播过程当中都会造成质量的损失。因此,如何对接收到的图像质量进行评价在图像和视频的处理和通信中起着至关重要的作用,同时图像质量评价(Image Quality Assessment,IQA)算法引起了研究者们的广泛关注。随着三维技术的不断发展和成熟,立体图像因其在真实感等方面的优势被广泛使用到各个领域当中。本文首先从立体图像质量研究出发,充分研究和利用观看者对质量的感受,结合整体立体图像进行多个特征指标的提取,提出了一种基于视觉注意力与感知的无参考立体图像质量评价(No Reference Stereoscopic Image Quality Assessment,NR-SIQA)方法。在海洋浮游生物研究领域,图像质量的高低对于实现海洋浮游生物的定位、追踪和分类等任务有着极大的影响。因此,针对海洋浮游生物研究这一特殊任务,本文以图像质量中清晰度为评价指标,提出了两种无参考的海洋浮游生物图像(Marine Plankton Image,MPI)清晰度评价(No Reference MPI Clarity Assessment,NR-MPICA)算法。针对以上提到的两个方面,本文的工作总结如下:1)基于视觉显著性和感知的NR-SIQA方法本文提出了一种基于视觉显著性和感知的NR-SIQA方法。该方法首先提取左右视图的全局和局部特征,然后分别计算图像自身的视觉显著区域和恰可察觉差异(Just Noticeable Difference,JND)感知模型,并利用二者对得到的视觉特征进行加权,反映出不同特征在视觉感知过程中的视觉差异。同时,为了获得准确的双目视觉感知信息,从由左右视图合成的图像中提取反映空间相关性的全局结构特征,然后利用支持向量回归(Support Vector Regression,SVR)模型学习基于该特征的立体图像质量评价分数。在经典的SIQA数据集上的实验表明,本文提出的基于视觉注意力与感知JND的NRSIQA方法优于目前最新的质量评价方法。2)基于SVR的NR-MPICA算法本文提出一种基于SVR的NR-MPICA算法。通过分析针对普通图像的清晰度评价算法,实现手动提取MPIs中的特定特征进行清晰度评价及清晰度和模糊度的分类。算法首先分别提取MPIs中包括离散正交矩、局部对比度统计等全局和局部特征,然后利用SVR回归模型进行特征训练和回归拟合并得到最终的预测清晰度。根据预测得到的清晰度值,利用主观的清晰度阈值实现MPIs的清晰和模糊分类。该算法在有限的数据集上表现出一定的准确性。3)基于卷积神经网络(Convolutional Neural Network,CNN)的NR-MPICA算法。为了利用更丰富的高层次特征实现清晰度的评价,本文充分利用深度学习网络在图像特征提取方面的优越性,设计多层卷积神经网络提取MPIs中的深层次特征。然后利用训练好的模型进行清晰模糊分类,并将分类结果与主观评价结果进行对比。实验表明,与手动提取特征相比,该方法可以获得更高的准确率。