论文部分内容阅读
随着信息技术的发展,人们获取图像的种类和数量急剧增加,让计算机自动完成图像的分析和理解成为一项重要并且紧迫的任务。其中,图像特征的提取与表达,作为图像分析和理解的第一步,是解决图像匹配、分类和检索等诸多视觉任务的基础和关键步骤。由于局部特征对于背景干扰、物体遮挡和成像视角等具有一定的鲁棒性,并且提供了一种具有统计意义的图像内容表示,研究局部特征具有重要意义。然而,现实世界中的图像不仅种类繁多、结构复杂,而且成像条件几乎不可预知,加之大数据时代的到来,提取有效的局部不变特征和设计高效的图像表达方法是十分具有挑战性的任务。在此背景下,本文从图像局部特征出发,以有效性(即判别性和鲁棒性)和时效性(计算复杂度低和维度低)为总体目标,重点研究了局部不变特征的提取方法和基于局部不变特征构建全局图像特征的描述方法,还研究了高效的二值化特征表达方法,并分别将它们成功地应用于特征点匹配、图像分类和大规模数据的检索任务。具体的研究内容和主要贡献概括如下:第一,针对现有关键点描述符存在的特征判别力低和对噪声敏感等问题,提出了基于局部极向离散余弦变换(DCT)和基于局部二阶统计量软聚合的两种关键点描述符。前者从提取频域特征的角度出发,基于极网格结构对图像块进行采样,利用经典的二维DCT提取频域表示系数,并通过规则扫描实现重排序,从而构建了一种低维的、对图像模糊、噪声和JPEG压缩等具有鲁棒性的关键点描述符。后者则从提取高阶统计特征的角度出发,构造了旋转不变的局部模式集,提出了梯度序软聚合策略,并利用协方差矩阵作为二阶统计表达,有效提升了特征的判别性和鲁棒性。第二,针对传统的局部二值模式(LBP)局限于小尺度上的空域信息描述和抗噪性能差的缺陷,提出了基于特征分级结构和基于局部抗噪模式的两种图像描述符。前者利用小波变换和LBP构建了从像素、局部块到图像级别的特征表示。由于对语义块采用了软量化和高阶统计编码,该描述符特别适用于含有特定对象和复杂场景的图像分类。后者利用不同类型的均值差分模板来计算丰富的特征响应,并通过全局门限对特征响应进行量化和编码,最终实现了一种低维的、旋转不变的和抗噪的纹理表达。第三,针对LBP对复杂纹理图像描述能力不足的问题,从局部特征的构造、量化和编码角度出发,提出了三种基于局部X-模式联合统计的纹理描述符:首先提出了基于二值码集成的纹理表达方法。该方法通过引入多方向多类型的滤波和二值化操作获得“放大”的二值码,有效提高了LBP的近邻描述能力。其次,提出了基于局部量化模式联合统计的纹理表达方法。该方法利用局部量化的二值和三值模式对图像域和梯度域的纹理结构信息进行混合编码,从而降低了前一种方法的计算复杂度和特征维度。最后,提出了基于局部模式空频共生的纹理表达方法。该方法利用两通道多分辨率的空域滤波和局部傅里叶变换提取旋转不变的空频编码特征,有效提高了纹理分类的准确率。第四,针对特征表达的“有效性”和“时效性”两个指标,提出了基于局部编码变换特征直方图的纹理表达方法。该方法基于可控滤波理论提出了“多尺度极值滤波”的概念,为计算多尺度旋转不变的局部响应提供了理论基础;提出了“特征变换”操作,以此构造了具有判别性和互补性的局部特征集;设计了比值量化器和均匀量化器来获得离散的多值的纹理码;提出了邻接尺度和全尺度两种编码策略来生成联合的直方图表达。该方法计算过程高效、特征维度较低,并且对于旋转、光照、尺度、视角变化和含噪条件下的纹理分类都表现出优秀的性能,具有很高的实际应用价值。第五,针对在实际应用中标注的数据往往难以获得而未标注的数据大量存在的事实,提出了一种半监督的流形嵌入的哈希方法,用于传统实值描述符的二值化特征表达。该方法将流形嵌入、特征表达和分类器学习统一到一个联合的优化框架,并引入l2,1-范数以提高模型的健壮性。提出了两阶段哈希学习优化策略,有效解决了哈希函数的优化问题,并在大规模数据检索任务中达到了预期的效果。