论文部分内容阅读
近年来,随着深度学习技术的不断发展,图像细粒度识别研究也取得了巨大的进展。图像细粒度识别是相对图像粗粒度识别任务而言,指在图像的大类中进行子类的精细识别。目前,基于弱监督信息的图像细粒度识别研究正成为一个重要的研究课题,这里用到的弱监督信息是指图像级标签信息,不需要局部的标注信息。由于细粒度图像具有类间方差小,类内方差大的特点,所以图像细粒度识别难度上要大于粗粒度识别任务。针对图像细粒度识别研究存在着特征提取不充分、特征利用不充分以及最具有代表性区域挖掘困难等问题。本文将以交叉双线性特征为基础结合集成学习和强化学习等策略来解决上述问题。主要的工作和创新如下:1.针对图像细粒度特征提取不充分、特征利用不充分的问题,提出了基于多流网络融合多尺度交叉双线性特征的图像细粒度识别方法。该方法利用多流网络提取交叉双线性特征,此特征可以表征图像更加细腻的局部特征,解决了特征提取不充分的问题;使用图像随机混合增强和融合多尺度底层双线性特征的方法,解决了特征利用不充分的问题。经实验验证,基于多流网络融合多尺度交叉双线性特征的细粒度识别方法在CUB-200-2011,Stanford Cars和Aircraft等三个公开数据集上的识别准确率比目前已有方法有显著的提高,分别达到了最优的细粒度识别准确率。2.考虑到上述方法中不同网络流提取的交叉双线性特征判别能力有差异的问题,提出了基于集成学习bagging策略的细粒度识别方法。该方法利用多流网络提取的交叉双线性特征构造若干基分类器,采用多数投票法和加权投票法等策略去集成各基分类器,以此来预测图像细粒度类别。该方法使用跳跃连接的结构去融合图像的底层特征,进一步改善了图像特征利用不充分的问题。经实验验证,基于集成学习策略的细粒度识别方法在CUB-200-2011,Stanford Cars和Aircraft等三个公开数据集上的识别准确率比上述方法又有较大的提高。3.针对细粒度图像最具有判别力的区域难以挖掘的问题,提出了基于强化学习和交叉双线性特征的细粒度识别方法。该方法使用Actor-Critic策略去挖掘图像最具有注意力的区域,Actor模块负责产生最具有判别力的top M个候选区域,Critic模块利用交叉双线性特征去评价此动作的状态值,然后利用排序一种性奖励计算当前状态下该动作的奖励值,进而得到价值优势并反馈给Actor模块,更新最具有注意力区域的输出,最后使用这些最具有判别力的区域结合原图特征进行预测细粒度类别。该方法可以较好的挖掘出细粒度图像最具有注意力的区域。经实验验证,基于强化学习和交叉双线性特征的细粒度识别方法在CUB-200-2011,Stanford Cars和Aircraft等三个公开数据集上的识别准确率比目前已有方法有一定的提升,分别达到了较高的细粒度识别准确率。本文上述算法均可以达到实时性的推理速度,本文最后分析了上述方法中的不足以及下一步的改进方向。