论文部分内容阅读
行人重识别任务主要研究如何匹配多个视野不重叠摄像头下的行人图像,是计算机视觉领域最近几年的研究热点。在真实的应用场景上,行人重识别技术在寻找失踪人口、维护公共安全和辅助公安机关刑侦破案上扮演重要角色。然而,行人重识别任务还面临很多技术上的难点,主要包括光照条件差异、相机分辨率差异、背景差异、遮挡问题、行人姿态变化等干扰因素。这些因素使得同一行人在不同的摄像头下的图像也存在较大差异,导致行人图像检索时错误匹配。本文将基于深度学习技术,针对行人匹配时的度量问题、行人视角的变化问题和相机风格的差异问题进行探究。
首先,本文关注深度度量学习方法只在样本级别设计约束而忽略类别级约束的问题。之前的行人重识别方法中,所使用的深度度量学习约束,比如二元组损失、三元组损失,都是在样本层级设计约束。但是,样本层级的约束受极端样本点的影响较大,当遍历到错误标注样本或者极端难例时,可能使损失函数的值过高进而导致训练不稳定。针对这个问题,本文提出中心级别的对比损失,从类别中心这一层级而非样本层级进行损失的设计。本文借鉴中心损失,在训练阶段对于训练集中的每一个行人类别学得一个中心,中心通过逐渐迭代的方式获得。在损失设计上,要求同一个标签(ID)下的特征都应该和中心的距离接近,以此控制类内距离;不同的样本中心之间的距离应该尽可能的大,从而增加不同行人间特征的差异。该方法从中心层级进行考虑,同时控制了类内距离和类间距离,并在多个数据集下的进行实验,证明了该方法的有效性。
其次,本文考虑行人身体朝向间的过大差异导致不同身体朝向的图像很难正确匹配的问题。本文为了建模不同行人身体朝向间的差异,根据行人朝相机的方向将行人图像分为正面朝向、侧面朝向和背面朝向。对于同一个行人不同朝向的图像,其特征存在一定的差异,为了消除这种由于朝向带来的特征差异,本文通过构建朝向转换网络将源朝向的特征转换到目标朝向上。此外,本文还提出了视角相关的独立分类器和转换损失,前者使得各个朝向的特征都具有对于行人ID的判别性;后者则以损失的形式要求转换到目标朝向的特征和目标朝向原有的特征尽量接近。在测试阶段,将所有图像的特征转换到同一朝向的特征空间上进行匹配。本方法在行人重识别数据集Market-1501、DukeMTMC-reID和CUHK03上进行实验,均取得了有竞争力的结果。
最后,本文考虑相机风格因素对行人重识别的影响。相机风格因素是指由相机内置参数以及外界部署环境联合影响的干扰因素,因为来源的复杂性,很难对相机风格准确建模。本文提出一种基于深度学习的解耦算法,试图消除相机风格的因素对行人重识别的影响。该方法构建了解耦网络,把相机风格从行人图像的特征中解耦出来,并通过样本增广的方式生成更多相机风格存在差异的样本,这些样本将辅助训练以帮助网络消除相机风格的影响。本方法在行人重识别数据集Market-1501和DukeMTMC-reID上均取得了当前行人重识别方法中最好的结果。
首先,本文关注深度度量学习方法只在样本级别设计约束而忽略类别级约束的问题。之前的行人重识别方法中,所使用的深度度量学习约束,比如二元组损失、三元组损失,都是在样本层级设计约束。但是,样本层级的约束受极端样本点的影响较大,当遍历到错误标注样本或者极端难例时,可能使损失函数的值过高进而导致训练不稳定。针对这个问题,本文提出中心级别的对比损失,从类别中心这一层级而非样本层级进行损失的设计。本文借鉴中心损失,在训练阶段对于训练集中的每一个行人类别学得一个中心,中心通过逐渐迭代的方式获得。在损失设计上,要求同一个标签(ID)下的特征都应该和中心的距离接近,以此控制类内距离;不同的样本中心之间的距离应该尽可能的大,从而增加不同行人间特征的差异。该方法从中心层级进行考虑,同时控制了类内距离和类间距离,并在多个数据集下的进行实验,证明了该方法的有效性。
其次,本文考虑行人身体朝向间的过大差异导致不同身体朝向的图像很难正确匹配的问题。本文为了建模不同行人身体朝向间的差异,根据行人朝相机的方向将行人图像分为正面朝向、侧面朝向和背面朝向。对于同一个行人不同朝向的图像,其特征存在一定的差异,为了消除这种由于朝向带来的特征差异,本文通过构建朝向转换网络将源朝向的特征转换到目标朝向上。此外,本文还提出了视角相关的独立分类器和转换损失,前者使得各个朝向的特征都具有对于行人ID的判别性;后者则以损失的形式要求转换到目标朝向的特征和目标朝向原有的特征尽量接近。在测试阶段,将所有图像的特征转换到同一朝向的特征空间上进行匹配。本方法在行人重识别数据集Market-1501、DukeMTMC-reID和CUHK03上进行实验,均取得了有竞争力的结果。
最后,本文考虑相机风格因素对行人重识别的影响。相机风格因素是指由相机内置参数以及外界部署环境联合影响的干扰因素,因为来源的复杂性,很难对相机风格准确建模。本文提出一种基于深度学习的解耦算法,试图消除相机风格的因素对行人重识别的影响。该方法构建了解耦网络,把相机风格从行人图像的特征中解耦出来,并通过样本增广的方式生成更多相机风格存在差异的样本,这些样本将辅助训练以帮助网络消除相机风格的影响。本方法在行人重识别数据集Market-1501和DukeMTMC-reID上均取得了当前行人重识别方法中最好的结果。