论文部分内容阅读
行人跟踪与再识别技术是计算机视觉领域的重要研究方向。行人跟踪是根据视频初始帧中行人的状态预测其后续运动轨迹;行人再识别是通过技术手段对不同点位行人图像进行相似性度量,判断是否属于同一个人。由于行人姿态多变、环境存在差异,行人跟踪与再识别技术易受遮挡、形变、脱离视野等因素影响,导致算法准确率较低,在实际应用过程中难以满足现实需求。因此,行人跟踪与再识别方法具有一定的研究价值。本文围绕基于孪生神经网络的行人跟踪与再识别展开研究,具体工作如下:在目标跟踪方面,针对SiamRPN方法在复杂场景下特征提取不充分的问题,提出了基于注意力机制改进的目标跟踪方法。首先,采用网络ResNet-50,引入轻量级双通道注意力机制,沿通道和空间维度优化特征提取;然后,在ResNet-50的桥连接中引入通道注意力模块进行特征加权处理;最后,将生成的特征图输入区域建议网络进行分类与回归,得到最终跟踪结果。实验结果表明,在OTB2015数据集上的成功率和准确率分别提升了0.5%和0.7%;在VOT2016数据集上的精度和期望平均覆盖率(EAO)分别提升了2.8%和0.9%。在行人跟踪方面,针对行人固有特征利用率低、类内干扰严重的问题,提出了基于属性描述的行人跟踪方法。首先,对行人的属性外观信息进行人工标注,通过属性描述模块生成与描述信息对应的目标区域掩膜;然后,以SiamRPN为行人跟踪方法基础,生成输入图像的目标区域建议框;最后,对区域掩膜和区域建议框进行置信度量、融合判定,输出最终的行人跟踪结果。实验结果表明,在OTB2015数据集上的成功率和准确率分别提升了8.4%和5.7%。在行人再识别方面,针对行人再识别精度较低的问题,提出了基于局部特征分割的行人再识别方法。首先,使用IBN-a层优化后的Res Ne Xt-101网络进行特征提取;然后,采取PCB(Part-Based Convolutional Baseline)网络均分策略,对生成的特征图进行切片分割得到局部描述符;最后,联合分类和验证网络进行行人身份分类和相似性判定。实验结果表明,在Market-1501数据集上的首位命中率(Rank-1)和平均精度(m AP)分别提升了4.8%、12.1%,在Duke MTMC-re ID数据集上的Rank-1和m AP分别提升了8.1%、11.9%。在软件实现方面,采用Pytorch深度学习框架,通过Python语言实现核心算法,在Matlab R2018a进行界面开发,编程实现了行人跟踪与再识别软件,在公开数据集和真实场景加以验证。该软件具有目标跟踪、行人跟踪、行人再识别等功能。