随着人工智能的不断发展,行人检测和多目标跟踪在安防、无人驾驶等领域被广泛应用。该技术成为计算机视觉领域研究热门之一。相对于传统机器视觉算法,人工智能算法在一定程度上大大提高了任务的准确性,但网络计算复杂度较高,模型在实际应用场景的部署较困难,因此基于深度学习网络模型的模型压缩以及基于嵌入式设备的模型部署和加速成为了近几年研究热点之一。本文将研究使用深度学习方法进行行人检测与多目标跟踪,并完成轻量化网络部署到嵌入式平台NVIDIA Jetson TX2。对于行人检测本文采用YOLOV3行人检测基本算法,将算法损失函数进行相关改进,将损失函数中IOU替换为GIOU,解决真实框与预测框没任何重叠时无法训练优化的问题。为实现模型轻量化,方便适应嵌入式平台计算要求,对网络结构Dark Net53中标准卷积进行结构改进,部分引入深度分离以及H-swish激活函数;并且使用基于Channel网络裁剪的方法对网络特征图通道进行裁剪。对于行人重识别任务,采用Mobile Net V1基本网络结构,并提出修改Avg Pooling层的解决方案;采用三元损失函数训练模型,解决无法区分正负样本中的难样本问题;采用难样本采样三元组损失,解决可能由于三元损失函数训练出现模型只能区分正负难样本的情况。对于多目标跟踪任务采用卡尔曼滤波、匈牙利算法和级联匹配相关方法完成行人的轨迹关联任务,调整相关超参数优化性能,最终该任务表现出较好的综合性能。此外,针对NVIDIA Jetson TX2嵌入式平台,采用Tensor RT加速库加速网络模型并完成模型在平台的部署,并且将模型参数精度从FP32降低为FP16半精度浮点型,从而在保持准确度不变的情况下减少模型计算量。本文将最终优化后的模型部署到嵌入式平台,同时将该系统应用到商场和室外环境中检测行人并跟踪行人轨迹,利用行人轨迹信息方便系统下一步相关决策任务。最终该系统在一般密集人群中测试平均工作帧率在19FPS以上,能够完成对监控视频流信息的实时处理。