基于视觉的目标跟踪算法容易受到遮挡、目标状态大幅变化等因素的干扰。基于音频信息的声源定位算法可以测得声源的位置信息,但易受环境噪声和室内混响的干扰。若融合二者结果可以得到鲁棒性更强的跟踪效果。为了提高听障人士感知环境的能力,设计了一种基于音视频信息融合的目标检测与跟踪系统。该系统可获取目标的视频信息和音频信息,在视觉领域进行目标检测与跟踪,在音频领域进行声源定位,最后在决策层将二者跟踪信息融合,得出基于音视频的目标跟踪结果。本文研究内容如下:（1）设计了一种基于音视频信息融合的目标检测与跟踪系统。该系统可通过硬件设备采集视频信息与音频信息,再将信号传输至上位机,由上位机运行音视频信息融合的目标检测与跟踪算法,实现对目标的跟踪定位。（2）设计并制作了该系统的硬件部分。硬件部分包括视频采集模块、音频采集模块、数据转接模块和上位机。（3）设计了该系统的算法框架。算法部分包括基于视觉的目标检测与跟踪模块、基于音频的声源定位模块、基于音视频融合的目标跟踪模块。基于视觉的目标检测与跟踪模块采用YOLOv5m+无迹卡尔曼滤波算法实现。声源定位模块中,设计了用于获取音频的四元十字麦克风阵列,推导了声源方位计算公式。基于音视频融合的目标跟踪模块采用重要性粒子滤波作为信息融合的工具,构建音视频似然函数和音视频重要性采样函数,在决策层将视频跟踪和声源定位结果融合,得到融合跟踪结果。（4）在室内复杂环境下对该系统功能进行测试。结果表明该算法跟踪准确率达到90%以上,相较于单一模态算法具有更高的准确率。