目标跟踪是从图像/信号处理、生物医学工程和计量经济学等各个学科中出现的富有挑战性的研究领域,问题的核心在于结合观测数据和先验知识,提供可靠、准确和及时的状态和连续轨迹的估计。早期的研究主要集中在单目标跟踪问题上,其主要挑战在于如何精准的估计目标状态。相比于单目标跟踪,多目标跟踪问题更为复杂,其实质是在给定一系列观测值的情况下,对跟踪场景中数目未知和时变的目标的状态和轨迹进行估计。除了目标数量随时间随机变化外,还存在测量受噪声污染、漏检和虚警等问题,这些因素导致了多目标跟踪问题仍然存在巨大的挑战。近年来随机有限集理论为多目标跟踪问题开辟了新的研究方向,并展现了良好的跟踪性能。但是随机有限集框架下的一系列贝叶斯滤波方法仍然存在目标状态估计性能退化、估计不稳定和计算效率低等问题。基于此,本文在同伦采样理论基础上,将粒子流滤波引入到随机有限集框架,重点围绕目标状态估计和轨迹估计问题展开研究,主要的研究内容如下:首先,在单目标状态估计方面,针对传统粒子流滤波存在计算量大和需要假设测量方程可求导的问题,提出了两种粒子流滤波改进方法:边缘粒子流和统计线性回归粒子流。边缘粒子流运用状态分解思想,通过挖掘状态空间“可观测/不可观测”的结构,采用粒子流滤波估计可观测空间的目标状态,然后利用可观测空间的状态构建虚拟测量,使用卡尔曼滤波对不可观测状态进行估计,可以更好的估计目标状态和提高算法的运行效率。统计线性回归粒子流则是采用统计线性回归技术,将不可求导的测量方程近似为线性方程,避免直接求导操作,扩宽原有粒子流滤波的应用范围。其次,在多目标状态估计方面,针对非线性多目标状态估计环境下,传统的概率假设密度滤波实现方式存在估计精度下降的问题,提出一种基于粒子流滤波实现的概率假设密度滤波。该方法利用高斯混合的形式对目标后验概率密度建模。使用局部累积分布采样方法对高斯项采样,这些样本通过粒子流驱动到高似然区域,以充分的利用测量信息,达到可以更准确的模拟多目标状态后验概率密度的目的。相比传统的概率假设密度滤波实现方式呈现更好的估计精度。然后,在多目标状态估计方面,针对势均衡多伯努利滤波在高杂波环境下性能退化问题,借助最优传输理论,提出了一种基于最优传输的贝叶斯滤波方法。和常规的粒子流滤波使用常微分近似求解粒子流移动方程不同,该方法寻找先验分布和后验分布之间的最优传输映射函数,将状态估计问题转化为最优化问题。对于多目标状态估计问题,通过构造测量采样过程,选择最有可能源于目标的测量集合,使用最优传输贝叶斯滤波引导样本到高似然区域,可以得到更为精确到多目标状态后验概率密度的估计结果。最后,在多目标跟踪方面,针对标签多伯努利滤波在估计目标轨迹过程中存在着不能及时确认目标的问题,引入了高斯粒子流滤波到标签多伯努利滤波算法中,将粒子移动过程考虑为构造样本分布过程,为每一个粒子重新计算权值。该方法可以在一定程度上缓解极大先验不确定时,标签多伯努利滤波未能及时确认目标的问题。同时,为进一步提升标签多伯努利滤波的运行速度,提出了一种基于深度强化学习的数据关联方法,将数据关联问题转换为图像像素分类问题。利用卷积神经网络学习数据关联的的最优分配方案,可以降低数据关联的时间复杂度,提升标签多伯努利滤波算法的运行速度。