现如今,传感器精度已经得到了很大提升。目标在传感器下不再只产生一个量测点,而是多个,这使得传统的点目标跟踪技术已不再适用,对于扩展目标跟踪的研究受到了广泛关注,而实际应用中,多扩展目标跟踪更为普遍。因此,研究多扩展目标跟踪更具有意义。多扩展目标导致目标与量测之间的数据关联更为复杂,加大了研究难度。随着随机有限集理论在多目标跟踪滤波框架中的引入,有效避免了目标与量测之间复杂的数据关联。本文在该框架的基础上,充分考虑目标的扩展状态,研究具有不同形状的多扩展目标跟踪问题。针对星凸不规则目标的外形估计问题,本文采用一种高斯过程回归的形状建模方法。该方法通过径向函数的均值和协方差函数描述目标外形,通过卡尔曼递归的方式实现对目标外形的更新。将该建模方法与多扩展目标概率假设密度（Probability hypothesis density,PHD）滤波器结合,能够同时实现对扩展目标运动状态和外形状态的有效估计。并通过OSPA距离和拟Jaccard距离评价多扩展目标运动状态和外形状态的估计精度。最后通过仿真对比,验证了该算法相比星凸随机超曲面建模有更好的形状估计效果,且能实现对目标运动轨迹的有效跟踪。针对非线性系统下的多扩展目标跟踪问题,采用基于高斯过程的序贯蒙特卡罗概率假设密度（Sequential Monte Carlo PHD,SMC-PHD）滤波算法实现。首先采用一种改进的萤火虫聚类算法解决SMC-PHD滤波中目标状态估计精度不高的问题。该聚类算法不依赖初始聚类中心的选择,通过最优萤火虫的吸引与运动机制,引导其他萤火虫,对最优萤火虫进行组合更新,从而获取多扩展目标状态。其次结合高斯过程回归建模方法,联合估计多扩展目标的运动状态和外形状态。最后通过多扩展目标仿真实验,验证了该算法对目标运动状态和外形状态估计的有效性。