非线性信号处理一直是信号处理领域的研究热点与难点。除了少数特殊环境,人们大都采用解析近似或者数值计算的方法来解决非线性问题,然而这些方法易陷入局部极值或者面临巨大的计算量。粒子滤波从贝叶斯理论出发采用蒙特卡洛抽样,提供了一种灵活的方式来解决非线性问题,是近年非线性信号处理的重要研究方向。混沌信号是典型的非线性信号,其非线性和长期不可预测等特点导致混沌通信中许多滤波问题变得异常复杂。在混沌通信中,混沌同步与滤波、远距离混沌通信的噪声影响和信道畸变、多用户通信与抗多径传播等问题是目前混沌通信从理论研究转向实际应用中需要解决的关键问题。本论文基于粒子滤波,从理论和算法上对混沌同步、信道估计与均衡、混沌通信信号检测等方面进行了深入研究。混沌通信是建立在传统的通信基础上,传统的通信面临的问题它一样可能会遇到。最后结合现代无线通信系统,讨论了粒子滤波技术应用中的关键技术——降维,主要研究内容和创新如下:1)从自适应滤波的角度研究了混沌同步,阐述了扩展卡尔曼滤波(EKF)在混沌同步中出现退化现象的原因,提出了基于粒子滤波的混沌同步方法。从Cram’er-Raolower bound(CRLB)下界出发提出了一种自适应扰动噪声的方差确定方法,解决了粒子滤波同步方法的难点:扰动噪声的选择问题。2)对于混沌多址通信,因多种混沌信号混合,接收端存在同时分离与同步问题,对此提出了基于粒子滤波的在线盲分离方法。为了降低分离后信号的残留噪声,结合混沌信号降噪思想给出了一种新的延迟估计方法。与传统的延迟加权的估计方法相比,该延迟估计方法能极大的减少延迟时间,提高了计算效率。3)对于平坦衰落信道Jakes模型,基于贝叶斯预测技术,提出了一种新的信道建模方法。主要思想是对AR模型的参数引入随机游动(random walk)的变化。结合该信道动态特性模型,基于粒子滤波,给出了一种稳健的信道估计方法。该方法能减轻欠估计的归一化多普勒频率对信道跟踪的影响。4)针对结合加密函数的混沌掩盖通信体制,提出了联合混沌同步与信号检测的方案。该方案不需要传输额外的同步信号,仅靠含有未知信息序列的接收信号就能引导接收端达到自同步。进一步为了降低算法的复杂性,设计了一种新的重要性函数,该重要性函数充分地利用了传输符号的离散性。5)针对将信息序列掩盖在混沌调频信号中的混沌通信体制,提出了基于粒子滤波的频率跟踪方法,该技术不仅能跟踪简单变化的频率而且能有效地跟踪混沌调频信号的频率。在此基础上推导了混沌调频信号频率跟踪的后验克拉美一罗(PCRB)下界,仿真结果表明粒子滤波有较好的跟踪性能和稳定性。对于混沌调频信号,所提出的方法的频率跟踪均方误差与PCRB在同一个数量级。6)讨论了粒子滤波实用化过程中的关键技术——一般情况下的降维。以MIMO频率选择性衰落情况下联合信道估计与信号检测为背景,提出了一种时延域粒子滤波。主要思想是利用一组粒子滤波在时延域分别估计多径延迟分量,由此降低了单个粒子滤波的采样空间维数,为粒子滤波在高维信号中的估计提供了一种思路。