在实际系统中，被控对象或过程所具有的非线性现象是普遍存在且无法彻底消除的。非线性的存在增加了系统的复杂性，同时给系统的分析与综合问题的研究带来了本质的困难。另一方面，绝大多数真实系统都会受到随机噪声的影响而成为复杂的随机系统。基于确定性系统的故障检测方法具有很大的局限性，很难再适用于随机系统。因此，开展非线性随机系统的故障检测方法研究具有重要的理论意义和应用价值。在本文中，针对非线性马尔科夫跳跃系统、时滞非线性随机系统、模糊系统等复杂非线性随机系统，借助概率论、随机分析、鲁棒控制等数学工具为随机非线性系统建立起一套较为完整的故障检测策略，主要研究内容如下：一、非线性马尔可夫跳跃系统故障检测研究针对具有不完全知识的转移概率，随机变化非线性，研究离散时间马尔可夫跳跃系统的故障检测问题。对于马尔可夫模式跳跃，转移概率矩阵允许有部分未知项，同时对转移概率已知或完全未知两种特殊情形也进行了研究。对于嘈杂的环境导致的通信故障的概率，有限振幅的测量等现象，引入了随机变化非线性。构造两个能量范数指标来反映扰动与故障敏感度之间的关系，设计了最优故障检测滤波器，通过发展新的局部优化故障检测滤波器算法，实现了故障检测动态系统随机稳定的要求，且同时满足残差信号对扰动信号的鲁棒性指标与残差信号对故障信号的灵敏度指标的比率最小化要求。二、随机时滞非线性系统故障检测问题研究研究了随机丢包情形下非线性随机时滞系统的故障检测问题，所考虑的时滞包括多重时变时滞。用相互独立的伯努利随机过程建立了统一刻画时延及随机丢包的数学模型。在系统含有随机发生非线性、随机发生时滞及丢包影响下，通过状态增广技巧，将原故障检测问题转化为相应的鲁棒滤波问题，通过随机分析技术建立该故障检测滤波器存在的充分条件。此外，通过求解一个凸优化问题，获得故障检测问题最佳的性能指标。三、基于模糊模型的非线性随机系统鲁棒故障检测研究在通讯受限所引起的连续丢包情形下一类具有较强工程背景的不确定离散模糊系统的故障检测问题。首先通过构建含有前一时刻测量信息的丢包模型，以一个统一的框架刻画随机发生的数据丢失过程，用T-S模糊模型逼近非线性离散系统，然后根据模糊参数依赖Lyapunov函数方法，给出了故障检测滤波器存在的充分条件。在推导过程中引入的附加矩阵，解除了Lyapunov矩阵与系统矩阵之间的耦合，大大简化了故障检测滤波器的设计过程。这一部分研究为网络化非线性系统的故障检测问题研究提供了理论借鉴。四、基于状态观测器的非线性随机系统容错控制提出一种非线性随机系统的容错控制方法。针对从传感器到控制器和从控制器到执行器存在随机数据包丢失故障的非线性随机系统，基于观测器获得的故障估计信息，设计容错控制器，应用线性矩阵不等式方法，使得系统随机稳定并确保其H∞性能。最后对本文研究工作进行了总结，并给出后续需进一步讨论和研究的问题。