盲源分离是盲信号处理的一个重要分支,现有的盲源分离方法大多是关于线性盲源分离的；而在实际环境中,信号大多是经过非线性混合得到的,在非线性混合的情况下,线性盲源分离方法不再适用,因此,非线性盲源分离的理论研究具有十分重要的实际作用,对深入拓展盲源分离的应用领域具有非常重要的意义。本文综述了现有非线性盲源分离方法的基本原理、阐述了非线性盲源分离所需的数学模型及常用的代价函数,指出了现有非线性盲源分离方法的优缺点。本文针对现有的非线性盲源分离存在的问题,从以下两个方面展开了研究：首先基于后置非线性模型的非线性盲源分离需要求解混合函数的逆函数,现有的粒子群算法可以用于求解逆函数,但是该算法经常出现早熟收敛。针对这一问题,本文对粒子群算法进行改进,通过引入适应度方差及满意解来判断算法的收敛状态,如果算法进入早熟状态,用混沌思想使粒子跳出早熟状态,解决该算法的早熟问题,得到混沌粒子群算法。再将混沌粒子群算法用于逆函数的求解,以加快算法的收敛速度和提高算法的分离精度。最后通过计算机仿真验证了该算法的可行性,使用语音信号作为输入信号进行仿真,可知基于混沌粒子群算法的非线性盲源分离效果比经典的粒子群算法及遗传算法的分离效果都好,且该算法还能分离出多路语音信号。其次针对信道间存在非线性交叉混合时,基于后置非线性模型的非线性盲源分离方法不再适用,本文用径向基函数神经网络解决这种混合情形下的非线性盲源分离。首先分析了径向基函数神经网络的基本原理,它具有局部逼近特性,可用于非线性盲源分离中逆函数的逼近过程中。径向基函数的中心是求解径向基函数神经网络的关键,现有求解中心的方法是K均值聚类方法,但K均值聚类对初值比较敏感,还经常陷入局部最优,使得中心不准确,分离出来的信号精确度不高。针对这些问题,本文用粒子群算法通过聚类的形式求解径向基函数的中心,得到改进型的径向基函数神经网络,并将该神经网络用于非线性盲源分离中。通过将调制信号及余弦信号作为输入信号进行仿真,可知基于改进型径向基函数神经网络的非线性盲源分离方法分离效果更好。