近年来,盲源分离(Blind Source Separation,BSS)作为智能信号处理领域新兴的一种方法,因其仅仅根据观测信号的特性就能恢复出源信号的优势而受到了广大学者的青睐。BSS在生物特征识别、数据挖掘、机械、电气故障诊断以及通信领域中有着突出的应用前景。而目前有关BSS问题的研究大多集中在线性混合情况下,非线性混合模型的研究相对较少。但由于线性混合情况只存在于理想模型中,在实际环境中信号一般都会经过非线性混合而成,而在非线性混合模型中,后非线性混合模型(Post-nonlinear Mixing Model,PNL)较之其他非线性模型相对简单,且被验证了具有可分离性。并且其保留了信号在传输过程中的线性混合系统和非线性失真系统的特性。所以本文的研究模型为PNL混合模型。本文在BSS理论基础和相关算法的基础上,对基于后非线性混合模型的BSS问题进行了深入的研究,提出了两种优化的BSS算法。主要工作如下:(1)针对自然梯度算法容易出现梯度消失的问题,本文在传统的自然梯度算法基础上,以信号的KL散度作为分离的评价函数,构建了以PReLU函数为激活函数的多层神经网络,以此来估计源信号的概率密度函数,最终实现了信号的分离。实验仿真通过对包含高斯信号和亚高斯信号的人工信号、真实语音信号进行分离;并比较分别以Sigmoid函数和PReLU函数为激活函数的自然梯度算法分离出来的信号波形;最后通过比较两种算法的PI性能与迭代次数的评价准则,证明了该算法在梯度消失方面有了一定的改善,在收敛速度和信号分离效果上有了显著的提高。(2)针对FastICA算法初始值敏感的问题,提出了一种将NMF算法和FastICA算法融合的新算法。该算法以负熵为目标函数,并通过正交约束对NMF矩阵进行初始化,得到初始的基矩阵与系数矩阵。通过NMF算法迭代更新得到最优的基矩阵与系数矩阵,并将最优基矩阵作为FastICA算法中观测信号的输入矩阵,最后归一化处理得到估计信号。仿真实验比较了所提算法与FastICA算法对图像信号的分离效果,以及两种算法的收敛速度和信噪比。结果表明本文所提算法的分离图像更接近源信号图像,在一定程度上解决了 FastICA算法对初始值(输入矩阵)敏感的问题,并且在信噪比性能方面也有了较大的改善。