在无线通信系统中,高功率放大器的非线性特性一般会影响系统的传输特性,引入码间干扰,这对通信系统数据传输速率的提高和可移动性都是一个阻碍,因此在接收端需要通过非线性均衡以克服码间干扰。论文主要对非线性信道均衡作了一个全新的、系统的研究,内容以探索和研究新结构和新算法为主,并给出严密的公式推导和仿真说明。首先,本文使用Hammerstein模型和维纳模型代替Volterra级数模型来模拟非线性结构以降低运算复杂度,提出了一个由Hammerstein模型和维纳模型构建成的非线性信道传输系统的模型,由此模型给出并推导出了基于该信道模型的NCLMS算法、改进1型NCLMS Newton算法和改进2型NCLMS Newton算法。仿真结果表明,NCLMS算法收敛速度慢且性能不稳定;改进1型NCLMS Newton算法克服了NCLMS算法收敛速度慢的缺点并提高了算法的稳定性;改进2型NCLMS Newton算法在继承了改进1型NCLMS Newton算法的优点之上进一步提高了算法的收敛速度,逼近理想NCLMS Newton算法。其次,构建了时变非线性信道传输系统模型,分别提出并推导了三种适用于时变非线性信道的均衡算法:NCRLS算法、NCKalman算法和NCRPEM算法,并对这三种新算法的性能进行了比较。仿真结果表明,在剩余均方误差方面三种算法中NCKalman算法最小,NCRPEM算法次之,NCRLS算法较差;在收敛速度方面NCRPEM算法收敛最快,NCRLS算法次之,NCKalman算法较差;综合评价NCRPEM算法性能最好,NCKalman算法次之,NCRLS算法较差。接着,构建了一个基于IIR结构的非线性信道传输系统模型。并基于该模型,分别推导了IIR NCLMS算法和IIR NCLMS Newton算法并用来估计非线性均衡器的参数。仿真结果显示本章提出的IIR NCLMS Newton算法比IIR NCLMS算法具有更加优越的剩余均方误差性能,IIR NCLMS Newton算法的ED性能受到信噪比的影响会有一定的变化,但在一定的SNR范围内仍能能达到令人满意的ED性能。最后,本文基于Wiener模型构建的功率放大器和Hammerstein模型构建的预失真器,推导出NFLMS(Nonlinear Filtered LMS)预失真算法及NFLMS Newton预失真算法,同时提出了一种改进型NFLMS Newton预失真算法。仿真结果表明,改进型NFLMS Newton预失真算法和NFLMS预失真算法相比明显加快了收敛速度,并且快速降低了算法的剩余误差。