互补问题自1963年首次提出以后便得到了广大研究者的重视,一直是数学规划研究中较为活跃的分支,无论是理论研究还是数值算法,近年來都取得了丰硕的成果.　　本文主要基于各种光滑牛顿法的思想和光滑理论,针对F为P0函数的情况,介绍一种新的光滑互补函数,将互补问题转化为求解一系列光滑的非线性方程组,然后用牛顿法的思想进行求解,从而得到了求解互补问题的一类光滑牛顿算法;为了确保Φ(x)的非奇异性,结合Broyden族校正方法,提出了求解非线性互补问题的Broyden族光滑化法.在较弱的条件下，此算法具有全局收敛性和局部超线性收敛性.　　对于奇异的非线性互补问题,即F有可能是病态的情形,结合正则化的思想,把原互补问题转化为一个良态的非线性互补问题NCP(Fm),并以扰动参数作为光滑参数,从而得到一个新的求解非线性互补问题的正则化光滑牛顿算法,此算法要求在F为凡函数的假设下,才能可行且異有较好的收敛性.而对于一般的非线性互补问题,为了去掉这个假设,当牛顿步不可解时,本文将结合梯度步对上述正则化光滑牛顿算法进行改进,从而得到求解一般非线性互补问题的修正Jacobian光滑化方法,此算法異有全局收敛性.在解点E正则的条件下,该算法还異有超线性和局部二次收敛性.数值结果表明,上述的算法異有全局收敛性,并在一定的条件下,均能达到超线性/二次收敛性.　　全文共分七章,各部分内容安排如下:第一章是绪论部分,介绍互补问题的应用背景和近年來有关互补问题求解的方法;第二、三、四、五章为本文的重点,着重介绍了求解非线性互补问题的四种相关的算法及其收敛性,这四种算法分别为一步光滑牛顿法、Broyden族光滑化方法、正则光滑牛顿法和修正Jacobian光滑化方法;第六章是数值实验,通过互补问题典型的数值算例,进一步说明了本文算法異有良好的收敛性和有效性;最后是对本文的总结和对将來研究工作的展望。