在大规模非线性系统的控制优化问题中，损失函数与待优化参数之间往往是复杂非线性映射，甚至于根本无法建立数学模型。这时候基于梯度的优化算法便失去了效力，而某些优化算法针对大规模优化时运行速度又差。研究一种无模型的、高效的、能处理复杂问题的优化算法显得尤为重要。本文着重研究了同时扰动随机逼近算法(SimultaneousPerturbation Stochastic Approximation, SPSA)，并将该算法引入到PD控制器的设计中。论文的主要研究内容和创新点如下：第一、深入总结了同时扰动随机逼近算法，包括算法的实质、改进和用途。列举了最近两年国内外最新的研究成果。指出了SPSA在控制方面体现出来的特征：控制过程的无模型性(数据驱动性质)；擅长处理存在大规模变量的控制问题；对噪声和干扰的鲁棒性；算法简单，易于计算机实现；其迭代形式可以更好的同其它控制算法结合。第二、针对存在大规模变量的非线性函数寻优，研究了基于SPSA的函数寻优方法。SPSA求解采用“估计梯度”来不断修正搜索方向，以逐步接近最小值。该方法的特点是能够求解大量参数的无约束最优化问题。给出该方法求解的基本步骤，并以两个实例做了仿真研究。第三、针对船舶的航向控制问题，提出一种基于SPSA的PD控制方案。运用SPSA算法在线调整PD控制器参数，调整主要思想是使用高效的SPSA算法逼近PD控制器的性能指标函数的梯度，并以此迭代修正控制器参数。将所设计的基于SPSA的PD控制方案应用于船舶航向的控制，并用仿真实验验证了该方案的有效性。