本文研究了随机系统的学习与优化理论及其在金融工程中的应用。采用基于灵敏度分析的随机系统优化方法,重点分析了受约束的线性二次型最优控制和博弈问题,以及金融机构风险传染优化问题。基于灵敏度分析的随机系统优化方法是学习和优化领域中的重要理论和方法,其核心是性能差分公式,在此基础上,可以进一步推导获得控制系统的最优性条件和相应的策略迭代等优化算法。相比于传统的最优控制方法,基于灵敏度分析的随机系统优化方法具有推导简洁直观的特点,并且在许多复杂问题的研究上,取得了大量创新的研究成果。在本文中,基于灵敏度分析的随机系统优化方法为投资组合和风险管理等金融工程优化问题提供了统一的建模框架和有力的分析工具。在投资组合方面,金融市场中往往存在诸多市场限制,受市场因素限制的投资组合问题可以用受约束标量状态随机线性二次型(LQ)最优控制问题进行描述,该问题在金融风险管理等领域有着广泛的应用。然而,在控制变量上的线性约束破坏了经典LQ问题最优解的解析结构。因此,本文重点研究了受约束的线性二次型最优控制和博弈问题的最优解析控制策略。首先将控制系统建模为马尔可夫决策过程(MDP)问题,并结合这类模型特有的状态分离性质,采用基于灵敏度的随机系统优化方法,推导出性能差分公式,获得控制策略的最优性条件,即扩展的Riccati方程,最优控制策略的解析形式是关于状态的分段线性仿射函数,可以通过离线计算扩展的Riccati方程获得。本文将有限时域的结果扩展到了无穷时域。在无穷时域问题中,基于灵敏度分析的随机系统优化方法重点研究了与最优控制策略有关的条件概率参数,在此基础上分析了受约束的随机LQ控制问题与确定性最优控制问题之间的关系;开发出基于策略迭代的优化算法,而无穷时域问题的仿真案例也体现出该算法的收敛性和高效性。在风险管理方面,金融机构之间因为互相的借贷关系联结在一起,而这种联结性成为了金融危机蔓延的关键因素。以银行系统为例,一个银行破产,可能会导致其债权人破产,从而进一步将风险传导至上游机构(风险传染)。本文重点研究了破产清算机制对金融系统总财富的影响,以及如何抑制金融机构的系统风险传染。本文将该问题建模为一个带有均衡约束的非线性优化问题,提出最小化系统损失的清算方案。首先,将模型等效转化为一个马尔可夫决策过程,采用基于灵敏度分析的随机系统优化方法,推导出性能差分公式,在此基础上推导系统的最优解,提出结合策略迭代与性能梯度的迭代算法。本文的研究工作为抑制金融机构系统风险传染提供了新的方向,体现出基于灵敏度分析的随机系统优化方法,这一起源于离散时间动态系统领域的优化方法,在非线性优化问题上的优势。