在这篇论文中,我们考虑几组含状态和控制约束的最优控制问题。这些问题有很多的工程应用。我们的目的是为了给出解决这些最优控制问题的数值算法。在第一个问题中,我们考虑一类含时滞的且在每个时间点上都有状态和控制约束的离散非线性最优控制问题。这些约束被称作全状态约束。文中应用一个约束转化方法和一个局部光滑的方法构建了一序列近似的在状态和控制上含时滞且带有非线性标准型约束的离散时间最优控制问题。这些近似的最优控制问题是一个更一般的在状态和控制上含时滞且带有非线性标准型约束的离散时间最优控制问题的特例。为此,我们给出了一个解决这个更一般的问题的有效的基于梯度的计算方法。推导了所需要的对于目标函数和标准的约束函数的梯度公式。有了这些梯度公式,这个在状态和控制上含时滞且带有非线性标准型约束的离散时间最优控制问题可以当做一个带不等式的优化问题用序列二次规划的方法(SQP)来解。应用这个计算方法,每一个从原问题那里所近似来的问题都可以解。一个来自于研究战术后勤决策分析问题的实际问题也在文中考虑并应用所提出的方法得到解决。在第二个问题中,我们考虑一类比较一般的极大极小最优控制问题,其中连续状态不等式约束的不满足规避要最大化。为解决这个一般的极大极小最优控制问题,文中给出了一个有效的计算方法。在这个计算方法中,文中应用一个约束转化的方法使每一个约束函数都转化为一个光滑的近似函数,其中近似的精度有一个由一个精度参数控制。然后我们得到一序列的光滑近似最优控制问题,其中这些近似的光滑函数加和的积分被拿来做为目标函数。文中给出了一个必要条件和一个充分条件来说明原极大极小问题和光滑近似问题的关系。我们然后由每个近似的最优控制问题和原状态不等式约束构建一个不满足规避函数,是求解极大极小最优控制问题转化为找不满足规避函数的最大零点问题。控制参数化技巧和一个时间轴变换方法被应用来解这些光滑近似最优控制问题。文中考虑了两个实际问题。第一个问题是自主移动机器人的障碍物规避问题,第二个问题是在切向风下的放弃降落问题。文中给出的计算方法被用来解决这两个问题。第三个问题中,我们考虑一类带连续状态约束的PID最优控制问题。对这些连续不等式约束应用应用约束转化方法和局部光滑方法,我们构建了相应的光滑近似函数。我们用罚函数的思想把这些光滑近似函数放在目标函数上,得到一个新的目标函数。然后,这个带约束的PID最优控制问题被近似为一个带终端等式约束的最优参数选择问题。每一个最有参数选择问题都可以被看做并且被当做非线性规划来解。推到了新目标函数和终端约束的梯度公式,给出了一个可靠的计算方法。给出的方法被用来解决一个船的航行控制问题。在第四个问题中,我们考虑一类带终端等式约束和连续状态控制不等式约束问题。在参数化和时间变换后,这个问题被近似为一序列的带终端状态等式约束和连续状态控制不等式约束的最优参数选择问题。根据这些终端等式约束和连续不等式约束构建了一个精确罚函数。这个精确罚函数放在了目标函数上构成了一个新的目标函数,从而得到了一个无约束的最优参数选择问题。收敛分析显示,对于一个充分大的罚参数,这个无约束问题的一个局部极小点也是终端状态等式约束和连续状态控制不等式约束的最优参数选择问题的局部极小点。近似优化参数选择问题和原问题的关系同样也被讨论。最后,这个方法应用在三个非平凡的最优控制问题中。