随着现代化工业和科学技术的飞速发展,许多实际工程控制系统日趋复杂,往往呈现出严重的不确定性、非线性、强耦合性、多时滞等特征,同时对工业过程的生产速度、生产质量、产品精度以及安全运行的要求越来越高,因此,复杂非线性动力系统的暂稳态性能约束控制问题成为控制领域研究的热点和难点。本文针对几类复杂非线性下三角结构系统,研究了非线性动力系统在状态变量和输出变量约束受限情形下系统的控制器设计问题。论文主要研究内容如下:首先,针对一类含有复杂未建模动态的严格反馈非线性时滞系统,研究其预定性能输出反馈控制问题。基于状态不可测的情况,设计时滞无关降维观测器。通过采用改变供给函数的方法来选择李亚普诺夫函数处理未建模动态对系统造成的影响。基于对称预定性能转换和李亚普诺夫泛函的思想,提出无记忆输出反馈暂稳态性能约束控制器,并证明系统的渐近稳定性。其次,针对一类由多个严格反馈非线性时滞系统组成的含有复杂未建模动态的不确定关联大系统,研究其分散自适应神经网络预定性能控制问题。基于非对称的预定性能函数,通过新颖的状态变换,避免非对称预定性能函数引起的奇异问题。基于神经网络和反步设计,提出基于时滞无关降维观测器的输出反馈预定性能控制器,保证系统的输出暂稳态约束性能。然后,针对由下三角结构随机子系统组成的随机关联时滞大系统,研究大系统输出的跟踪暂稳态性能约束分散控制问题。考虑系统中非线性函数已知和未知两种情况下的非对称预定性能跟踪控制,当非线性函数未知时采用神经网络逼近,提出基于输出反馈的两种新颖的预定性能控制器,并且证明系统的随机依概率最终一致有界稳定性。进一步,针对由严格反馈非线性系统组成的多智能体系统,在系统存在外界干扰以及状态信息不可测情况下,研究其领导跟随一致性跟踪预定性能控制策略。首先通过设计降维观测器以在线观测子智能体中不可测状态。其次,基于多智能体一致性跟踪误差进行预定性能状态变换,将反步技术和动态面技术相结合,提出分布式输出反馈控制策略,并且用理论方法和仿真实验证明系统的稳定性。最后,针对由随机纯反馈非线性系统组成的多智能体系统,在系统存在未知非线性和输入量化的情况下,研究其分布式多领导跟随自适应模糊围捕暂稳态性能约束控制问题。首先利用最小中值定理,将系统的非仿射部分转化为仿射形式;基于新的正切形式障碍李亚普诺夫函数,提出分布式状态反馈自适应智能控制策略,并且证明系统的随机依概率有界稳定性。