约束优化问题（Constrained Optimization Problems）在优化理论中有着重要的研究意义,在工程、国防、经济等许多领域有着广泛的应用.求解约束优化问题的一类关键方法是将其转化为无约束优化问题,如罚函数方法、Lagrange对偶方法和两阶段方法.当问题的目标函数或约束函数带有特殊结构时,两阶段方法能够最大化地利用这种结构带来的在计算和理论方面的优势.若原问题是非光滑约束优化问题,那么在将其转化为无约束优化问题后问题仍然是非光滑的,而求解非光滑无约束优化问题依然是困难的.而束方法被认为是求解非光滑优化问题最有效稳定的算法之一.针对不同问题的性质和特点,各种使用不同策略的束方法已被提出,且被广泛地应用到各类经典的无约束优化问题,以及经济、工程、控制等各领域的实际问题中.本文主要研究求解一类非凸非光滑约束优化问题的束方法,包括求解非光滑约束优化问题的再分配束方法、求解非光滑复合约束优化问题的邻近束方法及非光滑束方法在线性时不变系统的H∞输出反馈控制问题中的应用.本文的主要内容可以概括如下:1.第三章研究求解一类非光滑非凸约束优化问题的再分配束方法（Redistributed Bundle Method）,其中,目标函数和约束函数均为具有lower-C2性质的非凸非光滑函数.利用改进函数（Improvement Function）,求解原来的约束问题等价于求解一系列无约束优化问题,并且这一系列无约束优化问题的目标函数保留了原来函数的lower-C2性质.再利用lower-C2函数的性质,引入再分配型凸化参数和凸化项来改善子问题目标函数的凸性,然后设计了一类再分配束方法.本章给出了参数稳定性和算法的局部收敛性结论,且用数值算例验证了再分配束方法在此类问题上的有效性.2.第四章研究一类带有非凸非光滑复合约束的优化问题,并设计了回溯束方法（Bundle Method with Backtracking Test）.利用约束的复合结构和改进函数,构造了一个形式简洁的局部模型和二次规划子问题,其目标函数会随着邻近中心的改变而改变.在迭代的过程中,算法产生了两层迭代.外层迭代是对邻近中心的迭代.在进入内层迭代后,所需的束集合只存储从当前邻近中心出发产生的试探步的信息,而不需存储之前邻近中心的有关信息.此外,算法还利用了集技术（Aggregation）来控制内层迭代产生的信息数量,因此束集合中既保留了前面迭代的信息,子问题的规模也不会过大.在较弱的假设下,得到了算法从任一可行初始点出发的收敛性.但由于可行初始点的获取有时是十分困难的,因此,结合罚技术,又给出了一个不可行束方法,并且得到了算法从任意初始点到局部最优点的收敛性.在数值实验中,提出了自适应子程序来加速得到可行迭代点.通过计算一些数值算例验证了算法的有效性.3.第五章研究线性时不变系统的H∞输出反馈控制问题,并提出了一类基于束方法的不可行束方法.首先,使用闭环传递函数的H∞范数和稳定性通道的H∞范数来量化闭环系统的性能和内部稳定性,将问题构造成非凸非光滑半无限约束优化问题.然后利用最大特征值和最大奇异值的关系,将问题转化成用最大特征值函数刻画的约束优化问题.再将原来的约束优化问题转化成一类带有半无限复合结构的非光滑无约束优化问题进行求解.最后,证明了算法从任一可行初始点到临界点的收敛性,并计算了一些数值算例来说明算法的有效性.