约束优化问题,在数学规划、选址、工程、物资分配、交通、管理、金融等领域有着广泛的应用,经常被用来构建数学模型.目前求解约束优化问题的主要方法是通过罚函数将约束最优化问题转化为无约束的最优化问题,再利用求解无约束优化算法去求解.在无约束优化问题的算法中,共轭梯度法是一种性质较好的算法,并且该算法结构比较简单,算法计算量相对较少.因此在本文第一种算法中,我们采用罚函数思想将原始约束问题转化为无约束优化问题,再通过建立的具有下降性质的共轭梯度法去求解.此外,一些特殊的约束优化问题,比如分裂可行问题,不动点问题,纳什均衡问题等,在应用数学模型中扮演着十分重要的角色.这些数学模型往往可以通过一些优化工具转化为变分不等式问题,因此设计研究求解变分不等式的算法也是很有必要的.本文第一章简单介绍了求解约束最优化问题算法的研究背景,研究现状以及文章的预备知识.第二章对约束优化问题提出一种新型罚-共轭梯度法,该方法采用了非线性共轭梯度法思想与罚函数思想,先对原约束优化问题进行惩罚转化,然后利用一类新的具有下降性质的共轭梯度法去求解.在算法搜索方向中选取的每一次方向均为下降方向,并且在Wolfe步长规则下,罚-共轭梯度法具有很好的全局收敛性.在第三章中本文提出了求解变分不等式问题的一种新的算法.在算法中,首先考虑每次迭代的牛顿型投影方向,然后在牛顿步不能满足一定的限制条件时,采用线搜索方向,最后给出一个投影步,使迭代点到问题解集的距离减小.我们证明了该算法具有全局收敛性,并进行了数值实验.第四章提出了变分不等式问题解集增广弱强的概念.增广弱强的概念是解集弱强性和强非退化性概念的扩展.解集的增广弱强性为优化算法收敛性提供了更弱的充分条件.