本文研究带有正交约束条件的优化问题,该问题是比较经典的非凸非线性问题,而且具有很大的应用价值,如在密度泛函理论中的电子结构计算、人脸识别、计算机视觉、信号处理和聚类等问题中均有应用。所以,正交约束优化问题是目前热门的研究课题之一。本文主要研究两类带有正交约束条件的优化问题,基于已存在的优化算法,给出了三种求解这两类问题的算法,接着给出了算法的收敛性证明,并且通过数值实验验证了算法的有效性。本文主要做了如下工作:1.研究了一种投影类非单调线搜索方法来求解Stiefel流形上的优化问题。我们知道非单调线搜索方法在求解正交约束优化问题时具有很大的优势,本文提出了一种新的搜索方向,从而给出了一种投影类非单调线搜索方法,接着证明了该算法的收敛性,最后,通过数值实验比较了一类投影类非单调线搜索方法的数值效果,同时验证了算法的有效性。实验结果表明,在已有的几种投影类收缩方法中,本文给出的算法在某些数值方面有较好的表现。2.针对求解带有线性等式约束和正交约束的优化问题,本文给出了近端增广拉格朗日方法和列并行计算方法。考虑到在求解非线性优化问题的算法中,标准的增广拉格朗日方法虽然在实际问题中应用广泛,但该方法仍存在一些缺陷,所以在使用该方法来求解带有线性等式约束和正交约束的优化问题时,本文利用近端方法和并行计算方法计算矩阵变量,同时使用对称的拉格朗日乘子,给出了两种算法,然后通过数值实验验证了其有效性。实验结果表明,相比求解该类问题的已有的几个算法,所给出的算法某些方面具有明显的优势。