目前,随着人工智能技术的不断发展,实际应用中遇到的问题不仅规模大,而且是非凸非线性的,该问题成为大数据时代我们所面临的重要挑战之一。而带正交约束条件的优化问题是一种典型非凸非线性问题,其在科学与工程计算和机器学习等领域有着广泛的应用,比如特征值计算、电子结构计算、盲信号分离、背景分离、人脸识别和聚类等等,这些问题都涉及到正交约束条件,所以,此类问题引起了国内外许多学者的关注和研究。本文主要研究两类带正交约束条件的优化问题,在已有算法和模型的基础上,提出了两种求解带有正交约束条件优化问题的新算法,并且证明了新算法的收敛性,最后,通过数值实验验证了本文所提出算法的有效性。具体来说,本文做了如下两方面的主要工作:(1)提出了一种自适应的非单调共轭梯度算法求解Stiefel流形上的优化问题。众所周知,通过非单调线搜索技术确定非线性共轭梯度方法的歩长,可以大大提高共轭梯度算法的效果。但是,已有研究表明非单调线搜索技术对于病态问题的实验效果很糟糕,原因是容易受到非单调程度的影响,这是一个很棘手的问题。针对该问题,本文首先充分利用自适应技术,提出了一种自适应的非单调共轭梯度算法求解一般情形的带正交约束条件的优化问题,首次将自适应技术应用到此类问题的求解中;然后,证明了所提出算法的收敛性;最后,通过四个数值实验验证了该算法的有效性,并且实验结果表明,该算法是目前已有求解正交约束优化问题的共轭梯度算法中效果最好的。除此之外,在特征值问题上,该算法和已有的一些效果最好的算法不相上下。由此看来,将自适应技术应用到该类问题的求解中具有很好的前景。(2)利用黎曼流形方法求解正交非负矩阵分解问题。近年来,基于黎曼流形的思想构造新型的、有效的流形上优化算法成为非线性规划领域的一个独特研究方向,其优势是将欧式空间中的约束优化问题转化为黎曼流形上的无约束优化问题,使得所要求解的问题变得容易一点。基于此,本文利用黎曼流形上最速下降法,提出了一簇求解正交非负矩阵分解的流形上的优化算法,当参数选取某些特殊的值时,该算法就会退化为已有的某些算法,并且在文本聚类任务的数值实验上验证了算法的可行性,当选取合适的参数时,本文提出的流形上算法的聚类效果好于欧式空间中算法。