准确预测层流到湍流的转捩对于高超声速飞行器的设计非常重要。高空飞行中主要的转捩途径是自然转捩,准确预测自然转捩依赖于对边界层中扰动失稳特征全面和深入的认识。在亚声速以及低马赫数（通常小于2.2）的超声速边界层中,流动失稳通常是单一模态失稳,相关的流动稳定性以及转捩问题研究已取得很好的进展。然而,在高超声速流动中（马赫数通常大于4）,边界层内存在多个失稳模态,其扰动波的演化过程复杂,稳定性及转捩问题需要进一步研究。为了能够准确预测转捩,本文研究了高超声速边界层中多个不稳定模态的失稳特征以及它们之间的模态转化,并在此基础上研究了真实气体效应、非平行性对稳定性以及转捩预测的影响,得到以下结果:1、利用线性稳定性理论（LST）,研究了马赫数Ma=4.5到8,边界层中的第二模态和超声速模态失稳特征。分析了第二模态、超声速模态与基本流广义拐点的关系。发现边界层内靠近边界层外缘的广义拐点对稳定性影响显著,当其速度小于1-1/Ma时,会出现不稳定的超声速模态。利用自由流色散关系,理论上解释了扰动从亚声速变为超声速时,增长率的变化特性。发现了两类超声速模态:一类向远场辐射,而另一类向壁面传播。其中辐射模态更不稳定,是主导模态。同时发现超声速模态的形成有两种方式,其中一种是由亚声速的第二模态直接演变而来,另一种是从相速度rc（28）1-1/Ma出发,形成一支独立的超声速模态。将超声速模态补充到Fedorov关于边界层快慢模态的理论框架中,给出了高超声速边界层中模态变化的完整描述。扰动演化的计算结果指出,第二模态扰动演化为超声速模态时,会从声速线处逐渐向自由流中辐射声波。使用LST对超声速模态进行稳定性分析时,应该在远场使用辐射边界条件。在LST中,利用色散关系,可以确定远场声辐射的范围。超声速模态是由边界层自发形成然后向远场辐射声波,因此自由流中的慢声波并不会在此进入边界层。2、高超声速边界层内高温使空气产生离解等化学反应。考虑空气的高温化学反应,建立了考虑化学平衡的N-S方程求解器、考虑化学平衡的PSE方法。考虑化学平衡,对高马赫数（8-15）边界层进行了稳定性分析以及转捩预测。稳定性分析发现,真实气体效应使得第一模态不稳定区明显减小,第二模态的最大增长率变大,更高频的第三模态更早出现,使得超声速模态更不稳定。eN转捩预测指出,第二模态主导转捩,第三模态对转捩位置几乎没有影响。当Ma<12时,考虑真实气体效应,转捩位置提前,而当Ma>12时,转捩推迟。在马赫数8-15的范围内,随着马赫数的增大,N值减小,转捩推迟。在20-40km高空范围内,随着飞行高度降低,N值不断增大,转捩位置提前。考虑真实气体效应时,发现了高马赫绝热壁边界层中存在新的广义拐点,由此导致新的不稳定的超声速模态出现。采用考虑真实气体效应的PSE方法研究了高马赫数流动中第二模态、超声速模态的演化特征,发现由于超声速模态和第二模态的叠加,导致扰动波的幅值在第二模态的下游出现明显的增大,对转捩有较大的促进作用。3、改进了展开的抛物化稳定性方程（EPSE）。在原有EPSE方程中补充了守恒关系式,解决了原有EPSE的多重特征值问题,同时也显著提高计算精度,能够精确计算较强非平行性的边界层中的扰动幅值。作为一个当地的稳定性分析工具,改进后的EPSE能够很容易地应用于一般三维边界层的转捩预测中。