高超声速临近空间飞行器具有航空航天飞行器无法比拟的优势,发展高超声速临近空间飞行器是世界军事强国“攻占临近空间”谋求空天优势、抢占军事战略制高点的重要举措。为解决飞行器高速飞行带来的气动热和气动力问题,国内外研究机构对高超声速边界层转捩问题关注程度越来越高。由于工程上常见的大多为复杂的三维边界层,传统的二维/轴对称边界层流动机理研究已经无法满足工程需求。因此有必要选取常见的三维边界层结构,深入了解其边界层失稳机制,为工程上三维边界层的转捩预测和流动控制提供理论指导。有攻角圆锥背风区流向涡是典型的三维边界层结构。由于攻角效应,使得迎风面和背风面激波强度不一致,会在展向产生压力梯度,使得流线由迎风面向背风面汇聚,在背风区中心线附近产生流向涡结构。本文以6度攻角钝锥背风区流向涡结构为研究对象,基于二维全局稳定性理论,细致研究了其边界层稳定性特征。并利用三维粗糙元结构,对流向涡区域进行了转捩控制研究,具体工作和结论如下:1.针对一般复杂的三维边界层,建立了可以考虑流动非平行效应的二维全局稳定性分析方法,即扩展的二维全局稳定性分析方法（EBi-Global）,并通过数值方法验证了其可靠性。该方法既保留了二维全局稳定性分析方法（Bi-Global）能求解当地特征值问题的优点,又能考虑流动的非平行效应,预测结果（相比Bi-Global）与DNS结果更加吻合。同时,可以为3DPSE方法提供考虑了流动非平行效应的入口边界条件,使得入口边界条件更为精确。2.分析了高超声速有攻角背风区流向涡的流动失稳和转捩机制,发现了背风区存在两对涡结构（内卷涡和外卷涡）,并且涡结构的性质对流向涡不稳定性具有重要影响。基于二维全局稳定性理论分析,发现了流向涡存在三种不稳定的无粘失稳模态,分别是内模态、外模态和修正的Mack模态。通过与风洞实验和DNS结果对比,证明了内模态是噪声环境下高超声速钝锥背风区顶部转捩的主导模态,外模态是静声环境下边界层转捩的主导模态。并基于eN方法,标定了噪声和静声环境流向涡诱导转捩的的工程转捩判据。3.设计了一类三维粗糙元结构,其控制函数解析,形状可调,与有攻角钝锥模型壁面连续过渡。在基于对高超声速有攻角锥背风区中心线流向涡失稳机制的认知之上,研究了四种不同高度的粗糙元诱导产生的条带对流向涡失稳的影响。研究发现,引入新条带能有效增强原本的内卷涡结构,从而延迟外卷涡结构的生成。二维全局稳定性分析结果表明,引入条带会使得内模态更不稳定,对外模态的不稳定性具有抑制作用,特别是能抑制静声环境主导外模态（Z-S1）的不稳定性,使得其增长率和主导频率降低。同时,引入粗糙元,会导致壁面附近的次生流向涡增强,进而增强反对称的Mack模态不稳定性。最后,通过eN方法进行了转捩预测,结果表明在粗糙元的高度和边界层厚度（δ）比值为0.153时,相比光滑壁转捩位置约延后3%。而当粗糙元的高度为0.267δ时,转捩相比能延后11%。特别的,对于有攻角锥流向涡的转捩控制,可能存在一个最优的粗糙元高度（大于0.267δ）,能最大程度延迟静声环境下流向涡诱导的边界层转捩。