随着信息技术的快速发展以及多种异构网络的融合,各行各业对网络的依赖性也越来越强。受政治经济利益等驱动,近年来借助僵尸网络和木马进行网络攻击和信息窃取事件数量快速增加,针对网络基础设施的探测、渗透和攻击事件时有发生,受国家级支持的高级持续性威胁活动频现,隐蔽网络攻击和信息窃取对象已经从个人蔓延到金融、通信、能源、航空、交通等领域,对公民、企业及国家信息安全都造成了严重威胁。结合学术界的相关研究,我们将网络攻击中这些高技术的、采用对抗性隐蔽逃逸技术、借助网络控制、以窃取机密信息或长期控制及破坏的攻击统称为隐蔽式网络攻击(Evasive Network Attack)。隐蔽式网络攻击的检测对于维护国家信息基础设施安全与社会稳定,打击网络犯罪,提升对攻击的追踪溯源能力等,无疑具有重要意义。在分析和总结已有研究工作不足和产业界的技术短板的基础上,我们针对隐蔽式网络攻击检测中的关键问题开展研究,主要工作及取得的成果包括：加密服务流量的准确识别方面,对本领域的最新研究进展进行了综述,并提出了基于协议消息格式和状态转移深度验证的SSL/TLS通信实时高准确度识别方法,可满足高速网络环境下对此类加密流及伪装流的精准区分要求。加密服务中的恶意行为发现方面,通过对海量网络行为测量结果的数据挖掘发现隐私泄露与恶意服务。首先,提出了一种基于被动NetFlow信息的主动测量方法,实现了高成功率高效率的面向X.509证书的SSL/TLS服务测量,可近似还原出大规模用户网络行为。在此基础上,采用基于证书属性的相似性度量对自签名证书及海量日志挖掘关联分析,揭示采用自签名证书的HTTPS服务存在的应用服务类型泄露问题,可用于发现新型SSL/TLS应用服务以及潜在的恶意SSL/TLS加密通信。与目前主流的借助统计指纹对加密浏览等进行细粒度行为识别的研究相比,面向大规模数据集,注重实用性。SSL/TLS加密通道内的隐蔽恶意行为发现方面,我们提出了基于证书属性的信誉度与域名可信度的综合度量来发现高可疑的隐蔽攻击通道,借助于简单规则、证书的安全属性和部分域的匿名性,以及服务器的排名和反向解析结果等,给出服务器的综合异常度。三个公开数据集的实验结果表明,我们的方法能高效准确的识别伪装和恶意的SSL/TLS加密通信。而且,我们在后续研究中借助于主动服务发现滤除无害服务,进一步降低了本工作在实用中的误报率。此外,基于前述大范围的SSL/TLS服务测量,提出了基于证书分类来改进SSL/TLS加密通道入侵检测的方法,借助分而治之和反向排除的思想,首先根据用户访问统计将流行的合法服务和高可信度的正常服务也排除,然后对占据网络数据流中很小比例的低可信度和非法的证书对应的网络通信进行详细检测来发现可疑的恶意加密通道。协议伪装行为检测方面,面对隐蔽式网络攻击中恶意通信经常伪装成流行协议或常见应用来躲避入侵检测系统的挑战,我们基于协议的一般性概念将真实世界中的常见网络协议抽象为三方面属性,即协议语法格式,协议状态转移和协议行为属性,并提出了面向常见网络协议的通用伪装检测框架,从上述三个方面分别对协议的合规性和异常度进行深度验证。该方法可直接应用于实时被动检测,避免了主动探测方法对网络运行和性能的影响,弥补了单纯基于统计、知识或机器学习的异常检测检测方法的不足,并在对抗场景下具备较强的鲁棒性。此外,在深度恶意隐蔽网络通信对抗检测方面,引入知识库实现从数据到知识再到能力的持久转化,将主机、网络和知识库有机融合,结合上述加密服务分类、加密恶意通道检测和协议伪装行为检测,形成面向实用的恶意隐蔽通信多维协同检测框架,将故意逃避主机和网络检测的隐蔽恶意通信行为识别出来。综上所述,本文从应对网络空间面临的突出性安全威胁出发,针对隐蔽式网络攻击的检测关键挑战性问题开展研究,在加密服务分类、基于SSL/TLS服务大规模测量与挖掘的加密通道中恶意行为发现以及应用协议伪装检测等方面取得了一定研究成果。这些研究中的方法和技术对于提升对抗环境中恶意隐蔽网络攻击的发现能力,打击网络犯罪和信息窃取,保障国家信息基础设施、公民隐私和财产安全等具有重要的应用价值和意义。