随着信息化技术的快速发展,计算机、网络等已经融入到人们的日常工作和生活中,带来了极大的便利。但是恶意软件的存在对用户计算机、隐私等的安全带来了极大的威胁。特别是混淆恶意代码,使用各种混淆/打包技术对抗反病毒软件。传统的恶意软件检测方法对新的恶意软件样本和恶意软件变种的检测越来越无效,检测效率远远追不上恶意软件的增长速度。因此迫切需要新的恶意软件检测技术。基于此问题,本文的主要研究内容如下:(1)提出了一种基于指令特征的混淆文件检测技术。该技术首先解决混淆恶意软件采用的混淆技术导致获取的API序列特征存在异常的问题,进而从恶意软件程序中提取有用的特征信息。实验结果表明,该技术可以检测出各种混淆方法(例如,打包,加密和指令重叠)。(2)提出了一种基于组合特征的恶意软件检测分类技术。在确定了文件可能是混淆文件的基础上,如何确定该文件是恶意文件是需要解决的问题。为此,设计实现了基于机器学习算法的自动分类系统。该系统构建了静态特征和动态特征相结合的组合特征,能够有效避免特征被绕过的可能。实验结果表明,该检测方法的分类精度最高达99.8%,误报率为0.2%。(3)提出一种自动识别混淆恶意软件程序所使用的混淆器/打包器类别的检测方法。基于字节签名的识别方法在字节修改的情况下无法正确识别混淆器/打包器的类型、版本,适应性差。为此,该方法使用了基于控制流图签名的检测方法。控制流图的修改很难被绕过,对指令的修改和重排列适应性强,这使得该签名能够检测出同一个类型不同版本的混淆器/打包器。实验结果表明,该方法能够有效识别混淆器/打包器的类型,不存在误报,并且生成签名的时间仅为0.5ms。