随着互联网和计算机的迅速发展,电子信息数据已经成为个人、企业至关重要的资产,恶意程序也越来越以窃取信息、赚取利益为目的,近些年披露的APT攻击事件(海莲花、白象、DarkHotel),都主要是窃取国家的机密信息、企业的商业信息等。不仅如此,恶意程序带来的损失也愈加严重,2017年席卷全球的WannaCry、NotPetya勒索病毒,分别造成了 80亿美元和100亿美元的损失。传统的恶意程序检测技术,多关注程序的静态特征以及API函数的行为特征。基于静态特征的检测技术无法抵抗诸如多态、变形、加壳等混淆手段,基于API函数的检测方法,攻击者可以通过混淆、隐藏API的调用来规避检测,如添加一些不影响程序功能的API函数或者自己实现一些API函数。本文提出了一种基于汇编指令的恶意程序检测方法,与基于函数的检测方法相比,可以更加细粒度地分析和研究恶意程序。该方法主要分为两部分:一是利用二进制插桩技术提取程序运行过程中的汇编指令信息,然后根据指令的操作码序列训练隐马尔可夫模型,在对后门、木马、病毒、蠕虫、正常程序这五类样本的检测中取得了较好的效果;二是设计了一种汇编指令抽象编码规则,采用最长公共子序列算法计算基本块的相似度,再利用匈牙利算法求得程序的相似度,该方法在检测实验样本的相似度时,效果要优于二进制文件比对工具Bindiff。基于上述方法,本文设计了一种基于汇编指令的离线恶意程序检测模型MDBA,该模型不仅可以很好地对抗代码混淆技术,对恶意程序进行有效检测,也可以对程序进行比对,从而发现恶意样本之间的相似性,辅助恶意程序分析。