现今恶意代码数量呈指数趋势大量增长。利用机器学习、数据管理等手段建立自动化流水线式的恶意代码分析系统来完成对大量未知程序样本的鉴定和分析是绝大部分反病毒厂商的通用做法。作为恶意代码分析系统中的关键环节,恶意代码增量聚类及检索技术的研究在实际应用中具有相当重要的意义。本文以恶意代码分析的实际应用需求为导向,真实恶意代码数据为基础,展开了一系列研究工作。主要成果有:(1)本文系统地探讨了恶意代码聚类算法中的特征选取问题,并对结合多特征进行聚类的情形也进行了讨论。用于聚类分析的常用特征分别具有不同的优势和不足,而多特征结合能在一定程度上使不同特征互补。实验数据显示多特征结合能够得到比单一特征更好的聚类结果。(2)本文设计并实现了恶意代码增量聚类算法GLIC。该算法将网格密度聚类分析与线性判别分析相结合,一方面能够有效地对高维样本进行降维,另一方面能够实时地对已有的恶意代码聚类结果进行更新。同时,基于实际恶意代码数据的实验结果表明该算法具有占有内存小、时间效率高等优点。(3)本文提出了恶意代码函数比对算法C2FM,以实现基于恶意代码聚类结果的恶意代码检索。该算法利用函数控制流程图和函数调用图协同完成不同样本间的函数比对,避免了对所有函数对进行相似度计算,提升了总体的函数比对效率。实验部分与匈牙利算法的比较反映该算法具有较好的时间效率并且其匹配准确度能够达到93%以上。