随着互联网基础信息设施的发展,衍生了更多的攻击面和攻击技术,产生了大量的安全事件,其中以恶意软件为基础的安全事件影响较大。随着人工智能技术的发展,我们能够使用机器学习来检测恶意软件,相较于传统检测技术,这是分析和检测恶意软件的一个新视角。本文设计和实现了一个恶意软件特征提取工具箱,此外,为满足粗粒度检测恶意软件的要求,提出了基于机器学习的恶意软件二分类检测模型,为了更具体地识别恶意软件的种类,提出了基于深度学习的恶意软件多分类检测模型。恶意软件特征提取工具箱,实现了恶意软件动态行为数据的提取、预处理、探索性数据分析、特征化和向量化。特征提取工具箱包括数据提取、数据预处理、探索性数据分析和数据特征化模块,其中,本文通过分析不同恶意软件的行为特征,从统计学习和自然语言处理维度,向数据特征化模块中封装了多种特征化方法,包括统计特征方法、N元语法、词序列索引方法等,实现了恶意软件行为数据的特征化和向量化,用于支撑上层的机器学习和深度学习算法。基于机器学习的恶意软件二分类检测模型,基于恶意软件特征提取工具箱,从统计学角度,提取恶意软件动态行为数据的全局统计特征和局部统计特征。从自然语言处理维度,利用N元语法提取恶意软件动态行为数据的2-gram特征和3-gram特征,通过SVD降维,得到恶意软件动态行为数据的自然语言处理特征。融合统计特征和自然语言处理特征,基于融合特征,利用Light GBM算法二分类检测恶意软件。最后,本文设计了多组对比实验评估了此恶意软件二分类检测模型的性能。实验结果表明,基于融合特征和Light GBM的恶意软件二分类检测模型,相较于决策树、随机森林等方法,性能最优,对恶意软件的二分类检测准确率达到了97.9%。基于深度学习的恶意软件多分类检测模型,使用词序列索引方法提取恶意软件动态行为特征,结合本文设计的Malware CNN深度学习模型,识别多种恶意软件。Malware CNN相较于其他深度学习模型有三点改进,一是通过分析研究恶意软件的动态行为特征,发现卷积神经网络中的卷积层和空洞卷积层可以通过构建大量局部特征,一定程度上有效地对恶意软件长序列行为建模,二是加入了Attention机制,进行长距离语义建模,针对性学习不同恶意软件的动态行为特征。三是通过对恶意软件实际行为数据的分析和探索,设置了嵌入层、卷积层等神经网络层超参数。实验结果表明,Malware CNN识别4种不同类别恶意软件的精确率和召回率达到89.6%,相较于其他深度学习模型,Malware CNN模型性能最优。