随着云计算与虚拟化技术在人们日常生活中的应用越来越广泛,对云中虚拟机的攻击也越来越多。其中,对虚拟机的恶意代码攻击尤为突出,甚至严重威胁到了人们的数据安全。为了保证获取可靠的服务,人们迫切需求一种安全可靠的虚拟机监控方法。虚拟机监控方法主要有内部监控与外部监控两种。内部监控是将监控模块放在虚拟机内部,对虚拟机不透明,容易遭到攻击,进而失去其存在的意义。外部监控是将监控模块放在虚拟机外部,对虚拟机的攻击无法直接与监控模块联系,能够避免监控模块被攻击,可以提供更加安全可靠的监控服务。任何攻击行为都需要被执行,而虚拟机中的运行实体都是进程,所以对虚拟机的监控只需监控虚拟机中的进程即可。因此,论文通过在虚拟机外部监控虚拟机中的进程来达到监控虚拟机的目的。首先,针对现有的进程检测方法存在检测进程列表不全面的问题,论文提出了一种基于活动进程列表的进程检测方法。该方法利用寄存器CR3中存储的进程页目录基地址在进程的生命周期内是唯一且不变的,但会随着进程的切换而改变的特点,进而截获寄存器CR3以及ESP中的内容来解析进程信息。因此,论文提出的进程检测方法能够获取更加全面的进程列表,为恶意进程分析提供更加全面的原始数据,进而提升识别恶意进程的准确率。其次,针对现有的分析方法存在的训练参数较多、参数调整复杂、分类效果不佳等问题,论文在深度森林的基础上提出了基于相似度矩阵深度森林的恶意进程分析方法。该方法利用相似度矩阵计算每个样本之间的相似度,并根据高相似度比例将样本划分为高相似度样本集合与相似度不明确样本集合,然后分别在这两个集合中进行自助采样来训练决策树,以降低决策树之间的相似度,提高森林的泛化能力,从而提高对恶意进程分类的准确率,降低漏报率与误报率。最后,对论文提出的方法进行了实验验证。实验结果表明,基于活动进程列表的进程检测方法对进程的检测率高于其他传统方法,从而证明相比于其他方法,该方法能够获取更加全面的进程列表;相比于其他恶意进程分析方法,论文提出的基于相似度矩阵的深度森林恶意进程分析方法在准确率、误报率与漏报率方面取得了良好的效果。