软件安全问题无论对于个人还是企业都至关重要,在Windows操作系统下的软件安全问题尤为严重。传统的基于静态检测与动态检测的恶意软件检测方法难以适应不断变种的恶意软件,机器学习的方法逐渐被应用到恶意软件检测上。迄今为止,常见的检测步骤为:先对恶意软件进行操作码特征的提取,再使用随机森林或SVM等方法对数据进行分类。目前的检测方法,一方面对于如何选取恶意软件特征集没有定论,另一方面对于恶意软件检测的准确度也有待提升。本文主要研究基于组合核的GA-SVM方法在恶意软件检测问题上的改进,主要工作如下:(1)对恶意软件基于N-Gram进行操作码文本特征提取,对于二进制文件先转换成灰度图像,再进行Gist特征提取。将两者提取出的特征组合完成后,使用GA-SVM方法进行特征降维与参数优化。(2)针对传统GA-SVM方法适应度值过早收敛或无法收敛的情况,提出了一种新的概率模型用于交叉概率与变异概率的计算。新的概率模型使用遗传代数与适应度值动态定义了交叉概率与变异概率。解决了种群进化初期个体进化缓慢,后期突变个体过多的问题。实验表明以新的概率公式为依据选取交叉概率与变异概率,能有效平衡种群个体进化的多样性与收敛性问题。(3)针对恶意软件检测方法中SVM分类器使用单RBF核检测效果差的问题,构造了组合核函数。单一RBF核函数下进行恶意软件检测效果不好,使用RBF核,Poly核与Sigmoid核三者进行组合,使用组合核提升了恶意软件的检测准确度。实验结果显示,本文的基于组合核的GA-SVM方法在微软的MMCC(Microsoft Malware Classification Challenge)数据集上相比于传统的单核SVM在精准率,召回率以及F1值上分别提高了1.78%,1.62%,1.81%,说明本文的基于组合核的GA-SVM方法在恶意软件的检测中具有良好的效果。