随着信息化进程的日益深入和互联网技术的不断发展,计算机在给人们的生活和工作方式带来巨大便利的同时也带来了计算机病毒,因此产生了日益严峻的信息安全问题。虽然在商业应用中已经有很多种类的杀毒软件,但一般都是传统的基于标签的恶意代码检测技术,这种检测方法误报率低漏报率高,不能检测新型恶意代码,这个特点造成了恶意代码检测技术存在着巨大的漏洞,使得杀毒软件在面对新型病毒时失去了它应有的价值,造成计算机用户的安全随时受着威胁。基于异常检测的方法能够检测新型的恶意代码,因而大量研究者对恶意代码检测研究一般采用基于异常检测的方法。本文基于机器学习和正则化方法对恶意代码检测的若干关键问题进行研究,着眼于恶意代码检测的过程,对其中的两个重要环节即恶意代码特征表示方法和恶意代码特征选择方法进行了深入研究。全文主要研究工作从以下四个方面展开：(1)对恶意代码特征表示方法进行研究本文根据恶意代码检测过程中恶意代码特征表示原理和特征表示粒度的不同,对现有的恶意代码特征表示方法进行了深入研究,对现有的各种表示方法进行回顾、梳理并将其分为基于n元序列的特征表示方法,基于OPCode的特征表示方法,基于基本块的特征表示方法,基于行为的特征表示方法。(2)对恶意代码特征选择方法进行研究本文对恶意代码特征选择方法进行了系统的研究,特征选择是恶意代码检测的第二个阶段,良好的特征选择方法可以有效降低样本数据的维数提高分类器的分类效率和正确率,本文对现有的部分特征选择方法包括基于有监督的信息增益Information Gain,IG)方法、开方拟合检验方法(χ2,CH(?))和无监督的文档频率(Document Frequency,DF)方法、基于熵的选择(Entropy-Based ranking)方法、单词贡献度(Term Contribution,TC)方法,Fisher分值(F-score)方法进行系统的总结梳理。(3)对恶意代码特征选择的各种方法性能进行对比分析由于使用不同的特征选择方法对恶意代码检测的性能有不同的影响,本文使用常用的基于N元序列的n-gram特征表示方法提取样本的特征,然后使用常用的恶意代码特征选择方法进行样本的特征选择,用选取的特征进行分类器的训练,最后通过仿真实验对各种特征选择方法选取的特征对最终恶意代码分类器的分类性能贡献大小进行分析。(4)提出基于正则化的单类支持向量机传统的单类分类方法基于无监督学习理论,缺乏对恶意代码检测领域中存在的未标号的样本的使用,本文在传统单类支持向量机的基础上,根据正则化在无标号样本上的两类支持向量机和传统单类支持向量机的差异,构建了一个能够充分利用无标号样本的单类分类学习器,从而既保证了原先单类支持向量机的分类性能,又充分利用无标号样本提高其性能。由于该问题是一个混合整数优化问题,复杂度很高,又提出了一个近似算法进行快速求解。并通过在模拟数据集和恶意代码数据集上的实验验证了该分类器的性能。