随着互联网的飞速发展,计算机技术在人们的日常生活中扮演着越来越重要的角色。计算机技术给人们日常生活送来便捷,但是,信息安全问题也变得越来越突出。计算机用户的信息隐私安全由于计算机病毒、黑客攻击、特洛伊木马等遭受严重威胁。木马是一类潜伏性恶意程序,其目的是通过控制木马服务器(用户端)窃取用户信息,如银行卡密码、重要文件等。木马以其隐蔽性强、攻击手段变化多端、危害大成为最常见的计算机攻击技术之一。因此,研究木马工作机理,分析其关键攻击技术,进而提出针对木马的有效检测方法具有重要现实意义。本文基于可执行程序的API调用序列,提出了一种带特征选择的非线性SVM木马检测方法。主要的研究工作包括以下三个部分：(1)基于特征选择算法,建立综合性能良好的非线性SVM分类器。提取每一个可执行程序的API调用序列作为特征向量,针对当前互信息算法在特征选择上的不足,提出一种引入负相关因子的互信息值计算方法。通过改进的互信息特征选择算法保留对分类结果起明显作用的部分特征,然后,采用TFIDF权重计算方法将保留出来的部分特征量化成SVM可识别的数据,构建SVM特征向量库,利用样本数据训练非线性SVM分类器,获得最优分类超平面,即综合性能好的非线性SVM分类器。(2)利用粒子群算法,优化非线性SVM分类器的参数。本文分析了SVM分类器参数对分类结果的影响,研究当前粒子群优化算法中惯性因子ω的作用,提出一种让ω在线性减小的同时,参照当前适应值较前一代的优化程度来进行自适应调整的算法。本文使用该算法优化非线性SVM分类器的参数,得到惩罚因子C和核宽度σ的最优组合,从而获得最优的分类决策函数,并以该分类器对待测程序进行归类,实现对木马的检测。(3)使用测试数据对本文提出的木马检测方法进行测试与验证,统计实验数据,给出实验数据分析。实验结果表明,本文提出的基于非线性SVM的木马检测方法有效地提高了木马检测率,降低了漏报率。