随着网络技术的发展，网络安全已经成为重要的研究课题。目前，主要的安全威胁方式正从入侵攻击、网络蠕虫转向主要通过网页挂马等方式传播木马，攻击者可以通过木马窃取机密文件、隐私信息、各种账号，从而谋取暴利，并组建僵尸网络，发动群体攻击，木马严重威胁着网络用户的隐私和数据安全。因此，在开放的网络环境下，木马检测技术已成为现代计算机安全技术中的一个重要研究课题。木马检测技术可以分为异常检测和误用检测两大类。异常检测是建立一个正常特征库，在实时监测时采用特征匹配的方法来判断攻击事件。虽然异常检测具有检测未知木马的能力，但是它的误检率和漏检率都很高；误用检测是通过根据一定的经验知识及专家系统收集有关入侵的事件，建立一个攻击事件特征库，在监测当前行为时与特征库中的行为特征进行匹配来检测攻击。误用检测可以检测出绝大多数已知入侵行为，但是对未知的入侵却难以检测出来。并且建立这样的特征库也比较困难，影响检测效率。为此，本文在异常检测基础上提出了一种基于行为分析的木马检测技术，用于对已知木马和未知木马的检测。本方法的主要思想是：首先提取木马的行为特征，建立木马行为的行为特征数据库，并在此基础上对截获的程序系统调用进行分析，判断是否为木马，并结合支持向量机分类算法对各种异常的程序行为进行分类，从而提高木马检测的准确率。本文的主要工作如下：（1）对木马工作原理及主流的木马检测技术进行剖析。分析了目前木马检测技术存在的不足，并将行为分析技术引入到木马检测中。（2）深入分析并总结木马的行为特征。采用Window API Hook技术提取木马程序的系统调用，对其进行分析总结，构建木马行为特征库。（3）将支持向量机分类算法引入到木马检测领域，建立分类器模型，最终达到对待检测程序分类的目的，从而确定待检测程序是木马程序还是合法程序。（4）建立基于行为分析的木马检测原型系统。系统分为五个模块：程序提取模块、行为监测模块、行为分析模块、训练模块、判断响应模块。基于该系统对本文提出的方法进行了验证。实验表明，本文提出的检测算法在对未知木马检测上取得了较好的效果。与传统的木马检测技术相比，误报率、漏报率有所下降，检测准确率明显得到了提高。