安全漏洞是信息安全技术的核心,大部分的网络攻击往往是基于漏洞发起的。随着漏洞数量和漏洞发现速度的急剧增加,收集、整理和利用已有漏洞变得越来越重要：1.标准化的漏洞数据可以在全世界范围内整合漏洞资源,为漏洞挖掘提供借鉴作用,避免漏洞挖掘者对已经发现的漏洞进行重复的工作,同时可以根据已知漏洞来推断可能存在的未知漏洞,提高效率；2.标准化的漏洞数据可以为安全工具、安全设备、网络设备提供必要的数据源；为漏洞挖掘者和IT厂商提供规范化的沟通桥梁,帮助厂商开发出更加安全的产品；3.标准化漏洞数据可以对网络安全态势进行评估,辅助制定网络安全策略；在国家战略层面,一个有影响力的标准化漏洞数据库可以吸引国际上更多的安全工作者上报最新发现的漏洞。然而,1.漏洞的标准化协议仍然不够成熟,难以对漏洞进行统一地描述和检索；2.现有安全漏洞数据库异构情况严重,相互不能够兼容；3.漏洞数据处理需要人工完成,时间消耗较大且不能避免主观性。为了解决上述问题,文本围绕“漏洞的标准化与数据处理自动化”从如下三个方面进行了深入地研究：1.漏洞数据的标准化技术,其中主要针对安全漏洞危害评估的标准化进行了研究；2.标准漏洞数据库建设的相关技术；3.漏洞数据处理的自动化技术。主要成果如下：(1)漏洞数据的标准化技术方面,漏洞危害性评估算法的分散性研究。研究了定量漏洞危害评估系统,收集和整理了NVD中的7万余条漏洞数据,分析了目前较为权威的评估系统CVSS在指标取值、危害值分布、分散性和客观性方面所存在的问题。提出了指标取值需要满足的标准,基于主成分分析法PCA对CVSS进行了修正,提出了CVSS_PCA危害性评估系统,该系统可以在不改变CVSS指标选择的前提下,很好地满足指标取值标准,同时获得较好的危害值分布、分散性和客观性。(2)漏洞数据的标准化技术方面,漏洞危害性评估算法的客观性研究。分析了Expert System和CVSS的客观性,并基于Expert System对CVSS进行了修正。具体过程中分别分析了上述系统与CWE和Product之间的关系,基于CWE,针对Expert System提出了一种新的利用方式,即循环排序算法,对CWE的平均危害性进行了排序；同时基于循环排序算法提出了CWE排序因子(COF)对CVSS进行修正,最终的结果在客观性方面更加接近于Expert System。(3)标准漏洞数据库建设的相关技术。从多个方面研究和分析了当前国际上各主流漏洞库(共涉及26个)的优势和不足,提出了评估漏洞库的标准(数据量与全面性、数据来源独立性、被引用情况、字段全面性、支持SCAP情况、包含POC情况),并根据上述标准对当前主流漏洞库进行了评估和比较。最后提出了标准漏洞数据库的建设模式,包括数据来源、数据字段设计、模块整体架构和子模块功能设计、对外服务模式等。(4)漏洞数据的自动化处理技术方面,漏洞关联性与自动化漏洞去重技术。分析了15个主流漏洞库共计84.2万条漏洞数据的关联性。分析和归纳了漏洞文本类型字段的异构情况,同时分析和整理了漏洞参考链接引用的拓扑结构,利用该拓扑结构归纳了漏洞之间可能存在的主要关系；以文本挖掘算法为核心,针对漏洞字段的特点,提出了漏洞去除重复的规则,以及漏洞数据库融合框架UVDA,UVDA框架实现过程完全自动化。UVDA已应用于国家计算机网络入侵防范中心漏洞库NIPC,推进了漏洞信息发布机制标准化进程。(5)漏洞数据的自动化处理技术方面,基于文本分类的漏洞自动化危害评估技术。分析了主流漏洞库共16余万条漏洞数据,基于文本分类算法提出了一套新的自动化漏洞危害评估框架ASVA,ASVA适用范围广,可用于漏洞信息不足的情况,过程完全自动化,此外,由于ASVA框架的实现基于大数据统计分布,因此很好的避免了人工造成的主观性；基于ASVA提出了三种新的特征提取模式：Direct Mode、 Original Mode和Combined Mode;针对Combined Mode,提出了指标联合的具体规则,从而优化了选择策略,提升了危害评估框架的准确性。(6)漏洞数据的自动化处理技术方面,基于文本分类与新特征的漏洞自动化分类技术。分析了16万条漏洞数据,基于文本挖掘算法提出了一个新的自动化漏洞分类框架ASVC,可以自动化和批量化地分类漏洞,可处理信息不完整的漏洞条目,相比于人工的小数据集决策,更加客观和可靠；针对CWE标准,优化了分类的经验参数。为了进行比较,同时测试了BNVC、LVCM、OSBC和CVCF四种漏洞自动化分类框架,并且从准确度、覆盖率两个方面与ASVC进行了对比,实验结果表明ASVC分类准确率更高,适用范围更加广泛。