在大数据时代,网络空间中攻击者使用的攻击手段日益复杂,个人财产及隐私安全、企业运营安全以及国家信息基础设施安全在内的网络空间安全体系面临着严峻的挑战。网络威胁情报作为重要的网络安全技术之一,在攻击行为发生之前对网络空间中的相关情报证据进行搜证和关联分析,通过特征学习实现对未知威胁源的甄别,促进了网络攻防由传统的事后被动响应向事前主动防御转变。非结构化的文本情报中包含了大量利用价值较高的事件级情报,包括但不限于攻击手段、攻击策略等情报信息。由于网络环境的开放性,非结构化的情报源数据中同时也夹杂着大量的无效或干扰信息,因此,关键的价值情报的快速识别极具挑战。本文从情报本身出发,对面向网络威胁情报领域的情报实体识别问题进行了研究,主要工作及贡献如下:(1)针对非结构化网络威胁文本情报的实体识别难、关键情报实体定位难这两大难题,提出了一种基于深度学习的网络威胁情报实体识别模型。本文使用浅层神经网络训练的语言模型对一定规模的混合语料进行情报字向量预训练,将其用作实体识别模型神经网络层的特征输入;构建双向长短期记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)对输入的情报文本序列进行双向的上下文学习,充分提取文本序列的全局特征;在此基础上,为提高关键实体识别的精确度,本文为情报实体构建了字级注意力机制(Attention),计算每个状态的目标字与序列内部其他字的相似性,以为关键情报实体分配更多权重;利用条件随机场(Conditional Random Field,CRF)对神经网络层的输出进行特征建模,学习标签的前后依赖关系,确保最终输出的标签序列合法有效。人工标注网络威胁情报非结构化文本数据集,并采用交叉验证方式对模型的识别性能进行训练、验证及测试,实验结果表明,基于上述情报实体识别模型,对测试集中的6类主要实体识别任务的F1-score最高达84.10%;设置多组对比实验,结果表明该模型在情报实体识别方面上的综合表现优于已有的模型。(2)针对实际安全运营中情报平台的市场需求和用户的功能需求,本文设计并开发了面向网络威胁情报的实体识别平台。在充分调研了现有情报平台的基础上,本文平台分别设计了情报数据采集模块、情报实体识别模块、情报关联分析模块及情报可视化模块。情报数据采集模块针对不同结构和层次的情报制定不同的采集策略,完成对多源异构情报的源数据采集,并根据网络威胁情报的实体表达模型为基础情报制定情报字典,消除情报的结构化差异,实现多源异构基础情报的聚合;情报实体识别模块应用基于Attention_BiLSTM-CRF的情报实体识别模型对非结构化文本中的关键情报实体进行自动识别和抽取;情报关联分析模块通过情报数据库内的关联搜索和基于情报词向量的词关系模型分别实现了面向基础情报样本和事件情报实体的关联发现和攻击分析。最后,平台的情报可视化模块负责对以上功能实现做结果展示。