文本数据作为最常见的数据形式之一,涵盖范围广、数据量大,又有密度不均的特点,不同平台中存储的文本数据结构不定相同,结构化文本数据、半结构化文本数据和非结构化文本数据并存。文本挖掘工作便是从这些海量、密度不均、异构的文本数据中提取隐含的、有价值信息以供决策或预测等使用。特征提取作为文本挖掘工作中不可缺少的关键步骤,其提取出的特征项的优劣会直接影响文本挖掘后续工作,将深度学习人工神经网络模型用于特征提取步骤不仅可以提高特征提取工作效率,借助复杂模型还可以提升特征项的质量,以更好反映文本数据特性。本文主要工作如下:首先对现阶段常用的传统特征提取有关技术进行阐述,其次阐述了深度学习相关理论和自然语言处理部分技术,分析了深度学习在特征提取方面可能存在的优化效果,以及分析了深度学习人工神经网络模型RNN、LSTM在文本特征提取方面存在的局限性,最后针对前述问题提出一种结合BERT预训练模型和HAN网络的特征提取模型,从文本数据预处理方面与层次化分析文本数据视角,进行文本特征提取工作,通过设置五组模型在中英各两个数据集上进行二分类的对比实验,验证本文提出的特征提取模型的有效性及一定的优越性,实验结果表明本文提出的特征提取模型在对上下文信息的学习上、语义学习、词的多层特征学习上均有良好表现,同时对长距离依赖问题有着一定弱化效果。