随着互联网的快速发展,网络上的文本数据越来越多,更好地挖掘文本数据的价值成为人们越来越关心的需求之一。文本数据挖掘领域的情感分类已经成为一个热门研究领域。本文主要研究疫情下的微博评论情感分类问题,通过深度学习模型实现智能化文本情感分类。本文在BERT模型的基础上,首先研究了特征选择方法在提高BERT模型学习效率的作用,传统的特征选择方法是在训练集数据上计算得到的,由于训练集不够全面,导致部分重要的词并没有被纳入到特征词汇中,使模型的效果不佳。针对文本情感分类问题,本文设计的将情感分数作为权重融合进传统特征选择的方法,有效地实现对原始特征选择算法的优化,可以增加情感词汇的权重,从而更好地表示文本的情感特征。这样得到的特征词典可以减轻对训练数据的过度依赖,可以提高模型的泛化能力,减轻过拟合现象。同时特征选择作为即插即用组件,可以根据具体实际需求来使用。其次,本文对注意力机制增加掩码操作,提出BERT-Masked Att-BLSTM模型,并设计了随机掩码和学习掩码两种掩码方案。传统的注意力机制在达到合适的深度后,随着深度增加,训练误差增加,掩码注意力机制增加了网络结构的多样性,可以有效缓解这种问题。同时掩码注意力机制也具有增广样本的效果,因为掩码之后的文本是一个不同于原始文本的数据,这样就相当于间接增加了样本。掩码注意力机制可以实现在训练样本较少的情况下达到与增加样本同样的效果。而且掩码注意力机制可以减轻元素之间过度的互相适应,提高模型的泛化能力,降低过拟合现象。并且经过掩码操作,模型将学会非完整非规范句子的分类,这个尤其在微博等网络平台的文本数据上具有现实意义。实验所使用的数据是Data Fountain平台提供的疫情微博评论数据集。实验结果表明,用特征选择算法可以使模型的学习更加集中,降低计算成本,并且本文设计的结合情感分数的特征选择方法在本文所使用的数据集上优于传统特征选择方法。本文提出的BERT-Masked Att-BLSTM模型可以更容易地从深度的大幅增加中获得精度提升,产生的结果优于传统的BERT-Attention-BLSTM模型。