论文部分内容阅读
随着网络的发展,大量的数据如文本、图像、视频这类的数据越来越多,对此类数据进行情感分析是人工智能领域的重要任务之一,其研究成果可用于商品推荐、民意监督等方面。本文针对文本情感分析和情感导向的跨模态检索问题进行了研究。针对文本情感分析,首先对现有的文本情感分析方法进行了总结分析,之后针对现有方法的不足提出本文的多任务卷积神经网络框架来预测文本情感分布。现有的文本情感分析方法大都只关注单标签情感,而忽略了情感模糊性问题。针对这个问题,本文引入了标签分布学习对文本中的情感进行建模,将其与深度学习框架结合共同来预测文本中的情感分布。具体来说,本文提出一种端对端的多任务学习框架,将分类损失函数(Cross-entropy Loss)与KL损失函数(Kullback-Leibler Loss)结合,在端对端的训练过程中对模型产生有效促进,从而提高多个任务的精度。同时,本文提出基于词典的转化策略对单标签的数据进行弱情感分布的生成,再送入本文学习框架,对分类效果做了进一步提升。在实验部分,本文与已有方法做了详细对比及分析。针对标签分布预测任务,在SemEval-2007 Task 14数据集上的实验结果表明,与已有的用于标签分布学习的方法相比,本文方法取得了更好的预测效果。针对分类任务,本文方法在ISEAR、Fairy Tales、CBET、TEC、SemEval-2018 Task 01数据集上的表现优于已有用于情感分类的方法。针对跨模态检索任务,首先对现有的用于跨模态检索任务的方法进行了总结分析,针对现有检索方法的不足提出本文的深度协同网络来实现图文互搜任务。以往的方法在检索过程中,均只注重物体层面的匹配,而忽略了情感这种高层语义特征方面的对齐。针对这个问题,本文首度提出情感导向的跨模态检索任务,在物体和情感两个层面对检索对象进行匹配,从而有效提高检索效果。具体做法是,本文设计一个深度协同网络,先采用两个分支网络来提取文本和图像各自的特征表示,之后将其映射到同一公共空间中,采用分类的损失函数和情感的约束条件相结合,使同模态数据间能够有效区分,同时使不同模态的数据间能够更好地对应,提升图文互搜的检索任务性能。在VSO数据集的子集上的实验结果表明,本文的方法较已有的方法拥有更精准的检索效果。