基于异构网络表示学习的专家推荐和文本分类研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:bosswhy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的蓬勃发展,深度学习开始在很多领域诸如计算机视觉、自然语言处理、推荐系统大放异彩。然而,在很多数据稀疏的场景下,训练样本的短缺导致深度学习难以达到很好的效果。解决数据稀疏问题的关键在于如何通过引入更多的信息和关联来增强信息的传递和共享,而这正是网络表示学习技术的优势所在,通过构建同构或异构网络并使用低维向量表示节点,网络表示学习可以在高效处理大规模网络的同时,最大程度地保留原网络中的节点属性和结构特征。问答社区中的专家推荐问题和超多类别文本分类问题是两个较为典型的数据稀疏场景,前者由于用户的提问和回答需要较高的用户兴趣和专业水平,使得用户与问题的交互相对稀疏,后者由于类别过多,类别间数据存在不均衡,多数类别的数据较为稀疏。因此,本文使用异构网络对这两个问题进行建模,并使用网络表示学习方法抽取和利用异构网络上的丰富的信息,从而提升推荐和分类的性能。本文的主要研究内容和创新成果如下:1.针对专家推荐任务中由于数据稀疏性导致的难以对用户兴趣和用户专业性做出准确刻画的问题,本文提出了一种基于异构网络表示学习的专家推荐方法。首先,为了缓解数据稀疏性问题,构建一个由用户和问题组成的异构网络,使用基于元路径随机游走的方法学习用户长期兴趣,并将其与使用长短期记忆网络学习到的用户短期兴趣相结合得到用户兴趣表示。然后,为了显式地对用户专业性进行建模,提出反馈聚合网络,它利用用户历史回答及反馈信息得到用户专业性表示,通过使用加入注意力机制的长短期记忆网络,此网络还可以捕捉到用户专业性的动态变化,使用户专业性向量表达更加准确。在Stackexchange公开数据集上本文所提算法提升各项指标近4%。2.针对文本分类问题中在分类类别数较多时,对于数据较为稀疏的类别,模型无法学习到有效表示导致分类准确率低的问题,本文提出了一种基于异构网络表示学习的文本分类方法。此方法将单词、文档和类别构建为文本异构网络,显示地学习向量表示。为了同时捕捉节点属性和网络结构信息,同时利用好标签,本文在构建好的异构网络上设计异构图神经网络进行节点表示的学习,考虑到节点异构性,针对不同类型的节点使用不同的聚合函数从而让信息在网络中进行有效传递。并且考虑到类别间存在层级关联,设计多层级的分类损失,从而将类别间联系也建模进异构网络中,引入更丰富的信息,降低模型的分类难度。在实验与结果分析环节,在某电信客服数据集上实现了接近4%准确率的提升,验证了使用异构网络建模的有效性。
其他文献
随着无人驾驶和人工智能技术的快速发展及应用,针对无人机自主飞行的研究也越来越多。相比地面机器人在二维空间的自主运动,无人机在三维空间的自主飞行难度要大很多,但其应用前景也相当广泛,如复杂地形的搜索救援、有害物质与污染源监测、森林火灾实时监测、高速公路与电力线路巡查、通信保障、高空灭火、快递配送、战场侦察、航拍和农业植保等。在上述应用场景中,由于容易出现无人机GPS信号丢失、超视距飞行、视线遮挡和通