社会多媒体网络表示学习研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:xixicoco606
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,每天都会产生大量社会多媒体数据。这些社会多媒体数据中包含大量的关系信息,它们被广泛用于推荐系统、专家发现等重要的应用以挖掘有价值的信息。网络(数据结构)被广泛用于建模社会多媒体数据中的关系信息,网络结构的社会多媒体数据又被称为社会多媒体网络。近几年来,随着深度学习等机器学习技术的发展,涌现出大量面向社会多媒体网络的应用。实现这些应用所需要解决的基础问题之一,是如何有效地学习网络中节点的低维特征表示,以更好地捕捉网络节点隐含的语义信息。许多社会多媒体网络应用依赖于网络节点表示所提供的语义,且可以得益于更好的网络节点表示。然而,真实世界中社会多媒体网络的结构具有异构性和稀疏性,网络节点也可能会关联多种模态的内容数据。因此,社会多媒体网络表示学习是一项具有挑战性的任务。本文研究社会多媒体网络表示学习方法及其应用,并设计了面向具体任务的模型。本文主要工作如下:(1)针对社会多媒体网络数据的异构性、稀疏性和多模态性,提出一种基于注意力协同的多模态异构网络表示学习模型A2CMHNE。模型使用元路径捕捉异构多模态网络中隐藏的结构信息和多模态内容信息,并分别学习基于结构信息和内容信息的节点表示。在此基础上,提出一种基于注意力机制的协同框架来融合节点的结构表示和内容表示,以获得鲁棒的节点表示。在网络节点分类和链接预测任务上的实验结果验证了在异构多模态网络表示学习中协同网络结构信息和多模态信息可以有效地应对网络的异构性、稀疏性和多模态性。(2)针对多模态社区问答匹配任务中社会元素的异构性,提出使用异构网络建模问答及其关联的社会元素,并设计相应的网络表示学习方法捕捉问答的社交上下文语义信息,在此基础上提出了多模态注意力交互卷积匹配模型MMAICM。MMAICM使用元路径捕捉异构社区问答网络中隐藏的结构信息,以学习问答节点的社交上下文表示。问答节点社交上下文表示所提供的语义信息被用于构建注意力模型,辅助匹配模型捕捉问答多模态内容之间有意义的交互,最终提升问答匹配的性能。在两个真实社区问答数据集上的实验结果验证了通过网络表示学习获取的问答社交上下文信息对捕捉问答之间匹配模式的有效性。(3)针对多模态社区问答匹配任务中数据的多模态性,提出使用网络建模问答的多模态内容信息,并基于构建的网络学习多模态内容的层次化高阶语义表示,以捕捉问答多模态内容之间的语义级交互特征,在此基础上设计了层次图语义池化网络HGSPN。HGSPN第一次提出在社区问答匹配模型中使用网络建模多模态内容,以建模多模态内容中非连续和长距离的语义以及视觉信息。在此基础上,设计了一个栈式图池化网络以捕捉问答多模态内容之间层次化的语义级交互信息,并提出一个卷积匹配网络用于集成这些语义交互特征以进行问答匹配。在两个真实社区问答数据集上的实验结果验证了使用网络可以有效地建模多模态内容之间的语义交互信息。
其他文献
下扬子地区在晚中生代时发生了强烈的、多阶段的成岩成矿作用,形成了大量的岩浆岩和多金属矿床。然而,下扬子地区内的两大构造单元,长江中下游成矿带和江南造山带东段,却有着明显不同的成矿特征。长江中下游成矿带燕山期岩浆作用主要产生Cu-Au-Fe矿床,而江南造山带东段却发育大量W-Mo矿床。此外,相对于与成矿密切相关的早阶段岩浆岩而言,长江中下游地区晚阶段A型花岗岩的岩石成因及构造背景研究较为薄弱,且争议
采用酶解法提取新疆伊吾县野山杏多肽,探究其对衰老模型小鼠的抗氧化作用。通过单因素实验,考察酶底物比、料液比、提取时间、p H值和酶解温度对野山杏多肽水解度的影响,结合正交试验,优化野山杏多肽提取工艺;以提取物为原料,D-半乳糖制备小鼠衰老模型,分为空白对照组,野山杏多肽低、中、高剂量组(50、75、100 mg/kg),衰老模型组以及Vc阳性对照组,连续灌胃饲养30 d,测定血清、肝组织和脑组织匀
图或者网络可以对现实世界普遍存在的实体、关系、属性进行建模,构成属性网络。随着信息技术的发展,各种网站、桌面软件、手机应用、传感器产生了大量属性网络数据,如人们熟知的社交网络数据,物联网数据等,为相关研究提供了丰富的数据资源。属性网络的模式发现被广泛用于传染病爆发预测、道路拥堵检测、网络入侵检测等领域。现有网络模式发现的研究多关注单一网络或网络结构方面,而本文将研究重点聚焦于属性依存网络,即多个存
随着环境和能源的严苛要求,电动汽车已成为当前和未来很长一段时期汽车产业发展的趋势,正加速向电动化、智能化、轻量化方向发展。与目前集中式驱动的电动汽车不同,分布式驱动电动汽车具有传动高效、结构紧凑、各轮驱动与制动力矩独立可控等特点,动力输出更加平稳高效,被认为是未来低碳社会与智慧城市的主要交通工具之一。分布式驱动电动汽车取消了差速器等传动系统的机械连接,由四个独立的轮毂电机直接驱动,这对提升汽车稳定
传统特征选择方法在进行特征选择前,特征空间中的所有特征都已存在并且其特征值是可获取的。然而,在实际应用领域的许多具体问题中,存在很多无法预先获取整个特征空间,并且其特征以流的方式存在的场景。为此,出现了面向特征流的在线特征选择方法研究。特征流是指特征数据以流的方式逐个或成组到达,且无法提前获知整个特征空间的信息。随着大数据时代数据体量和维度的剧增,传统批处理模式的特征选择方法因不具有增量处理特性,
自从实时渲染的技术面世以来,一度成为影视动画行业热议的焦点。随着计算机硬件的不断进化与软件研发的技术突破,实时渲染技术也经历了几个发展阶段,已经日趋成熟,以其为技术核心的虚幻引擎在游戏、数字艺术、工业设计、虚拟制片等领域的应用也十分广泛,一方面实时渲染技术的革新使三维动画的创作焕发了新的生机;但随着该技术的日渐普及,其昔日的优势也成了发展的瓶颈。如何应用实时渲染技术在三维动画创作中进行创新与突破,
人们身处在跨模态环境,人工智能要更好地理解人们所处的环境,则需要具备解析跨模态信息的能力。通过模态学习搭建能处理和连接跨模态信息的模型。如在内容理解领域,需要分析文本、图片、视频、语音等跨模态数据对应的不同级别特征和其他辅助描述特征等。因此跨模态媒体分析是目前人工智能研究中重要的课题之一,它为不同表现形式(模态)数据间提供了沟通的桥梁。根据跨模态数据的不同表现形式,研究者将跨模态媒体分析任务细分为
表示学习又称表征学习(Representation learning),是利用机器学习或数据挖掘算法获取实体或者关系的向量化表达。表示学习的目标是,通过机器学习将研究对象的语义信息表示为稠密低维实值向量。机器学习和神经网络领域顶尖专家Yoshua Bengio教授对表示学习的重要性进行了阐述:“机器学习算法的成功通常取决于数据表示,这是因为不同的数据表示可以或多或少的包含和隐藏数据变化背后的可解释
让计算机精确地了解人的情感状态是实现人机交互的前提。生理信号是人体器官相互作用产生的生物电信号,能够自发地反映出人类内心的真实情感。在不同环境下提升生理信号的情感识别性能是许多科研人员一直追求的目标,根据个体、激励素材和应用场景的不同,多模态生理信号样本的分布差异性会严重影响到生理情感识别的效果以及模型的泛化能力。鉴于此,本文在不同实施性能的验证方案下分别基于传统生理信号识别方法和神经网络框架对情
叶片衰老是叶生命周期中的最后一个重要阶段。它不是一个简单的退化过程,而是一个受到高度调控的生物学过程,旨在将有价值的资源回收并重新分配给活跃生长的器官。叶片衰老的发生与进程受到严格的动态控制,涉及调节因子之间复杂的协同和拮抗作用。本研究在番茄中鉴定了一个新型的叶片衰老调控因子Sl BSD1。亚细胞定位和转录激活试验表明Sl BSD1定位在细胞核中并具有转录激活活性。Sl BSD1基因的下调表达导致