基于因果关系的场景图生成算法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:huangyi101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
场景图生成是计算机视觉领域的重要研究方向,很多的研究学者不断探索和研究针对图像深度理解领域中的问题。为了加深对图像理解的研究,在目标识别、图像字幕、视觉问答以及自然语言处理等研究基础下,场景图生成任务逐渐成为一个当前计算机视觉领域和自然语言处理相结合的热点研究课题。场景图生成任务要求丰富而高级的语义理解,这对机器来说是一个巨大的挑战。为了提升场景图生成模型的质量,本文针对场景信息利用不充分和在数据集关系谓词长尾分布等问题分别提出了场景融合模块(Scene Fusion Module,SFM)和因果分析模块(Causality Reasoning Module,CRM)。其主要研究内容如下:针对目前数据集中无场景标签的标准信息和当前现有模型中只是通过对象级别的上下文融合方法,忽视了很多环境的信息等问题,本文提出了SFM模块来构建基于场景融合的场景图生成模型。该模型使用图像的部分到整体的场景相结合进行建模,通过层叠卷积网络模块获取与对象特征等维度的特征表示,并共享其场景信息。在One Shot数据集上与现有模型相对比,SFM能够有效的促进图像场景信息和对象特征的融合,证明了SFM在场景图生成任务中的有效性。针对当前数据集中关系谓词长尾分布、关系谓词语义重叠以及关系谓词的细粒度不够等问题,本文引入了CRM模块来构建基于因果推理的场景图生成模型。该模型通过CRM模块来构建基于场景图任务的因果图,在因果图的指导下统计对象特征,并将其与关系特征做进一步融合。在One Shot数据集上与现有模型相对比,CRM模块能够在关系谓词长尾分布的情况下,观察出谓词对构成关系三元组的主要影响,证明了该模型能够对改善谓词长尾问题和区分部分谓词的大小类问题。最后本文为了同时合理利用场景信息和缓解长尾分布的问题,提出了基于场景融合的因果推理场景图生成模型。该模型在基础网络中使用多头注意力机制的特征表示学习模块进行特征的融合,通过消融实验和多组对比实验验证了SFM和CRM的有效性,证明了该模型能够有效的改善场景图生成的质量。
其他文献
随着城市轨道交通的发展,由于轮轨相互作用引发的轨道部件受损及环境振动问题日益得到关注。调频式钢轨阻尼器作为一种轨道减振结构,具有维护便捷,兼容性好的特点。钢轨阻尼器通过为钢轨提供附加质量及阻尼,加快振动在钢轨内部的衰减,从而实现抑制钢轨振动、延缓波磨发展、降低环境噪声等目标,在实际应用中具有广泛前景。本文以调频式钢轨阻尼器系统为研究对象,针对其动力特性进行锤击试验测试和仿真计算分析,利用ABAQU
在世界人口老龄化的背景下,中国的老龄化程度日益严峻,其老龄人口和增长速度位居世界第一,而老龄人口中的失智老年人数量目前也已成为世界之最,但我国对于失智老年人的照护保障以及相应的照护模式、照护空间设计等方面的研究还很薄弱,其适应我国国情的失智照护体系探讨基本处于空白,因此立足本专业领域而进行探索和研究符合中国国情的失智照护空间设计迫在眉睫也十分重要。当前我国相关研究更多的是关注失智老年人病理(BPS
我国城市化的进度不断加快,大量人口向城市聚集,城市居民出行需求日益增加,对城市公共交通服务水平提出了更高的要求,出租车作为城市公共交通系统的组成部分,密切关系着居民出行,更是城市文明形象的窗口名片。出租车作为向公众提供个性化运输服务的方式,伴随着网约车的新兴,出租车运营模式应进一步转型发展。网约车司机群体因其具有市场准入机制灵活、非法营运成本较低等特点,致使网约车供给增长迅速,给城市客运交通服务与
在自媒体火热的时代下,产生了微博、今日头条、抖音等一系列火热的自媒体产品,原创作品成为这些自媒体产品间的核心竞争力,对于自媒体作者的扶持力度不容小觑,因此各个自媒体公司仍有建立自媒体创作者服务平台的必要性,创作者是一个良好的内容生态中的生产者,为自媒体创作者搭建服务平台,实现发布作品、作品管理等功能,可以协助创作者更好、更快创作优质作品,从而吸引更多的用户进行内容消费,达到良好的内容生态平衡。本人
全球变暖和传统能源枯竭等问题已成为各国关注的焦点,促进清洁能源的高比例接入成为全球能源资源优化配置发展的必然趋势。全球范围内开发清洁能源需要在全球能源互联网的基础上广泛互联、开发、配置。清洁能源的开发潜力评估为全球能源互联和网源协同规划提供支撑。当仅可获得互联对象区域电网的气象信息时,电网规划人员亟需提出一种具有广泛适用性的可再生能源出力预测模型,重建互联区域历史及未来高时空分辨率可再生能源出力,
三元层状陶瓷材料Ti3AlC2兼具陶瓷和金属的优良特性,2024Al具有优异的导电、导热、耐腐蚀等性能。以2024Al为金属基体,Ti3AlC2为增强相有望制备综合性能优越的复合材料,满足机械工程领域中轻质性、高强度、耐磨损和界面结合良好的要求。本论文以Ti粉、Al、Sn粉和Ti C粉为初始原料,通过原位反应烧结法制备了不同孔隙率的多孔Ti3AlC2预制体,然后将熔融金属2024Al在真空无压条件
滚动轴承作为机械装备中最重要的基础零部件之一,其健康状态直接决定着设备及其主机产品的性能、质量和可靠性。对轴承进行可靠的剩余寿命预测,可以及时掌握设备的运行状况以及剩余工作时间,便于工作人员尽早制定维修计划进而提高设备的使用效率、减少经济损失。但是目前基于数据驱动的剩余寿命预测研究方法大多建立在通过多个传感器获取不同的退化特征信息,很少从单一传感器采集的大量数据中提取不同的故障信息。因此,本文针对
对于200km/h及以上客货共线铁路,由于客货速度差大、轴重差别大等特点,轨道系统的振动强度随之增加,从而加速轨道设备的变形和破坏进程,降低轨道结构的使用寿命。随着通过总重的不断提升,还会造成钢轨磨耗加剧、运输风险增加等问题。若采取“动货不见面”的形式完成客货运输,或者旅客列车降速后与货物列车共线运行,则线路能力不能得到充分利用,无法最大限度发挥铁路的经济效益。因此对200km/h及以上客货共线铁
随着互联网的快速发展,人们的生活变得越来越丰富,办公如今慢慢的向自动化发展,人力也在不断地减少,效率也在不断的提高,随之而来的电商平台也孕育而生。然而,如今电子商务平台发展自身复杂性在不断地增加,过去传统的架构模式的缺点也显现出来,这些缺点在不断增加的需求面前变得越来越明显,电子商务平台功能多样化、软件的可维护性和水平扩展性在软件的开发中越来越重,也倒逼着软件开发的框架和技术在不断地创新。为了满足
随着我国经济由快速发展转为高质量发展,商贸流通业逐渐向规模化、信息化、便捷化和国际化方向发展,商贸物流服务也日趋专业化。专业市场与物流之间的互动发展,逐步带动了主要服务于商贸流通业的商贸服务型物流园区发展建设。作为近年来我国重点建设的物流园区类型,构建高效多元的经营发展模式在提高商贸流通业、降低物流成本上发挥至关重要的作用。而现阶段商贸服务型物流园区虽发展迅速但仍存在许多问题,缺乏相关较为成熟的理