【摘 要】
:
近来,机器翻译发展迅速。该领域中一些新出现的技术可以有效提高模型的翻译性能,例如屏蔽、回译和预训练等技术。但是这些新技术难以运用到现有的零资源机器翻译模型中,这是因为零资源机器翻译大多以图像标注框架为基础,无法直接运用基于序列到序列框架的机器翻译领域中的新技术。为了将这些技术运用到零资源机器翻译领域,论文提出基于序列到序列机器翻译框架建立零资源机器翻译模型。在这一框架下,有一些独有的问题需要解决。
论文部分内容阅读
近来,机器翻译发展迅速。该领域中一些新出现的技术可以有效提高模型的翻译性能,例如屏蔽、回译和预训练等技术。但是这些新技术难以运用到现有的零资源机器翻译模型中,这是因为零资源机器翻译大多以图像标注框架为基础,无法直接运用基于序列到序列框架的机器翻译领域中的新技术。为了将这些技术运用到零资源机器翻译领域,论文提出基于序列到序列机器翻译框架建立零资源机器翻译模型。在这一框架下,有一些独有的问题需要解决。首先,图片冗余信息和词语多义性将会对多模态融合过程的效果产生负面影响。其次,这一框架下训练阶段的模型和推理阶段的模型的结构有所不同,这一差距降低了模型的泛化性能。这两个问题都将影响模型的翻译能力。为了在序列到序列框架下进行零资源机器翻译,论文首先设计了适用于零资源机器翻译任务的多模态Transformer。它包含一个将图像信息融合到文本信息之中的多模态模块,用于构建多模态编码并辅助实现零资源机器翻译。与图像标注框架下的模型不同,此模型可以采用屏蔽、回译和预训练等技术,以取得更优的性能。论文接着在知识图谱的辅助下,将词语的嵌入转化为其语义的嵌入,消除了词语的多义性。通过更加高效地使用图像信息,这一模型克服了图片冗余信息和词语多义性带来的负面影响。最后,论文设计了两种机制,使模型能够在训练阶段平稳地适应推理阶段的编解码过程,从而减少了训练阶段和推理阶段的性能差距。论文的第一项贡献是建立了模型的基本结构,而后面两项贡献是解决了序列到序列框架给这一模型带来的两个问题。综合以上三项贡献,论文成功地在序列到序列机器翻译的框架下建立了一个零资源机器翻译模型。所提出的模型能够运用序列到序列机器翻译领域中的关键技术,也排除了这一框架下独有的问题所带来的负面影响。这一模型在Multi30k和IAPR TC-12数据集上的测试结果表明,此模型能够取得零资源机器翻译领域内最优的BLEU分数,这意味着此模型能够有效地实现零资源场景下的机器翻译,也显示了序列到序列框架下零资源机器翻译模型的优势。
其他文献
成渝城市群作为中国经济增长第四极,属于建设清洁低碳发展的“美丽中国先行区”,但也属于“大气污染防治行动计划”划定的大气污染重点控制区。加快清洁能源替代、构建清洁能源体系是成渝地区建设绿色低碳经济体和改善空气质量的重要抓手、也是建设“成渝地区双城经济圈”和实现“美丽中国”要求的关键环节。以推进清洁能源利用、促进能源结构调整控制区域二氧化碳(CO2)和主要大气污染物排放(NOx、VOCs、CO、SO2
丹参(Salvia miltiorrhiza Bunge)为唇形科(Lamiaceae)鼠尾草属(Salvia)多年生草本植物,以干燥根茎入药,是我国常用大宗药材之一,具有活血祛瘀、通经止痛等作用。丹参分布范围广,山东、河南、陕西、四川等主产区丹参栽培历史悠久,且在栽培过程中存在严重的连作障碍,常年采用“一地一年,一年异地”的种植模式,不利于丹参产业向现代设施农业方向发展。川丹参主要产自四川省德阳
生物分子是生物体中的一种活性物质,在生命过程中起着重要的调节作用,对于维持基本生活活动至关重要,生物系统中的有些生物分子失衡都会严重影响整体健康。所以近年来,人们越来越关注对生物分子的检测。生物小分子尿酸水平的高低和人体健康有很大关系,异常水平的尿酸与许多代谢紊乱密切相关;而抗坏血酸的长期缺乏则会使免疫系统的功能降低,引发坏血病等疾病。然而,在生命系统这个大环境内,设计特异性检测生物分子的方法遭遇
【项目背景】学生当前是否需要这个项目?完成这个项目对他们的成长有何意义?他们愿意完成吗?这是项目活动之前应该认真思考的问题。基于此,我们从三个角度定位"古文蒙学观止裨后"的项目意义:1.蘅塘退士孙洙在《唐诗三百首》的序言中说:"熟读唐诗三百首,不会吟诗也会吟。"我们也
本文以茶麸微粉作为配制功能洗发水的主要原料,通过用茶麸微粉作为营养物质和茶籽油作为润发油脂的方式来配制功能洗发水。研究了茶麸微粉对功能洗发水的理化指标、调理性能、配伍性能等的影响,结果表明茶麸微粉与洗发水的其他成分配伍性良好,同时与国内的普通洗发水和中草药洗发水相比,研制产品的综合表现相对比较优异,茶麸微粉含量为6%的功能洗发水的综合评价最高,理化指标测试符合GB11432—89规定,调理性能也得
针对软弱海相淤泥土的加固,依托香港国际机场第三跑道填海工程(简称香港三跑工程),开展了高压旋喷桩现场工艺试桩试验,采用先进的意大利多功能高压旋喷钻机,施工自动化程度高,旋喷桩质量佳,工效快。文章着重探究了水泥掺量、养生龄期等因素对现场水泥土强度的影响,以及不同龄期室内水泥土的强度比例关系。为香港地区滨海软土地基推广应用高压旋喷桩工法加固提供了很好的工程借鉴和技术参考。
与畜禽等动物相比,鱼类消化系统不健全,消化酶活性低,而植物性原料中常含有抗营养因子和毒性成分等,易导致肠道损伤及肠炎等疾病。丁酸等短链脂肪酸可显著改善鱼类生长性能,增强鱼体健康及抗氧化和抗应激能力。因丁酸气味不佳,影响动物适口性,丁酸钠作为丁酸的替代物,呈固态且不易挥发,易于添加使用。丁酸钠可促进肠道上皮细胞发育,改善肠道形态结构,保持肠道黏膜屏障完整,对损伤的肠道黏膜加以修复,刺激上皮细胞内mR
随着实验力学、仪器科学等学科的发展,全场位移测量技术也得到了长足进步,该技术因具有光路简单、环境适应性好、测量范围广、自动化程度高等诸多优点被广泛关注。尽管数字图像相关方法对位移场计算精度已经能满足大多数工程应用,但整像素位移搜索效率及准确率仍有不足,尤其是更高精度位移测量中涉及到亚像素位移计算,需要对亚像素位置处的灰度值进行插值重建,所以计算效率严重成为数字图像相关方法应用的瓶颈。本文提出了改进