基于LSTM注意力嵌入和对抗解码的机器翻译研究

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:nihaoalinlin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器翻译自诞生之日起,不断取得新的突破。然而现有对翻译的研究仍然存在以下不足:1)较少考虑语言本身的层次关系;2)采用句子级别或者单词级别的翻译,较少考虑短语粒度的翻译;3)鲁棒性不强。本文的工作如下:(1)阐述了树形结构的编码器。考虑语言本身的分层结构,将树形结构的思想引入到Transformer编码器中。并添加了基于LSTM的Embedding方法,捕获字符级别的语义信息。在已有的Attention模块中加入了组分注意力模块,促使每个词只关注本组分内部的词,形成句子的层次结构。并且采用了一种无监督解析算法,从未加标注的语料中生成树形结构,不仅提高了注意力的可解释性,还结合了语言学本身的分层特点,具有更好的语言建模能力。(2)阐述了基于块注意力的解码器。从解码过程出发,使用2个LSTM单元,将短语和词的解码区分开,划分为两个不同的时间尺度,有效解决了短语和单词长度不一致,词法变化不一致,而产生的翻译不同步的问题。并通过块注意力,实现了这种效果。通过这种方法,目标句子按照从块(短语)到词的层次结构进行翻译,并利用了不同粒度的语义信息。将目标句子分层地从块到词进行翻译,提升了翻译结果的2.03 BLEU。(3)引入了GAN技术。将本文的第二项工作,集成到GAN当中,通过判别器和生成器的对抗训练,促使编码器的行为对于输入及其对应的受干扰项,保持一致性。通过联合最大化原始数据和扰动数据的概率提高解码器的稳定性,提高了NMT模型的鲁棒性,结果提升了1.18 BLEU。
其他文献
魏晋南北朝时期处于复音词大量涌现的特殊语言时期,副词词尾作为附加式构词法是使单音节副词变为双音节副词的主要方法之一。《世说新语》作为这一时期研究语言的重要语料,具
目的:探究在肝细胞肝癌中circSP3的表达、作用以及circSP3通过作为miR-198海绵调节CDK4的表达从而促进肝细胞癌的增殖、迁移和侵袭的相关机制。方法:采用实时荧光定量PCR(qRT-PCR)实验检测circSP3在肝细胞癌患者癌组织和癌旁肝组织中的表达水平,此外检测4种肝癌细胞(Hep-3B、Huh7、Bel-7402、SMMC-7721)和正常肝细胞(HL-77O2)中的表达水平。
话话语标记语作为一种常见的语言现象,被广泛应用到口语和书面语中。二十世纪七十年代,随着语用学的产生与发展,话语的理解也引起了人们的关注,众多学者开始了对话语标记语的研究。二十世纪八十年代,Sperber和Wilson提出关联理论,这为话语标记语的相关研究提了新的视角。本研究以关联理论为基础,探究话语标记语对大学英语听力教学的指导作用。根据Blakemore(1992)和陈新仁(2002,2013)
目的:本研究旨在探讨IL2RA/miR182/FoxO1基因单核苷酸多态性(Single nucleotide polymorphism,SNP)与中国西南地区汉族人群Graves病(Graves’disease,GD)易感性的相关性,并初步探
水轮机是一种将水流能量转换为机械能的动力机械,其部件长时间与水接触并受水流冲击,会引起部件表面的材料损伤。为此水利部某研究所开发了一种用于水轮机部件表面喷涂的材料
目的:大豆异黄酮具有抗氧化作用,而氧化应激是燃煤型氟中毒的最主要机制之一。故从营养角度考虑,了解当地居民膳食豆制品及大豆异黄酮摄入量,比较分析膳食豆制品及大豆异黄酮和大豆异黄酮体内暴露量(黄豆黄素,染料木黄酮,黄豆甙元及其代谢产物二氢大豆苷元、雌马酚、去氧甲基安哥拉紫檀素)与燃煤型氟中毒患者之间的关系,为多角度多措施控制燃煤型氟中毒提供参考,提高燃煤型氟中毒地区居民的生活质量。方法:采用横断面研究
冠状动脉造影是诊断冠状动脉疾病、判断病变严重程度、评估介入治疗适应证的金标准,但其无法从功能学角度说明病变狭窄程度与心肌缺血的关系。目前,血运重建指导策略逐步由解剖学向功能学转变,血流储备分数是评估冠状动脉病变最常用的有创功能学指标,可以客观准确判断狭窄是否导致心肌缺血,为经皮冠状动脉介入治疗提供客观依据。然而,在测量过程中需要使用血管扩张剂导致血流储备分数的临床应用受到一定限制。瞬时无波形比值能
随着世界科技的迅速发展,国内外对于磁性吸波材料的研讨也是越来越深入,磁性材料是当代社会最重要的一大材料,最近大量研究被集中于此领域。由于尖晶石型铁氧体具有卓越的性能,使其在磁存储、生物医药和催化等诸多方面都得到了普遍应用,同时它也具备良好的吸波性能。形形色色的磁性材料中,由于磁性中空微球具有高比表面积和优异的微包裹性质,使其被科学工作者广泛关注。铁氧体与聚吡咯聚合可以使其磁学和吸波性能都得到提高。
本文通过溶胶凝胶法合成了几种Nd1-x-x Srx MnO3体系的钙钛矿型氧化物材料,研究了亚微米尺寸对材料磁相变温度及磁热效应性能的影响。并且计算了这些材料在相变温度附近的磁
四环素类抗生素(Tetracyclines,简称:TCs)在黄土中的环境行为与黄土的性质,如粒径、有机质含量、黏土含量、酸碱度等密切相关。研究TCs在西北地区不同类型黄土上的环境行为,