【摘 要】
：
Transformer在自然语言处理、计算机视觉和音频处理等人工智能领域取得了巨大的成功.学术界和产业界研究者设计出了各种各样的Transformer(又称X-formers).然而,关于这些Transformer的系统全面的文献综述仍然缺乏.在本综述中,首先简要介绍了vanilla Transformer,然后提出了一种新的X-formers分类法.接下来,从架构修改、预训练和应用三个角度介绍了各种X-former.最后,概述了未来研究的一些潜在方向.
【机 构】
：
赣南师范学大学数学与计算机科学学院,江西赣州341000
论文部分内容阅读
Transformer在自然语言处理、计算机视觉和音频处理等人工智能领域取得了巨大的成功.学术界和产业界研究者设计出了各种各样的Transformer(又称X-formers).然而,关于这些Transformer的系统全面的文献综述仍然缺乏.在本综述中,首先简要介绍了vanilla Transformer,然后提出了一种新的X-formers分类法.接下来,从架构修改、预训练和应用三个角度介绍了各种X-former.最后,概述了未来研究的一些潜在方向.
其他文献
随着信息技术的迅猛发展,信息技术变成了一种现代社会文化,信息技术作为一门必修课程进入中学课程体系,但实际情况并不理想,该文调查了中学信息技术教学的现状,分析了其中存在的问题,并提出了一些改革的设想.
随着“互联网+医疗健康”的兴起,线上一站式医疗服务已逐步成熟.面对众多医院及体检项目的筛选,如何根据用户需求,提供针对性服务,是线上体检服务研究的主要内容.为了更好地实现线上体检服务,提出了以ECMAScript6为基础搭建一个综合且便捷的线上体检预约平台,采用了非关系型数据库,利用了云开发技术,最终成功在微信小程序中得以实现.为医院查询、项目筛选、体检预约、体检报告查询、异常预警等提供了系统性的解决方案.
基于当前的房价热潮,为了探索房价上涨原因,分析各因素对房价的贡献值,冲击各变量对房价在不同时期的影响效果,维护房地产市场的稳定,本文从经济层面系统地研究了固定资产价格指数、CPI、住宅竣工面积、居民可支配收入、GDP对贵州省房价的影响.本文选取了2000年～2018年的指标相关数据,建立VAR模型,运用格兰杰因果检验、脉冲响应分析、方差分解对影响贵州省房价的因素进行实证分析.结果显示:GDP与居民可支配收入对房价有显著影响,CPI与住宅竣工面积对房价起次要影响.因此,针对所得结论提出政策建议,政府需持续关
信息化技术的发展推动了不同领域技术的发展,也在不断影响、改变着人们的生产与生活.信息化技术在教学领域的应用也成为人们关注的重点之一.计算机信息的应用可以有效促进计算机专业教学的改革,创新教学方法,加强学生对计算机信息技术的了解和掌握,提高学生的综合素养.基于此,本文对信息化背景下高校计算机教育教学改革问题进行研究.