基于张量环的神经网络研究

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:wjw842008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统深度神经网络虽在各个领域都取得了优异的成绩,然而庞大的参数量使其难以迁移到移动设备等资源受限的平台,并且也会造成训练的低效。而张量环(Tensor Ring)模型具有低秩的结构,能通过少量参数表征一个更广大的空间,因此能够对传统深度神经网络进行压缩。为了能够减轻参数冗余的问题以及提升张量环模型的能力,本文将结合张量环和神经网络进行如下两个方面的工作:1)针对循环神经网络体积过大的问题,提出更为紧凑的张量环模型,降低训练资源消耗。2)针对张量环卷积网络训练波动大的问题,设计一种新的初始化方法,用以稳定训练的过程。循环神经网络能出色地处理序列数据,然而面对视频这样的高维数据,输人-隐层矩阵会急剧扩大,因此导致大量参数冗余,使得模型训练效果欠佳。针对这个问题,本文提出了张量环循环神经网络(TR-RNN),通过将输人-隐层矩阵分解为张量环形式,极大地降低了模型的参数量。相较于Yang等人提出的张量火车循环神经网络(TT-RNN),TR-RNN不仅不会对超参数过于敏感,还拥有更简约的结构。该工作具有以下创新:1)第一个将张量环分解引入循环神经网络;2)实现34192倍超高倍率压缩,近乎为TT-RNN的一倍,与此同时达到最高精度;3)通过使用预训练模型提取的特征,TR-RNN能得到更佳的表现,并能达到与先进的非压缩模型竞争的水平。在张量环卷积网络取得良好结果的同时,也暴露出网络不够稳定,容易出现爆炸或弥散的问题。因此本文从控制数据流方差传递的角度出发,提出了适用于张量环卷积网络的初始化方法,令数据流和梯度在传递过程中更为缓和,以此提升网络的稳定性。本文提出的新初始化贡献如下:1)平滑数据流以及梯度的传递,抑制网络过高的波动;2)提升网络的性能,实现更高的精度;3)设置灵活,能够自适应各种秩下的张量环模型。
其他文献
伴随着社会的不断发展及进步,互联网已逐渐融入到我们的日常生活中,并且对我们的生活产生了巨大影响。工业化与信息化的不断影响和相互促进带动了我国科学技术的发展,教育在
随着我国经济的发展,人们的生活水平不断提升,在物质生活满足的基础上,人们开始追求精神文化需求,与此同时巨大的生活压力给人们的身体和精神上带来了严重的挑战,越来越多的
近年来,随着人类平均寿命的不断延长和人口老龄化的问题日趋严重,人们对与衰老相关的疾病越来越重视,随之而来与衰老及长寿相关的研究也有了很大的进展。目前相关研究主要运用秀丽隐杆线虫(Caenorhabditis elegans),果蝇(Drosophila)等无脊椎动物模型获得了一系列进展。大量研究结果提示,衰老与细胞损伤相关分子累积密切相关,饮食限制(Dietary restriction,DR)被