【摘 要】
：
深度神经网络已成为众多机器学习任务中最先进的模型.然而,对网络架构设计的一般理论指导仍然缺乏.本文的主要内容就是在文献[1]和文献[20]的基础上进一步讨论深度神经网络与动力系统的关系,尤其是与哈密顿系统的关系,进而提出一类新的网络架构.本论文由四章构成:第一章,介绍本文的研究背景,以及内容安排.首先介绍深度残差网络与动力系统的关系,由此导出由动力系统以及相应的离散格式产生深度残差网络的思想.基于
论文部分内容阅读
深度神经网络已成为众多机器学习任务中最先进的模型.然而,对网络架构设计的一般理论指导仍然缺乏.本文的主要内容就是在文献[1]和文献[20]的基础上进一步讨论深度神经网络与动力系统的关系,尤其是与哈密顿系统的关系,进而提出一类新的网络架构.本论文由四章构成:第一章,介绍本文的研究背景,以及内容安排.首先介绍深度残差网络与动力系统的关系,由此导出由动力系统以及相应的离散格式产生深度残差网络的思想.基于此思想,Haber等人在文献[20]中提出一种解决梯度爆炸和梯度消失现象的新方法:用合适的动力系统的流提出新的正向传播方法,来解决梯度爆炸和梯度消失问题,并导出对任意深度的网络都适定的学习问题.在该方法的构建中,他们还提出了稳定性标准和两种稳定的网络模型:反对称模型和哈密顿模型.第二章,介绍后续章节需要的预备知识.第三章,首先以一个反例说明文献[20]中判定网络稳定性的标准是不严谨的,并改进给出了两个更合理的稳定性判定结果定理3.1和定理3.2.并用于证明本文研究的两类哈密顿系统的线性稳定性.然后讨论文献[20]中基于经典哈密顿系统提出的哈密顿模型（1.16）,论证了这个模型一般条件下不存在经典哈密顿结构.然后探讨了它是广义哈密顿系统的可能性,并导出了相关限制条件;讨论了这个系统模型的平衡点及其稳定性质,获得了相关定理3.3和定理3.4.基于上述所谓哈密顿模型（1.16）,我们构造了一类新的系统（3.16）,它在一定条件下与系统（1.16）等价.系统（3.16）具有广义哈密顿系统的结构,进而详细的讨论了它的动力学性质,获得了相空间的叶层结构及轨道性质:线性稳定定理3.5,Casimir函数存在定理3.6,平衡点分布定理3.7,非线性稳定定理3.8和约化定理3.9,并将它们应用到具体的例子中.又文献[20]中通过具体的数值模拟展示了哈密顿模型（1.16）能够有效避免梯度爆炸和梯度消失,但未给出理论性探讨.本文对于系统（1.16）和系统（3.16）的梯度估计都进行了探讨,并求了新的离散格式（3.54）式对权重参数的导数公式.第四章,将（1.16）和（3.16）连续动力系统对应的深度神经网络（2.14）和（3.54）进行多层次的数据实验,并比较这两种深度神经网络的实验效果.网络（2.14）和网络（3.54）在中等（64到256层）深度下,模拟精确度相近.对于动力系统视角构造深度网络的前景及存在的问题,提出我们的一些看法.用动力系统来构造深度网络便于从理论上研究深度网络学习的有效性,而且增加了模型的多样性并有效的减少参数.现存在的问题主要是在数据实验实现过程中,怎样更多的保留动力系统的性质,这涉及到离散方法和梯度下降的进一步拓展.
其他文献
谱极值图论问题主要研究与图的各种矩阵表示,包括邻接矩阵、拉普拉斯矩阵或无符号拉普拉斯矩阵等的谱性质,特别是不含有特殊子结构的图类中的谱半径极值问题.近年来,有关图的邻接谱、拉普拉斯谱和无符号拉普拉斯谱等的极值问题得到了广泛研究.为了追踪邻接矩阵到无符号拉普拉斯矩阵的变化,Nikiforov提出了研究邻接矩阵和度对角矩阵的一个线性凸组合,即矩阵Aα（G）=αD（G）+（1-α）Λ（G）,α ∈[0,
本文主要研究了BiHom-Hopf代数上的L-R smash积,共分为三部分.第一部分介绍了 BiHom-L-R smash积的定义,并给出了 BiHom-L-R smash积和张量余积形成BiHom-双代数的充分必要条件.第二部分研究了 BiHom-L-R smash积在有限维半单BiHom-Hopf代数（H,αH,βH,ψH,ωH）上的Maschke-型定理.第三部分讨论了 BiHom-子代数
本文主要研究辛临界曲面上K（?）hler角α的上界估计.对于K（?）hler曲面M中闭的两维β辛临界曲面∑,将α定义为∑上的K（?）hler角.若存在q>3,使得泛函Lq（∑）:=∫∑1/cosqαdV∑有界,通过Morse迭代的方法,则可得到K（?）hler角α的一个上界估计.现已有q>4时对α的一致上界估计,本文的结果推广了 q的范围.全文共分为三章,具体如下:第一章:介绍了 K（?）hler
本文主要考虑奇异扰动的二阶非自治格点系统的全局拉回吸引子关于二阶项系数的上半连续性.第一章,首先介绍本文考虑问题的研究背景,其次介绍了本文的主要工作,最后给出了需要用到的预备知识.第二章,证明奇异扰动的二阶非自治格点系统和对应的一阶非自治格点系统在一定条件下分别存在全局拉回吸引子.第三章,考虑二阶非自治格点系统的拉回吸引子在Hausdorff半距离下关于二阶项系数的上半连续性.（ⅰ）研究二阶项系数
本文研究三维不可压轴对称磁流体（MHD）方程组解的适定性,主要利用能量办法研究速度向量与磁场向量的旋度分量满足一定时空条件时解的正则性问题.全文主要分为四章.第一章,简单介绍经典三维不可压MHD方程组的研究背景及研究现状.第二章,介绍直角坐标系与柱坐标系之间的联系,然后将直角坐标系下的MHD方程组经过柱坐标变换,推导出轴对称MHD方程组.第三章,主要对向量u,B的旋度分量r3ωθ,r3nθ进行能量
在常微分方程的研究中,方程是否出现Smale马蹄意义下的混沌是动力系统关心的问题.通常利用一阶Melnikov函数的简单零点来判定鞍点稳定流形和不稳定流形的横截相交性,从而确定系统的混沌动力学.一个重要的问题是:如果一阶Melnikov函数退化,即它恒为零,则如何判断系统的混沌动力学?针对这个问题,一般利用更高阶Melnikov函数进行推导,从而判定系统的混沌动力学.目前,具有同宿轨道的方程在周期
本文主要研究具可乘白噪声非自治时滞二阶随机格点系统随机吸引子的存在性、单点性及其指数稳定性.本硕士学位论文主要分为三章:第一章:首先概述本文研究问题的背景及主要研究内容简述,然后给出本文需要用到的预备知识.第二章:给出由有限闭区间到有限个无穷序列加权空间的乘积空间的所有连续函数构成的空间上的连续余圈和局部耦合非自治随机时滞格点系统的随机吸引子的存在性条件.第三章:考虑具可乘白噪声非自治时滞随机二阶
本文主要研究了Hom-交叉积的若干性质,共分为三部分.第一部分研究了Hom-交叉积与张量余积形成Hom-双代数的充要条件.第二部分利用积分得到了Hom-交叉积的Maschke-型定理.第三部分先给出了cleft扩张的定义,研究了Hom-交叉积与cleft扩张的关系,作为cleft扩张的应用,讨论了Hom-交叉积与Galois扩张的关系.
脉冲系统在控制理论中一直都受到人们的广泛认识和关注,并且在许多物理,生物学现象等方面也已经具有广泛的应用.而在实际的应用中,难免会出现有扰动输入的情况.为解决此类问题,在1989年Sontag引入了输入状态稳定性的基本概念.这一理论概念是控制系统稳定性的重点和基本内容之一,它有效地描述了非线性系统具有外部输入时的稳定性特征.因此输入状态稳定性的研究具有重大的现实意义,已经逐渐成为控制理论和技术研究
本文着重研究（2+1）维Hirota-Maccari方程与（2+1）维非局域Fokkas方程,利用双线性方法与KP约化方法构造了Hirota-Macari方程和非局域Fokkas方程的有理解与半有理解,通过相应的数学软件分析了它们的动力学行为,同时还对方程的调制不稳定性进行了研究.文章主要分为以下几部分:第一章为绪论.主要围绕孤立子理论,KP约化方法以及精确解的研究概况进行简单介绍.第二章研究了H