论文部分内容阅读
目前大多数深度学习技术、模块以及框架都是基于实数操作和表示,经过研究发现复数具有实数不可比拟的优势,比如丰富的表示能力、具有相位信息以及对噪声具有鲁棒性等。尽管复数网络具有杰出的优势,但缺乏构建复数网络的模块,因此很少有人研究复数域神经网络。本文研究了实数域神经网络的构建方法,并细致分析了复数域神经网络的构建方法,从而将神经网络扩展到复数域。本文主要研究了卷积神经网络和递归神经网络,并将其扩展到复数域。为了研究复数神经网络,本文对深度学习中的卷积神经网络和递归神经网络分别作了深入分析,包括递归神经网络为何出现梯度消失与爆炸问题、卷积神经网络中的各个网络层的实现原理,并基于这些研究内容来构建复数神经网络。主要研究内容包括:(1)研究基于酉矩阵的递归神经网络实现机理:反向梯度传播时递归神经网络存在的梯度消失或爆炸现象会导致网络无法继续训练。本研究重点从数学理论角度对基于酉矩阵的递归神经网络解决梯度消失或爆炸问题的原理进行分析,并对比了目前典型的三种参数化酉矩阵的方法:UERNN、Tunable和FFT。对比分析发现三种分解方式能够覆盖的空间均为酉空间的子空间,但只有Tunable可以通过修改参数来调整子空间的大小。(2)研究基于复数的深度残差神经网络构建方法:研究分析了复数在参数表示和网络深度方面的优势,以及复数残差神经网络的构建方法。为了在深度残差神经网络基础上实现复数域的数据处理,构建了复数卷积、复数池化、复数权重初始化、复数批量归一化以及复数激活函数等5个残差网络中的关键模块,并利用这5个模块构建复数残差网络。为了验证复数神经网络的优势,本文设计多组实验,分别验证复数递归神经网络和复数残差网络的性能。具体包括:(1)基于酉矩阵的递归神经网络的实验结果与分析:针对复制任务、去噪任务和括号任务,本实验将UERNN、Tunable、FFT三种参数化酉矩阵方法分别应用到递归神经网络中,在这三个任务上分别测试其与LSTM、GRU和GORU等6个网络的性能。实验表明Tunable分解酉矩阵方式构成的递归神经网络在复制任务上表现最好,而GORU在去噪任务和括号任务上表现最佳。(2)基于实数域和复数域残差网络的实验结果与分析:实验设计了基于CIFAR-10和CIFAR-100的两个图像分类任务以及基于MusicNet的音乐转录任务。实验表明复数残差网络在图像分类任务上表现不佳;而复数残差网络在音乐转录任务上精度超过实数域残差网络3.3%。在图像分类任务上,经过非局部连接网络优化后的复数残差网络性能比未经过非局部连接网络优化的复数残差网络也提高了0.1%。