论文部分内容阅读
近些年来,深度学习算法取得了令人瞩目的成果,卷积神经网络(Convolutional Neural Network)是深度学习中非常重要的一个网络模型,被设计用来解决图像识别等问题,可以避免复杂的特征提取工作。大量研究成果表明,卷积神经网络对图像的识别率远高于传统算法。本文主要对卷积神经网络的结构进行研究。卷积神经网络中,最重要的两个结构是卷积层和池化层。池化层是一种空间降采样操作,可以降低网络的计算量并强化特征的抽象表达。针对于其他池化存在的问题,本文首先提出了一种多尺度池化(MultiScale Pooling),将卷积神经网络中传统的池化方式替换为一种多尺度池化结构。在池化层中,加入了对特征图不同程度的降采样,这种方式也可以看作是一种隐含的数据增强。本文提出的多尺度池化结构不需要超参数,并且可以和其他正则化方式相结合,比如Dropout和数据增强。在MNIST和Cifar-10数据集上,基于多尺度池化分别设计了两个网络模型(MSPnet-1,MSPnet-2),进行实验,验证性能,并与其他池化方式及其他论文的方法作对比。实验证明,本文的方法可以有效的减少学习训练过程中的空间信息损失,抑制过拟合,提高模型识别率。卷积层是卷积神经网络用来提取图像特征的关键结构,若要提升模型的识别效果,一般的办法是增加网络的深度和宽度,但是当数据集较为有限的情况下,这种方法极易导致过拟合。针对于此,本文基于Dropconnect和Goog Lenet,设计出了一种新的卷积层结构(KDCnet)。在训练时,随机的使同一卷积层的几个卷积核不参与训练,在保证复杂网络性能的同时,有效的减轻了过拟合。然后将多尺度池化和该卷积层结构相结合,在Cifar-100数据集上进行实验,并与其它论文中的结果进行对比,实验表明,本文设计的结构有效的提高了识别率。