深度神经网络架构改进和训练性能提升的研究

来源 :中北大学 | 被引量 : 0次 | 上传用户:huangpeifei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习技术在人工智能领域已经被应用到各行各业中,为人们提供更加智能信息资源。通过组合多种类型的网络层,形成深度神经网络模型,逐层对原始数据计算,利用反向传播算法学习对数据越来越抽象的表示形式,从而提高诸如目标检测、图像分类等任务的精确度。深度学习技术提高分类任务识别精确度的关键在于深度神经网络的网络层深度是否适当,类型是否丰富,网络结构是否合理,训练效率是否可接受等方面。为了提高深度神经网络对图像分类的精确度,本文分别从深度神经网络的网络结构和网络训练效率两方面提出了新的思路,并进行了验证。网络结构方面,本文提出了一种基于多个图像特征提取网络模型的深度神经网络,通过将数据特征抽象阶段的网络层分成多个计算路径,各个计算路径相互不干涉,分别同时对相同的训练样本数据进行特征抽象计算,利用反向传播算法对各个路径对应的模型参数进行微调,学习图像特征,并输出对候选图像类型的预测概率分布。同时,为了丰富特征提取网络模型的种类,还设计了一种基于自编码器的特征提取网络模型,与经典卷积神经网络一起构成了本文的多路特征提取网络模型。经过特征提取阶段,对应得到多组预测概率分布,并输入至本文设计的误差分析网络中,综合考虑每组数值,经过一系列网络层的计算变换,最终给出更加接近真实标签的预测概率值,达到提高预测精确度的目的。网络的训练效率方面,本文通过把多路训练网络计算过程中超出计算机内存的部分中间计算结果临时放在指定磁盘空间,避免系统无规则的数据交换,同时改进操作系统底层的I/O调度算法,引入遗传算法的思想,独立维护I/O调度算法的关键参数,使其能够根据上层应用的实际I/O压力,动态地筛选出最佳的参数组合,从而提升系统对I/O请求调度的能力。同时,本文还设计构建了一个可靠的操作系统环境,以确保多路训练网络在该环境下训练时测试得到的I/O压力数据的有效性。
其他文献
随着4G时代的到来,推荐系统作为大数据时代的产物在电子商务、信息检索以及移动应用、社交网络等众多领域都取得了不错的发展。伴随着这些应用的发展用户和产品数目不断增长,
随着汽车工业的飞速发展,汽车电控单元(electronic control unit,ECU)的数量越来越多。大量ECU的使用对汽车控制程序也提出了更高的要求。汽车电子控制从硬件到软件都变得更复
近年来,随着信号处理理论和计算机的发展,人们开始用摄像机获得周围环境图像并将其转换成数字信号,用计算机实现对视觉信息的处理,这就形成了计算机视觉这门学科。成像在视网膜上
随着汽车工业的不断发展,车辆从人们生产生活的一种机械化工具,逐步发展成为智能化,集成化的多信息交互平台。人们要求车辆除满足基本要求以外,更希望他能够像一位助手,在各种不同的应用环境中协助处理更多,更复杂的事情。随着汽车电子技术的不断发展,以及计算机嵌入式技术的引入,基于单片机嵌入式技术的车辆电控系统控制器已经逐渐成为大型车辆和高档轿车的控制核心。车辆电控系统控制器主要用于对现代车辆中各类设备运行参
随着计算机操作系统的发展,其架构逐渐呈现出多样化。一体化内核由于其在性能等方面的优势,一直是操作系统的主要架构。但随着人们对系统安全性和灵活性的日益关注,其它架构
软件复用是在软件开发中避免重复劳动的解决方案,有效的软件复用是提高软件生产效率和质量的切实可行的途径之一。而构件库作为软件复用的基础设施,在构建复用的软件开发过程
图像配准是对两幅或多幅来自不同设备或不同时间拍摄的图像进行空间位置对齐的过程,目标是为了寻找它们之间的一个空间变换,使得在这个最优变换基础上,两幅图像间的像素点在
无线传感器网络是由大量的体积小、价格低廉、电源能量极其有限、存储能力和数据处理能力比较弱、具有无线通信和监测能力的微型节点通过自组织的方式形成的网络。这些节点被
聚类分析作为数据挖掘的一个重要任务,具有广泛的应用领域,这些不同的应用都对聚类分析算法提出了新的要求。本文提出了基于网格的并行聚类分析算法PGMCLU,该算法的创新点主
本文基于31P磁共振波谱图(31Phosphorus Magnetic Resonance Spectroscopy, 31P MRS),通过对肝脏数据样本的分类进行病情的诊断,共分为三种诊断类型:肝癌,肝硬化和正常肝。31