【摘 要】
：
虽然深度神经网络模型在大量的应用场景中取得了引人瞩目的成果,但是这些高性能的模型却存在一个常见的问题,即过拟合问题。为了防止神经网络中出现的过拟合问题,研究者们提出了很多正则方法,如L1正则,L2正则,Dropout等等。受集成学习的启发,本文把神经网络中的隐藏层看成是若干个基学习器的集成。基于集成学习中评估和传统均方误差的偏差-方差-协方差分解理论,我们证明了评估均方误差中的方差项在防止模型过拟
论文部分内容阅读
虽然深度神经网络模型在大量的应用场景中取得了引人瞩目的成果,但是这些高性能的模型却存在一个常见的问题,即过拟合问题。为了防止神经网络中出现的过拟合问题,研究者们提出了很多正则方法,如L1正则,L2正则,Dropout等等。受集成学习的启发,本文把神经网络中的隐藏层看成是若干个基学习器的集成。基于集成学习中评估和传统均方误差的偏差-方差-协方差分解理论,我们证明了评估均方误差中的方差项在防止模型过拟合问题上所起到的重要作用,并且提出了基于集成学习的低样本方差正则方法用于提升模型的泛化能力。针对全连接神经网络,我们把隐藏层中的神经单元均分成不重叠的若干组,每一组被视为一个基学习器。针对卷积神经网络,我们把池化层得到的多个特征图视为一个基学习器。基于基学习器的划分模式,我们可以计算评估均方误差中的方差项,通过对方差项的限定来缓解模型中出现的过拟合现象。基于FASHION-MNIST,CIFAR10和CIFAR100数据集,文章验证了基于集成学习的低样本方差方法的有效性。实验结果表明,基于集成学习的低样本方差方法可以更好的防止过拟合现象的发生,提升模型的泛化能力。
其他文献
锈蚀是钢结构中一种普遍存在的缺陷。如果不及时采取锈蚀处理措施,可能会引发严重的安全事故并造成经济损失。人工视觉检查是目前最常用的结构锈蚀检测方法。该方法虽然操作简便,但是效率低、主观性强。基于计算机视觉的方法能够自动进行损伤检测,可以显著提高检测效率并给出客观地检测结果。传统的计算机视觉方法需要依赖先验知识设计特征,而深度学习算法能够自动从图像中提取出合适的特征。现有研究主要识别结构是否发生锈蚀,
目前建筑的运行能耗约为全社会商品用能的三分之一,是节能潜力最大的用能领域,也是节能工作的重点,北方城镇冬季集中供热占建筑能耗的21%,且目前管理粗放,难以满足按需供热的要求,集中供热工程势必将向着精细化的方向发展,这也对短期负荷预测的精度提出更高的要求。本文在对热负荷的影响因素及特点进行分析的基础上,结合各影响因素的重要性和可获得性确定了负荷预测模型的输入变量及预处理方法。以承德市某供热系统作为案
当前,我国冬季供暖能耗在社会总能耗中占比较大,供热节能势在必行。对供暖负荷的准确预测可以帮助运维人员提前掌握建筑的用能需求,进行精准调控,从而避免不必要的能源浪费。随着计量装置的普及以及人工智能技术的发展,机器学习技术在建筑物能耗预测方面得到了快速发展。本文以寒冷地区某住宅建筑为例,使用树模型与神经网络模型对供暖负荷进行短期预测与超短期预测,研究了两类在供暖负荷预测中的应用效果。本文首先利用相关性
"十四五"是国家电网公司迈向战略目标的关键五年。而供电所既是公司供电服务的最前沿,又是政策落地的最末端。落实"一体四翼"发展布局,提高供电所基础管理是必然要求。为解决供电所一线人员对上级政策理解不全面、业务流程不熟悉、服务要求落实不精准等一系列问题,国网山东省电力公司东营供电公司（以下简称"东营供电公司"）创新搭建市、县、所贯通协同的"五点云讲堂"培训平台,以"上级政策一贯到底,基层需求及时
当前,基于卷积神经网络的深度学习技术在计算机视觉等多个领域取得极大成功,也是最具代表性、最有效的方法。但是深度学习技术严重依赖于标签准确且类别间数据平衡的大规模数据集。然而,大规模的标签准确的数据是极难获取的,同时真实世界的数据集大多存在类别间样本不平衡的问题。针对计算机视觉领域中的图像分类和人脸识别任务,如何有效利用标签噪声的数据或类别间不平衡的数据训练出理想的深度学习模型是一个亟待解决的难题。
机器学习和数据挖掘中多数数据类标签的缺失,使得聚类任务成为学习过程中的关键任务。聚类的最终目的是揭示数据的隐藏特性,因此对于聚类任务,得到合理的样本关系对的表示至关重要。而对于维度较高的数据的聚类任务,由于其数据密度低,较难从中得到有用的信息。目前常用的解决方法是无监督特征选择和子空间聚类。无监督学习任务中由于数据无类标签,无法直观得到样本关系,此时可通过构建图模型来表示,以挖掘数据信息,构建学习
真实世界中事物是复杂多样的,单一语义无法描述事物蕴含的丰富信息。为了描述事物丰富的语义信息,多标记学习应运而生并广泛应用在多种领域,例如文本分类、场景分析等。多标记分类学习的任务是学习一个模型,该模型为未知实例预测出一组相关标记。标记之间存在某种联系使得多标记学习难度高于多分类学习。为了使模型具有更高准确性和泛化能力,本文从标记独立和标记关联增强两方面对多标记分类展开研究,主要研究工作如下:（1）
稀疏学习由于其简约特性和计算优势而获得了越来越多的关注。稀疏学习问题等价于最优子集选择问题,这是一个NP完全问题。已有的稀疏学习方法大多基于启发式的规则或正则项近似,但这些方法缺乏相应的理论保证,并且难以有效地在精度和稀疏度之间进行权衡。松弛和取舍技术是一种广泛应用的算法设计技术,已被验证了在NP难问题的近似算法设计上极为有效。本文将松弛和取舍技术扩展到稀疏学习问题,提出并设计了一个新的稀疏学习的
随着人工智能与大数据时代的到来,描述数据的特征数量在许多领域中都呈现爆炸式增长。高维数据集给传统的学习算法的性能产生了不利的影响,要求更多的计算时间和存储需求,且容易导致模型过拟合。特征选择能够从原始特征集合中选择出最具代表性的特征子集,已经被证明是一种有效的数据降维的手段。在现实世界中,由于人工标注费时费力和缺乏先验知识,未标注的数据越来越普及。在不利用数据标签的情况下,无监督特征选择对全面分析
互联网络科技的迅猛发展促使复杂网络研究成为如今的热点,近些年来利用网络表示学习对复杂网络进行网络分析也越来越热门。然而现如今的表示学习方法缺乏关注网络结构等价性,而利用网络结构等价性进行风险计算被证实是一种有效手段。因此本文创新性地提出了同时利用网络全局和局部结构等价性的表示学习方法来进行风险计算。具体工作如下:首先,提出了互增强网络结构等价性的表示学习算法（DMER）。该方法首先针对网络的结构特