正则化生成对抗网络研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:lk1892
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
著名的物理学家费曼曾经说过:“What I can’t not create,I do not understand”。系统创造事物的能力在一定程度上表明了系统理解事物的能力,因此,研究生成模型有望加深对认知技术的了解,从而推动人工智能技术的发展。生成模型是机器学习技术的重要一环,主要可以分为传统生成模型和以生成对抗网络为代表的现代生成模型。传统生成模型考虑了显式的密度估计,具有良好的理论解释,但需要对估计的概率分布做出一定假设,导致传统生成模型往往难以泛化到现实世界的数据分布中。相反的,生成对抗网络通过对抗学习的方式,能够对数据分布进行隐式建模,故其生成效果往往要优于传统生成模型。因此,本文主要讨论有关生成对抗网络的研究和应用。在各种关于生成对抗网络的研究和应用中,稳定模型的训练过程是至关重要的,这能够有效减少使用人工经验对模型进行调参所耗费的时间,避免模型出现模式崩溃的现象,进而提升模型的实际应用效果。然而,由于生成对抗网络的性能对网络架构、正则化技巧和各种超参数的设置都较为敏感,这些混淆因素或将导致声称效果更优的算法之间无法公平对比。因此,对比不同正则化机制的优缺点,设计一种融合多种正则化机制优点且能够实现稳定训练的生成对抗架构就具有十分重要的意义。总结而言,本文主要的研究工作如下:首先,本文分别介绍了生成模型的传统方法和生成对抗网络的基本原理及其相对于传统生成算法的优点,并从理论上推导出生成对抗网络出现“训练不稳定”和“模式崩溃”问题的原理。为了解决以上问题,本文提出了以非饱和损失函数为主,正则化函数为辅的多目标约束生成对抗框架。为了能够定量地对比不同正则化技巧的性能,本文还设计了一个合成数据集和两个评价指标用于评估不同模型的性能。实验结果和可视化结果表明,非饱和损失函数结合R1梯度惩罚技巧的生成对抗网络能够有效处理“训练不稳定”和“模式崩溃”的问题。其次,在多目标约束生成对抗框架的基础上,为了优化深度生成模型的性能,本文提出了一种基于正则化机制的生成对抗网络。为了寻找不同正则化机制最有效的融合方案,本文在大规模人脸数据集上实施了人脸生成的对比实验。实验结果表明,基于Style-GAN技术和信息瓶颈技术的多目标约束生成对抗框架的性能是最优的,其具有较强的训练稳定性,能够生成高保真度的人脸图像。最后,考虑到生成对抗网络架构与强化学习技术中的Actor-Critic架构的相似性,本文基于深度确定性策略梯度架构,提出了应用信息瓶颈技术的多目标约束优化模型,并设计了一个具有难度的多智能体强化学习任务,用于验证正则化机制处理强化学习任务中的“试探与开发”困境的有效性。实验结果表明,在多智能体强化学习任务中,信息瓶颈技术具有较好的理论解释,有利于处理强化学习技术中的“试探与开发”困境的难题,不仅如此,R1梯度正则化技术与信息瓶颈技术的协同应用也明显增强了强化学习模型的性能。以上结论表明基于正则化机制的生成对抗框架可有效迁移至深度强化学习领域,具有较高的实用价值,值得深入探索。
其他文献
网球运动在我国发展的历程中,涌现了不少世界闻名的职业网球选手,例如两届大满贯得主李娜,2004年奥运会女双冠军李婷、孙甜甜等。这些选手和她们所取得的成绩推动着网球运动在国内的发展。随着教育部于2017年颁布了《教育部办公厅关于开展全国青少年校园网球试点工作的通知》,代表着我国开始推进校园网球项目的发展,这是将网球训练和文化学习相结合的又一尝试。本文通过文献资料法、实地考察法、专家访谈法和问卷调查法
收集个人数据并进行反思并不是一件新鲜的事。在1990年代,医学和临床领域中对于病人的自我监控系统已经出现。20世纪初,体重秤、计步器开始从医院这种专业场景转移到家庭使用,从专业医学数据转变为满足个人健身需求的日常数据。近年来,随着移动设备上低成本监测传感器的普及,身体其他各种信息逐渐被发掘出来,用于实现健康生活的数据追踪产品,帮助人们提升自我管理。积极心理学认为持续的幸福感源于我们的行动而非物质占
论文选题源于国家科技支撑计划项目(项目编号:2013BAH57F01)。旨在对农业足式移动平台的运动平稳性控制方法进行研究,使之能够在山地、林地、丘陵等坡面田间完成独立运输行走
挖掘机是一种常见的重型工程机械,其在建筑等基础建设领域发挥着极其重要的作用。考虑到挖掘机的工作场景恶劣、危险系数高等因素,挖掘机的自动化、自主化作业需求日益增加。众多科研机构和企业也针对挖掘机的智能化作业做了大量的研究工作。挖掘机定位和挖掘机下车机构运动轨迹的控制是实现挖掘机自动化、自主化作业的基础。本文以履带式液压挖掘机的精确定位和行走轨迹的精确控制为研究目标。首先,对挖掘机下车机构相关的液压系
目的:对升陷汤加味治疗胆汁反流性胃炎(bile reflux gastritis,BRG)肝郁脾虚证的临床疗效和安全性进行临床观察。方法:按照纳入标准及排除标准,收集BRG肝郁脾虚证患者88例,按照随机数字表法分为试验组和对照组。试验组予升陷汤加味治疗,对照组予莫沙必利和碳酸镁铝治疗,两组疗程均为4周。观察治疗前后两组患者中医证候积分、胃镜下胆汁反流程度和胃黏膜表现,同时记录治疗过程中出现的不良事
车辆行驶过程中,驾驶员因外界环境与自身的影响,忽略交通标志,是导致交通事故频发的重要原因。交通标志识别系统作为车载驾驶辅助系统中的组成部分之一,可以消除强光刺激、侧
自然图像是信息承载的重要形式,获取高质量的自然图像在地质勘探、测绘、遥感、制导等诸多民用和军事领域中有着十分重要的意义。由于硬件设备成本的限制和环境噪声的影响,当
随着我国城镇化的进程,城市机动车保有量和人口密度呈现出快速增长的趋势,城市交通问题愈演愈烈,行人作为道路弱势群体,在混合道路交通环境中常常更易遭受伤害。据统计,每年在城市道路发生的交通事故中,涉及行人的事故占到百分之二十以上,并且具有较高的伤亡比例。因此,开展针对城市道路行人交通事故的分布规律和影响因素的研究,并针对性地提出预防对策和建议十分必要。本文以城市道路实际行人交通事故为出发点,基于地理信
自"五化协同、大抓基层"实施以来,东河区立足实际,采取有力措施,坚持教管结合,从发展党员、党员教育培训、纪律约束、党内关怀四个方面入手,多维并举,不断推动党员管理标准化
目的:本研究通过对收集的帕金森病非运动症状患者的临床资料进行统计学数据分析,总结出帕金森病非运动症状患者中医证素及证候分布特点,为中医辩证论治帕金森病非运动症状提供依据。方法:通过设计调查问卷,临床收集200例帕金森病非运动症状患者的姓名、性别、年龄等一般情况及病程、H-Y分级、非运动症状、中医四诊信息,归纳总结临床所得资料,并通过SPSS22.0统计软件进行统计学分析,根据其结果分析帕金森病非运