【摘 要】
：
近年来元学习问题及其相关应用逐渐成为国内外关注的研究课题,它通过训练模型“学会学习”来提高数据效率、迁移先验知识、节约计算资源等,在少样本学习、强化学习等问题上都有良好的应用前景。当前有诸多不同类型、设计思路的面向元学习的计算策略不断提出,因而如何对元学习问题进行系统的建模以及方法的归纳显得尤为重要。本论文通过引入动态系统以及最佳响应理论,帮助重新建模元学习问题的数学模型,提出一个通用的双层优化统
论文部分内容阅读
近年来元学习问题及其相关应用逐渐成为国内外关注的研究课题,它通过训练模型“学会学习”来提高数据效率、迁移先验知识、节约计算资源等,在少样本学习、强化学习等问题上都有良好的应用前景。当前有诸多不同类型、设计思路的面向元学习的计算策略不断提出,因而如何对元学习问题进行系统的建模以及方法的归纳显得尤为重要。本论文通过引入动态系统以及最佳响应理论,帮助重新建模元学习问题的数学模型,提出一个通用的双层优化统一框架对基于优化的主流元学习方法进行归纳,并设计通用计算工具BOML用于求解元学习的相关应用问题。BOML具有模块化、易于扩展、通用性强等特点,可以通过简洁的接口快速构建双层优化模型,并结合不同的双层优化策略求解元学习模型。BOML可以复现近十种方法在少样本分类问题下的实验结果,同时可以通过不同的组合设计新的元学习策略。此外该计算工具开源Github代码,并基于Read the Docs提供在线文档便于使用者阅读,通过持续集成推动后续代码的更新完善,为研究人员提供完整的配套资源。在实验部分,论文不仅考虑少样本分类实验以及超清洗实验中算法的性能表现,完成Omniglot、Mini Imagenet等系列数据集上的实验补充,也考虑结合其他领域的知识,如引入归一化、知识蒸馏等策略来帮助算法提升或者在正交性等指标的表现。通过对该通用的双层优化计算工具研究,本论文实现对元学习问题的重新建模,完成通用的双层优化计算工具BOML,并梳理一系列基于优化的元学习求解方法,从而为研究者提供新的研究角度,并推动新的元学习方法及相关领域的理论研究与具体应用。
其他文献
近年来,随着各种人工智能（AI）应用不断地融入现实生活中并受到了日益广泛的关注,由深度神经网络（DNN）驱动的AI智能应用已经成功应用于许多现实领域。本文所研究是由DNN驱动的人工智能应用推理请求在5G移动边缘云（MEC）中的任务卸载策略问题,目的是在满足应用程序严格的延迟要求的前提下,尽可能多的处理DNN推理请求,以提高移动设备、基站和边缘服务器的能源效率。随着各种AI智能应用对精度、速度和能耗
自2007年发布以来,Android操作系统逐渐在智能终端的操作系统领域占据领先地位。官方平台和许多第三方市场都允许用户轻易地查找,下载以及使用大量的第三方应用程序,具有较好的用户体验。但与此同时,Android平台逐渐变成了恶意软件的主要攻击目标,恶意软件广泛存在各大应用市场,对用户的使用安全造成威胁。因此,高效地提高恶意软件的检测效率,提升模型鲁棒性,对其在现实背景下的实用性和维护Androi
作为水下计算机视觉的基础任务,精准的深度估计能够提升水下机器人的测距、定位以及目标抓取等任务的水平;高质量的颜色校正对于水下目标检测、识别等图像处理技术的发展具有重要意义。水下深度估计是对水下RGB图像中每一个像素相对拍摄源的距离进行估计;颜色校正解决图像中由水体环境导致的光衰减和后向散射等问题。但是,相较于陆上环境所具备的数据量大、技术研发成熟等优势,光照不均和能见度低等恶劣环境导致水下成像存在
近些年来,基于深度学习的显著性目标检测算法被广泛提出,并且相较于传统算法获得了极为可观的性能提升。但是,基于深度学习的像素级图像分割任务往往需要精细的人工标注数据。为了减少对人工标注数据的依赖,当前的研究者们推动了一系列基于无监督学习和弱监督学习的显著性目标检测算法的产生。然而这些方法与目前基于全监督学习的方法在性能上依然存在较大的差距。在现实场景应用下,除了绝大多数的弱标签数据之外,还存在少部分
最优传输的理论和方法日益渗透进深度学习等许多工程领域,其Figalli正则性定理揭示了生成模型存在模式崩溃和模式混合的本质原因是传输映射在奇异集处不连续。此外根据对抗样本生成机理的流形假说,奇异集中存在对抗样本,因此计算和研究最优传输映射奇异集变得更加重要。本文主要研究两个问题:一是计算最优传输映射的奇异集,二是利用奇异集生成对抗样本。为了解决上述问题,本文首先基于几何变分方法设计并实现最优传输映
深度学习技术的快速发展使得DNN驱动的自动驾驶技术的研究和部署有了质的突破。然而,虽然自动驾驶汽车已在无人操作的情况下路测行驶数百亿公里,其自动驾驶行为的安全性并不能得到保证——转向角度、安全距离、加速度及制动等因素的微小偏差都可能对安全操纵造成难以预计的结果。因此,自动驾驶汽车的安全性验证技术逐渐成为当前的研究热点和难点。本文以摄像头传感器采集的图像数据作为输入,以正确的转向角度作为输出,研究D
时间序列是大数据的一种重要存在形式,对其利用的方式之一就是通过聚类或分类来挖掘其中的类别信息。时间序列分类（Time series classification,TSC）任务是一项普遍且具有重要意义的课题,常见于工业、金融和医学等领域。然而,时间序列数据存在维度过高和在时间上不对齐的缺点,难以从中获取到对分类任务有益的特征信息。深度学习模型对输入数据具有一定的容错性并能够自动提取特征,在TSC问题
三维重建是包括机器人导航、目标识别、场景理解、动画制作、工业控制、医疗诊断和自动驾驶在内诸多领域所需的核心技术,而深度和光流信息是重建真实三维场景的必备条件。早期方法针对深度或光流进行单独估计,近年陆续出现联合估计深度与光流的不同方法。但联合估计方法依然在泛化性、准确性、完整性等方面存在不足,严重制约该领域进一步发展。因此,为了得到更高精度的深度信息与光流信息,本文提出了一种新的双目深度与光流联合
交通事故是全世界最严重的危害之一,其造成了巨大的财产损失和人员伤亡,其中约95%的事故是由驾驶员不当行为造成的。检测公交车驾驶员异常行为能够对驾驶员的不当行为进行预警,从而保障交通安全。在2019年末爆发的COVID-19中,驾驶员作为公交车上与流动性人员接触最频繁的人,对其佩戴口罩行为进行检测,能够有效降低感染风险,保障其自身和广大乘客的健康安全。实时监测公交车驾驶员,对其不当行为进行及时提醒,
我国制造业正处于向“智造业”转型关键时期,这其中缺陷检测环节必不可少,因此应用现代化机器视觉技术替代耗时耗力的人力工作,是一个重要研究内容。而今在机器视觉领域,深度学习逐渐在一些应用中取代传统视觉算法。但是,根据目前深度学习的发展现状,大量的有效数据是具体应用的必要前提,也是由于这个原因,少样本学习问题是很多场景中面临的最现实的问题。本文的研究课题来源于江西一家生产轴承滚子的企业,针对该企业生产产