【摘 要】
：
机器学习已被广泛应用于社会生产生活当中,它为我们的生活提供了巨大的便利,也为生产力的发展提供了动力.在众多机器学习模型中,多任务学习模型是能够提高训练效率,降低样本需求的重要分支,在诸多方面都已经有了许多成功应用.但是,多任务学习模型在理论方面仍存在一些不足,已有研究成果通常仅考虑各任务的泛化差距的简单求和形式,所得到的结果通常只能反映模型在所有任务上的平均性能,而不能对每个任务的性能进行单独评估
论文部分内容阅读
机器学习已被广泛应用于社会生产生活当中,它为我们的生活提供了巨大的便利,也为生产力的发展提供了动力.在众多机器学习模型中,多任务学习模型是能够提高训练效率,降低样本需求的重要分支,在诸多方面都已经有了许多成功应用.但是,多任务学习模型在理论方面仍存在一些不足,已有研究成果通常仅考虑各任务的泛化差距的简单求和形式,所得到的结果通常只能反映模型在所有任务上的平均性能,而不能对每个任务的性能进行单独评估,也没能考虑到任务间相关性对模型泛化性能的影响.为了克服上述不足,本文在统计学习理论的框架下,从向量值函数的角度入手,借助任务组相关矩阵的概念,对多任务学习模型的一致性、有效性和泛化性进行了较为深入的研究.本文推导了适用于向量值函数的对称不等式以及偏差不等式,并将标量值函数类的覆盖数概念推广至向量值函数类.为了考察任务间相关性对模型性能的影响,本文还提出了任务组相关性矩阵的概念,该矩阵可以有效衡量所有不相交的子任务组之间的协同关系,帮助我们对多任务学习模型的性能进行研究.最终,利用上述基本工具,本文给出了多任务学习模型在两种不同意义下的泛化界估计.根据所得到的结果,本文对多任务学习模型相较于单任务模型的性能、样本需求量、各任务的一致性、模型的有效性等理论问题给出了分析和解答.任务组相关性矩阵的另一个作用是通过经验方法衡量模型是否能够准确利用当前任务之间的相关性以提高自身性能.为此,本文给出了一种经验化计算任务组相关性矩阵的方法,并根据已得到的理论结果,提出了两种可以帮助检验或提升多任务学习模型性能的方案.本文在11种不同结构的多任务学习模型上进行了数值实验,并对实验结果进行了分析,验证了方案的可行性及有效性.
其他文献
在机器学习中,训练样本的数量与数据的准确性是除了模型之外对预测结果的准确性（也叫保真度）影响最大的因素。在很多实际问题中,例如计算机仿真问题,很多准确数据的计算成本是极高的,这种数据称为高保真度（High fidelity-HF）数据;而计算成本低、易获得,但准确度较低的数据称为低保真度（Low fidelity-LF）数据。利用这些多保真度数据建立的回归模型称为多保真度模型。多保真度建模致力于结
多智能体协同决策是人工智能领域的一个热门的研究方向,在实际生活中有着重要的作用。随着深度强化学习在单智能体领域的成功,越来越多的学者将其应用到多智能体协同决策任务。但是,由于环境的复杂性和动态性,多智能体强化学习算法在学习过程中可能面临着维度爆炸甚至无法收敛的问题。因此,如何通过智能体之间有效的通信,让智能体进行正确的行为决策,是多智能体领域的一个重要研究课题。为了实现智能体之间有效的通信,以加强
人工神经网络（ANN）作为强大的数据处理工具被广泛应用于:模式识别,控制,机器人技术,生物信息学等领域。它们的广泛适用性极大地鼓励了科研人员通过研究生物大脑来改善人工神经网络。在生物学上更合理的脉冲神经网络（SNN）更忠实地利用生物学特性来提供更高的处理能力。近些年,SNN在神经形态低功耗系统中获得更大的发展势头,现存的大多数脉冲监督学习方法都实现了较好的性能,取得极大的成功。但是,现有的SNN模
随着工业生产技术的提高,机器人越来越广泛的应用于人类的日常生产生活中。然而,机器人的生产水平受限于生产环境的变化难以实现柔性化生产。通过感知外在环境,机器人可以根据获取的信息来调整自身的姿态。因此,本文提出了一种基于智能感知与学习的机器人抓取与装配方法,并在此基础上设计了机器人抓取与装配系统,并利用实验进行了验证。主要内容包括以下几个方面:首先,在智能感知层面上,基于RGB-D图像构建了一种五维抓
近年来,由于视频播放平台的快速发展、摄影设备的不断迭代以及移动通信的广泛使用,视频的数量呈现爆发式地增长。因此,如何从视频中提取信息就成为了一个亟待解决的问题。动作识别是视频理解领域中一个基础而关键的问题。早期,研究者通常使用手工设计的特征来捕捉时空特征进行分类。现今深度学习方法凭借其强大的特征提取与拟合大体量数据能力在动作识别领域取得了重大突破。然而,现有深度动作识别方法对于识别复杂场景下的动作
轮式移动机器人因其具有承载能力强,灵活性高等优良特性而被广泛应用于现代工业、航天、军事和民用领域。轨迹规划作为实现机器人自主运动的重要组成部分,不仅能够为移动机器人规划可行路径,而且所包含的速度、加速度等信息对于移动机器人后续的轨迹跟踪控制至关重要。然而,由于自身或是环境中的不确定性因素干扰,轮式移动机器人很难按照预先规划的路径正常运行,且以往对于移动机器人轨迹规划的研究很少事先预估不确定性对于全
机器人抓取是智能机器人的一个基础功能,也是一个具有挑战性的任务。得益于深度学习的发展,研究者们提出了许多抓取姿态检测算法,然而对于这些深度学习算法而言充实的数据集必不可少。机器人可能在不同环境中移动,当环境变化时,需要创建新数据集并重训练模型以保持网络模型的性能。但是,数据集标注是一个非常消耗资源的过程。主动式学习旨在缓解深度学习算法对大量标注数据的依赖性,主要途径是选择出未标注数据集中最具有信息
对病理图像进行格里森分级作为前列腺癌诊断的金标准在临床中被广泛应用,然而传统的人工诊断结果主观性强,且耗时费力。因此,基于深度学习的格里森分级技术受到了越来越多的关注。目前对该领域的研究存在以下不足:（1）多数研究在数据预处理中忽略了病理图像的噪声,数据集质量较差。（2）现有研究的关注重点在于格里森得分的高低分类（GS=8）,忽略了对GS=7的进一步分类。但G3+G4和G4+G3
采用先进的波浪模拟控制技术的造波机系统,能够在实验水域内精准模拟产生波浪,并使其作用于各种模型结构物上,对海岸和近海工程设计、波浪理论的研究等具有重要意义。波浪模拟控制技术属于多学科交叉的技术范畴,涵盖了波浪理论、运动控制、机械构造、信号电子技术等多学科知识。本文根据工程项目中遇到的相关问题,分别对波浪模拟控制系统中的运动控制技术、数据处理方法、软件功能设计中的关键问题进行了深入研究。本文以波浪理
无线通信技术使网络终端得以延伸,万物互联的物联网时代也随之到来,物联网技术的快速发展使多个领域的技术与系统业务融合在一起,为人类的生活生产等活动提供无所不在的服务。智能家居是物联网技术的一个重要应用,随着物联网技术的不断成熟,该产业也由智能单品控制逐步向场景联动阶段发展,用户通过自定义场景联动规则,使各设备间实现互联互通,在此过程中系统内的互操作性也大大增强。用户需求的增加使得系统内的服务数量逐渐