零样本学习关键技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:iswhat
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
有监督学习作为机器学习中最基本的任务之一,一直受到计算机视觉、自然语言处理、语音识别等多个研究领域的广泛关注。近年来随着深度学习技术的发展,有监督学习的性能更是出现了巨大的提升,尤其在对象识别领域,其性能已远远超过了人类的识别能力。然而有监督学习技术通常需要为每个目标类搜集数百个甚至上千个有标签的训练样本,这种对海量的有标签训练数据的需求严重阻碍了有监督学习的进一步发展。针对这一问题,目前机器学习领域存在一些以有标签训练数据量的多寡为主要特征的解决方案,其背后的动机在于使得机器学习系统,更加符合人类学习机制,从而逐步具备真正意义上的人工智能。在这一最具挑战性的目标实现过程中,零样本学习在其中扮演了关键的一环,其目的在于解决完全缺少有标签训练数据的学习任务(也称未知类),从而使得机器学习系统具备不断学习的能力。也因此,零样本学习正逐步成为多个研究领域的热点问题。基于上述研究背景,本文主要针对零样本学习中基础性的关键技术展开研究,并以视觉识别任务作为这些关键技术性能的验证实例,通过对这些关键技术的深度分析,有效解决了目前零样本学习面临的知识迁移、域偏移等问题,从而大幅度提高了零样本学习性能。本文的主要贡献如下:·首次在技术层面上对目前零样本学习的进展进行综述分析,比较了零样本学习与其他机器学习问题的异同之处,并形式化描述了零样本学习的基本技术路线,即通过共享的语义嵌入空间在已知类与未知类之间进行知识迁移,从而达到未知类识别的目的。在此基础上,本文将基本技术路线中的四大关键技术进行归纳总结,即视觉语义特征提取、语义嵌入空间构造、视觉-语义映射学习以及未知类标签预测。通过对这些关键技术的深度研究分析,我们发现目前零样本学习尚缺乏关于知识迁移机制的理论解释、域偏移问题、语义嵌入空间的流形缺陷等问题。理解进而解决这些问题对于我们设计新模型、新算法等具有十分重要的指导意义。·针对零样本学习技术中的知识迁移难题以及域偏移难题,提出了一种通用的基于关系知识迁移的归纳式零样本学习算法。方法从空间几何的角度揭示了数据流形结构中未知类与已知类之间的关联关系在知识迁移机制中的作用,并首次将关系知识由语义嵌入空间反向迁移至图片特征空间,以此生成未知类的虚拟数据,并恢复未知类在图片特征空间中缺失的流形结构。除了简单、通用以外,在多个真实数据集上的结果表明该方法能够获得优异的零样本学习性能。·针对语义嵌入空间中的流形缺陷问题,提出了一种基于流形对齐的直推式零样本学习算法。从本质上来说,在一定程度上,视觉-语义映射关键技术目的在于对齐图片特征空间的视觉流形与语义嵌入空间的语义流形,而一致的流形结构可以提高语义嵌入空间在未知类上的泛化能力。在模型中,通过利用测试数据的局部流形结构,迭代优化视觉-语义映射和更新语义嵌入空间,可以逐步达到流形对齐的目的,从而有效提高零样本学习性能。真实数据集上的实验结果表明,该方法在计算速度、可扩展性以及性能等方面具有很大优势。
其他文献
随着互联网络的飞速发展,给网络系统的正常运行带来了一系列的问题,其中最突出的就是由于网络带宽资源没有得到有效管理导致网络性能降低。与此同时,网络中不同业务流对资源
近来,处理器设计、内存和无线通信技术的进步激发了研究者们对分布式传感网络的关注,在分布式传感网络中,由若干相互独立且具有自我维护能力的结点相互协作现实信息收集和实时处
随着计算机技术和网络技术的迅猛发展,信息系统不断朝着集成化、智能化、网络化与分布式的方向发展,传统MIS系统开发模式的缺陷逐渐暴露出来,限于开发周期和成本、人员调配上
随着信息科学技术的高速发展,人们对海量信息存储的需求日益增长。CPU的处理速度和存储设备I/O处理速度之间的差距越来越大,为了弥补这种处理速度的差异,在磁盘阵列中加入Cac
随着计算机技术和Internet的飞速发展,网络信息安全问题逐渐成为维护国家安全和社会稳定的一个焦点。入侵检测系统(Intrusion Detection System, IDS)应运而生,它通过对计算
随着微博类应用的风靡,用户在微博平台上产生的数据在每时每刻地快速增长,搜索引擎虽然能够根据用户输入的事件关键词从海量的数据中返回相关微博,但大量的微博数据,加之微博
随着互联网带宽的提高以及计算机信息处理能力的不断提升,多媒体信息本身所包含的海量的数据,使人们能够通过计算机处理多媒体中所包含的有用的信息。对视频信息的处理更是近
生命科学技术的快速发展产生了大量的生物数据,形成了多种多样的复杂体系,如何从这些数据中发现有价值的知识及规律,成为目前理论与实践研究的热点与难点。为了快速且全面的
市场经济下,企业竞争日益激烈。如何使企业在竞争中立于不败之地,人是最关键的因素。传统观念与模式下的人力资源管理已经不适应现代企业的要求。随着信息技术的高速发展,它正日益成为引导企业经营理念和管理意识的一支重要力量。将当代信息技术融入企业人力资源开发与管理过程中,建立灵活高效的管理信息系统,已成为企业提高人力资源管理水平的必由之路。本系统以实现人力资源管理为目的,提供了员工档案管理、奖惩管理、培训管
随着电信网、互联网和广电网的三网融合,IPTV在世界范围内迅速发展,双向互动数字电视机顶盒(IPTV机顶盒)成为了数字家庭中的核心组件。IPTV系统为用户提供越来越丰富内容的同时,其