基于多潜在空间的迁移学习算法研究

来源 :合肥工业大学 | 被引量 : 5次 | 上传用户:iloveyouggyyvc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统机器学习方法要求训练数据与测试数据具有相同的特征空间和特征分布。然而,在许多实际应用领域,这一条件往往很难满足。因此,利用已有领域所获得的信息和知识解决新领域问题的迁移学习方法近几年得到了更多的关注和研究。在这一类跨领域问题求解任务中,针对领域间具有潜在分布差异的问题,采用基于潜在空间的迁移学习方法具有较好的分类效果。此类方法构建单一的共享潜在特征空间,并使不同领域在此空间上满足分布一致。然而,当领域间的分布差异较大时,基于单一共享潜在空间的迁移学习方法难以有效地获取和利用领域间的潜在信息。为此,通过构建多潜在空间训练出适应性更强的跨领域学习模型具有重要的研究和应用价值。本文对迁移学习中多潜在空间的方法进行了研究,并提出了几种基于多潜在空间的迁移学习算法。主要研究工作如下:(1)提出一个能够在共享与非共享潜在空间中同时学习四种高层概念的四重迁移学习方法。本项研究基于如下几个出发点:首先,由于领域特有潜在信息有助于迁移学习模型的训练,且特有潜在信息大多通过构建特有潜在空间获得。因此,基于单一共享潜在空间的迁移学习方法难以有效地获取和利用特有潜在信息。其次,由于多义概念能够提高跨领域的学习能力,以往忽略多义概念的迁移学习方法难以适应多种不同的分布情况。针对以上问题,通过引入多义概念,四重迁移学习方法对包括多义概念在内的四种高层概念进行形式化,并创建共享和非共享的潜在空间。然后在共享和非共享的潜在空间上同时学习对应的高层概念。在此基础上,提出具有收敛性的算法QTL以实现优化问题。实验结果表明:QTL优于其他的对比方法,并有效的避免了负迁移的发生。(2)提出一个能够学习多个共享潜在空间上共享概念的多桥接迁移学习方法。由于单一共享潜在空间中的共享潜在信息仅是领域间所有共享潜在信息的一部分,因此,基于单一共享潜在空间的迁移学习方法难以有效地获取和利用共享潜在信息。针对这一问题,多桥接迁移学习方法在共现原始特征空间上创建多个不同的共享潜在特征空间,并在每个共享潜在空间上学习相应的高层概念以满足其分布一致。在此基础上,提出算法MBTL以实现优化问题。实验结果表明:MBTL在主题分类和情感分类任务上都优于其他的对比方法,并具有收敛性。(3)提出一个能够同时学习多个共享潜在空间上共享概念以及多个非共享(特有)潜在空间上非共享(特有)概念的多重迁移学习方法。针对基于单一共享潜在空间的迁移学习方法难以有效地获取和利用共享潜在信息和非共享潜在信息,多重迁移学习方法在共现原始特征空间上创建了共享潜在空间,在每个领域的原始特征空间上创建了非共享潜在空间,并将共享与非共享潜在空间组成一个潜在空间组。然后,创建多个不同的潜在空间组,并通过学习相应的各类高层概念以满足各组潜在空间的分布。在此基础上,提出算法MLTL以实现优化问题。实验结果表明:MLTL在跨领域文本分类任务上性能优异,并具有收敛性。
其他文献
庄园经济既是一种经济模式,又是一种发展战略、一种规划思想,更是一次深刻的改革创新。当现代农业的鼓点响起,云南高原特色农业风生水起之时,作为一种新的农业产业化开发模式
要实现云南经济新发展,必须在深化改革、转变方式、调整结构、注重创新方面狠下功夫。要把中央提出的"认识新常态,适应新常态,引领新常态"要求贯彻落实好,使其变成我们的实际行
基辛格早年就读于哈佛大学,1954年获哲学博士学位。此后,他进入政界从事战略研究工作。3年后,哈佛大学返聘基辛格为讲师,此后一直到1969年,基辛格历任哈佛大学讲师、副教授和
<正>6月12日至13日,第五届中国——南亚东南亚智库论坛在云南昆明举行。来自中国、印度、孟加拉国、泰国、老挝、缅甸等14个国家的智库、政府部门及相关研究机构的300多位专
2016年全面从严治党的显著特点,就是全党必须把纪律和规矩立起来严起来。《习近平关于严明党的纪律和规矩论述摘编》是党的十八大以来全面从严治党新成果的集中体现。习近平