【摘 要】
:
近几年深度神经网络在理论和实践两方面都取得了广泛的成功,然而深度神经网络模型的训练有两个约束条件:一是需要有大量的标记数据以防止模型过拟合,二是训练数据与测试数据的分布必须满足独立同分布约束,这两个约束条件严重制约了深度学习模型的应用与扩展。为解决标记数据稀缺以及分布不同问题,一个流行的方法是无监督领域适配方法,此方法旨在利用已有领域的标记数据来解决数据分布不同的其它领域的分类问题。本文主要研究基
论文部分内容阅读
近几年深度神经网络在理论和实践两方面都取得了广泛的成功,然而深度神经网络模型的训练有两个约束条件:一是需要有大量的标记数据以防止模型过拟合,二是训练数据与测试数据的分布必须满足独立同分布约束,这两个约束条件严重制约了深度学习模型的应用与扩展。为解决标记数据稀缺以及分布不同问题,一个流行的方法是无监督领域适配方法,此方法旨在利用已有领域的标记数据来解决数据分布不同的其它领域的分类问题。本文主要研究基于深度神经网络的无监督领域适配算法,使用深度神经网络抽取源领域中领域不变的深度特征表示来完成目标领域的图像分类问题。具体包含以下两个内容:一是基于金字塔池化层和门控机制提出了一个深度卷积神经网络模型并给出了使用此网络模型进行领域适配的算法。该模型使用金字塔池化层对卷积层特征进行不同级别的特征抽取以获取不同粒度的信息,然后使用门控机制保留分类任务中各个样本的任务相关知识为全局任务知识向量,并用此全局任务知识向量对各个样本的特征进行重新校准。在使用此模型进行领域适配的算法中,不同领域的样本通过使用不同的编码器进行特征抽取同时使用相同的全局任务知识向量对不同领域的样本特征进行重新校准,实现了知识的迁移和复用。二是提出了基于最大熵损失的领域适配算法来实现领域间特征的条件概率分布对齐。此方法结合聚类思想,将分类器的权重向量看做是各个类别的聚类中心向量,然后通过交替地更新分类器和编码器实现领域间的类别特征分布对齐。在分类器的更新步骤中,通过最大化神经网络对目标领域的样本预测概率的熵来调整分类器中权重向量的位置,使得分类器权重向量向目标领域聚类中心移动;在编码器的更新步骤中,通过最小化源领域的分类损失调整源领域的特征分布,使得源领域特征向分类器权重向量移动。为保证不同领域特征的边际概率分布的一致性,基于最大熵损失的领域适配方法结合了领域对抗神经网络中的梯度反转层思想,在一次梯度下降的过程中同时训练编码器和领域判别器。
其他文献
基于硫酸根自由基(SO4·-)的过硫酸盐高级氧化技术(SR-AOPs)在处理典型难降解污染物时操作简便,条件温和而且性能优良,成为典型难降解污染物的理想处理方法,而非均相催化SR-AOP
高速、断续切削的冲击载荷作用下,铣刀一旦发生损伤,其破坏程度将迅速发展,若不及时发现易产生安全性事故。铣刀损伤具有多尺度特性,采用单一尺度的损伤研究方法无法揭示铣刀
现阶段图像处理领域所取得的优秀成果大多源于神经网络层数的不断加深,但随着神经网络越来越复杂,神经网络所需要存储的参数越来越多,就会导致网络容量问题。对于图像分类而言,在不过多引入参数的同时提高分类准确率,仍旧是一项挑战。在图像转换领域,结合生成对抗网络能够实现图像从源域到目标域的转换,但利用生成对抗网络的转换模型通常会产生语义上的伪像,其生成图像无关部分的改变较大,从而导致生成的图像质量较低。为了
Cu-Fe合金因价格低廉、综合性能优异而广受关注,在航空航天、机械电子、冶金等领域具有广泛的应用。Cu-Fe具有正混合焓,是典型的相分离型合金,当合金熔体过冷至亚稳难混溶区
在中国,人们非常熟悉大平正芳这个名字。大平正芳和田中角荣一起实现了中日邦交正常化,并作为日本的第68代内阁总理大臣决定对中国进行第一次ODA援助。对于中国人而言,关于大平正芳,很多人都有“对华友好”“亲华派”的印象,的确,从结果上来看,人们有那样的印象也无可厚非,可大平为什么要制定那些政策,背后的动机是什么,却鲜有关于这些问题的研究。本文以大平正芳的对华政策为中心进行论述,探讨政策制定过程中受到哪
随着计算机视觉的飞速发展,人们对三维信息采集的要求越来越高,三维点云扫描技术不断突破,高精度的数据采集仪器不断出现。随之而来的问题是高精度高密度的点云数据集必然存在大量冗余点,造成资源浪费,增加计算开销,对后续进行点云处理也有一定影响。因此,三维点云数据简化是非常有必要的,它不仅可以节省计算机资源,还可以提高后续点云处理速度。现有的点云简化算法从形式上可以分为两类,基于网格的点云简化和基于点的点云
随着互联网技术的发展,互联网信息呈爆炸式的增长,超市作为典型的传统零售企业,其发展从开始的人工数据管理模式,已逐渐演变为利用现代信息技术进行O2O营销管理。而如何运用现有的技术和手段,对超市内部的海量数据进行深度分析,挖掘出有价值的信息和规律,并以此作出正确及时的决策,现已成为超市生存和发展的重要环节。数据挖掘技术中,序列模式挖掘的目标是从交易数据库中发现客户购买行为的序列模式,因此成为了超市O2
【研究背景】胃癌是我国乃至全世界的常见恶性肿瘤之一。最新的流行病学调查显示,胃癌在全球的发病率居恶性肿瘤第五位,死亡率居恶性肿瘤第三位。近年来,随着分子靶向药物、免疫检测点抑制剂的临床推广应用,胃癌的治疗也从传统的手术切除和放化疗进展到生物治疗新时代。然而,胃癌患者的五年生存率仍不足20%。究其原因,主要是胃癌发生发展的分子机制仍未完全阐明。Correa模型认为,胃癌尤其是肠型胃癌的发生经历了慢性
自《公司法司法解释(四)》出台以来,股东知情权有了更加详细的规定,解决了司法实践中一些争议性问题,但是,股东知情权纠纷案件没能从根本上减少。股东知情权在公司内部没有得到充分实现,广大中小投资者的投资成长环境不够理想,投资权益无法得到保障,如果任由事态无序发展,必将影响资本投资实体的信心,也影响民营市场主体做大做强做优,在民营经济发展得到自上而下的支持,再次迎来发展春天的大背景下,从立法层面进一步完
管道输送是原油输送的主要方式之一,我国目前已建设大面积的管网。我国出产的原油具有含蜡量高、凝点高等特点。随着原油管道在役时间的增加,管道内的蜡的沉积物会大量堆积,