多任务学习及其在光谱数据分析中的应用

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:fc2sql
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,利用紫外可见或者红外光谱仪测量分析物的光谱信息,之后从光谱信息中提取分析物的各种化学物理参数的方法在工业中得到了广泛的应用。这种方法使用起来的简便快速,同时基本不会损害分析样本。光谱测量方法特别适合于如水中污染物监测这类的在线实时监控中。光谱分析方法的流行的一个主要原因是随着近年来机器学习技术的发展,越来越多的新的先进的机器学习技术被引入到了光谱数据的建模之中。同时为了适应光谱数据维度高,各个维度之间存在强相关性的特点,人们也提出来许多适合于光谱数据分析的新的建模方法。本文从研究采用紫外可见光谱的水质监控系统出发,研究了多个光谱定量分析模型的标定问题以及多个光谱标定模型之间的迁移问题。主要是将机器学习中多任务学习的方法引入到了光谱数据分析中,针对光谱数据的特点设计了几种新的光谱定量分析以及模型迁移的方法,之后将这些方法推广了一般的机器学习问题之中。本文的主要工作可以归结为以下几个方面:第一,在利用光谱数据对分析物进行分析的时候,通常我们需要在实验室中搜集大量样本,然后用适当的光谱多元校正模型对样本的物理或者化学特征以及其对应的测量光谱之间的关系进行建模。在实际的使用中的光谱数据测量的环境可能与建模的实验室环境并不相同,因此我们通常也会搜集一些实际环境下的样本,然后用实际环境下的样本对实验室中建立的模型进行迁移,获得适合于实际环境中的模型。我们提出了几种基于多任务学习和高斯过程的模型迁移方法,这些方法只需要使用少量的真实环境中的样本就可以把实验室中建立的模型迁移到真实的环境之中。第二,对于一个基于紫外可见光谱仪的水质检测系统,我们会搜集到多个环境下的光谱和分析物浓度的数据,如果能够同时利用这些多个环境中的数据以及他们之间多元校正模型之间的联系,就可以构建出各个环境下的更加准确模型。我们利用了多任务学习的方法来分析不同光谱仪数据之间的联系,对于光谱数据特征维度高的特点,提出了两种同时选取特征波长以及提取不同模型之间共同结构的新的多任务学习方法。第三,我们提出了一种贝叶斯的可以同时进行特征提取的稀疏混合专家模型。混合专家模型可以将输入样本划分到多个子空间,然后用不同的子模型分别对划分后的数据进行建模,为了使得混合专家模型能够分析高维光谱数据,我们将稀疏贝叶斯方法与混合专家模型结合提出了一种新的稀疏混合专家模型。新提出的这个模型可以在不知道光谱数据的来源的时候分析从多种环境下搜集到的光谱数据。第四,我们将多任务学习方法和混合专家模型建模方法进行了结合,将多任务学习方法应用到单个分类问题之中,提出了一种使用迹范数正则的混合专家模型。我们利用混合专家模型的思路将一个分类问题划分成多个相关的子问题,同时利用多任务学习方法来提取这些子问题之间的联系,避免划分后训练单个子模型时样本数不足的问题。在几个机器学习的分类数据集上的实验显示了我们提出的这种方法的优秀性能。
其他文献
本论文主要研究的是青少年网球运动员的选材与早期培养,研究过程中主要用了文献资料法和逻辑分析法等研究方法。研究我国青少年网球选材机制,旨在深刻巩固青少年的培养在国家
机器人灵巧手是由单手指串联机器人和指间并联机器人组成的机器人系统,是多领域的交叉技术的结合,包括机械结构设计、电路设计、传感器设计和软件控制算法设计等。本文以HIT/
<正>~~
期刊
本文密切结合国家发展航空航天和高端装备制造业的重大需求,在国家自然科学基金重点项目及高等学校博士学科点专项科研基金资助下,系统研究了5自由度混联模块的拓扑结构综合
在当前国情下,我国人口老龄化问题已经成为社会普遍关注的焦点。面临这个严峻的问题,如果没有适时地找到合理的解决办法和实施方案,那么将会导致我国老年人口过饱和状态。所
随着现代工业技术的迅速发展,产品和设备系统日趋复杂化。系统的复杂性,一方面体现为其子系统或部件间相互藕合,另一方面也体现为系统的工作环境变化等外部影响因素的纷繁众