基于SOM聚类变量选择方法的共识模型在近红外光谱数据中的应用

来源 :温州大学 | 被引量 : 0次 | 上传用户:yqmaidou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据建模是化学计量学研究的重要内容,根据数据建模的任务不同,可以分为定量分析和定性分析。目前,单模型建模是数据建模中常用的方法,即反复分析测量数据的过程中,建立一系列预测模型,选出一个预测性能最好的模型。然而,现代高通量分析仪器的成千上万个分析通道为测量样本提供了丰富的测量数据,但常遇到样本少,变量多的问题,采用单模型的方法就难以满足其建模要求。为了弥补单模型建模方法的不足,近年来,多模型共识建模在很多领域得到广泛的研究和应用,共识建模则是通过某种建模方法建立多个成员模型,并用某种共识策略结合起多个成员模型对未知样品进行预测,形成一个共识结果,以提高模型的预测精度和可靠性。本文将共识建模方法应用于近红外光谱数据,并对线性共识成员模型和非线性共识的成员模型进行探讨,主要内容如下:介绍选题的背景和意义,分析数据建模的基本原理及本文应用的建模方法。研究变量选择多回归成员模型共识建模方法,分析变量选择的优势,提出了一种基于偏最小二乘的共识模型(C-SOM-PLS)和基于最小二乘支持向量机的共识模型(C-SOM-LS-SVM),即分别是线性多成员共识模型和非线性多成员共识模型。建模方法是先通过Kohonen自组织特征映射网络(SOM)聚类算法对变量进行选择,使相似的变量聚集在一起,选出N个子数据集,然后把N个子数据集分别通过Duplex算法把近红外光谱数据分为训练集、验证集和测试集,利用训练集建立一系列成员回归模型,通过验证集选出模型预测性能最好时对应的模型及误差,运用验证集误差计算共识模型的权重,最后把成员模型对未知样品的预测结果用加权求和的方法结合起来,形成一个共识的结果。结果表明,大多数共识模型的预测性能要比单模型好,不仅提高了模型的预测精度,也增强了模型的稳定性。分析C-SOM-PLS、C-SOM-LS-SVM和各自成员模型的预测结果,发现有些共识建模的预测效果比成员模型差,研究表明,因为成员模型过拟合对共识模型产生了影响。为了降低过拟合对模型的影响,本文在共识模型中引入了模型集群分析(MPA),该算法实现需要三步,第一,通过蒙特卡洛采样获取子数据集;第二,针对每一个子数据集建立一个子模型;第三,从样本空间对所有建立的集群子模型的参数进行统计分析,获取有用信息。结果表明引入MPA能够很好的降低过拟合对共识模型的影响。
其他文献
从发明电子显微镜的时候开始,就有人做过把电子束作为新热源用于加工的试验。我们知道,如果让太阳光通过放大镜,集中起来的光能把纸烧个洞。电子束加工正是利用相同的道理,
目的探讨90钇(90Y)玻璃微球对中晚期肝癌的内放射治疗效果。方法将28例中晚期肝癌患者分为两组。A组(n=13):为90Y+化疗栓塞治疗组;B组(n=15):90Y+栓塞治疗组。C组(n=15):为同期化疗栓塞治疗患者,做为对照组。三组患者的年
在传统产业组织理论的SCP(结构—行为—绩效)分析框架中,集中度是构成市场结构的主要因素,通过影响市场行为,进而影响市场绩效。集中度水平及其变化的影响因素一直是产业经济学
资本结构理论和实证研究文献表明盈利能力、公司规模、非债务税盾、成长性、自由现金流量、资产担保价值、经营风险等公司特征因素影响资本结构的选择,对影响资本结构的上述
上世纪60年代以来,日常生活成为哲学的重要概念,也影响了建筑学的知识体系,建筑学或已成为研究、批判和改造日常生活的工具。国内由于思想被阉割,建筑学的主流价值观始终以虚
课程设计是课程论中的一个基本问题,是将课程理念转化为具体实践的关键环节。但是,我国对课程设计本体论的研究还存在很多争议,课程设计概念界定就是其中之一。在界定课程设
网络团购是随着经济技术的迅猛发展而出现的一种新兴的电子商务模式。由于出现的时间较短、发展较快,人们对团购的认识还存在不足。团购作为一种电子商务模式,其优势和劣势如
在私募行业大背景下,私募机构主要对计算机应用、资本品、原材料、其他金融以及医药生物等五个高科技企业进行投资,很少对休闲食品企业这一缺乏核心技术的传统企业进行股权投
本文围绕地方政府投资行为与经济过热这一主题,在分别界定地方政府投资行为和经济过热内涵及基本情况的基础上,首先进行了改革开放以来地方政府投资与经济过热关系的相关性分析
加入WTO后,随着我国的航运市场渐渐放开,国外的各大船公司纷纷抢滩我国的航运市场,并瓜分我国航运市场的份额,使我国的航运企业特别是大型集装箱班轮公司正面临着残酷的挑战和激