论文部分内容阅读
模式分类是数据挖掘的一个重要研究分支,其任务是根据给定的特征集与类标集训练一个数学函数,该函数也被称为分类器,以便对新出现的对象进行类别预测。自上世纪六七十年代以来,模式分类一直受到国内外学者的关注。然而,随着研究的深入,近年来数据挖掘领域涌现出许多新的分类问题。例如:模型不匹配问题、不确定性问题、小样本问题、样本不均衡问题等等。越来越多的学者认识到,常规的分类技术在解决这些复杂的分类问题上存在一定的难度。常规的分类技术是一种有监督的学习方式,即在完全信任特征与类标的前提下,训练一个分类器,并以某种准则去逼近一个函数,以发现出一种特征与类标之间的关系。但是,由于模型不匹配、类标不确定性、有类标样本数目过少等原因,直接根据特征与类标寻找分类函数存在一定困难,因而这种有监督的学习方式并不适合处理复杂的分类问题。相反,基于聚类的分类方法(Clustering-Based Classfication,CBC)并不是完全相信训练集的类标信息,而是通过类与簇的相互转换,在数据的空间特征与类标信息之间寻找平衡,是一种弱监督的学习方式。与有监督学习方法相比,弱监督学习方法受类标的误导程度更低,因而泛化能力更强,更适合于处理上述复杂的分类问题。 本文着重研究的聚类树方法是一类基于聚类的分类方法。本文以误差界估计为理论基础,研究了文本聚类树、半监督聚类树、主动半监督聚类树等具体的分类算法,来解决一些实际的应用问题。主要研究内容包括:⑴分析了CBC方法与传统分类方法在原理上的不同,并解释了这种弱监督学习方式可用于解决某些复杂分类问题的原因。提出了置信误差公式,该公式可以用于预测分类误差和优化分类模型。⑵在基于距离度量决策的CBC模型研究中,提出了一种基于Kernel距离的DCC算法(KDCC),该算法解决了簇之间不均衡的问题。⑶针对文本数据,扩展了k-means系列算法,提出椭球k-means算法。该算法既采用更适合文本数据的余弦距离作为相似度度量,又采用一种加权机制来突出重要词并抑制噪声词。基于椭球k-means算法,本文提出了一种聚类树算法,以适合文本数据的分类。⑷针对小样本问题,提出了一种半监督聚类树算法,该算法根据所用聚类算法的不同,又有两个变种,分别针对常规数据分类与文本数据分类,该算法在样本数极少的情况下优于目前常见的半监督算法。⑸结合主动学习与半监督学习思想,提出了主动半监督聚类树算法。此外,本论文在讨论了训练代价和分类性能之间关系的基础上,提出了一个基于性价比的主动半监督分类系统。该系统能够根据最优的性价比自动终止学习过程,弥补了目前主动学习算法中没有类似机制的缺陷。