基于支持向量机的文本分类方法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:qingqwer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今时代是一个信息爆炸的时代,互联网发展非常迅速,网络上的信息每天都在增加,为了要从海量的信息中快速找到自己需要的资源,需要对信息进行分类,因此产生了文本分类技术。本文的应用背景是文本信息处理,对文本信息的分类方法从理论和应用两个方面进行了比较深入的研究。在介绍文本分类相关知识的基础上,重点讲解了两类分类和多类分类支持向量机的构造方法,分析了各自的优缺点,然后分别提出了改进的两类分类支持向量机和改进的多类分类支持向量机,并通过实验证明它在文本分类中效果很好。本文主要研究了下述几点的内容:(1)介绍文本分类的相关技术,主要的内容包括:文本预处理、特征选取和文本表示。本文中的特征值权重的计算方法是TF-IDF公式,文本表示的方法是使用向量空间模型(Vector Space Model,VSM)。介绍完基础知识后,还介绍了几种常用的文本分类方法:朴素贝叶斯、类中心向量、K近邻和支持向量机,分析了这些方法在分类时的优缺点。(2)介绍了支持向量机用于分类时的基本原理,分析和说明了支持向量机在机器学习中具有的优势。然后介绍了在分类时涉及到的技术:如为解决非线性问题时采取的向量空间映射的技术,为解决维数灾难问题采取核函数的技术等。最后重点介绍了常见的多类支持向量机:一对一、一对多,并分析比较了这些方法的优缺点。(3)本文的核心部分提出了一种改进的两类分类支持向量机。改进的算法提出了一种两阶段信息模式提取方法,目的是在构建分类器前先提取出包含支持向量的边界向量集合,用这个边界向量集来训练支持向量机既可以减少支持向量机的训练时间又可以保持住分类精度。改进算法的第一阶段是基于引导抽样的数据清理,第二阶段是基于信息熵最大化的信息模式提取。然后在四个大型数据集上进行实验,验证了该算法在减少训练数据和计算成本上具有有效性。(4)本文的另外一个核心部分提出了一种改进的多类分类支持向量机。改进算法的思想是对每个一对多分类模型,选取正类样本聚类的中心点为参考点,然后提取出包含支持向量的边界向量集合来训练支持向量机,来达到减少训练速度的目的。聚类的目的是提高样本选择的效率,而不是像以前的方法那样直接从聚类里选择样本。然后在数据集上进行实验,通过实验说明提出的方法与具有竞争力的算法相比选择更少的样本,在大多数数据集上保持了较高的分类精度。
其他文献
【摘要】当今社会经济飞速发展,人们的物质生活水平不断提高。由于现在的小学生中独生子女居多,被家长保护的太好而致使不少孩子思想品德有待提升。因而,利用小学思想品德课的优势,加强对小学生的德育教育,是小学思品教师不可推卸的责任。于是,我在教学实践中不断探索,发现:让思品课堂回归生活,有助于提高德育实效。  【关键词】小学 思品 生活 德育 实效  【中图分类号】G633.2 【文献标识码】A 【文章编
输卵管妊娠是妇产科较常见的急腹症之一,本文通过对我院2002年6月至2005年8月间收住的输卵管异位妊娠75例进行回顾性分析,以进一步认识异位妊娠的发生与临床诊断的重点。现报道
【摘 要】针对土木专业的《工程制图与计算机绘图》课程教学中存在的问题,从教学内容、教学方法和手段、考核方式等方面进行深入细致地分析,结合教学实际,进行了改革与创新的探索,提出了一些有益的方法和建议。  【关键词】工程制图;教学;改革  【中图分类号】G64 【文献标识码】A  【文章编号】2095-3089(2018)15-0016-01  〖WTHZ〗Exploration on teachin
太阳能作为一种可再生清洁能源,是解决目前能源短缺和环境污染的有效方法之一。硅基-有机杂化异质结太阳能电池既保留了无机太阳能电池良好的光电性能,又充分发挥了有机太阳
对孔径变形地应力测试原理进行了简单介绍。简要分析了博瓦、新藏水电站厂区地应力测试成果,依据应力测试成果,对厂房洞室施工开挖中可能遇到的岩爆及软岩大变形等工程地质问题提出了相应的防治措施。
目的探讨经肝动脉化疗栓塞(TACE)联合经皮射频消融术(PRFA)与单独应用经皮射频消融术治疗原发性肝癌的临床疗效。方法选择2012年3月~2014年3月在我院诊治的肝癌患者90例,随机
【摘要】兴趣是学生做好的老师,激发兴趣是小学生学好英语的关键。因为有趣的故事很容易将小学生带入真实的英语情境之中。另外,故事中完整的情节,积极向上的精神也能激起小学生的情感共鸣,对学生在语篇中学好英语是良好的催化剂。  【关键词】英语 兴趣 故事教学  【中图分类号】G623.31 【文献标识码】A 【文章编号】2095-3089(2018)16-0015-01  前言  教师在进行故事教学时只注