论文部分内容阅读
随着科学技术的飞速发展,人们进入了数字信息化时代,同时,电子信息急剧膨胀。在这个时代,信息就是财富,信息决定成败。只有及时获取准确、有效的信息,才能跟上时代的步伐。因此,对于浩如烟海的信息,帮助人们从中获取准确、有效的信息成为信息处理领域的一个重要研究课题。网页是电子信息的载体,其自动分类由此成为这个领域的一个重要研究方向。相对于人工分类,它能够大大节省时间、物力和财力,还能提高自动分类的准确率和召回率。简言之,研究实现中文网页自动分类不仅对于帮助人们快速、准确获取所需信息具有积极的意义,而且对于推动和发展中文信息检索技术也有重要意义。
本文首先介绍了论文的课题背景、意义和国内外的研究现状,概述了文本自动分类相关理论、主要技术和重要算法,在此基础上,简述中文网页自动分类,再重点分析中文网页自动分类的关键技术,包括网页格式的转换、中文分词技术、特征项选择方法、遗传算法降维和自动分类方法等。对于网页格式的转换,本文通过分析网页的结构信息,针对其特点利用开源软件提取对分类有一定贡献的文本信息:对于中文分词技术,采用分词性能良好的海量中文智能分词功能基础件研究版进行分词;分词结束后,先组合文本频数和x2统计法进行初步的特征项选择,再根据分词结果结合网页结构信息特点改进TF-IDF权重公式,使用改进后的公式对特征项权重调整之后进行特征项的二次选择,然后,用文本表示模型表示网页。这样,网页就转化成了文本,网页自动分类也就转化为了文本自动分类;在综合比较了当前几个典型的网页自动分类算法之后,本文选取了分类方面表现出色的支持向量机方法。在特征项选择过程中降低特征向量维数方面,本文采用了目前已应用于许多领域的具有全局优化能力的遗传算法。特征向量降维后,将其用支持向量机方法训练构造SVM多类分类器。实验结果表明,与用不降维的特征向量训练构造的SVM多类分类器相比,用降维后的特征向量训练构造的SVM多类分类器,其对网页进行自动分类的准确率和召回率都有一定程度的提高.