中文网页自动分类技术研究

来源 :桂林工学院 桂林理工大学 | 被引量 : 0次 | 上传用户:dddbj126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的飞速发展,人们进入了数字信息化时代,同时,电子信息急剧膨胀。在这个时代,信息就是财富,信息决定成败。只有及时获取准确、有效的信息,才能跟上时代的步伐。因此,对于浩如烟海的信息,帮助人们从中获取准确、有效的信息成为信息处理领域的一个重要研究课题。网页是电子信息的载体,其自动分类由此成为这个领域的一个重要研究方向。相对于人工分类,它能够大大节省时间、物力和财力,还能提高自动分类的准确率和召回率。简言之,研究实现中文网页自动分类不仅对于帮助人们快速、准确获取所需信息具有积极的意义,而且对于推动和发展中文信息检索技术也有重要意义。 本文首先介绍了论文的课题背景、意义和国内外的研究现状,概述了文本自动分类相关理论、主要技术和重要算法,在此基础上,简述中文网页自动分类,再重点分析中文网页自动分类的关键技术,包括网页格式的转换、中文分词技术、特征项选择方法、遗传算法降维和自动分类方法等。对于网页格式的转换,本文通过分析网页的结构信息,针对其特点利用开源软件提取对分类有一定贡献的文本信息:对于中文分词技术,采用分词性能良好的海量中文智能分词功能基础件研究版进行分词;分词结束后,先组合文本频数和x2统计法进行初步的特征项选择,再根据分词结果结合网页结构信息特点改进TF-IDF权重公式,使用改进后的公式对特征项权重调整之后进行特征项的二次选择,然后,用文本表示模型表示网页。这样,网页就转化成了文本,网页自动分类也就转化为了文本自动分类;在综合比较了当前几个典型的网页自动分类算法之后,本文选取了分类方面表现出色的支持向量机方法。在特征项选择过程中降低特征向量维数方面,本文采用了目前已应用于许多领域的具有全局优化能力的遗传算法。特征向量降维后,将其用支持向量机方法训练构造SVM多类分类器。实验结果表明,与用不降维的特征向量训练构造的SVM多类分类器相比,用降维后的特征向量训练构造的SVM多类分类器,其对网页进行自动分类的准确率和召回率都有一定程度的提高.
其他文献
耐电压性能是电工绝缘材料的一个重要技术指标,耐电压试验仪是对电气设备和绝缘材料抗电强度进行检测和试验的设备。固体电工绝缘材料进行耐电压性能试验时不仅需要GB/T 1408.
随着笔记本电脑、PDA和手机等移动设备的大量使用,越来越多的因特网服务将通过无线网提供给移动用户,移动互联网正成为互联网和通信界共同关注的热点。在移动IPv6切换过程中,移
随着CAD技术的广泛应用和制造业全球化的飞速发展,作为重要的设计资源的标准件的使用变得越来越频繁。将标准件库作为一个共享的设计资源应用于协同设计制造产品中,可以大大提
移动计算的不断发展为数据库技术开辟了新的发展空间,在无线网络环境下,移动数据处理变得十分重要,因此移动数据库孕育而生并成为一个新兴的热点研究领域,同时与传统数据库相比移
随着计算机和通信技术的迅速发展和系统软件应用需求的不断复杂化和多样化,基于组件的分布式应用开发技术已被广泛采用。目前流行的分布式对象模型主要包括Microsoft的DCOM,O
旅游线路车辆配置问题,就是要找到在车辆配置到旅游线路上所做的最大贡献和的旅游线路车辆配置。这个问题已经被给予了高度重视。对旅游线路车辆配置的研究有助于旅游业节约物
基于闪存的固态硬盘(SSD)作为一种新兴技术吸引了学术界和产业界的强烈兴趣。SSD已被广泛使用到笔记本电脑、台式机以及企业级服务器领域,渗透到市场的方方面面。SSD的一个独
无线传感器网络(Wireless Sensor Network,WSN)是由大量存储、能量、计算以及通信能力受限的传感器节点组成的网络。节点与节点之间相互协作周期性地获取感测数据、处理数据
多媒体技术和互联网技术的发展,使人们能够方便的获得各种多媒体信息。多媒体信息具有易于存储、发布以及二次创作等诸多优点,但同时也产生了非法拷贝、传播和恶意篡改等问题。
近年来,随着无线通信技术快速发展以及Ad Hoc网络技术的应用范围不断拓展,针对Ad Hoc网络路由的研究也日益成熟,AODV路由协议由此孕育而生,然而AODV设计之初并未充分考虑诸多