基于云服务模式的文本过滤关键技术研究与应用

来源 :电子科技大学 | 被引量 : 4次 | 上传用户:lovegoodone
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的快速发展,使其成为人们交流信息的主要方式之一。但由于它的这种开放性,导致网络上存在很多如色情、暴力、迷信、反动等垃圾信息,严重影响了人们的日常上网活动。虽然目前已有很多文本过滤技术,但是随着外界环境的变化,文本过滤技术也需要不断地改进和提高。同时,随着人们生活水平的不断提高,越来越多的用户通过移动终端来访问互联网。如何保证移动用户能够通过移动设备获得健康的、有效的正常信息,这就需要在面向移动终端的云平台上实现文本过滤技术,从而实现对垃圾网页进行过滤处理。在这种需求下,本文在对现有的文本过滤关键技术进行了分析和讨论的基础上,改进了传统的基于向量空间模型的文本分类算法以及朴素贝叶斯分类算法,并采用这两种改进的文本分类算法构建了一个高性能的文本过滤系统;然后将该系统部署于面向移动终端的云平台,实现了云平台上的文本过滤服务。保证了移动终端用户能够通过移动设备访问互联网上正常的、合法的网页。本文的主要内容为:1、在对文本过滤技术中常用的特征选择算法进行分析研究的基础上,将等比例的思想运用于特征选择,使得提取的文本特征向量能够更准确地体现文本主题、类别信息等。2、在对文本过滤技术中已有的权重计算方法进行分析和讨论的基础上,考虑了特征项的结构信息、长度信息、比重信息等,对传统的权重计算方法进行了改进,使其能够更好地反映特征项对网页分类的重要程度。3、网页是一种结构化或半结构化的文档,因此本文采用模块化的方式对网页进行分类处理;同时将基于比重的改进权值计算方法以及等比例的特征选择方法应用于传统的基于向量空间模型的分类算法和朴素贝叶斯分类算法;从而利用这两个改进的分类算法构造了一个高性能的网页过滤系统,并且将该系统部署于云平台,提供了文本过滤服务。测试结果证明,改进的文本分类算法与传统的算法相比,具有更高的分类准确率、分类精度,较小的误判率和错误率等,进而改进的文本过滤系统具有更好的性能。
其他文献
医疗保险制度是社会保障体系的一个重要组成部分。对国际上具有代表性的四种医疗保险制度模式,即国家保险型、社会保型等进行了比较研究,论述了各种模式主要特征、基本原则、运
新型城镇化和"互联网+"促使江苏农村市场出现了商业布局分化、消费提档深化等"四化"态势,而现有的商业设施无法满足变化的新需求。本文提出,商业部门在农村应该继续推广直营
削减与替代SF6气体成为电力开关领域研究人员为应对全球气候变化所担负的历史使命。发展高电压等级真空开断技术是削减与替代SF6气体的有效手段。文中从真空绝缘、大电流真空
在任何一家企业当中,后勤管理工作都非常重要,它与员工的切身利益密切相关。企业做好后勤管理工作,意义重大,有利于保持职工队伍的稳定性,提升凝聚力,维护企业运转稳步有序,
建安时期,诗赋等文学作品在其文人立言价值观中的地位、价值得到了空前的提高与凸现,促成这一变化的主要动因之一就是文人的文学活动。其表现为:文人创作日益生活化、普遍化,
为缩短传统大豆发酵制品后熟期,基于转氨反应这一主要风味形成途径,现从贵州各地采集风味良好的豆豉、腐乳等发酵样品,经稀释涂布平板法分离得到150株细菌。通过支链氨基酸转
目的探讨胰岛素受体G6244A基因多态性与江苏东台农村地区人群原发性高血压(EH)发病风险的相关性。方法选择东台农村地区190例EH患者(EH组)和94例血压正常者(对照组)作为研究
自从1985年6月中国银行发行第一张信用卡以来,我国的信用卡业务得到飞速的发展,信用卡市场已初具规模,发卡行如雨后春笋般出现。然而,对于我国大多数商业银行来讲,信用卡业务
以宋代元宵节为例,可以从文化人类学和文化研究的角度关注节日中的表演与权力问题。节日为官方文化和民间文化提供了表演的舞台,官方文化通过表演来建立和强化权威地位,民间
债权二重让与是指让与人与受让人签订让与合同将债权让与受让人之后,又约定将同一债权再让与第三人的制度。债权二重让与通知系观念通知,债权人或受让人、债务人为通知义务人