海量信息下的文本分类研究与优化

来源 :新技术新工艺 | 被引量 : 0次 | 上传用户:fengfeiyuren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统的文本分类方法费时且占用大量资源、效率低等问题,提出了结合大数据处理平台Hadoop和中文文本分类,实现支持向量机(SVM)算法的并行化的模型。通过试验数据分析表明,对比采用传统的单机SVM对样本数据进行训练这个方式,基于Hadoop平台而实现的SVM并行化算法能够改善在对大量样本训练时训练时间长的缺陷,并且分类的准确率也有所提高,尤其是对大量文本进行分类时,Hadoop平台下的并行SVM算法较单机SVM算法具有更大的优势。
其他文献
针对鲜食杏生产中成熟期、品质、抗逆性和丰产性等方面存在的一些问题,沧州市农林科学院从1986年开始,以选育丰产、优质、早熟、抗逆性强的鲜食杏为育种目标,利用当地农家品
如何服务干企业自主创新,推动经济社会发展模式的转型是当前人事人才工作面临的重要课题,也为人事人才工作开辟了广阔的天地。当前为了全面推进企业自主创新,优化企业自主创新环