数据挖掘已经成为大数据时代下数据处理、文本分类、数据研究不可或缺的一项标准工具。通常,为了实现数据挖掘的目标,必须配合数据爬取、数据存储、数据分析等各种手段。然而在实现数据挖掘目标的各个阶段的实际工作中,不管是数据爬取,还是数据存储,或是数据分析,都存在来自各个方面的难点或痛点。数据爬取:数据难以被大量获取,数据集分散不好归并;数据存储:形式单一,单机存储有数据丢失的风险,数据量大时速度缓慢;数据分析:爬取的数据普遍存在脏数据,在没有区分脏数据和可用数据的前提下,数据挖掘的结果千差万别,需要过滤一些内容。本课题旨在为传统的数据挖掘过程提出一种通用的解决方法和手段,提供数据爬取、数据存储、数据分类整合平台或框架,以此尽可能规避在数据爬取、数据存储和数据分类这三个环节的风险:在数据爬取过程中,解决信息数据没有统一的来源、数据集分散不好整合的痛点;在数据存储过程中,解决存储速度缓慢的痛点;在数据分类的过程中,解决脏数据误差的痛点。本课题通过在数据爬取环节选择webcollector爬虫框架,最大限度地保证爬取到的数据的实时性;在数据存储环节,用codis+redis集群的分布式网络存储系统进行数据实时存储,使数据存储过程具有充分的安全性和可靠性,同时提高了数据存取的效率;在数据分析环节,数据经过贝叶斯分类器后,能够解决脏数据过多的问题,最大程度地保持了数据的纯粹性和可用性。实验原型的评估展示出了本课题提出的框架在功能上能够完成数据挖掘的要求,相比传统的数据挖掘模型,其在性能上实现了时间的低消耗,达到了预期。