伴随着互联网技术发展,新闻数据量呈爆炸式增长,GDELT就是这样一个庞大且快速增长的全球新闻事件数据集,迄今约有四亿八千多万条数据。应对海量数据集时,由于传统的MySQL/Oracle体系大多适用于单机环境,其性能受到限制,导致存储空间的扩展性不足,分析计算的效率低下,无法保证查询的实时响应,最终影响了用户交互性。如何高效地实现大规模数据集下的快速检索并从中发掘出新的价值是本文研究的重点内容。论文分析了现有的分布式存储和搜索技术,以Hadoop平台为基础,通过对索引效率、查询速度以及计算效率的综合考量后,确定了以Solr作为分布式搜索引擎,Spark作为核心计算引擎的主要技术路线,提出了一套高效适用的解决方案。通过对Spark与Solr分布式技术的交互运用,充分发挥二者并行化工作的特点。利用Spark内存计算模型多任务并行读取Solr中的原始数据,对数据预先进行筛选、聚合、统计之后生成聚合统计表,再批量写回Solr。由此实现对原始大表的降维压缩,以减少后续查询的计算量,之后不同的业务查询需求直接在相关统计表上请求实现,该模块是系统得以快速响应的关键。基于上述关键技术,设计实现在线新闻服务系统——由ETL模块、统计模块以及查询分析模块共三部分构成。ETL模块负责将原始数据从HDFS批量索引到搜索引擎Solr中;统计模块负责将Solr中的数据进行预先聚合计算生成统计表;查询分析模块用于对新闻数据查询与分析结果进行可视化展示。研究工作和实验结果表明,本文阐述的集数据采集、存储优化、统计计算及查询结果可视化于一体的新闻服务系统实现了对海量数据的高效存储及快速检索,验证了本文所提方法的有效性和实用性。