大规模实时计算作为大数据计算的重要组成部分,大规模的实时日志数据计算正逐渐成为各个计算机或互联网系统重要的组成部分,实时日志处理正应用于实时统计,实时风控,实时推荐,实时监控、个性化服务、实时搜索等应用场景中。根据大规模实时日志数据存储和处理的需求,本文设计实现了一个基于MongoDB和Storm的大规模分布式实时日志数据存储与处理系统,本文详细介绍了系统的设计需求,系统架构和详细实现,解决了实时分布式多源异构日志数据日志的收集、存储资源浪费、负载均衡、降低能耗、数据分析流程复杂等问题,实现了大规模分布式实时日志数据的收集、分发、实时处理、实时查询、海量存储等功能。该系统基于分布式日志收集模块,消息发布--订阅模块,分布式存储模块、分布式实时计算模块,监控管理模块多个核心模块,提供一套完整的、稳定的、可扩展的、可容错的、分布式的、高性能的、节能的大规模实时日志数据存储和处理系统。本文基于Flume设计了一个分布式日志收集模块,实现多源异构日志数据的收集、分发和存储功能,该解决方案具有易动态扩展、分布式、高性能、容错的优点。针对大规模实时日志数据的突发性特点,本文设计了一种基于节能负载均衡算法的分布式实时系统任务调度模块,在满足性能需求的前提下,实现负载均衡和节能的目的。针对大规模实时日志数据访问具有很强的时效性特点,即当前一小段时间内的数据对结果的影响很大,会被频繁访问,以前时间的数据访问的可能性很小,设计了一种基于访问热度,把日志数据根据访问热度按不同存储策略存储的方案,并且将不同存储策略的日志数据分别存储在不同的服务器集群逻辑分区中,在满足性能的前提下,实现提高存储使用效率和节能提高能耗使用率的目的。