Hadoop是目前最流行的大数据存储与计算平台,具有廉价,稳定,易扩展等特点。尽管Hadoop应用很广,Hadoop的错误与故障诊断却仍然依靠人的经验。实际上错误与故障信息就隐藏在日志当中,但从日志排查错误是一个大工作量的辛苦任务,同时Hadoop系统间的差异也导致了经验的不通用。本文设计并实现了一个Hadoop日志预测与故障诊断系统,尝试解决上述问题。本文工作围绕设计实现日志预测与故障诊断展开,将日志数据抽象为时间序列数据。首先设计了一套日志类库辅助开发者输出日志,接着使用Map Reduce对数据进行预处理,构造索引结构。我们使用基于带时间约束的频繁序列模式挖掘方法和基于带罚项比特打分的规则划分方法来产生预测规则,并构造日志预测器,同时使用索引结构对频繁序列模式挖掘算法进行了优化。使用特征motif进行故障日志分类,提出了基于motif匹配的类别打分公式,提出了motif挖掘算法。针对常用的时间约束序列模式匹配算法,提出了基于动态规划的新匹配算法。同时针对频繁序列模式挖掘,规则产生,motif挖掘设计实现了相应的Map Reduce算法,使得系统可以处理海量数据。