随着分布式计算的发展,基于分布式的数据分析技术已经开始得到越来越多的重视。目前电视机紧随手机已经开始掀起“智能革命”,用户已经不是简单地能够通过智能电视观看普通的电视频道,用户的新的需求正随着智能电视的到来逐步被挖掘出来。人们可以通过智能电视享受网络搜索、IP电视、视频点播、数字音乐、网络新闻、网络视频电话等各种应用服务。鉴于用户的对智能电视需求的日益增加和变化,本文设计并实现了日志信息系统,该系统用来对用户日志数据进行统计分析和数据挖掘,描述每个用户的个人特征和对智能电视节目和应用的偏好,推荐用户相关的节目和应用,给用户带来更个性化的服务。作者在该项目中负责日志分析模块的设计与实现。由于服务器的日志数据量巨大,采用一般的计算不能满足项目需求,因此需要采用分布式计算技术对大数据量的数据进行分析。鉴于以上分析,该项目采用了目前流行的分布式计算框架hadoop以及基于hadoop的Hive和Mahout技术实现了日志数据准备、数据分布式统计、关键词和应用推荐分析等模块功能。在推荐分析模块中使用了流行的个性化推荐技术,包括协同过滤算法和基于文本内容的推荐算法。