随着无线移动通信、互联网以及各种智能终端设备等技术的发展与进步,海量数据在呈指数爆炸式地不断地被产生和收集。如何对如此海量数据进行处理和分析,以及如何从中发现和提取有用的或有价值的知识或信息是一系列值得考虑的问题。这些问题都涉及到大数据技术中的一个关键的技术即数据挖掘技术。数据挖掘与信息论之间具有一定联系。近年来,一些学者尝试从信息与通信理论这一新颖的角度去理解和解决(大)数据挖掘分析问题,相关工作已经表明信息论可以为数据挖掘提供一些方法和策略,且这些方法能取得相当不错的效果。同时,适用于大型数据集且可解释性很强。基于此,本文基于信息论分别提出了两个数据挖掘方法:基于自适应均衡器的时间序列分析模型以及基于J散度的决策树分类算法。基于自适应均衡器的时间序列分析模型假设目标时间序列和其相关时间序列之间有信息传递,因此本文在相关时间序列和目标时间序列之间建立单输入均衡器实现对目标时间序列进行预测估计。在模型构建的过程中,对均衡器进行训练得到最佳均衡器长度以及均衡器抽头系数。保持最佳均衡器长度不变同时使用梯度下降法在线更新均衡器抽头系数,最终实现对时间序列的预测估计。接着,引入历史目标时间序列作为额外输入,最终形成完整的多输入均衡器时间序列分析模型。实验结果表明,单输入的均衡器时间序列分析模型能够在一定程度上反映时间序列的相关性;而完整的多输入均衡器时间序列分析模型在误差性能RMSE表现上优于现有的带有外部输入的时间序列分析模型。基于J散度的决策树分类算法继承了决策树分类算法清晰、简洁以及可解释性强的优点。本文根据J散度倾向于扩大零值概率的影响的特点,提出新的用于样本集划分和决策树分裂的划分准则,并在此基础上进一步提出完整的基于J散度的决策树分类算法。J散度决策树每次划分倾向选择使子集中某些类别计数尽可能小或为零的特征,从而使得其结构与现有的CART分类决策树有明显的区别。如果不对决策树的最大深度加以限制,J散度决策树分类预测错误率要低于现有的CART分类决策树。综合实验结果表明,相比于其他分类算法,J散度决策树分类算法更适用于类别型特征较多的复杂的大型数据集中。本文立足于信息论提出了两个用于不同数据挖掘任务的方法,它们在各自所要解决的问题中都表现的很好。因此,本文的研究工作进一步表明了信息通信理论可以为(大)数据挖掘分析提供一些方法和策略。