论文部分内容阅读
信息论给出了信息的数学本质，提出了用热力学中的熵来度量信息量的大小。分类是一个重要的数据挖掘问题，在训练数据集上建立分类树的关键是如何选择决策树每一个内部结点的测试属性。传统的决策树建立算法利用信息论中熵的概念选择属性，具有偏向于取值较多属性的缺点。本文分析了信息论中有关熵的一些基本概念和含义，讨论了它们在挖掘分类树中的应用，利用互信息设计了一个建立分类树的算法，克服了传统算法的缺点。