论文部分内容阅读
我们在文中讨论了几种模型：基于kolmogorov complexity的NID(NCD)理论的几种模型(第二章、第三章)，图模型(第四章)，简单关联模型(第五章)，设计程序进行了实验验证，和经典的向量空间模型做了对比。并且从两个方面力图解决信息检索理论和经验上的ad hoc问题：从普遍理论导出检索模型，用普遍理论解释经验模型。此外，探讨了信息检索结果等价的形式化分析、向量空间模型假设的形式化分析及其前缀复杂性表示。 一，在NCD理论和模型方面做的工作主要有三：信息检索的NCD解释、NCD模型近似实现和试验、经验模型和NCD模型的比较和解释。 1：信息检索的NCD理论(第二章)。我们从算法信息(描述复杂性)的角度讨论了信息检索的NCD理论。NCD从理论方面给出了解决信息检索理论上一直存在的ad hoc问题的途径。由Kolmogorov complexity定义出来的NCD在理论上证明为一切有意义的距离中最优的。如果信息检索必须含有评分和排序，并且将相关度等同于评分函数所得到的评分，依照评分来排序文档，那么，理论上NCD应该是最优的检索模型。但是由于NCD不可计算，因此只提供了一个理论解释，而具体模型则需要我们用各种策略去近似NCD。 2：NCD模型近似实现和试验(第二章、第三章)。2a．NCD模型依照压缩算法的近似实现和试验(第二章)。 ●我们由NCD理论近似得出了两种基于压缩算法的模型。两个模型由NCD理论近似导出，不同于信息检索的模型(信息检索模型一直具有ad hoc问题)，并且是揭示了压缩和信息检索相关度之间的关系。就文本的结构算法信息进行了实验。实验的结果表明，压缩率越大，则检索效果越好。而对文本做编码，使得单词能够作为一个单位，或者编码长度一致，检索效果也有了提高。这表明，进一步改进压缩算法，提高压缩率，进而得到更高的检索效果；修改实现压缩算法的程序，使之真正以单词为单位进行压缩，从而得到更好的检索效果。 ●我们根据lz算法，设计了一个简单算法，真正以单词为单位进行压缩(把词作为不可压缩的码字)，编制程序进行了实验验证。实验结果表明，真正以单词为单位进行压缩，则检索性能大有提高，限于条件，简化算法没有达到lz算法最优压缩效果。