论文部分内容阅读
认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing, CD-CAT),在近年来越来越受到关注。在CD-CAT中,选题方法是最受关注的技术问题之一。选题方法就是指从题库中选出最适合的题目让被试来作答,从而实现自适应的测量思想并提高测量的效率。若CD-CAT的测验任务存在多种解题策略,且测验需要同时诊断被试的策略、认知状态(Knowledge State, KS)并评估被试的宏观能力(?),此时的选题就需要兼顾这三个测量目标。在这种情况下应该如何选题才能更加准确、高效和快速,就值得探索。针对此情境,本文用两种不同方式将多策略香农熵(MSSHE)指标与Fisher信息量相结合,提出两种选题法:(1)多策略情境中的"带有信息量的有序度"指标(Multiple-StrategyDappernesswithInformation,MSDWI)选题法,它是由Fisher信息量与MSSHE相除而得来,MSDWI指标最大的题目将被选出来给被试作答;(2)"先用MSSHE后用Fisher信息量"的两步选题法,先用MSSHE选题,待测验达到一定长度以后再改用Fisher信息量选题。基于多策略"再参数化的统一模型"(Multiple-Strategy RRUM, MS-RRUM)和项目反应理论两参数逻辑斯蒂克模型,在定长测验条件下,将MSDWI选题法和两步选题法的效果与随机选题法进行比较。选用了三个评判指标:解题策略判准率(StrategyMatchRate,SMR)的平均值、KS的模式判准率(PatternCorrect Classification Rate, PCCR)的平均值、被试能力的平均绝对误差(absolute error, ABSE)的平均值。用MATLAB2012b软件包编写模拟程序,独立重复模拟20遍。模拟结果表明:当属性数量为4和6时,两步选题法在三个评判指标上都是最优;当属性数量为8时,两步选题法在SMR和PCCR上最优,但ABSE值不如随机选题。结论:在多策略情境下选题时,若要兼顾策略估计、认知状态估计和能力估计,两步选题法是较好的;但不宜在同一个测验中考查太多的属性。