论文部分内容阅读
认知诊断理论以其从微观认知角度对被试做出准确评估与反馈的优势在教育与心理测量领域中展现出了巨大的发展潜力。但是,要利用这种优势就必须确保所构建测验Q矩阵的合理性。以往研究所构建的测验Q矩阵主要依赖于专家的经验,这种方法的缺点是专家的水平以及意见统一与否会严重影响到测验Q矩阵的正确性,而错误界定的Q矩阵会对模型参数估计和被试分类准确性带来严重地影响(Rupp&Templin,2008;涂冬波,蔡艳&戴海琦,2012)。为了克服这一困难,国外研究者开发出了6种基于被试作答反应数据的Q矩阵估计方(Barnes,2010;Liu,Xu,&Ying,2012;Close,2012;De Carlo,2012;Xiang,2013;Chiu,2013a),以数据驱动的视角为专家界定Q矩阵提供参考。本研究在这些研究的基础上,结合贝叶斯法(De Carlo,2012)估计准确率高但对Q矩阵已知元素要求较高,而非线性惩罚估计法(Xiang,2013)准确率低但不需要提前界定Q矩阵的特点,开发出一种适用于DINA模型的测验Q矩阵估计方法—二阶段法。该方法的思路是首先采用非线性惩罚估计法得出0-1之间连续的Q矩阵并通过选取不同分界点对其进行部分离散化,然后用贝叶斯法将未能离散化的那部分Q矩阵元素恢复,从而实现Q矩阵的完全离散化估计。为了验证二阶段法的可行性及合理性,本文采用Monte Carlo模拟以平均判准率和判准率增幅为指标考察了被试人数(500,1000)、测验长度(31,62)、属性个数(5,7)和分界点选取标准(0.5,0.6,0.7,0.8)等因素对二阶段法的影响。结果发现:(1)随着被试人数的增加,二阶段法的平均判准率也随之上升且高于非线性估计法的平均判准率;(2)增加测验长度和属性个数,二阶段法的平均判准率有所下降,但仍高于非线性惩罚估计法;(3)不论何种条件下,分界点选取标准为0.6和0.7的平均判准率均高于以0.5分为界点标准(非线性惩罚估计法)下的平均判准率,判准率增幅最高可达10.2%;(4)不同分界点选取标准对二阶段法判准率增幅影响不同。在小样本(500人)条件下,分界点选取标准为0.6时,二阶段法的判准率增幅较其他分界点选取标准高;相反,在中等样本(1000人)条件下,分界点选取标准为0.7时判准率增幅较高。本研究可为实际应用者在认知诊断测验Q矩阵界定上提供方法学借鉴及支持。