论文部分内容阅读
前言随着现代医学对医生实践能力要求的提高以及计算机技术的广泛应用,新的测量医学生临床实践能力的考试形式,如客观结构化临床考试(ObjectiveStructured Clinical Examination,OSCE)和计算机模拟病例考试(Computer-based Case Simulations,CCS)逐渐得到各国医学教育界的青睐。计算机模拟病例考试在医学领域的研究和运用开始于上世纪70年代,是由美国的NBME开发使用的。CCS由计算机提供逼真的诊疗环境、通过对患者疾病状况的动态的、人机交互的模拟,来实现模拟临床环境下医生对模拟病人动态的、没有暗示的诊断、治疗和监护的全过程。病程的发展是通过模拟时间的推进、以及考生的诊疗干预共同控制的。CCS的评分是利用计算机程序来完成的,CCS的评分思想是模拟专家思维进行评分,通过比较考生与专家管理病人的思维差别,来为考生的表现打分。我校从2001年以来开发的计算机模拟考试系统。经过不断地发展和完善,从2006年开始逐渐通过修改考试程序和评分程序,增加了诊断和鉴别诊断的检索回答功能,逐步取消了人工参与的评分过程,使考试形式以及评分过程更加客观,从而方便考生的答题以及评分者评分。为了加大考生对这种考试形式的认同度,利于在全国范围推广,通过重新编写部分程序,CCS系统又增加了级联菜单选择录入诊疗操作的功能,并已经于2007年试点应用在执业医师实践技能考试中。过去对CCS难度的研究主要是依据经典测验理论进行的,没有进一步深入进行现代测验理论方面考试的分析和研究。2007年重点学习了项目反应理论的有关知识,特别是理论模型较简单,数学基础坚实,结果稳定可靠的单参数Rasch模型,本次研究使用Conquest 2.0软件对大样本的考试数据进行分析和研究。对象与方法本研究以参加毕业综合考试的中国医科大学2000、2001和2002级临床医学专业全部1141名学生为研究对象,其中2000级352名;2001级5年制学生206名,7年制学生59名;2002级5年制学生295名,7年制学生229名。考试时间5年制学生从每年4月中旬到下旬;7年制学生从每年9月上旬到中旬。结果一、考试效度与信度分析(一)效度分析1、效标-关联效度以标准化病人考试、第五学年理论综合考试成绩为效标,2005年、2006年、2007年的五年制和七年制学生的计算机模拟病例考试与这两种考试形式之间都存在中到低度并且具有显著的统计学意义的相关。其中2005年的CCS考试成绩与第五学年末理论综合考试成绩、2007年CCS考试成绩与标准化病人考试成绩相关系数稍大。2、重测信度分析根据2007年五年制和七年制CCS考试实验设计,采取人工干预和计算机随机选题结合的方式从9个病例中抽取考试病例,保证了每个考生用两种不同的答题方式回答同一个病例,所以可以通过两种不同答题方式的结果相关分析来估计考试的重测信度,结果见表2,发现两种答题方式的相关程度很高,相关系数都在0.7以上两种答题方式的相关都具有显著的统计学意义。二、计算机模拟病例各评分项目难度分析(一)计算机模拟病例考试考生能力与项目难度的分布情况项目信度(Separation Reliability)为0.999,说明此病例分析具有良好信度。样本与项目分布情况见图4。图中左侧的717名考生能力基本符合正态分布;右侧的题目按难度高低从上向下排列,同样可以看出Q12、Q18、Q20、Q11、Q22和Q13题目偏难,几乎没有考生能够回答正确;而Q26、Q24、Q25、Q3和Q27题目偏易,其余试题难度分布比较均匀。(二)计算机模拟病例诊断性辅助检查题目难度分析经Rasah分析该病例诊断性辅助检查题目的难度和拟合度,可以发现有的项目(Q22)难度偏高,难度值超过2,相应地这些题目的拟合度较差,Q22的未加权拟合度的绝对值大于2。同时有的项目(Q03)难度偏低,甚至低于-3,其余的项目的难度和拟合度都较好。(三)计算机模拟病例治疗与监护题目难度分析经Rasch分析其题目的难度和拟合度,可以发现有些项目难度偏高,难度值甚至超过3,相应地这些题目的拟合度较差,其中Q12、Q18、Q20和Q1的未加权拟合度的绝对值都大于2;同时有些项目难度偏低,甚至低于-3,其中Q24和Q27的的未加权拟合度的绝对值都大于2,而且Q27的标准误较大,程序显示该项目为强行估计值;其余的项目的拟合度较好。(四)计算机模拟病例病史与检体题目难度分析经Rasch分析该病例病史与检体题目的难度和拟合度,可以发现项目Q1难度偏低,难度值接近-2,但此题目的拟合度比较好。说明这是一道题目难度低但是试题质量较好的题。三、经典测量理论与项目反映理论对计算机模拟病例项目难度的分析比较大部分项目的区分度都在0.2以上,只有难度偏高和偏低的5道题目区分度较低,对07年毕业实践技能考试的计算机模拟病例的难度分别用经典测量理论和项目反应理论进行相关分析,相关系数为-0.986,存在高度的相关。结论1、计算机模拟病例具有很好的表面效度和内容效度,效标关联效度较好。2、计算机模拟病例的自由输入式答题方式和级联菜单式答题方式具有较好的重测信度。3、对心梗病例27个评分项目分析,发现计算机模拟病例难度较高,主要由于治疗与监护项目难度大,拟合度大部分较好。4、对心梗病例27个评分项目分别应用经典测量理论和项目反应理论进行难度分析,分布趋势一致,由于表示形式不同,所以存在高度的负相关。