论文部分内容阅读
为了对写作分项评分和整体评分进行进一步研究,检验其信度及评分偏差,本文主要通过项目反映理论及分析工具Facets对分项评分和整体评分进行信度以及偏差分析,并总结评分员在对各个评分项目以及不同水平考生评分时表现出的偏差规律。其中,整体评分表现作为参照,将分项评分的各个维度的评分信度进行比较.研究步骤分为以下三步:1.对已有成绩的写作样本分层抽样,从高到低10个级别的300份作文;2.15位有足够评分经验并有代表性的评分员完成对300篇作文的整体和分项2组评分实验;3.对测试结果进行初步检验,进而进行多侧面分析,检验评分信度并总结评分特点及规律。研究结果显示:(1)两组评分具有相似的宽严度水平,分项总分的宽严度与整体评分十分接近并且其偏差水平最低,15位评分员的内部一致性都较好,评分员9号,12号和10号显示出相对明显的趋中趋势;(2)“分项总分”只与15号评分员有一组显著性宽松偏差,10号评分员只对“语法”存在显著性宽松偏差,评分维度中“标点和大小写”与“任务”的显著性偏差方向相反,“整体评分”与“任务”偏差方向相同;(3)显著性宽松偏差明显多于显著性严格偏差,评分员更容易对高水平考生产生显著性偏差,且呈现出对高水平学生更宽松和对低水平学生更严格倾向,1号评分员评不同水平作文不存在显著性偏差,2号评分员的显著性严格偏差多于宽松偏差,不同于其他评分员;(4)Facets能够在探索系统性规律性偏差方面给出答案,并且结论有助于评分培训。本研究结果表明在本研究样本和对象的范围内,可针对易产生偏差的评分维度及学生群体进行专门的评分员培训,对评分量表上维度的描述及评分员的理解进行调整,以达到对量表同样的诠释,减少评分偏差,这对培训和评分量表的解释及改进有实际应用价值。本文最后还提出了研究中的不足以及有待进一步研究的问题。