写作评估是评分员对写作水平的主观评价,其主观性会不可避免地导致评分员之间和评分员内部的不一致性,因此评分信度较低。高考既是大规模测试同时也是高风险测试,其结果关系到考生的命运,在这种情况下,确保高考英语写作评分的信度就显得尤为重要。国外一些学者研究表明,要使写作评分具有可靠性,评分员培训起着至关重要的作用。在国外,写作评估中,评分员培训效果的研究已经开展多年,而国内很少有人问津。本研究旨在通过分析高考英语写作评分员培训前后评分员之间和评分员内部的一致性差异,研究评分员培训过程的有效性,并且试图找出培训过程存在的问题,提出一些改进措施。本文首先回顾了关于写作评估、评分员培训和培训过程的一些理论和概念,以及关于评分员培训作用的各种观点。其次本文还介绍了多侧面Rasch模型的相关理论和研究。本研究从几百位参加高考写作评卷的老师中选出4位有经验的评分员和4位没有经验的评分员,随机抽取20份2009年山西省高考作文样本。培训前后这8位老师分别对这20份样本进行两次评分,用FACETS软件分析两次评分所得数据,对比培训前后评分员宽严度、内部一致性以及评分员偏颇性的变化。并且对高考评分员进行了随机问卷调查,研究他们对高考英语写作评分员培训过程的意见和建议。研究结果表明,评分员培训确实影响个体评分员的宽严度。培训后,评分员宽严度的扩散程度减弱,评分员之间宽严度水平趋于一致,但仍存在一定的差异。培训后,个别评分员的内部一致性提高,但是整体的一致性没有显著变化。有经验和没经验的评分员在培训前后宽严度和内部一致性有差异。培训后评分员对个别考生的偏颇性没有明显减少。因此,评分员培训过程并没有像预期的那样效果明显。大部分评分员都愿意接受培训,并且认识到评分前培训的重要性。几乎所有的评分员都对培训持积极态度,一些评分员就高考写作评分员培训过程提出了自己的意见和建议。最后,在研究结果的基础上,本文指明了此次研究的意义及其局限性,并为将来的进一步研究指出了方向。