测试作为一种实践活动,“是实现人的社会化和人的社会价值的重要手段,也是人类社会演进发展不可或缺的机制”(廖平胜,2003:1)。追求公平是各种测试的重要目标之一,人们通过实施科学、公正、严格的测试以实现这一重要目标。随着人们对测试评估标准认识的扩展,测试公平性的研究受到越来越多的关注和重视。作为教育测试中的一员,语言测试是用来检测语言学习者的语言水平、语言能力和学习效果的一种测量工具,由于语言既是测试的内容,同时亦是测试的媒介,其测试公平所涉及的因素较之其它测试更为复杂,可以说语言测试既是一门社会科学,又是一门实践活动。教育评估领域早在上世纪60年代已经出现对公平性的关注(Angoff,1993),语言测试界对于公平性的讨论始于上世纪90年代(Kunnan,2000),国际语言测试协会(LTRC)1997年年会因其以此为主题而被普遍认为是语言测试公平性研究开始的标志。在我国,把考试作为一门学科来进行研究始于上世纪80年代,对于测试公平性的研究大致从上世纪90年代后期开始(戴家干,2010:27),语言测试领域关注公平性大致也是始于彼时。在相关的研究中,从教育制度和政策角度对教育测试的公平性所进行的讨论最多(详见第二章);在国内所有关于教育测试公平性的探讨中,针对语言测试公平性的系统理论研究尚缺,外语测试界对公平问题进行的研究亦非常少,语言测试的社会性和伦理问题方面的研究等在国内几乎是空白或者处于起步阶段(谢赛、陈贺文,2016:143)。目前,教育界均认可公平性检验的重要性和必要性,但是在很多方面仍难达成共识,例如:公平性检测的有效实践性和公众感知度如何得到体现?其核心体现的问题仍在于:公平性究竟可不可以被检验?应该如何检验?本研究的目的是为了构建一套适用于我国语言环境和测试特点的公平性评价标准。世界上很多专业的测试机构已经出台和使用了较为成熟的测试评估标准用以指导测试实践,在这些评估标准中均涉及公平性审查和质量控制准则,然而我国截至目前尚未见类似文件出现。本研究将在现有研究成果的基础上,对公平性研究中的核心问题进行讨论,并尝试提出中国测试环境下语言测试公平性的检验框架。本研究拟对以下问题进行研究:1)世界上已经出台和使用的语言测试标准中有关公平性审查和质量控制的标准有哪些?这些标准对于我们开发适合我国国情和考试特点的标准有何借鉴?本研究将对公平性概念进行较为全面的评述,旨在为测试公平性验证提供一个理论和方法的框架,构建中国语境下测试公平性研究的理论模型。2)语言测试的利益相关群体对公平性的认识如何?这些认识对于我们确定公平性检验的具体标准有何启发?我们将对语言测试最重要的利益相关群体,即考生对公平性的认识和评价进行调查,通过调查进一步明确公平性应当涵盖的因素。3)语言测试公平性检验的模型应当如何构建?具体审查的细则应当包含什么内容?模型将如何在测试的开发和实施中践行并具有良好的可操作性?本研究将探索构建符合中国考试特点的公平性检测应用框架。为了对以上问题进行回答,本研究将分四步进行设计。首先,本研究将搜集并系统回顾语言测试标准中涉及到公平性审查和检测的文献或者具体条款,并对当前存在的公平性框架进行分析、解读和评述,通过对这些文献细致和系统的回顾,梳理目前公平性研究和实践的整体状况,拟探讨这些理论或者标准对于我国测试公平性实践的指导价值。在第二阶段对语言测试最重要的利益相关群体,即考生对公平性的认识和评价进行调查,通过调查进一步明确公平性应当涵盖的因素,为下一步分析公平性的影响因素和构建公平性检验的具体项目提供客观的参考依据,调查发现:学生总体上对公平性审查和检测的看法较为积极,认为测试任务设计的公平性很重要,制定公平性原则对于确保测试质量和公正是必要的和必须的。在第三阶段,根据前两个阶段的研究成果,我们将查阅国内外各类语言考试的试题,如:雅思(IELTS)、托福(TOEFL)、赛达(SAT)、大学英语四六级考试(CET4&6)、汉福(HSK)、各级各类学业课程考试等,查找相关题目对公平性影响因素进行分析,详细解读导致不公平性的原因,并在此基础上构建了公平性模型,并尝试构建适合于操作的公平性审查的参考条目及具体方法。由于在现阶段我国测试环境下,相关利益群体各方的责、权、利等无法真正做到有效兼顾,因此公平性标准无法形成相对统一的表述,这决定了我们拟构建的准则不可能是强制性的,而只能是启发性的,构建公平性审查准则的主要目的在于提高专业群体和公众群体的公平性意识以及传播可践行的保障措施。笔者认为:测试的公平性是指在测试流程中确保受试群体和个体同等测试机会的构念相关因素,它既包括测量技术检验的公平性,也包括社会价值判断的公平性;语言测试的公平性检验理应贯穿于测试的整个流程之中,在我国现实测试环境下,语言测试公平性的检测框架应当涵盖对测试开发者、使用者和应试者责权利的界定,在应用实践中需要同时考虑技术公平性需求和社会公平性需求,进行测量技术检验和人工价值判断,并将检验的结果对社会公布并接受监督。建立完善的公平性检测报告制度不仅是提高测试质量的必要举措,亦是保障社会公正的重要措施。第四步,采用构建的模型尝试对一份测试试卷的公平性进行了检验。研究过程中,本文采用了以下研究方法:1)文献分析法。研究梳理了当前国内外的研究成果及最新动态,重点分析了以ETS等世界知名教育考试机构已出台并实施的测试评估指导文件,从中吸取可资借鉴的成分,并由此提炼影响测试公平性的主要因素。2)问卷调查法。研究采用了调查问卷,对初步形成的公平性影响因素进行广泛的征求意见,以对其进行修订和补充。问卷以语言测试公平性标准和评估检验办法为主要内容,调查考生作为测试利益最高相关群体对标准和检验方案的态度、意见和建议。调查采取随机抽样方案,样本量200人以上,采用里克特5点量表设计问卷,回收后由课题组人员进行统计分析。3)案例分析法。在本研究中,对试题公平性进行分析的过程中列举了大量例题,并按照不同影响因素类别产生不公平的结果予以解析,清晰地展示了解公平性影响因素是如何对测试结果差异产生影响的过程。4)深度访谈法。该方法用于了解测试流程各个环节中的可能导致的不公平因素,一对一深度访谈对象为3人,采取半结构性访谈;研究者现场记录,事后对文字数据进行了分析。通过以上方法的研究,笔者认为:测试的公平指在测试流程中确保受试群体和个体同等测试机会的构念相关因素,它既包括测量技术检验的公平性,也包括社会价值判断的公平性。测试公平性理论原则探讨的重要内容应包括用于规范所有测试者伦理道德的职业规范,而实践准则是指用于指导具体测试行为的实施准则。语言测试应当区分不同阶段的公平性,每一个阶段的公平性的具体内涵应当有侧重点的不同。测试前,开发者对测试内容的公平负完全责任,他们需要在材料选取和试题命制上保障对于所有考生的公平,而测试实施阶段的公平主要责任在于测试的实施者,测试之后对于结果使用的公平决断权在于测试结果的使用者。在应用实践中,需要同时考虑技术公平性需求和社会公平性需求,对主要方面进行测量技术检验和人工价值判断。本研究最重要的尝试在于构建了一个适用于目前国内语言测试环境的检验框架,并将公平性检验的要素细化、制成校对量表,克服了测试质量检测依靠技术检验不易操作和普及的问题。毕竟对于一线的测试践行者们而言,这样的指导细则能够将抽象的公平具体为可评估的细则,能够降低公平性审查过程中的主观性(Zieky,2006)。