本文对2004年专八改革后的2005年到2012年的八篇短文改错题型进行内容效度的历时研究,采用了基于Bachman和Palmer构建的任务特点框架而新建的内容效度评估框架以及李筱菊针对完型填空和短文改错题型提出的三种方法,并以《高等学校英语专业英语教学大纲》(2000)和《高校英语专业八级考试大纲(2004年新版)》规定的要求为依据,得出相关结论。本文主要从语言输入材料和考点性质两方面入手,探究其内容效度,以期能为类似题型的验效工作提供方法上及内容上的参考。此研究首先从语言输入材料的特点入手,结合教纲与考纲的要求,用Analyzer1.0软件整理得出数据,在新建立的内容效度评估框架下从不同角度探究了专八短文改错题型的特点及内容效度。研究发现作为语料输入的短文有如下特点：1)短文长度及句子长度不达标,每年变化幅度较大；专八大纲内的词汇的比例较小,使文章难以达到专八层次；2)新信息的分布、句子类型和易读度均在考纲及教纲的要求范围内,体现短文改错题型良好的内容效度；3)文章体裁多样,分布合理,与学生平时阅读及写作中常遇到类型一致；话题与学生专业息息相关,新颖有趣,并具启发性。本研究还从短文改错的考点,即错误的性质入手,评估其内容效度。本文采用李筱菊提出的考点层次分析法、焦点因素分析法和考点覆盖分析法分析后发现：这八年的短文改错的考点内容效度较为令人满意,整体符合教纲和考纲的要求。具体表现在：1)考点层次分布合理且以高层次考点为主,体现了专八这一高级别考试的要求；2)焦点因素比例有很好的安排,反应出短文改错以语码(形式)为核心的本质,侧重考查学生在语篇中准确、恰当运用语言的能力；3)考点覆盖面设计科学,考点的选取能做到有的放矢。然而,专八短文改错题型的设计仍需进一步提高。比如,文章总词量、平均句长及大纲内词汇涉及量均应有所增加；应用文及更多的话题领域有待涉猎；考点覆盖面可适量扩大并避免在同一年出现考点扎堆现象。文章最后提出,作者结合本研究的结果,对今后专八改错试题的命制及英语专业高年级教学、学习及对专八的备考提出相应的参考性建议。