论文部分内容阅读
长期以来人工评分在作文质量评价中扮演着最重要的角色。随着大数据和语料库的出现,大量的自动文本分析软件得到开发并不断改进完善,使得利用软件给作文进行自动评分以及对英语写作中多个文本特征的量化研究成为现实。似乎人工和软件语篇评估的结合将会是一种趋势,两者的结合可以使学生作文质量的评价变得更加合理,并在一定程度上体现了传统教学模式和现代网络技术优势的融合。 Coh-Metrix作为一个先进的自动文本分析器,拥有大量的测量指标,可以更加全面地考察作文的文本特征。近年来,不少研究使用Coh-Metrix来检验词频,词汇多样性,指称衔接,连接词以及句法复杂性等多个文本特征。然而,使用Coh-Metrix来检验文本特征和写作质量之间的关系的研究还处在初级阶段,值得对这一领域进行更加深入的探索。句酷批改网(以下简称句酷)在英语作文自动评价方面已经获得了较高的认可度。句酷的出现给传统的英语写作教学带来了机会和挑战。 写作是英语教学中一项非常重要的语言技能。英语写作质量是评价学习者语言能力的一项重要因素,它可以由写作中的文本特征体现出来。早期的许多研究更多关注的是一个文本特征或一类文本特征的研究,很少有研究同时对多个文本特征以及这些特征与写作质量的关系进行探索和分析。目前还没有发现同时使用句酷和Coh-Metrix这两个文本分析器对英语议论文写作中的文本特征进行相关研究的论文。 本研究使用句酷和Coh-Metrix这两个自动文本分析软件,以中国学生英语笔语语料库(文秋芳等,2009)中的550篇议论文为研究对象,就词汇多样性,句法复杂性和语篇正式性这三项文本特征与写作质量之间的关系进行了多维度分析。首先,笔者从语料库中随机选出550篇议论文放进句酷进行自动评分,然后再分别邀请两位富有经验的专业老师依据一定的评分标准(Jacobs et al.,1981)对这550篇议论文进行评分,把两位老师的平均分视为人工评分的最终得分,再结合句酷的评分结果分出人工评分的高分组和句酷评分的高分组(分数大于或等于80且小于90)以及人工评分的低分组和句酷评分的低分组(分数大于或等于70且小于80),为了公平起见,每组均随机选193篇文章。然后笔者使用Coh-Metrix对这四组文章进行自动分析,获得本论文要检验的16项文本语言特征的指标的量化数据。最后,使用统计工具SPSS19.0统计分析软件通过单因素方差分析、皮尔逊相关系数和线性回归等对所有数据进行统计分析。 通过数据分析,得出以下结论:就这三项文本特征而言,人工评分和句酷评分的相同点在于:(1)名词词组前使用的修饰语与写作质量呈现显著正相关,语篇信息量与写作质量显著负相关,词汇具体度与作文成绩体现强正相关关系。(2)所有单词的最小编辑距离和词元的最小编辑距离均与写作质量不相关。(3)指称语篇衔接和深度语篇衔接均与写作成绩无显著相关。不同点体现在:(1)人工评估的词汇多样性与作文分数不相关,而句酷评估的词汇多样性与写作成绩显著正相关。(2)人工评估的句法复杂性中主动词前的单词数,名词词组前面修饰语,词类句法距离,相邻句子句法相似度和段落内所有句子句法相似度与写作质量不相关,而句酷评估的句法复杂性中主动词前的单词数,名词词组前面修饰语,词类句法距离,相邻句子句法相似度和段落内所有句子句法相似度均与写作质量显著相关。(3)人工评估的语篇正式性与写作质量显著负相关,而句酷评估的语篇正式性与写作质量不相关。此外,人工评估的语篇正式性中句法简单性与写作成绩不相关,而句酷评估的语篇正式性中句法简单性与写作质量显著负相关。 基于以上提到的结果,本研究建议英语学习者应该意识到哪些文本特征会对作文成绩产生影响,并在练习议论文写作的过程中重视使用名词词组前使用的修饰语以及加强词汇具体度的掌握和应用。另外,在评价英语议论文的质量时,教师应该建立双重评价机制,把教师评价和网上自动评估结合起来才能更客观地评价学生的作文质量。通过本研究,笔者希望为英语议论文写作的教学提供可借鉴之处。