ETS的每一套TOEFL试题需要6-18个月才能完成设计,其中经历了怎样的步骤?TOEFL的试题是不是有所谓的高频正确选项和高频答案?本文《How a test is born》完全解析TOEFL试题设计步骤!
How a Test is born? TOEFL试题设计步骤
引言
当今的TOEFL iBT考试的设计采用的是2003年集体开发的"实证中心设计框架",该框架要求开发者对于试题的每一个考察点和考察能力均达成一致,该框架于2008年更新了考试的形式,架构,和内容,一直延用至今。TOEFL题目的设计高度复杂,每一套试题需要6-18个月完成设计,每一套试题需要经过严格的质量控制,保证和其他试题在内容和难度上等值。
STEP1 遴选开发者
TOEFL的考生来自全球,因此ETS在选择试题开发者时不仅考察测试专家的英语教学能力,也考虑每一组开发者都具有多元的国际化背景。这个环节中,开发者候选人需要完成一个样本,以供评选。
STEP2 试题开发
开发者遵循详细的指导方针设计两方面的内容:
1)试题刺激:阅读和听力材料;
2)试题的问题部分。
试题设计基于以下原则:
1)试题清楚,连贯,难度适中,适用于全球文化。
2)不需要任何背景知识即可完成试题刺激部分和问题部分
3)遵循ETS公平指导方针
4)考试内容包含足够可测试内容
STEP3 试题审阅
试题开发之后,将有4名以上测试专家审阅每一个试题刺激和相关问题,测试专家提出修改意见或者推翻开发的试题,只有为该试题刺激负责的4名以上专家都判定试题合格,才能投入使用。TOEFL的试题审阅主要包括3个阶段:内容审阅,公平审阅和编辑审阅,具体的审阅过程是:第一轮内容审阅-第二轮内容审阅-公平性审阅-编辑审阅-第三轮内容审阅-编辑审阅-第四轮内容审阅。每一个审阅者在进入下一阶段之前需要同意上一阶段的试题并签字退出上一阶段。
STEP3.1 内容审阅
内容审阅中,对于试题刺激文本,测试专家遵循以下2个原则:
1)测试中的语言使用清晰,不含复杂逻辑
2)测试内容无须考生具备专业背景知识
内容审阅中,对于单选/多选试题,测试专家遵循以下4个原则:
1)考查点适当
2)答案单一性
3)语言清晰简明
4)干扰选项吸引力
内容审阅中,对于口语和写作试题,测试专家遵循以下2个原则:
1)语言无歧义,期待答案公平并可以判分
2)难度与其他试题可做比较
STEP3.2 公平审阅
ETS公平指导方针在2002年,2007年和2009年发布过3次。所谓公平,指的是测试的效度,核心原则是只有与测试建构相关的因素才能影响考生的成绩,而测试的建构就是测试中诸如知识,技巧和能力的考查点。公平审阅的主要目的是减少与测试的建构或者说测试考差点无关的内容可能对于考生带来的影响。
STEP3.3 编辑审阅
所有试题最后需要符合"ETS Style",统一风格做最后检查。
STEP4 试题整合
上一个阶段测试专家给出了单个的试题刺激以及相关问题,这个阶段需要对不同问题整合成为一套试题。组合的过程中,我们需要考虑一系列变量,包括问题类型,问题难度,话题选择等等,以保证TOEFL iBT和PBT等其他形式之间成绩可以转换,也保证不同场测试间的难度基本相同,这也有利于测试的正态分布。
STEP5 试题实验
阅读和听力
在标准化考试中,坦率来说,并不是每一套试题都进行试题实验,用于实验的部分和正常的计分部分是一致的,考生无法识别,请注意,用于实验的试题和用于正态分布(也就是我们常说的加试)的试题是完全不一样的,我们的加试是为了使得多次考试之间的成绩能够转换,并不是测试未来的试题。用于实验的试题如果设计者发现有缺陷将进行修改或者删去。这对于试题开发者来说,也帮助他们更新对于什么是一个好试题的概念。
口语和写作
口语和写作每一个部分都包含一定量的实验性试题,阅卷官进行打分,试题专家审核考生回答,决定题目是否能够有效引出考生能力。
STEP6 正式测试