计算机自适应测验简介(一)
计算机自适应测验(
Computerized Adaptive Testing,CAT
)作为一种新型的测验方式逐渐应用于教育测量与评价中。美国的许多大型入学和职业资格考试都逐渐采用计算机自适应测验的形式。这些考试包括美国大学入学考试SAT考试、TOEFL考试、GRE考试。
计算机自适应测验简介
计算机自适应测验是建立在
项目反应理论(IRT)
基础上,
用项目反应理论建立题库
,
由计算机根据被试能力水平自动选择测题,从而对被试能力做出估计的新型测验
。其目的在于通过被试正确回答题目难度的高低来评价其能力。计算机自适应测验能根据被试对试题的不同回答,自动地从大型题库中调用难度跟被试相适应、测量性能优良的试题来施测,最终达到对被试能力做出最恰当的估计。因此,计算机自适应测验是主动适应被试水平,灵活的因人测验。
计算机自适应测验的优势
适当减少考生作答试题的题量(高效性):
依据考生不同能力水平来挑选不同的试题,高能力考生无须回答过多的简单题,低能力考生也无须回答太多难题,通过较少题目就能对考生的能力水平做出有效的测量。相关研究表明它甚至能够以一半的测验长度达到与纸笔测验同样的测量信度和效度。
有效提高测量的精度:
传统纸笔测验中,事实上难度不同的试题对能力不同的被试者而言,其估计误差是不同的。CAT能因人而异地选题,题目针对性强,选择与考生能力匹配的题目,较精确地估计被试的能力。
有利于提高考试的安全性:
题库的试题管理由计算机控制,测验时根据被试者的能力动态选择相应试题的,所以很难提前窍取试题,也很难在考试过程中相互抄袭。
不必统一规定测验举行的时间,考试部门一年可以组织多次测验:
考生可根据自己的情况选择其中的一次或多次测验,这是因为计算机自适应测验是因人而异的,不必因害怕泄露试题而规定统一的测验时间。
CAT构建的前提—要有
基于IRT
理论构建的
大型题库
只有一个庞大的
有题目质量参数的题库
才有可能在题库中抽取不同难度的题目去因人施测。
没有题目质量参数的题库充其量只能称为“题堆”,无法作为计算机自适应测验的题库。
因人而异,讲究的是选择与人的能力相匹配的题目(适当的题目难度的题目),能较准确(较少误差)的估计考生能力。而难度的获得需要进行预测,选择与正式施测考生水平分布相当的样本进行预测,估计题目难度。
题库的题量要足够多,不可能让考生完全做完所有的题目,因此只能分批次的让部分考生作答部分的题目,那么根据传统教育测量理论计算的难度值——通过率就存在较大问题。
不同考生群体的能力水平不同,同一批题目给不同水平的考生群体作答,计算的难度值就不同。
因此题库中的题目难度值就不具有唯一性,实践应用上就存在较大问题。
但是基于IRT理论估计的
题目难度值与考生建立在统一量尺上,并且可以通过等值技术将不同群体计算出来的难度值转换到统一量尺上
,这样题库中的难度值才具有唯一性。基于IRT理论构建的题库才是可用于计算机自适应测验的题库。
IRT理论基础上的等值等技术是必不可少的技术。
计算机自适应测验的流程步骤
以易理解的方式说明:
呈现少量题目对考生能力进行探测,后续慢慢增加与考生能力相匹配的题目,准确的估计考生能力,等到考生能力估计精度(统计学上的指标)符合标准(终止规则),停止测验,最终估计考生的能力值。
重点主题:
初始考生能力的估计、选题策略、考生能力估计方法、终止规则、涉及到保护题库安全的技术(题目曝光、使用率等)
国内CAT研究的情况
我国在CAT研究与应用方面,早在80年代后期,漆书青教授进行了计算机自适应测验方面的早期尝试。从中国知网中,能够查到最早文献是漆书青等人的《题目反应理论与自适应测验》论文。2002年台湾国民中学学生基本学力测验开始采用了计算机自适应测验方式,
2008年全国大学英语四六级等级考试初步尝试了计算机自适应测验的试验,
汉语水平考试HSK也采用计算机自适应测验的方式进行,获得国家科技进步一等奖的《中国军人医学与心理选拔系统及标准》课题组编制了CAT题库,在企业方面北森公司开发了基于计算机自适应测验的CATA。
国内对于计算机自适应测验研究力量方面,以北京师范大学、江西师大、华南师大等高校为主干力量。以中国知网论文数据库为例,搜索计算机自适应测验为的文章导出指数分析结果。从机构上和作者数量上,以江西师范大学、北京师范大学、华南师范大学研究最多。(注意:未查找外文文献进行分析)
著名华人心理测量学家张华华教授发表在《考试研究》2005年01期上的《计算机化自适应测验(CAT)的发展和前景展望》是经典文章。
江西师范大学涂冬波教授等人出版的《计算机化自适应测验:理论与方法》是大陆第一本有关计算机化自适应测验系统介绍的专著。
浙江大学外国语学院何莲珍教授出版的《计算机自适应语言测试模型设计与效度验证》是介绍计算机自适应测验在语言测试中的应用。
参考文献:
刘培艳,王淑琴. 对基于项目反映理论的计算机自适应测试方法的再思考[J]. 唐山师范学院学报,2013,35.
胡悦,陈俊. 计算机化自适应测验研究综述[J]. 中国教育技术装备,2017,(04)
简小珠,张敏强,彭春妹. 计算机自适应测验的测试流程与测试技术[J]. 教育测量与评价(理论版),2011,(12)
返回搜狐,查看更多
责任编辑: