大学英语口语测评数据建设与应用

大学英语口语测评数据建设与应用

1概述

大学英语口语测试是口语教学活动中的重要环节,测试形成的反馈机制有助于整个教学过程的改进和完善。目前,国内多数学校大学英语口语测评采用过程性评估方式,测评形成的反馈不直观、不全面、不具体、不清晰,指导性不强。然而,口语测评数据的研究与应用为教与学提供了多维提升空间,通过测评数据的建设能够充分挖掘考试数据信息背后所反映的规律,统计分析影响考生口语交际的因子,能够轻松掌握考生学习动态,有针对性地解决学生口语交际中的具体问题。通览数据细节或全貌,教师能获得数据间的关联性,做出更为合理的教育教学决策,有针对性地指导差异化个体学习;学生们通过诊断性学习报告清楚了解自身学习差距,并做出针对性整改。目前,大数据技术已经渗透到教学各个领域,大数据之父维克托•迈尔•舍恩伯格认为,数据为学习带来了巨大的改变,例如,实现制定迎合学生的个体化需求、通过概率预测优化学习方式方法等,因此,大学英语口语测评数据的建设与应用是对大学英语教育教学测评应用的一种创新,为大学英语教育教学的大数据建设奠定了基础。国内对大学英语口语测评的研究主要集中于口语能力评分标准维度的敲定及评分表的构建,如:孙玮钧和刘芹通过赋予每次级评分量表权重值,着重探讨如何得出口语能力构成成分①;马振涛运用数据分析总结了口语交际中的主要问题②,但并未涉及具体应用;也有不少学者探讨了口语测评方式,过程性或诊断性研究;仅有少数学者对英语评估数据建设进行研究,但都未细化到具体某一层面;对于数据在考试测评领域的研究,游忠惠《大数据时代:现实考试到评价的跃升》一文指出教学大数据测评背后隐藏着教育发展规律、学生学习发展轨迹等方方面面,对教学产生了深远的影响③。国外研究实践证明,考试数据的挖掘对教与学均有重要价值,如:美国教育考试服务中心(ETS)在其组织的GRE、TOEFL等考试中,对考试数据进行了有效应用,对考生进行了客观评价③.美国大学入学考试中心通过分析考试数据中所放映的相关能力、爱好等属性,帮助考生确定适合的专业、学校及未来就业方向④.国内外的相关研究主要集中于对口语的考和评,但对测评数据所反映的现象和规律挖掘及数据的应用很少涉及。

2大学英语口语测评数据的建设

大学生在校期间都要接受至少1个学期的口语学习,对其测评形成了大量可以开发、利用的数据。为去除数据的混乱和繁杂,依据数据的覆盖面、获得数据的可利用性和可推广性,研究搜集受试学生(以5个教学班为代表,兼顾文、理,约计200人)的个人信息和口语考试中问答及讨论两个测试环节中5个测评维度得分数据信息,并将这些信息数字化,即形成计算机可以存储的数据。运用社会科学统计软件(SPSS)对个人信息及口语测评数据进行数据统计与分析,挖掘测评数据反映出的现象和规律,总结考生口语交际中普遍存在的问题及影响因子,设计出供教师教学、学生学习进行参考的可复制、可推广、可延续的数据评估模板,最终形成促进考生口语能力提高的个性化诊断报告模板。具体操作如下:

2.1数据采集

将学生的性别、所在院系及来源城市等个人信息及学生在话语准确性、话语范围、话语管理、话语逻辑与衔接及话语内容等维度的得分数据数字化。评分维度的设定依据国内外大型考试广泛使用的口语能力量表综合整理得出,具有科学性、适用性及可操作性等特点。评分维度的敲定为数字化分析提供了客观依据。数字化是数据应用的先决条件,只有将数据变为可以存储、可以检索相互关联的信息,才可以进行速度化分析和形象化展示。数据信息采集指标如下表1所示。通过上图各项指标的数据采集,利用系统分析软件,我们可以快速查找影响学生口语输出的具体因素,了解所学专业、地狱、性别影响度,口语输出内容的具体语言层面差异,并制定具体改进计划。

2.2数据统计分析

将数据分析技术应用于教学和考试的各个环节是今后教学测评的发展趋势,加快教师传统角色的转变也是迫在眉睫。教师要从课堂教学者变成数据诊断师。依据大量数据,深入挖掘其背后的现象和规律,并给出客观的诊断结果,以指导下一步教学有力、有序、有效开展。数据分析过程中,具体参数设定需足够考虑影响学生口语输出的各因素,充分挖掘各数据间的关联度。用Excel软件录入在测者问答及讨论考核各项分值,并用社会科学统计软件(SPSS)对数据进行统计和分析。主要统计各变量在不同地域、性别及所学专业上的相关性和差异性分析,整理班级内部个体及总体口语表达主要问题所呈现的层面。利用数据统计结果分析口试生口语交际存在的问题和差距及影响口试生口语交际的因子等。数据分析主要从两个代表性考核着手,即口语讨论及口语问答。首先,进行描述性分析。对讨论和问答考试数据进行整理,然后,分别进行最小值、最大值、平均值、标准差的统计分析,找出五大测评指标影响口语交际的程度。其次,依据各变量的均值分布图进行差异分析,查看个人信息数据是否对口语测量各变量产生显著差异,是否影响最终成绩。以来源城市分析为例。最后,进行各变量及总成绩之间的相关性分析。总结影响学生口语表达的语言层面。

2.3数据应用

数据分析主要服务于数据应用。通过各组数据的描述性分析、差异分析及关联性分析,查找影响学生口语输出的具体问题和原因,针对关键性阻碍因素:制定可共享的数据化评分系统。教师采集并录入自己班级授课学生信息后,利用口语评分系统可迅速定位学生个体及整体口语交际所折射出的问题,依据反馈制定下一步教学计划;学生使用模板生成的数据轻松定位自己在整个班集体的能力水平、具体差距,明确今后努力方向。制定个性化诊断报告模板。教师在数据库调出学生信息,检索反映学生能力水平的相关参数,系统生成提升口语交际的建议和策略模板,即提高各项技能包括语音、语调、语法、语速、停顿等的技巧总结模板,为形成诊断性报告做参考。模板是口语测试五个维度的各项技能提高技巧的语言性描述,教师将其录入数据库,作为“数据化”信息使用,每个学生都能接到自己的学习诊断报告。教师在教学过程中,可以设定一定数值,当衡量学生口语水平的某一测评指标小于一具体数值时,评分系统会自动打开一个或几个对应提升某一口语技能的word文档。学生参照文档提供的口语应对策略,找到影响自己口语交际的缺口不断练习,最终提升语言表达能力。基于以上分析,以相互关联的数据做辅助分析复杂的教学测评问题能有效解决教学瓶颈。通过考试数据的挖掘利用可以实现过程性评价,反映学生的日常学习表现,进而探索出良好的教学模式。学生也可以根据最终的评估结果,反思自己的学习行为,进而优化学习方法,提高口语学习能力。

3结束语

通过口语测评数据的建设与应用,学生更为直观地了解自己学习状况以及今后努力的方向;教师可更快掌握学生学习动态并制定个性化诊断性报告,学生口语学习动力增强,学习效果明显提升。此外,欧美一些国家很早意识到了考试数据挖掘在教育评价中的作用。大学英语口语精细化测评数据的建设与应用性项目研究,对目前大学英语口语教学模式的改革和发挥考试的促进作用将产生积极影响。目前,全国各高校主要教学领域都已经开启了大数据应用于教学改革的研究,大学英语口语教学也不应该落后,希望本研究对大学英语听、读、写、译数据化管理提供借鉴和参考。

参考文献:

[1]孙玮钧,刘芹.中国大学生英语口语能力评分表构建研究[J].外语测试与教学,2012(2):9-20.

[2]胡媛静.大数据时代大学英语精细化评估数据的建设与应用[J].云南农业大学学报(社会科学),2017,11(4):100-101,111.

[3]游忠惠.大数据时代:考试到评价的跃升——教育考试数据的挖掘、分析与有效利用[N].光明日报,2014-01-30(15).

[4]程蒙蒙.美国大学入学考试中心和培生教育测量成绩报告[J].中国考试:研究版,2008(7):56-61.

作者:岳铁艳 严宁 康毅 张晓慧 单位:哈尔滨工程大学外语系