计算机化考核在医学教育的应用

计算机化考核在医学教育的应用

摘要:随着信息化技术的发展,山东大学基础医学院和齐鲁医学院对医学相关专业本科生课程在考核和评价方面进行了改革。文章不仅介绍了所开发的计算机化考核评价系统的组成及功能,并对系统在几十门课程的具体实施方法及应用效果进行了介绍和探讨。

关键词:考试;信息化教学;形成性评价;试卷分析;本科医学教育

传统的印卷笔试考试形式,在组卷、监考、阅卷、试卷分析、试卷存档等方面操作比较繁琐,需耗用大量的时间、精力或空间,而且容易出现人为的差错。计算机化考试利用计算机和网络技术组织考试,可以极大改善传统笔试形式存在的问题。本文对本学院近几年使用的计算机化考核评价系统及其使用情况进行了介绍和探讨。

1系统简介及改进

1.1系统简介

学院于2014年开始使用计算机化考核评价系统,最初主要应用于临床实践阶段的出科考试及毕业考核,逐渐在基础医学类课程和临床实践类课程中普及。该系统有五个常用功能模块:题库管理、试卷管理、查询统计、系统管理和用户管理模块。系统中的试题包含客观题型(单选题和多选题)和主观题型。单选题有分别基于单句、病例摘要、病例组、病例串的A1、A2、A3、A4题型,还有B1、B2等标准配伍和扩展配伍题型;主观题有填空、名词解释、简答、论述、病历分析等印卷笔试中常用的题型。题目中还可以加入图片、视频等多媒体素材,扩充了印卷笔试中难以实现的考核内容。考试时每人的试题顺序随机,互不相同。系统有数据保护功能,考试中途如果停电、电脑死机,考生在重启或更换电脑后可以继续答题,答卷数据不会丢失。考试结束后,计算机会自动接收和保存考生答卷数据,并对客观题即刻给出成绩。主观题需要阅卷老师在电脑上进行批阅,最后由系统汇总成绩。

1.2系统改进

在几年的实际应用中,针对本校使用目的及使用中产生的问题,不断对系统进行个性化改进与升级。比如:对主观题阅卷方式进行了改进,不以班级为单位设置批阅人,而是以题目为单位设置批阅人,以避免不同阅卷老师在批阅同一道题时因主观性而导致的分数差异,减少因阅卷产生的不公平;开发了纯英文版本,使得该系统也可以对纯英文授课的留学生进行考核;在查询统计模块中增加了丰富的试卷分析功能,方便对教学中可能存在的问题及时进行反馈。

2计算机化考核的实施

为了保障各门课程计算机化考核的顺利进行,学院专门成立了机考中心。中心由考核系统的超级管理员、考务和机房维护人员组成。超级管理员拥有系统的最高管理权限,进行学生及教师账号的管理,可以为每门课程设定专门的课程管理员及相应的权限。课程管理员负责此门课程试卷的生成及阅卷人的设置。阅卷人看不到试卷,只有考完后的主观题阅卷功能。每门课程都由机考中心、课程管理员及本科办公室教务一起协调确定考试时间、参考人员以及机房安排。考试通知及考场座次表上网公布。课程管理员出卷时,一般经过以下几个步骤:①通过“系统设置”模块添加符合自己权限的题库子目录,方便后续把试题按需要放在不同子目录中。②通过“题库管理”模块,在相应的题库子目录中,逐一添加或者批量导入试题。系统购买时已有大量题库可以使用,并支持无限量追加自编试题,还可对已加入的试题进行编辑修改。③通过“试卷管理”模块添加试卷。可以设定从哪些题库里出题,各题型的数量及分值,然后系统会自动从选定题库里按要求选出题目,生成试卷。如果发现有些题目不合适,可以编辑已生成的试卷,对部分题目进行替换。机考中心的考务所做工作包括:确定机房安排及座次表,考前在系统中对已生成试卷进行考试时间、参考人员、IP地址等的设定,在每个机房门口张贴座次表,考试现场进行系统监控,考后核对试卷提交有无异常。机房维护人员负责解决考试现场的电脑及网络的技术问题。监考老师只需维护考场秩序即可。

3计算机化考核的统计

到2019年底,参加计算机化考核的课程已经有几十门,可以分为以下几类:①基础医学课程:不仅有生理学、生物化学这些传统的生物医学课程,还有感染免疫与相关疾病、人体机构与功能学等整合课程,共计20多门;②人文社会科学课程:包括医学心理学、医学伦理学、行为医学等;③公共卫生课程:包括预防医学、营养学等;④临床课程:包括实验诊断学、内科学、医院HIS系统概论、出科理论考核、毕业考核、预防医学临床能力理论考核等十几门课程;⑤部分专业新生的入学测试。目前利用计算机化考核评价系统针对临床医学、预防医学、护理、口腔、药学等医学相关专业学生,已经组织了几百场阶段性考核、期中及期末考核,使用过的试卷有600多份。例如,2018年举行了111场考试,用到130份试卷,参考人次为16514;2019年举行了144场考试,用到155份试卷,参考人次为24543。

4教学评价

为了达到《中国本科医学教育标准-临床医学专业(2016版)》对考试结果分析与反馈制定的标准[1],专门在系统的查询统计模块中设计了试卷分析子模块。任何一位课程管理员都能利用此模块随时对自己的试卷进行分析,不需要像之前必须使用专业的知识和分析软件。通过试卷分析,可以对师生的教与学进行评价和反馈。试卷分析子模块有试卷整体分析、题目分析、导出客观题答题明细及考生反馈等功能。①整体分析:包括试卷的难度、信度、区分度和效度[2,3],各知识点试题数量的分布,成绩的平均值、极值、标准差、变异系数、及格率等基本统计量,成绩频数表、直方图,按题型得分及知识点得分的统计,缺考人数等。②题目分析:可以统计试卷中每道题目的难度及区分度,对客观题统计每个选项的选择百分比。题目分析可以帮助教师及时了解每一道题目的出题质量。③生成客观题答题明细的Excel表格。表中包括每一道客观题目的具体描述以及每一位考生对该题所选答案,可以帮助教师了解考生具体的答题情况。④考生反馈:对任意一位考生的答题情况分析并显示4个雷达图,分别是按题型、科目(或知识点)、认知层次、大纲要求统计得到的,可帮助考生全面了解自己的学习状况。

5总结与展望

经过多年的实践,计算机化考核评价系统在学院里的使用越来越普及,不仅在期末考试这类教学活动结束后的终结性评价中被广泛采用,而且在阶段性考核中的使用也越来越频繁。这是因为计算机化考核减少了以往笔试时教师在印卷、组织考试、阅卷、试卷分析和保管等方面的大量繁杂工作,减少了教师对组织考试的畏惧心理,使教师有时间和精力组织更多次阶段性考核。如组织胚胎学课程一学期有四次阶段性考核,每次都是在机房上数字化切片实验课时,抽出15min来进行纯客观题的理论考核。阶段性考核是教学活动过程中的形成性评价,强调教与学过程中的及时反馈和改进[4]。形成性评价既有助于教师了解教学效果并优化教学,又有助于学生及时了解自己的学习状况并调整学习策略。计算机化考核评价系统经过多次改进升级,功能日渐完善,但仍有提高空间。目前系统中的考试成绩可以很方便地导出为Excel文件,通过筛选、排序等功能,在用学校教务系统录入成绩时比纸卷要快捷很多,但仍未充分发挥计算机和网络的功能。目前正计划将此系统的用户数据与教务系统对接,使得每份试卷的参考人员可以直接从教务系统的选课名单中得到,阅卷结束后可以将成绩直接导入教务系统,使教师从录入和核对成绩这种枯燥又耗时的工作中解放出来。

参考文献:

[1]教育部临床医学专业认证工作委员会.中国本科医学教育标准—临床医学专业[M].北京:北京大学医学出版社,2017:45.

[2]蔡旻君,刘仁云.计算机辅助教育测量与评价[M].北京:中国水利水电出版社,2010:51.

[3]黄水平,丛宁,舒华嵩,等.我院基础医学综合考试回顾性分析[J].基础医学教育,2001,3(1):85-86.

[4]闫昱江,李莎,傅薇,等.试卷分析及其对临床教学指导作用的研究[J].中国高等医学教育,2018,264(12):83-85.

作者:张玉华 孟延 孙文红 戚焰 单位:山东大学基础医学院信息化教学研究中心 山东大学临床医学院医学模拟中心