1. 引言
人工智能技术近年来已深度融入教育领域[1],学生可以通过互联网智能终端获取大量封闭式问题的标准答案。如果教学、考试的内容仍然侧重知识记忆、闭卷做题,则放弃独立思考的学生比例可能增加,因为既然题目可能被手机查题软件破解,则学生可能会跳过记忆、练习,而直接去检索答案。长期如此,容易让学生产生投机取巧、轻视学习的心理。
教育部于2019年提出高校一流本科课程建设的基本原则:提升高阶性、突出创新性、增加挑战度。并指出课程应有科学的考核评价形式,强调要加强非标准化、综合性评价,提升课程学习的挑战性[2]。
其中的非标准化评价,意味着考核的方式、结果允许有一定的开放性,这样可以激发学生的批判意识、创新意识,考核测验出学生的创新能力水平。
统计类、数学类课程,通常将闭卷考试作为主要的期末考核形式。然而闭卷考试的作答过程,较强地依赖于学生的记忆力,容易引导学生走向应试化的学习模式,也就是“刷题–记标准化的答题模式–取得高分”。应试教育难以考察学生的原创性思考能力[3]。
除了闭卷考试,常见的期末考核形式还有:开卷考试、撰写论文、实践实验、报告答辩等。这些考核方式各有其优缺点,在兼顾公平性和实效性的条件下,开卷考试有独特的价值。有学者在“统计学原理”、“生物统计学”课程非标准化考核方式上做过研究和探索[4][5]。北京交通大学“应用统计学”课程组开展了“半开卷”考试模式探索并研究了成绩分析对比[6]。与此同时,非标准化考核在一些理科类的研究生课程中也已得到关注[7]。
不同考核方式的优劣对比,汇总后如表1所示。
Table 1.Comparison of the advantages and disadvantages of different assessment methods
表1.不同考核方式的优劣对比
考核形式 |
缺点 |
优点 |
闭卷考试 |
重记忆能力、轻创新能力 |
公平 |
论文答辩 |
耗时较长、存在替写、代写现象 |
可激发学生的学习主动性、创新能力 |
开卷考试 |
试题开放性程度的调控较难; 学生答题受时间限制、发挥受限 |
学生无记忆负担,兼顾公平; 可考查对知识的运用能力、创新能力 |
实践实验考核 |
需要硬件条件支撑 |
可考查操作能力 |
撰写论文、报告答辩,这两种考核方式,优点是可促进学生的诸多能力培养,如:文献检索与阅读能力、写作表达能力等。缺点是其考核的内容较窄,常限定在某一个主题,需要学生投入的时间较长,难以识别学生的抄袭及替写行为。
实验实践考核方式,优点是可充分促进锻炼学生的动手操作能力,缺点是其考核侧重点在部分适合于实践操作的课程内容,对于偏理论的、非实验操作的内容,则鞭长莫及。
开卷考试考核方式,优点是通过开放性的问题引导、非标准化的答案设计,倒向引领学生的创新思维训练,把学生从记忆公式、刷题背答案的僵化学习模式中解放出来;从而学生可将本来用于记忆的时间投入到对知识的深度理解中,可通过拓展阅读和练习,实现对知识的融会贯通、灵活运用。缺点是囿于考试时间限制,学生或难充分发挥。面对过度开放的问题,学生可能会没有思路,或者是有思路,但不能在短时间内理清、表达出来,最终导致其真实水平不能完全发挥出来、不能被准确测试。
大规模在线课程开放平台运行以来,线上考试成为一种重要的考核形式。但是远程在线监考,难以完全监控学生的全部考试环境,无法监控其是否通过网络作弊、查阅资料等。在此情形下,与其闭卷考试不如进行开卷考核,让学生即使翻阅材料仍然不能直接得到答案。从而达到考核其综合运用知识能力的目的。
统计学是基于数据的应用型科学。统计类课程的核心教学目标不在于让学生通过记忆公式获得高分,而在于让学生理解、掌握各类统计方法以解决实际的数据问题。由于开放性考核方式更适合测试学生的应用能力,而不是记忆能力,所以开放性考核方式值得引入到统计学课程的考核体系内,并作为评价标准之一。
在以上背景下,统计类课程的教学模式、考核方式逐步受到关注和研究[8]。
此研究将重点聚焦在开卷考试这一考核形式,研究目的是探索统计类课程期末开卷考核方式的可行性,验证开放性考核能否测试学生的创新思维能力,提炼开放性试题设计的关键要素如题型、知识点等,整理开放性考核方式中的问题、难点,拓展完善考核方式。
研究的具体实施从两门课程开展,一是对概率论与数理统计课程进行了线上开卷考试,二是对多元统计分析课程进行了线下开卷考试和论文报告答辩,最后与历史班级对比分析,总结评价开放性考核的效果。为方便比较,下文仅就开卷考试的实施和结果进行分析。
2. 开放性试卷设计
分别选取概率论与数理统计和多元统计分析两门课程,进行开放性试卷设计、开卷考试、成绩分析、答案分析。
2.1. 概率论与数理统计开卷设计
概率统计开放性试卷设计为:20道单选题,4道大型计算题。共设计20套平行试卷,难度相同、知识点相同,全程网络在线开卷考试、在线监考,允许翻阅纸质材料,考试时间90分钟。
概率统计课程组重点设计了以下开放性题目类型。
1) 错题改正。让考生将错误的试题改正,考核知识点为概率分布的规范性。因错题的改正方式不唯一,所以答案具有开放性。
2) 一题多解。让考生完成近似概率计算,涉及的解题方法为二项分布近似泊松分布,二项分布近似正态分布,中心极限定理等。以上方法不唯一,答案具有开放性。
3) 开放性数据分析。让考生对数据进行统计分析,涉及知识点为数理统计的基本概念,参数估计,假设检验。只给出数据,让考生计算某随机事件的概率,但并没有指定具体的统计方法,解题思路具有开放性。
4) 探索性模型建立。让考生对所提供的数据进行统计建模及预测,涉及知识点为一元线性回归模型、相关系数。题目中没有限定模型范围,解题方法具有开放性。
2.2. 多元统计分析开卷设计
多元统计分析开卷试题设计为:填空题5道,判断5道,计算3道,论述1道,设计题2道。在规范考场开卷考试,允许翻阅纸质材料,考试时间100分钟。
多元统计分析课程组重点设计了以下开放性试题。
1) 多观点论述题,让考生论述数据标准化的适用条件、优缺点、对统计分析结果的影响,涉及知识点为数据标准化的方式与条件。不同统计方法、数据背景需要的标准化条件不同,该题考查学生的思辨能力、表达能力,答案具有开放性。
2) 开放性实验设计题,让考生进行自主实验设计,涉及知识点为主成分分析等。题目中没有指定实验设计的数据背景,但要求数据类型、所提问题、结果解释必须合乎主成分分析的规范。比如:所设计实验中的样本量需至少达到30个,指标数至少达到5个。该题考查学生的应用能力,实验设计的具体内容,具有开放性。
3) 创新性方法设计题,涉及知识点为判别分析等。要求考生根据教材中所学方法,进行改进、或重新设计一种新的判别方法。该题考查学生的创新能力,此题较难,得分率很低。
3. 考核结果分析
对开卷考试的结果进行分析,一是分析学生答案,重点看学生答案中是否有创新性思考的结果出现;二是成绩分析,看试题命题难度是否得当;三是与历史班级的对比分析,判断开卷考试与闭卷考试的差异。
从考试结果看,学生在应对开放性考核过程中发挥了学习主动性、培养了创新意识。具体分析如下。
3.1. 答案分析
学生答案中呈现出了新的解题思路和想法,虽然具有较大创新性的结论并不多,但他们的解题方向已经从封闭式答案向开放性答案转换。部分答案虽不深入、不系统,但已出现一些新思考的雏形。下面举出几个案例。
多元统计分析中最后一题,要求改进判别法。学生答案中有将经典方法简单组合的,有将传统方法局部改造的,但未有完全革新的方法。学生不能答出革新性的答案,一方面可能是受考试时间限制、难以发挥,另一方面可能与平时阅读量欠缺有关。此题的挑战度较高。
多元统计分析中倒数第二题,要求设计适合主成分分析的实验。不少同学给出了贴合实际的实验设计,例如以汽车品牌为样本、以汽车性能指标为变量的实验设计方案,就是一个考生给出的很合适的答案。类似的不同角度、不同场景的答案设计出现了很多,说明该题能较好地激发学生理论联系实际的意识。该题的难度适当,设计形式、作答效果较好。
概率论与数理统计中的题目,要求一题多解计算概率,有同学使用频率代替概率,但只是简单地算出了答案值,未能将结果用严格的概率论语言进行解释。若学生能指出“大数定律”作为理论基础,给自己的答案进行理论支撑,其结果会更圆满。此题具有高阶性,同一题目,可看到学生不同层次的回答。
3.2. 成绩分析
成绩分析后发现,题目的开放性过度地高,会导致得分率较低;开卷考试成绩的方差比闭卷考试成绩的方差要小。
在实验班中,大多学生是初次参加开放性考试,因缺乏应对经验而导致成绩过低。但实验班的平时成绩执行过程性考核,大多同学能在平时中累积得到较高分数,这样由平时成绩加期末成绩构成的总体成绩得到了弥补。
3.2.1. 概率论与数理统计成绩分析
概率论与数理统计的期末考试为线上开卷考试。考生132人,期末考试的平均成绩61.2分,最高分96分,最低分6分,标准差17.9分。整体成绩偏低,不服从正态分布。
90分以上占比为3.79%,60分~90分之间占比为50.76%,60分以下占比高达45.45%。其中低分比例占比过高,是因为此开放试题的难度较高,不少同学即使开卷翻阅材料仍然不能查到答案。一方面说明,学生未能适应开卷考试的形式,若以记忆、背题的方法应对考试则可能取得低分;另一方面说明,以开卷考试引导学生向开放思维转变需要时间和过程,不能一蹴而就、不能一次考试就实现。
3.2.2. 多元统计分析成绩分析
多元统计分析的期末考试为线下开卷考试。考生96人,期末成绩的平均成绩是74.5分,最高分89分,最低分51分,标准差9.7分。成绩不服从正态分布,优秀率偏低。
60分以下占比9.09%,60分~90分之间占比90.91%,90分以上比例为0.00%。其中优秀率过低,卷面成绩没有90分以上者,原因是最后一道分值为15分的方法设计题开放性过高,该题要求考生设计一种课本教材中没有的、新的多元判别方法,结果没有同学能够真正设计出一种完整、全新的方法,导致这道题没有同学能够完全得分,该题的失分率在10分以上。其它题目的开放性、难度适当,得分率正常。试题的开放性过高,将导致得分率过低。这一现象说明开卷考试的设计并不简单,其开放性的调控在后续开放性考核中应予以注意。
3.2.3. 开卷与闭卷考试成绩的对比分析
将开卷考试成绩与历史闭卷考试成绩对比后发现,开卷考试的平均成绩比历史闭卷考试的平均成绩更低,但成绩波动更小。为保证同一级学生的考试公平,同一级学生考试只能是都开卷、或者都闭卷,所以此处的成绩对比是与历史班级对比。具体分析如下。
概率论与数理统计,往年闭卷考试的平均分为75.6分,标准差为18.5分,而开卷考试的平均分为61.2分,标准差为17.9分,对比说明开卷考试的平均成绩更低,但成绩波动性略小。
多元统计分析,往年闭卷考试的平均分为82.9分,标准差为10.5分,而比开卷考试的平均分为74.5分,标准差为9.7分,说明开卷考试的平均成绩更低,但成绩波动性比闭卷略小。
造成开卷考试的得分率更低的可能原因是:开卷考试的开放性让学生没有思路、对题型不熟悉,无从下手;部分题目的开放性过大、难度过高,而考试时间有限,学生难在短时间内做出解答,从而整体得分率低。
例如概率论与数理统计开卷考试中的一题多解类型题目,得分率最低,只有47.1%。此类题目恰恰是因为没有限定方法,从而让学生没有明确的解题方向,进而失分较多。多元统计分析开卷考试的难度整体适中,但最后一道改进判别方法的题目,得分率最低,只有55.3%。要提高优秀率,宜降低最后一题的分值,或降低其难度。另外,平时应该增加学生的阅读量,拓展其发散性思维,开卷考试才能发挥出更高水平。
造成开卷考试的成绩波动较小的可能原因是:由于可以携带材料参加考试,部分较简单的知识性题目,或能通过临时翻阅材料得到答案,即使不能直接得到答案,也可帮助其理解推理,从而离答案更近。这样开卷考试就会缩小考生之间成绩的差异,从而使衡量成绩波动性的方差更小。
4. 结语
经对统计类课程开放性试题设计、开卷考核以及考后分析可见,开放性考核可以激发学生的学习主动性和创新意识。开卷考试所侧重考查的思辨能力、应用能力,是闭卷考试不便于展开考查的。开卷考试的学生答案中可见更多的内容原创性、思维发散性的答案。下面就统计类课程开卷考试的设计要点做归纳总结。
在命题形式方面,适合作为统计类课程开放性考核的题型有:实验设计,错题改正,一题多解,方法改进等。
在命题内容方面,适合作为开放性考核的知识点,在概率论与数理统计中有:概率分布的规范性、二项分布的泊松近似、中心极限定理、参数估计等;在多元统计分析中有:主成分分析、判别分析等。
在命题难度方面,试题开放性的程度需要精心的调控,才可能取得良好的成绩效果。不能过度开放,否则学生会无从下手,从而整体成绩过低。比如多元统计分析最后一题,要求学生从零开始、完全重新设计一个判别方法,是过于困难的,开放性过高会导致学生失分过多。概率论与数理统计中没有明确提示方法的一题多解类型题目,也是如此情形。若能在开放性题目中,设置一个更具体的场景,给予更细致的条件和提示,再要求考生创新、改造方法,或许考生会取得更理想的成绩。
考核是教学过程中的最后一环,考核的形式和内容作为指挥棒,影响着教学过程的实施和学生学习的方向。此处统计类课程中的开放性考核作为一种探索尝试,验证了开卷考试可节省学生的复习记忆时间、淡化学生的背题刷题意识、激发学生的原创探索精神。由于考试时间、出题经验的限制,开放性考核在探索实验阶段难免遇到问题、有不足之处,需在不断调试中改进。
保持开放性考核的方向不变,为取得更好的教学效果,考核之外还需在平时课堂展开配套的综合训练,如文献阅读训练、思辨讨论训练、写作训练等。这些平时训练作为学生创新思维的一个个培育单元,作为过程性考核的一部分,再结合期末结课的开放性考核,可共同推进统计类课程面向“两性一度”的深度教学改革。
基金项目
教育部产学合作协同育人项目:大数据分析实践教学示范基地建设(编号:220904838225241);河北农业大学校级研究生公共课程建设项目:《多元统计分析与应用》(编号:1009203);河北农业大学理学院课程建设项目:《多元统计分析》;河北农业大学第三批校级一流本科课程项目:《多元统计分析》(线下)。