Exploration and Research on Open Assessment Methods for Statistical Courses
The open assessment methods for statistical courses have been experimentally explored and studied. In the courses of probability theory and mathematical statistics, and multivariate statistical analysis, open question design and open assessment are carried out to verify the effectiveness of open assessment through comparison between experimental and historical classes, answer analysis, and score analysis. It’s found that open assessment with appropriate difficulty levels can stimulate students’ innovation awareness; if the openness is too high, the average score will actually be lower; the fluctuation of grades in open book exams is smaller than that in closed book exams. The question types and knowledge points suitable for the open book exam of statistical courses have been summarized.
Probability and Statistics
人工智能技术近年来已深度融入教育领域
教育部于2019年提出高校一流本科课程建设的基本原则：提升高阶性、突出创新性、增加挑战度。并指出课程应有科学的考核评价形式，强调要加强非标准化、综合性评价，提升课程学习的挑战性
其中的非标准化评价，意味着考核的方式、结果允许有一定的开放性，这样可以激发学生的批判意识、创新意识，考核测验出学生的创新能力水平。
除了闭卷考试，常见的期末考核形式还有：开卷考试、撰写论文、实践实验、报告答辩等。这些考核方式各有其优缺点，在兼顾公平性和实效性的条件下，开卷考试有独特的价值。有学者在“统计学原理”、“生物统计学”课程非标准化考核方式上做过研究和探索
不同考核方式的优劣对比，汇总后如
考核形式 |
缺点 |
优点 |
闭卷考试 |
重记忆能力、轻创新能力 |
公平 |
论文答辩 |
耗时较长、存在替写、代写现象 |
可激发学生的学习主动性、创新能力 |
开卷考试 |
试题开放性程度的调控较难；学生答题受时间限制、发挥受限 |
学生无记忆负担，兼顾公平；可考查对知识的运用能力、创新能力 |
实践实验考核 |
需要硬件条件支撑 |
可考查操作能力 |
撰写论文、报告答辩，这两种考核方式，优点是可促进学生的诸多能力培养，如：文献检索与阅读能力、写作表达能力等。缺点是其考核的内容较窄，常限定在某一个主题，需要学生投入的时间较长，难以识别学生的抄袭及替写行为。
实验实践考核方式，优点是可充分促进锻炼学生的动手操作能力，缺点是其考核侧重点在部分适合于实践操作的课程内容，对于偏理论的、非实验操作的内容，则鞭长莫及。
开卷考试考核方式，优点是通过开放性的问题引导、非标准化的答案设计，倒向引领学生的创新思维训练，把学生从记忆公式、刷题背答案的僵化学习模式中解放出来；从而学生可将本来用于记忆的时间投入到对知识的深度理解中，可通过拓展阅读和练习，实现对知识的融会贯通、灵活运用。缺点是囿于考试时间限制，学生或难充分发挥。面对过度开放的问题，学生可能会没有思路，或者是有思路，但不能在短时间内理清、表达出来，最终导致其真实水平不能完全发挥出来、不能被准确测试。
大规模在线课程开放平台运行以来，线上考试成为一种重要的考核形式。但是远程在线监考，难以完全监控学生的全部考试环境，无法监控其是否通过网络作弊、查阅资料等。在此情形下，与其闭卷考试不如进行开卷考核，让学生即使翻阅材料仍然不能直接得到答案。从而达到考核其综合运用知识能力的目的。
统计学是基于数据的应用型科学。统计类课程的核心教学目标不在于让学生通过记忆公式获得高分，而在于让学生理解、掌握各类统计方法以解决实际的数据问题。由于开放性考核方式更适合测试学生的应用能力，而不是记忆能力，所以开放性考核方式值得引入到统计学课程的考核体系内，并作为评价标准之一。
在以上背景下，统计类课程的教学模式、考核方式逐步受到关注和研究
此研究将重点聚焦在开卷考试这一考核形式，研究目的是探索统计类课程期末开卷考核方式的可行性，验证开放性考核能否测试学生的创新思维能力，提炼开放性试题设计的关键要素如题型、知识点等，整理开放性考核方式中的问题、难点，拓展完善考核方式。
研究的具体实施从两门课程开展，一是对概率论与数理统计课程进行了线上开卷考试，二是对多元统计分析课程进行了线下开卷考试和论文报告答辩，最后与历史班级对比分析，总结评价开放性考核的效果。为方便比较，下文仅就开卷考试的实施和结果进行分析。
分别选取概率论与数理统计和多元统计分析两门课程，进行开放性试卷设计、开卷考试、成绩分析、答案分析。
概率统计开放性试卷设计为：20道单选题，4道大型计算题。共设计20套平行试卷，难度相同、知识点相同，全程网络在线开卷考试、在线监考，允许翻阅纸质材料，考试时间90分钟。
概率统计课程组重点设计了以下开放性题目类型。
1) 错题改正。让考生将错误的试题改正，考核知识点为概率分布的规范性。因错题的改正方式不唯一，所以答案具有开放性。
2) 一题多解。让考生完成近似概率计算，涉及的解题方法为二项分布近似泊松分布，二项分布近似正态分布，中心极限定理等。以上方法不唯一，答案具有开放性。
3) 开放性数据分析。让考生对数据进行统计分析，涉及知识点为数理统计的基本概念，参数估计，假设检验。只给出数据，让考生计算某随机事件的概率，但并没有指定具体的统计方法，解题思路具有开放性。
4) 探索性模型建立。让考生对所提供的数据进行统计建模及预测，涉及知识点为一元线性回归模型、相关系数。题目中没有限定模型范围，解题方法具有开放性。
多元统计分析开卷试题设计为：填空题5道，判断5道，计算3道，论述1道，设计题2道。在规范考场开卷考试，允许翻阅纸质材料，考试时间100分钟。
多元统计分析课程组重点设计了以下开放性试题。
1) 多观点论述题，让考生论述数据标准化的适用条件、优缺点、对统计分析结果的影响，涉及知识点为数据标准化的方式与条件。不同统计方法、数据背景需要的标准化条件不同，该题考查学生的思辨能力、表达能力，答案具有开放性。
2) 开放性实验设计题，让考生进行自主实验设计，涉及知识点为主成分分析等。题目中没有指定实验设计的数据背景，但要求数据类型、所提问题、结果解释必须合乎主成分分析的规范。比如：所设计实验中的样本量需至少达到30个，指标数至少达到5个。该题考查学生的应用能力，实验设计的具体内容，具有开放性。
3) 创新性方法设计题，涉及知识点为判别分析等。要求考生根据教材中所学方法，进行改进、或重新设计一种新的判别方法。该题考查学生的创新能力，此题较难，得分率很低。
对开卷考试的结果进行分析，一是分析学生答案，重点看学生答案中是否有创新性思考的结果出现；二是成绩分析，看试题命题难度是否得当；三是与历史班级的对比分析，判断开卷考试与闭卷考试的差异。
从考试结果看，学生在应对开放性考核过程中发挥了学习主动性、培养了创新意识。具体分析如下。
学生答案中呈现出了新的解题思路和想法，虽然具有较大创新性的结论并不多，但他们的解题方向已经从封闭式答案向开放性答案转换。部分答案虽不深入、不系统，但已出现一些新思考的雏形。下面举出几个案例。
多元统计分析中最后一题，要求改进判别法。学生答案中有将经典方法简单组合的，有将传统方法局部改造的，但未有完全革新的方法。学生不能答出革新性的答案，一方面可能是受考试时间限制、难以发挥，另一方面可能与平时阅读量欠缺有关。此题的挑战度较高。
多元统计分析中倒数第二题，要求设计适合主成分分析的实验。不少同学给出了贴合实际的实验设计，例如以汽车品牌为样本、以汽车性能指标为变量的实验设计方案，就是一个考生给出的很合适的答案。类似的不同角度、不同场景的答案设计出现了很多，说明该题能较好地激发学生理论联系实际的意识。该题的难度适当，设计形式、作答效果较好。
概率论与数理统计中的题目，要求一题多解计算概率，有同学使用频率代替概率，但只是简单地算出了答案值，未能将结果用严格的概率论语言进行解释。若学生能指出“大数定律”作为理论基础，给自己的答案进行理论支撑，其结果会更圆满。此题具有高阶性，同一题目，可看到学生不同层次的回答。
成绩分析后发现，题目的开放性过度地高，会导致得分率较低；开卷考试成绩的方差比闭卷考试成绩的方差要小。
在实验班中，大多学生是初次参加开放性考试，因缺乏应对经验而导致成绩过低。但实验班的平时成绩执行过程性考核，大多同学能在平时中累积得到较高分数，这样由平时成绩加期末成绩构成的总体成绩得到了弥补。
概率论与数理统计的期末考试为线上开卷考试。考生132人，期末考试的平均成绩61.2分，最高分96分，最低分6分，标准差17.9分。整体成绩偏低，不服从正态分布。
90分以上占比为3.79%，60分~90分之间占比为50.76%，60分以下占比高达45.45%。其中低分比例占比过高，是因为此开放试题的难度较高，不少同学即使开卷翻阅材料仍然不能查到答案。一方面说明，学生未能适应开卷考试的形式，若以记忆、背题的方法应对考试则可能取得低分；另一方面说明，以开卷考试引导学生向开放思维转变需要时间和过程，不能一蹴而就、不能一次考试就实现。
多元统计分析的期末考试为线下开卷考试。考生96人，期末成绩的平均成绩是74.5分，最高分89分，最低分51分，标准差9.7分。成绩不服从正态分布，优秀率偏低。
60分以下占比9.09%，60分~90分之间占比90.91%，90分以上比例为0.00%。其中优秀率过低，卷面成绩没有90分以上者，原因是最后一道分值为15分的方法设计题开放性过高，该题要求考生设计一种课本教材中没有的、新的多元判别方法，结果没有同学能够真正设计出一种完整、全新的方法，导致这道题没有同学能够完全得分，该题的失分率在10分以上。其它题目的开放性、难度适当，得分率正常。试题的开放性过高，将导致得分率过低。这一现象说明开卷考试的设计并不简单，其开放性的调控在后续开放性考核中应予以注意。
将开卷考试成绩与历史闭卷考试成绩对比后发现，开卷考试的平均成绩比历史闭卷考试的平均成绩更低，但成绩波动更小。为保证同一级学生的考试公平，同一级学生考试只能是都开卷、或者都闭卷，所以此处的成绩对比是与历史班级对比。具体分析如下。
概率论与数理统计，往年闭卷考试的平均分为75.6分，标准差为18.5分，而开卷考试的平均分为61.2分，标准差为17.9分，对比说明开卷考试的平均成绩更低，但成绩波动性略小。
多元统计分析，往年闭卷考试的平均分为82.9分，标准差为10.5分，而比开卷考试的平均分为74.5分，标准差为9.7分，说明开卷考试的平均成绩更低，但成绩波动性比闭卷略小。
造成开卷考试的得分率更低的可能原因是：开卷考试的开放性让学生没有思路、对题型不熟悉，无从下手；部分题目的开放性过大、难度过高，而考试时间有限，学生难在短时间内做出解答，从而整体得分率低。
例如概率论与数理统计开卷考试中的一题多解类型题目，得分率最低，只有47.1%。此类题目恰恰是因为没有限定方法，从而让学生没有明确的解题方向，进而失分较多。多元统计分析开卷考试的难度整体适中，但最后一道改进判别方法的题目，得分率最低，只有55.3%。要提高优秀率，宜降低最后一题的分值，或降低其难度。另外，平时应该增加学生的阅读量，拓展其发散性思维，开卷考试才能发挥出更高水平。
造成开卷考试的成绩波动较小的可能原因是：由于可以携带材料参加考试，部分较简单的知识性题目，或能通过临时翻阅材料得到答案，即使不能直接得到答案，也可帮助其理解推理，从而离答案更近。这样开卷考试就会缩小考生之间成绩的差异，从而使衡量成绩波动性的方差更小。
经对统计类课程开放性试题设计、开卷考核以及考后分析可见，开放性考核可以激发学生的学习主动性和创新意识。开卷考试所侧重考查的思辨能力、应用能力，是闭卷考试不便于展开考查的。开卷考试的学生答案中可见更多的内容原创性、思维发散性的答案。下面就统计类课程开卷考试的设计要点做归纳总结。
在命题形式方面，适合作为统计类课程开放性考核的题型有：实验设计，错题改正，一题多解，方法改进等。
在命题内容方面，适合作为开放性考核的知识点，在概率论与数理统计中有：概率分布的规范性、二项分布的泊松近似、中心极限定理、参数估计等；在多元统计分析中有：主成分分析、判别分析等。
在命题难度方面，试题开放性的程度需要精心的调控，才可能取得良好的成绩效果。不能过度开放，否则学生会无从下手，从而整体成绩过低。比如多元统计分析最后一题，要求学生从零开始、完全重新设计一个判别方法，是过于困难的，开放性过高会导致学生失分过多。概率论与数理统计中没有明确提示方法的一题多解类型题目，也是如此情形。若能在开放性题目中，设置一个更具体的场景，给予更细致的条件和提示，再要求考生创新、改造方法，或许考生会取得更理想的成绩。
考核是教学过程中的最后一环，考核的形式和内容作为指挥棒，影响着教学过程的实施和学生学习的方向。此处统计类课程中的开放性考核作为一种探索尝试，验证了开卷考试可节省学生的复习记忆时间、淡化学生的背题刷题意识、激发学生的原创探索精神。由于考试时间、出题经验的限制，开放性考核在探索实验阶段难免遇到问题、有不足之处，需在不断调试中改进。
保持开放性考核的方向不变，为取得更好的教学效果，考核之外还需在平时课堂展开配套的综合训练，如文献阅读训练、思辨讨论训练、写作训练等。这些平时训练作为学生创新思维的一个个培育单元，作为过程性考核的一部分，再结合期末结课的开放性考核，可共同推进统计类课程面向“两性一度”的深度教学改革。
教育部产学合作协同育人项目：大数据分析实践教学示范基地建设(编号：220904838225241)；河北农业大学校级研究生公共课程建设项目：《多元统计分析与应用》(编号：1009203)；河北农业大学理学院课程建设项目：《多元统计分析》；河北农业大学第三批校级一流本科课程项目：《多元统计分析》(线下)。