教育实证研究在我国受到越来越多的关注,尤其自2015年起多方力量大力推动教育研究实证化。以往研究普遍发现我国教育实证研究在过去20年呈现增长趋势,但因取样范围小、判断标准单一等原因,其结果的参考性有所受限。为提供更加全面、高质量的教育实证研究评价,本研究采用系统随机抽样,对2012年到2021年全部重要教育期刊(包含CSSCI和北大核心来源期刊)所发表的35,784篇潜在实证研究进行了摘要和原文分析。结果发现:1) 相较于以往常用的关键词分析,摘要分析能更准确地判断研究的属性;2) 过去十年符合通用标准的教育实证研究的发表数量实际约占总数的15.6%,远低于以往研究汇报的相关数值;3) 2015年后,教育实证研究的发文增长率几乎没有变化。因此,亟待完善相关研究的投稿与评审机制、提供透明的评审规范和标准,以全面提升教育实证研究的发文数量与质量,促进教育实证研究在我国的深入发展,提升我国教育实证研究的国际影响力。 Empirical research has drawn increasingly attention in education field in China, especially since 2015 when numerous parties joined together to promote empirical research. Previous studies showed that the number of empirical studies in education went up in the past 20 years, however, the results might be limited due to small sample size and single evaluation criteria. The current study used a systematic random sampling method to analyze 35,784 potential empirical research articles published in all key education journals (including Core and C-SSCI Journals) from 2012 to 2021. The results showed that, 1) compared to keyword analysis, abstract analysis could more accurately determine whether a study was an empirical research; 2) the actual proportion of empirical research in education was approximately 15.6% in the past 10 years, much lower than the results from previous studies; 3) the growth rate of empirical research in education has remained almost unchanged before and after 2015. Therefore, it is urgent to improve the contribution and review mechanism of relevant research, provide transparent review norms and standards, so as to comprehensively improve the quantity and quality of documents of educational empirical research, promote the further development of educational empirical research in our country, and enhance the international influence of educational empirical research in our country.
教育实证研究在我国受到越来越多的关注,尤其自2015年起多方力量大力推动教育研究实证化。以往研究普遍发现我国教育实证研究在过去20年呈现增长趋势,但因取样范围小、判断标准单一等原因,其结果的参考性有所受限。为提供更加全面、高质量的教育实证研究评价,本研究采用系统随机抽样,对2012年到2021年全部重要教育期刊(包含CSSCI和北大核心来源期刊)所发表的35,784篇潜在实证研究进行了摘要和原文分析。结果发现:1) 相较于以往常用的关键词分析,摘要分析能更准确地判断研究的属性;2) 过去十年符合通用标准的教育实证研究的发表数量实际约占总数的15.6%,远低于以往研究汇报的相关数值;3) 2015年后,教育实证研究的发文增长率几乎没有变化。因此,亟待完善相关研究的投稿与评审机制、提供透明的评审规范和标准,以全面提升教育实证研究的发文数量与质量,促进教育实证研究在我国的深入发展,提升我国教育实证研究的国际影响力。
文献评价,教育实证研究,系统随机抽样,摘要分析
—A Systematic Random Selection Based on Large Sample
Yang Yang1, Zongfang Zhang2, Wangziyan Zhou3, Yulu Liu3, Yixin Wu4, Qian’er Ou5, Siqi Li3*
1Advanced Research Institute of Humanities and Social Sciences, Beijing Normal University at Zhuhai, Zhuhai Guangdong
2Normal College of Qingdao University, Qingdao Shandong
3College of Future Education, Beijing Normal University at Zhuhai, Zhuhai Guangdong
4Leyu College, Beijing Normal University at Zhuhai, Zhuhai Guangdong
5Huitong College, Beijing Normal University at Zhuhai, Zhuhai Guangdong
Received: Jan. 19th, 2024; accepted: Feb. 22nd, 2024; published: Feb. 29th, 2024
Empirical research has drawn increasingly attention in education field in China, especially since 2015 when numerous parties joined together to promote empirical research. Previous studies showed that the number of empirical studies in education went up in the past 20 years, however, the results might be limited due to small sample size and single evaluation criteria. The current study used a systematic random sampling method to analyze 35,784 potential empirical research articles published in all key education journals (including Core and C-SSCI Journals) from 2012 to 2021. The results showed that, 1) compared to keyword analysis, abstract analysis could more accurately determine whether a study was an empirical research; 2) the actual proportion of empirical research in education was approximately 15.6% in the past 10 years, much lower than the results from previous studies; 3) the growth rate of empirical research in education has remained almost unchanged before and after 2015. Therefore, it is urgent to improve the contribution and review mechanism of relevant research, provide transparent review norms and standards, so as to comprehensively improve the quantity and quality of documents of educational empirical research, promote the further development of educational empirical research in our country, and enhance the international influence of educational empirical research in our country.
Keywords:Literature Evaluation, Empirical Research in Education, Systematic Random Selection, Analysis of Abstract
Copyright © 2024 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
时代洪流把实证研究推向前沿,开展实证研究有利于提高研究的科学性,促进学科知识的完善和发展 [
教育实证研究经历了一个多世纪的发展,已建立起相对科学与完善的体系。自19世纪30年代,孔德提出实证主义,到20世纪三十年代,实证主义把客观经验作为获取知识的唯一来源,定量研究(同“量化研究”)取得长足发展 [
改革开放后,我国教育实证研究逐渐受到重视。1980年,刘松涛提出“教育科学的生命在于教育实验” [
尽管如此,在传统文化与思维方式等主观因素的制约下,以及实证研究论文审稿机制不完善等客观因素的限制下,我国教育研究目前仍以思辨研究为主,其中又以理论思辨为主 [
以往对教育实证研究发文数量趋势的研究,往往控制在小范围选定的教育期刊上,代表性上存在一定局限性。与此同时,以往研究对实证研究的判断标准,通常是基于论文与关键词库中关键词的匹配。换句话说,是计算机通过关键词判断一篇论文是否是实证研究,这样容易使实证研究占比的数值偏高。有鉴于此,本研究在以往研究的基础上,进一步扩充了实证研究关键词库,覆盖了目前教育研究领域的全部核心期刊与C-SSCI期刊(以下简称C刊),并在经过计算机关键词筛选后,对选定的实证研究的文献进行摘要阅读,提升实证研究的判断准确性。国标中认为摘要的具体内容包括研究目的、方法、结果、结论和其他这五个要素 [
1) 2012~2021年期间,我国教育研究领域的高水平期刊(核心期刊与C刊)中,实证研究数量占比是如何变化的?
2) 2012~2021年期间,我国教育研究领域的高水平期刊(核心期刊与C刊)中,依据文献摘要判断实证研究属性的效果如何?
3) 对比2012~2016与2016~2021两个时间阶段,我国教育领域实证研究的数量与摘要书写的规范性方面是否存在差异?
(1) 期刊筛选
本研究以2012~2021年教育研究领域的“中文核心期刊要目总览(简称核心)”和“中文社会科学引文索引(CSSCI)”收录的期刊文献为研究对象。文献筛选过程分为两步,第一步以2012~2021年“中文核心期刊要目总览”和“中文社会科学引文索引(CSSCI)”收录的110本教育类核心期刊与41本教育类C-刊为群体,筛选符合要求的期刊,选择标准如下:
a) 期刊在2012~2021年连续十年都被纳入“中文核心期刊要目总览”或“中文社会科学引文索引”;
b) 期刊所属领域是教育学领域(不包含体育学);
c) 期刊年均发文量不存在异常值(即小于总年均发文量四分位数的1.5倍)。
使用以上述标准为依据进行期刊筛选,共得到47本期刊。具体筛选流程见图1:2012年至2021年,“中文核心期刊要目总览”共有4个版本,110本教育类期刊;“中文社会科学引文索引”共有5个版本,42本教育类期刊;同时属于两个数据库的教育类期刊数量为41本。
第一轮筛选应用的标准为:在2012~2021年连续十年都纳入“中文核心期刊要目总览”或“中文社会科学引文索引”。连续10年均纳入上述两个期刊数据库的教育类期刊数量为59本。其中“中文核心期刊要目总览”的教育类期刊数量为56本;“中文社会科学引文索引”的教育类期刊数量为30本。同时属于两个数据库的教育类期刊数量为27本。第二轮筛选应用的标准为:期刊年均发文数量不超过总年均发文量的上四分位数的1.5倍。第一轮筛选出的59本教育类期刊在2012~2022年的总发文量为199,474篇,绝大多数期刊年均发文量为286~394篇。部分期刊的年均发文量远高于异常值估计(即上四分位数的1.5倍),通过对比这些期刊的类型(例如月刊、季刊、周刊等)以及期刊编辑部工作人员数量,共有12个期刊发文量疑似异常,没有纳入此次研究,剩余47本期刊为本研究的研究对象。其中“中文核心期刊要目总览”的教育类期刊数量为44本;“中文社会科学引文索引”的教育类期刊数量为28本。同时属于两个数据库的教育类期刊数量为27本。
入选的47本教育类期刊中,基于山东理工大学的期刊分类标准,《教育研究》为教育类排名第一的期刊,其余在一区的期刊为11本,二区期刊12本,三区期刊4本。在发文刊次上,半月刊3本,月刊24本,双月刊19本,季刊1本。在稿件接收范围方面,没有明确要求接收稿件范围的期刊有36本,占比76.6%。对稿件接受范围有要求,但要求不清晰的期刊有6本,占比12.8%。例如,《北京大学教育评论》要求“研究论文必须有创新性,内容充实完整,研究快报必须含有首创性成果,研究简报着重要求创新性,文献综述应由该领域内知名专家结合本人近年研究成果完成,要求有较强的前瞻性和指导性”;有明确稿件接收范围要求的期刊有5本,占比10.6%,例如,《教育与经济》的接收稿件范围为教育经济学研究的基本问题及我刊每年发布的“重点选题”等(详见官网)。在期刊投稿过程中,47本期刊的投稿界面均未对稿件类型进行区分(例如综述研究,实证研究等),具体结果见附录。
(2) 实证研究文献筛选
从2012到2021年,上述47本期刊总发文量为97,215篇,从中筛选实证研究文献的标准如下:
a) 文献发文时间在2012年1月1日~2021年12月31日。
b) 文献主题包含以下任意关键词:“系统综述、元分析、实证、量化/定量、质性/定性、调查/调研、实验、案例/个案、人类学、民族/人种志、扎根理论、现象学、叙事、田野调查、内容/文本、口述、抽样/样本、访谈、问卷/量表、数据、编码、描述、比较、相关、回归、因果、影响、中介、调节、SPSS、检验/评测”实证研究关键词(关键词分类标准见表1)。
图1. 期刊筛选流程图
研究方法层级 | 中文期刊关键词 |
---|---|
研究类型 | 系统综述、实证 |
研究方式 | (系统综述)、元分析、量化/定量、质性/定性 |
研究方法 | 调查/调研、实验、案例/个案、人类学、民族/人种志、扎根理论、现象学、叙事 |
数据收集方法 | 抽样/样本、数据、内容/文本、访谈、问卷/量表、口述、田野调查 |
数据分析方法 | 编码、描述、比较、相关、回归、因果、影响、中介、调节、SPSS、检验/评测 |
表1. 教育实证研究关键词搜索目录
以“中国知网”和“万方数据库”作为检索资源(包含了47本期刊在2012~2021年间全部发表的文献),使用上述两条筛选标准分别检索每一本期刊中的实证研究文献,并经过四位研究者的交叉检验验证,共得到35,784篇文献,占总发文量的36.81%。47本期刊的实证研究数量范围是8.65%~66.82% (详细情况见附录)。
本研究主要对样本期刊实证研究论文数量、实证研究论文占比、以及实证研究的摘要内容进行分析与描述统计,得到近10年教育类期刊实证研究论文占比及其年度分布,并探索通过关键词检索和阅读摘要来判断实证研究的准确性。47本期刊在2012~2021年期间发表的实证研究文献的数据均有“中国知网”和“万方数据库”以查新(引文格式)形式导出,数据包括每篇文献的作者、题名、文献来源、出版年份、出版卷、出版期次、所在页码和摘要。进行摘要阅读的文献则从全部35,784篇文献中,使用系统随机方式分两次各提取10%的文献,共记7183篇文献。提取出的文献使用Excel进行管理和阅读,共四位研究者参与阅读题目和摘要,以判断文献是否属于实证研究,另外两名研究者随机抽取了其中10%的文献交叉检查,除无法判断是否为实证研究的摘要外,一致率为100%。通过标题和摘要无法判断是否为实证研究的文献,研究人员则通过阅读全文来进一步判断。
从2012年~2021年,实证研究平均占比整体呈上升趋势,从2012年的34.94%到2021年46.22%的,且期刊间的差异较大。其中,7本期刊在2012至2021年,实证研究发文占比上呈明显上升趋势,且实证研究占比均值超过60%。以实证研究占比最高的《远程教育杂志》为例,实证研究占比从2012年的47.54%上升至2021年的85.29%。18本期刊实证研究年发文量占比平均在40%~60%之间,且整体呈上升趋势,以《民族教育研究》为例,实证研究年发文量占比从2012年的34.48%上升到2021年的51.05%。20本期刊实证研究年发文量占比的均值在20%~40%之间,整体上也呈现上升趋势。另外,《清华大学教育研究》和《比较教育研究》年实证研究年发文量占比变化幅度较稳定,基本保持在30%到40%之间。有两本期刊,《中国高等教育》和《历史教学》的实证研究占比在20%以下,其中《中国高等教育》的实证研究年发文量占比呈下降趋势。
每本期刊中提取出来的阅读摘要的实证研究数量见附录。首先,在35,784篇通过关键词检索出的实证研究中,系统综述类研究(包含定性系统综述与元分析)共有199篇。由于系统综述类研究通常价值较高且数量稀少,结果单独呈现在这里。其中,摘要内容清晰明确,可以确定为系统综述的文献数量为136篇,不属于系统综述的文献为52篇。其余11篇文献的摘要在阅读后无法判断是否为系统综述研究,通过全文阅读后,其中3篇属于系统综述研究。因此,最终确定为系统综述的文献共139篇,约占实证研究文献数量的0.4%。
第一轮通过系统随机方式提取了3585篇实证研究文献(10.02%),每本期刊提取文献的数量见附录。通过阅读这3585篇文献的题目和摘要,研究者发现,摘要内容清晰明确,可准确判断研究类型的文献为3369 (93.97%)篇,无法通过摘要判断研究类型的文献为216 (6.03%)篇。摘要清晰的3369篇文献中,实证研究为1502 (44.58%)篇,非实证研究为1867 (55.42%)篇。无法通过阅读摘要进行判断的216篇文献中,原文确定是实证研究的数量为77 (35.65%)篇,非实证研究的数量为139 (64.35%)篇。最终通过摘要和原文阅读,实证研究合计1579 (44.04%)篇。结果详见表2。
第二轮采用系统随机方式在余下的文献中再抽取3598篇(10.05%)。发现摘要内容清晰明确,可准确判断研究类型的文献为3414 (94.89%)篇,其中实证研究文1412篇(41.36%),非实证研究2002篇(58.64%)。无法通过阅读摘要进行判断的185篇文献中,原文确定为实证研究的数量为79 (42.70%)篇,非实证研究数量为105篇 (56.76%)。最终通过摘要和原文阅读,实证研究合计1488 (41.44%)篇。结果详见表2。
自2016年实证研究开始受到更为广泛的关注,通过对比两轮系统随机抽取的文献中,2012~2016年的实证研究数量与2017~2021年的实证研究数量,可以看出其中是否存在差异,同时也是对系统随机抽样的交叉检验。结果发现,两轮抽取的7183篇文献中,2012~2016年产出的文献共3383篇,2017~2021年产出的文献共3800篇。2012~2016年的3383文章中,摘要内容清晰明确,可准确判断研究类型的文献为3222 (95.24%)篇。其中实证研究文献1396 (43.33%)篇,非实证研究文献1826 (56.67%)篇。无法通过阅读摘要进行判断的161篇文献中,原文确定为实证研究的64 (39.75%)篇,非实证研究97 (60.25%)篇。实证研究总计1460 (43.16%)篇。
2017~2021年的3800篇文献中,摘要内容清晰明确,可准确判断研究类型的文献为3561 (93.71%)篇,其中实证研究文献1518篇(42.63%),非实证研究文献2043篇(57.37%)。无法通过阅读摘要进行判断的239篇文献中,原文确定为实证研究的92 (38.49%)篇,非实证研究147篇(61.51%)。实证研究总计1488 (42.37%)篇。结果详见表2与图2。交叉检验中文献数量与抽取过程中完全一致。
第一轮抽取 实证研究 3585篇(10.02%) | 第二轮抽取 实证研究 3598篇(10.05%) | 2012~2016年 实证研究 3383篇 | 2017~2021年 实证研究 3800篇 | 合计 7183篇 | ||
---|---|---|---|---|---|---|
通过摘要判断 | 总量 | 3369 | 3414 | 3222 | 3561 | 6783 |
实证 | 1502 | 1412 | 1396 | 1518 | 2914 | |
非实证 | 1867 | 2002 | 1826 | 2043 | 3869 | |
通过原文判断 | 总量 | 216 | 184 | 161 | 239 | 400 |
实证 | 77 | 79 | 64 | 92 | 156 | |
非实证 | 139 | 105 | 97 | 147 | 244 | |
合计 | 实证 | 1579 | 1491 | 1460 | 1610 | 3070 |
非实证 | 2006 | 2107 | 1923 | 2190 | 4113 | |
实证占比 | 44.0% | 41.4% | 43.2% | 42.4% | 42.7% |
表2. 两轮筛选及2012~2016和2017~2021文章类型结果统计
两轮系统随机选择共抽取了7183篇文献,第一轮通过关键词库检索到的实证研究共3585篇,最终通过摘要和原文确定为实证研究的共1579篇(44.04%);第二轮通过关键词库检索到的实证研究共3598篇,最终通过摘要和原文确定为实证研究的共1488篇(41.44%),两轮抽取结果并未发现较大差异,实证研究占比相对稳定。将7183篇文章分为2012~2016年和2017~2021年两个时间段,结果显示2012~2016年通过关键词库检索到的实证研究共3383篇文章,最终通过摘要和原文确定为实证研究的文献为1460篇(43.16%);2017~2021年通过关的3800篇文献中,最终确定为实证研究的1488篇(42.37%)。在实证研究占比方面两个时间段也保持相对稳定。在全部7183篇通过关键词库检索出来的实证研究中,共有3070篇文献最终确定为实证研究,占比42.7%。因此,在2012~2021的10年间,通过关键词检索到的实证研究数量与实际数量存在较大差异,实证研究实际占比估计在15.7%左右(36.8% * 42.7% = 15.7%)。
图2. 两轮筛选和前后五年纳入文章总量及实证研究总量
从2012~2016年,教育期刊实证研究平均占比呈上升趋势,从2012年的14.9%增长到2016年的17.8%,均值16.6%,涨幅2.9%。2017~2021年,实证研究平均占比从17.8%增长到2021年的19.7%,均值19.0%,涨幅1.9%。由此可见,从2012~2021年,实证研究的发文量占比一直在小幅提升,但2017~2021年的实证研究涨幅略低于2012~2016年。
在47本教育期刊中,15本期刊在2012~2016年实证研究发文量占比和2017~2021年相比,有明显的上升趋势,涨幅超过3%,其中《开放教育研究》实证研究年发文量占比从2012~2016年的19.5%上升至2017~2021年的27.0%,上升了7.5%。有25本期刊在2012~2016年实证研究发文量占比和2017~2021年相比有小幅上升(低于3%),以《教育发展研究》为例,实证研究年发文量占比从2012~2016年的11.5%上升至2017~2021年的13.7%,上升了2.2%;有7本期刊在2012~2016年实证研究发文量占比和2017~2021年相比有下降趋势,下降范围在0.20%到3.2%之间,以《中国特殊教育》为例,实证研究年发文量占比从2012~2016年的29.2%下降至2017~2021年的28.2%,下降了1.0%。
通过使用实证研究关键词库检索,47本教育期刊实证研究平均占比逐年上升,从2012年的34.9%到2021年46.2%的。这与之前的研究结果基本一致。例如,朱军文和马银琦通过对样本期刊进行统计发现实证研究占比总体上每年稳步增长,从2015年的34.4%上升至2019年的38.6% [
尽管如此,当阅读使用关键词检索出来的实证研究的摘要时,发现其中只有约42.7%的研究可以确定为实证研究。而其余57.3%的非实证研究,通常只是呈现了实证研究的关键词,文章仍是以思辨为主,不提供实证证据。基于这一结果,我国2012~2021年教育实证研究实际占比可能低于15.7%,这意味着教育实证研究的数量可能远低于之前研究提供的数据,实证研究仍旧没有成为教育研究的可靠组成部分。
94.4%的文献摘要结构清晰,能够通过阅读摘要较为准确地判断文章是否为实证研究,这说明绝大多数研究的摘要能较好的反映文章的研究问题、方法和结果。龙娅丽通过对200篇论文摘要进行质量分析得出核心期刊的摘要写作质量普遍高于非核心期刊的质量,质量较高( [
2012~2016年教育实证研究增幅为2.9%,2017~202年的增幅为1.9%,没有出现明显变化。尽管自2015年以来,国内教育实证研究迎来了强大的推动力,但由于教育思辨研究的影响根深蒂固,加之疫情的缘故,很多实证研究难以实施。至2021年低,教育实证研究的数量并未发生预期中的明显升高,教育研究实证化的道路在数量上仍然任重道远。与此同时,教育实证研究的审查评价的标准与规范还没有完全建立起来,由此导致的实证研究质量问题也值得进一步关注。例如,钟柏昌发现“教育实证研究优秀成果奖”的40篇获奖论文,存在数据收集方法简单化与单一化、定性研究“标签化”、“重调查轻实验”、“统计主义”等失“真”现象 [
基于高质量的评价方法,包括大量样本的保证与严谨评价标准的选定,本文提供了近年来更全面、可信的我国教育实证研究现状反馈。根据研究结果可作出以下重要的结论判断:首先,我国教育实证研究在数量上仍旧欠缺,还无法有效推动基于证据的教育政策拟定。并且由于国际教育研究进行实证为基础的学术对话,中文实证研究持续的数量缺乏可能导致我国在国际话语权不够充足。其次,无论评价整体期刊还是某一文献,对比我国实证研究之间的质量仍存在参差,例如部分标注为实证研究的文献实不属于实证研究,或不符合国际通用标准。该结论也侧面反映,学界对实证研究的理论与实践目前没有达成共识,也仍缺乏清晰统一的评价标准;最后,从中文教育研究中辨别实证研究的角度,摘要分析相较于以往的关键词分析,结果更加有效可信。因此,过去基于关键词分析的实证研究数据结果能够被迭代更新。
基于上述研究发现,本研究认为,提高教育实证研究数量和提升实证研究在教育领域中的受重视程度,仍旧需要更为有效的方式与方法。首先,促进我国教育实证研究的快速发展进而推动教育政策的循证化,关键在于从政策导向方面认可实证研究在教育研究领域的重要意义,积极倡导基于实证研究的教育政策制定与实施;其次,从教育研究实践方面,扩大期刊对实证研究发表的接受程度与发文比例,同时建立更为完善的投稿机制,包括明确期刊稿件接受范围和投稿的研究类型,建立合理的实证研究审核与评价的标准,并进一步规范同行评议的审核机制。有鉴于此,未来研究可以关注教育实证研究的评审规则与标准的建立,以及基于实证的教育政策的评估,从多个角度切实促进实证研究的推广与提升,为我国教育实证研究的规范化发展提供理论与实践依据。
2022年国家自然科学基金青年科学基金项目“区域经济社会文化画像下的教育资源精准分配研究——基于地理信息系统的大数据分析”(编号:62107004)。
2023年广东省教育科学规划课题(高等教育专项)“基于师生双向评价的高等教育课程教学质量评估工具开发与验证”(2023GXJK677)。
2023广东省教育科学十四五规划项目“核心素养导向的高等师范院校职前科学教师培养研究”(编号:2022GXJK420)。
杨 洋,张宗芳,周王紫嫣,刘羽茹,吴苡欣,欧倩儿,李思琦. 我国教育实证研究十年发展趋势——基于大样本系统随机抽样的分析 Trend of Empirical Research in Education in China—A Systematic Random Selection Based on Large Sample[J]. 创新教育研究, 2024, 12(02): 717-729. https://doi.org/10.12677/CES.2024.122112
https://doi.org/10.1037/0003-066X.40.3.266
https://doi.org/10.16607/j.cnki.1674-6708.2019.13.006