Study on the Content Validity of Japanese Reading Comprehension in Nationwide Master’s Program Unified Admissions Examination from 2020 to 2024
With the improvement of higher education system, Nationwide Master’s Program Unified Admissions Examination has been attracting increasing attention. The foreign language examination is an important part of the examination, and the group of candidates who take the Japanese subject of the examination is also very large. In the Japanese subject, reading comprehension accounts for 40% of the total score, so its importance is self-evident. In order to evaluate the Japanese reading comprehension of the examination more scientifically, this paper will analyze the input characteristics and the expected response characteristics of the Japanese reading comprehension in 2020~2024 from the perspective of the content validity and will make appropriate suggestions for the propositioning and preparation of the Japanese reading comprehension of the examination.
Nationwide Master’s Program Unified Admissions Examination Japanese Exam
近年来,研究生入学考试的考生数量爆发式增长,截至2023年,8年间考研人数增加了将近2倍。这体现了该考试在我国的高等教育中发挥的作用和影响力逐渐增大。该考试的外语科目可以选考由教育部考试中心统一命题的日语科目,并且2023年已有220所以上的学校的研究生入学考试可以选考日语科目(非日语专业) (以下统称为“考研日语”)。这表明考研日语在研究生入学考试中发挥着举足轻重的作用。
阅读技能是外语技能的重要组成部分。而考研日语中阅读部分也颇受重视,其分数占全卷分数的40%,将近一半。为了使考试更加规范,需要对该考试进行科学地评价。而内容效度是评估一项测试的重要方法之一。Alderson (2000)
目前,利用内容效度评估考试的研究,主要集中在英语领域,日语领域明显存在落后。而关于日语测试的内容效度研究,主要以高考、专四、专八的试题为分析对象,分析试题的阅读、听力、基础知识等部分。然而,对近15年的考研日语的阅读部分的研究基本为0。因此,考虑到考研日语的重要性和进行内容效度分析的必要性,本文选取2020~2024年考研日语的阅读部分,进行内容效度分析。
考研日语每年开设1场考试,每场考试中有4篇阅读,每篇阅读有5个单项选择题。本研究以2020~2024年考研日语的阅读试题为研究对象,其中包含5套试题,20篇阅读理解和100道单项选择题。
Bachman,Palmer (1996)
分析角度 | 具体的分析视点 |
语篇输入特征 | 词汇量 |
题材 | |
易读性 | |
预期回答特征 | 理解主旨要义 |
理解文中具体信息 | |
理解文中的概念性含义 | |
进行有关的判断、推理和引申 | |
根据上下文推测生词的词义 | |
理解文章的总体结构以及单句之间、段落之间的关系 | |
理解作者的意图、观点或态度 | |
区分观点、论点和论据 |
词汇是理解文章和获取信息的重要组成部分。如果一篇文章没有词汇,就无法传达任何信息。因此,词汇在语言学习中被认为是非常重要的。在考试中,考生掌握词汇的程度直接影响到他们的阅读速度、获取信息的程度和解决问题的质量。《考试大纲》规定,考试由4篇阅读文章组成,阅读总量为4000字符左右。将2020~2024年的考研日语阅读试题进行整理,对其字数进行统计,得到了
第一篇 | 第二篇 | 第三篇 | 第四篇 | 总计 | |
2020年 | 1032 | 1076 | 1134 | 1011 | 4253 |
2021年 | 960 | 1092 | 727 | 946 | 3725 |
2022年 | 948 | 1025 | 1145 | 1059 | 4177 |
2023年 | 939 | 1117 | 1141 | 1079 | 4276 |
2024年 | 1145 | 1185 | 992 | 1315 | 4637 |
平均数 | 1004.8 | 1099 | 1027.8 | 1082 | 4213.6 |
从
具体来说,首先,对2020~2024年研究生入学考试日语考试阅读理解部分的词汇总量进行分析。2020~2023年的词汇输入量分别为4253个和3725个、2020~2023年的输入词汇量分别为4253、3725、4177和4276个字符,即4000 ± 300个字符,与《考试大纲》规定的词汇量基本一致。然而,2024年的输入词汇量为4636个字符,大大超出了《考试大纲》的要求。不过,由于每年阅读理解部分的作答时间是固定的,因此可以推测在词汇量方面会使2024年的考生感到更加困难。
其次,对2020~2024年研究生入学考试日语考试阅读理解部分每篇文章的平均词汇量进行分析。从
总体而言,最长的文章是2024的第四篇,共1316个字符。相比之下,最短的文章是2021年的第三篇,共727个字符。换句话说,2024年第四篇的词汇量大约是2021年第三篇的1.8倍,相差587个字符,差距相当大。这一巨大差异表明,文章的长度不是恒定的,而是不稳定的。
因此,在今后的试题中,除了要符合《考试大纲》的要求外,建议还要为每篇阅读文章设置一定的词汇长度范围,过长和过短的文章都不利于评估学生的阅读理解能力。
题材是指艺术作品或学术研究的主题。李筱菊(2001)
表3. 各题材的数量统计表
教育 | 日常生活 | 自然与环境 | 人生哲学 | 社会文化 | 科学技术 | |
2020年 | 0 | 1 | 1 | 1 | 1 | 0 |
2021年 | 1 | 0 | 0 | 1 | 2 | 0 |
2022年 | 1 | 2 | 0 | 0 | 1 | 0 |
2023年 | 1 | 1 | 0 | 2 | 0 | 0 |
2024年 | 0 | 1 | 0 | 1 | 1 | 1 |
总数(篇) | 3 | 5 | 1 | 5 | 5 | 1 |
比例 | 15.00% | 25.00% | 5.00% | 25.00% | 25.00% | 5.00% |
从上述规定可以得出,考试考查的文章应以科学技术为重点,并辅以各种类型的题材。然而,从数据来看,对于科学技术题材的文章考查得最少,这是与《考试大纲》的规定相悖的。
因此,建议今后要根据《考试大纲》的规定,一定程度地增加科学技术题材的文章数量。此外,应该让题材尽可能多样化,以达到均衡地对各题材进行考查的效果。
李绍山(2000)
在日语文本研究中,李在镐开发的jReadability系统为衡量日语文本的可读性提供了线索。在该系统中,李在镐(2016)
因此,为了阐明研究对象的可读性,本研究将所研究的20篇文本导入jReadability,得到了以下数据。(“2020-1”指2020年第1篇阅读,下同。)
文章编号 | 易读性分数 | 易读性等级 | 文章编号 | 易读性分数 | 易读性等级 |
2020-1 | 2.23 | 上级前半 | 2022-3 | 1.04 | 上级后半 |
2020-2 | 0.45 | 超级 | 2022-4 | 3.24 | 中级后半 |
2020-3 | 3.22 | 中级后半 | 2023-1 | 2.58 | 中级后半 |
2020-4 | 3.58 | 中级前半 | 2023-2 | 3.25 | 中级后半 |
2021-1 | 2.84 | 中级后半 | 2023-3 | 2.87 | 中级后半 |
2021-2 | 3.91 | 中级前半 | 2023-4 | 3.95 | 中级前半 |
2021-3 | 3.46 | 中级后半 | 2024-1 | 1.76 | 上级前半 |
2021-4 | 3.75 | 中级前半 | 2024-2 | 3.00 | 中级后半 |
2022-1 | 3.69 | 中级前半 | 2024-3 | 2.73 | 中级后半 |
2022-2 | 2.63 | 中级后半 | 2024-4 | 3.94 | 中级前半 |
易读性分数 | 易读性等级 | |
2020年 | 2.66 | 中级后半 |
2021年 | 3.54 | 中级前半 |
2022年 | 2.84 | 中级后半 |
2023年 | 3.25 | 中级后半 |
2024年 | 3.00 | 中级后半 |
如
此外,《考试大纲》指出,“考试评价的标准是高等学校非日语专业本科毕业生能达到的及格或及格以上水平”,“考生应能与自身学习或工作有关的文献、技术说明的产品介绍等”。由此可以推断作为研究生备考考生,应该能够阅读专业文本和文献,并能大致把握对与自己研究相关的文章内容。而李在镐(2016)
因此,可以推断,这20篇文章符合《考试大纲》的规定,即在文章易读性方面的内容效度较高。
Bachman,Palmer (1996)
刘润清,韩宝成(1991)
如
考查技能 | 设问数量(个) | 例 | |||||
2020年 | 2021年 | 2022年 | 2023年 | 2024年 | 共计 | ||
1) 理解主旨要义 | 3 | 0 | 1 | 1 | 3 | 8 | この文章のタイトルとして、もっともふさわしいものはどれか。(2024年第35问) |
2) 理解文中具体信息 | 6 | 5 | 5 | 5 | 8 | 29 | 日本人の言う「はい」について、この文章の内容に合っているものはどれか。(2021年第40问) |
3) 理解文中的概念性含义 | 0 | 0 | 1 | 0 | 0 | 1 | 文中の「伝統的空間処理法」とは、どんな方法か。(2022年第27问) |
4) 进行有关的判断、推理和引申 | 9 | 8 | 9 | 11 | 7 | 44 | 文中に「編集部に言われて迷った」とあるが、それはなぜか。(2022年第36问) |
5) 根据上下文推测生词的词义 | 0 | 0 | 0 | 1 | 0 | 1 | 文中の「水掛け論」とは、どういうことか。(2023年第21问) |
6) 理解文章的总体结构以及单句之间、段落之间的关系 | 2 | 2 | 2 | 1 | 1 | 8 | 文中の(ア)に入れるものはどれか。[A]まして[B]そこで[C]すると[D]しかし(2020年第22问) |
7) 理解作者的意图、观点或态度 | 0 | 5 | 2 | 1 | 1 | 9 | 筆者は、正しい理解のためにはどのようなことが必要だと言っているか。(2023年第25问) |
8) 区分观点、论点和论据 | 0 | 0 | 0 | 0 | 0 | 0 | 无 |
具体来看,首先,对第(4)点技能的考查最多,占总数的44%,这表明它是最受重视的技能。如前所述,第(4)点技能属于高层技能,因此这一现象反映考试能够很好地选拔高水平的考生。
其次,对第(2)点技能的考查第二多,占总数的29%。如上所述,这一技能被认为是低层技能,因为考生基本可以通过选项在文中直接找到正确答案,所以比较简单。对第(2)点技能的考查较多,可以适当地调整考试的难度。
一般来说,高考日语考试的阅读理解部分最常考查的是第(2)点技能,其次才是对第(4)点技能的考查(张梦丹,2022
另外可以看到,对第(1) (6) (7)点技能考查略少,分别占总分的8%、88%和9%。如果能够完全均衡地考查这8项技能,则各技能考查比例在12.5%为理想状态。因此,对第(1) (6) (7)点技能考查虽略低于理想状态,但由于它们几乎每年都会被考查到,因此可以认为这些技能所占的比例属于基本可以接受的范畴。
此外,除了第(8)点技能未被考查外,第(3) (5)这两项技能的考查是最少的,100道题目中只有一道考查了这两项技能。然而,如果不能全面地考查《考试大纲》中规定的所有技能,或者对每种技能的考查不够均衡,那么也会导致考生在备考时只注重准备部分技能,而不是所有技能。这对教师和考生的教与学都是不利的,因此建议今后对于8种阅读技能的考查更加均衡一些。
另外,根据统计,研究对象中对高层技能的考查比例占69%,对底层技能的考查比例为31%。因此可以推断,该考试更加重视对高层技能的考查,这也符合该考试作为硕士研究生选拔考试地目的。总而言之,数据分析表明,2020~2024年考研日语阅读理解部分所考查的技能的内容效度较高。
本研究参照《考试大纲》,从语篇输入特征和预期回答特征两个方面,对2020~2024年考研日语阅读理解的词汇量、题材、易读性、考查的阅读技能等进行了分析,并得出了以下结论:第一,阅读词汇量适中,均在3700~4300字的范围内,符合《考试大纲》的规定。并且大部分文章词汇量在1000~1100字之间,字数波动不大,比较稳定。第二,文章的题材丰富多样,涵盖了教育、日常生活、自然与环境、人生哲学、社会文化、科学技术等。第三,易读性合理,20篇研究对象的易读性均在“中级前半”以上,平均易读性基本在“中级后半”以上。参考李在镐(2016)
基于上述结论,针对考试命题和阅读教学方面可以提出以下建议。
首先,在考试命题方面:第一,应调整各类题材文章的比重,适当增加“科学技术”题材的阅读文章。数据分析与计算发现,2020~24年的阅读文章题材中,占比最小的是“自然与环境”和“科学技术”两类题材。然而根据《考试大纲》可知,考试本应侧重对于科学技术方面的考查,因此建议适当调整各类题材文章的比重。第二,应当增加对“理解文中的概念性含义”“根据上下文推测生词的词义”“区分观点、论点和论据”技能的考查。目前《考试大纲》共提到了8种技能,然而每年只考查了4~6种,因此对于阅读技能考查的覆盖面不够广,尤其是2020~2024年间对上述3种技能极少,没有做到均衡、全面。因此建议适当增加对上述3种技能的考察。第三,综合上述分析,建议命题者开发题库,在该题库中细化不同技能的考查目标,并根据考生的实际水平选择合适的文章并设计合理的题目。
其次,在阅读教学与备考方面,有以下建议:第一,据统计,2020~2024年的阅读测试的文章篇幅大多在1000~1100字之间,因此建议考生在备考时以这个字数区间的文章为素材进行针对性练习。第二,近年来,阅读的题材有“社会文化”题材的数量考查变少,“人生哲学”题材的数量考查变多的趋势。相较而言,考生一般会感到“人生哲学”题材的文章更为抽象,难度相对较大,因此考生可以进行一定的专项练习。第三,根据5年来文章的易读性平均分数,可以发现文章难度基本为“中级后半”,因此建议考生以该难度的文章作为主要的备考素材进行练习,辅之以一定数量的“中级前半”“上级”难度的文章进行练习,以达到备考的最佳效果。第四,在文章设问方面,由于近5年的试题主要以高层技能为主,特别是高层技能中“进行有关的判断、推理和引申”的考查比重最大,因此建议考生加大对此类设问的练习。由于这类题目的难度较大,且考试时间有限,因此也要掌握多种阅读技能,如略读、寻读、精读等。这样面对高层技能的题目时可以采取精读的方法,面对底层技能的题目可以采取寻读、略读等方法,提高效率及正确率。