2020~2024年考研日语阅读部分的内容效度研究
Study on the Content Validity of Japanese Reading Comprehension in Nationwide Master’s Program Unified Admissions Examination from 2020 to 2024
摘要:随着高等教育制度的完善,研究生入学考试也越来越受到人们的关注。外语考试是研究生入学考试的重要一部分,因此参加考研日语科目的考生群体也很庞大。在考研日语中,阅读部分占总分的40%,其重要性不言而喻,具有重大的研究意义。为了更科学地评价考研日语的阅读部分,研究从内容效度的角度,分析2020~2024年考研日语阅读部分的语篇输入特征和预期回答特征,并对阅读理解的命题与备考提出适当的建议。
Abstract:With the improvement of higher education system, Nationwide Master’s Program Unified Admissions Examination has been attracting increasing attention. The foreign language examination is an important part of the examination, and the group of candidates who take the Japanese subject of the examination is also very large. In the Japanese subject, reading comprehension accounts for 40% of the total score, so its importance is self-evident. In order to evaluate the Japanese reading comprehension of the examination more scientifically, this paper will analyze the input characteristics and the expected response characteristics of the Japanese reading comprehension in 2020~2024 from the perspective of the content validity and will make appropriate suggestions for the propositioning and preparation of the Japanese reading comprehension of the examination.
文章引用:徐婧慧, 穆红. 2020~2024年考研日语阅读部分的内容效度研究[J]. 创新教育研究, 2024, 12(9): 292-299. https://doi.org/10.12677/ces.2024.129619

1. 研究背景

近年来,研究生入学考试的考生数量爆发式增长,截至2023年,8年间考研人数增加了将近2倍。这体现了该考试在我国的高等教育中发挥的作用和影响力逐渐增大。该考试的外语科目可以选考由教育部考试中心统一命题的日语科目,并且2023年已有220所以上的学校的研究生入学考试可以选考日语科目(非日语专业) (以下统称为“考研日语”)。这表明考研日语在研究生入学考试中发挥着举足轻重的作用。

阅读技能是外语技能的重要组成部分。而考研日语中阅读部分也颇受重视,其分数占全卷分数的40%,将近一半。为了使考试更加规范,需要对该考试进行科学地评价。而内容效度是评估一项测试的重要方法之一。Alderson (2000)[1]认为,内容效度是指项目对预测内容或行为范围取样的适当程度,考查的是测试内容(试题)是否具有代表性、是否覆盖了考试大纲中所规定的内容以及是否适合测试对象。

目前,利用内容效度评估考试的研究,主要集中在英语领域,日语领域明显存在落后。而关于日语测试的内容效度研究,主要以高考、专四、专八的试题为分析对象,分析试题的阅读、听力、基础知识等部分。然而,对近15年的考研日语的阅读部分的研究基本为0。因此,考虑到考研日语的重要性和进行内容效度分析的必要性,本文选取2020~2024年考研日语的阅读部分,进行内容效度分析。

2. 研究方法

2.1. 研究对象

考研日语每年开设1场考试,每场考试中有4篇阅读,每篇阅读有5个单项选择题。本研究以2020~2024年考研日语的阅读试题为研究对象,其中包含5套试题,20篇阅读理解和100道单项选择题。

2.2. 分析框架

Bachman,Palmer (1996)[2]提出了语言测试任务特征框架,该框架把任务特征框架分为5个部分,分别是测试环境、测试试题、语篇输入、预期回答、语篇输入特征和预期回答特征之间的关系。董杰,冷丽敏(2020)[3]认为,该任务特征框架不仅为语言测试的设计、开发和使用提供了理论依据,也成为研究内容效度验证的重要依据。因此,本研究以Bachman,Palmer (1996)[2]的框架为主要理论依据,结合《全国硕士研究生招生考试日语考试大纲:非日语专业》[4](以下简称《考试大纲》)在阅读方面的要求和建议,对所选的阅读理解语篇从“语篇输入特征”和“预期回答特征”两个维度进行定量分析和对比分析。具体的研究框架如表1所示。

Table 1.Analytical framework

1.分析框架

分析角度

具体的分析视点

语篇输入特征

词汇量

题材

易读性

预期回答特征

理解主旨要义

理解文中具体信息

理解文中的概念性含义

进行有关的判断、推理和引申

根据上下文推测生词的词义

理解文章的总体结构以及单句之间、段落之间的关系

理解作者的意图、观点或态度

区分观点、论点和论据

3. 研究结果

3.1. 语篇输入特征

3.1.1. 词汇量

词汇是理解文章和获取信息的重要组成部分。如果一篇文章没有词汇,就无法传达任何信息。因此,词汇在语言学习中被认为是非常重要的。在考试中,考生掌握词汇的程度直接影响到他们的阅读速度、获取信息的程度和解决问题的质量。《考试大纲》规定,考试由4篇阅读文章组成,阅读总量为4000字符左右。将2020~2024年的考研日语阅读试题进行整理,对其字数进行统计,得到了表2,如下所示。

Table 2.The vocabulary of each article

2.各篇文章的词汇量

第一篇

第二篇

第三篇

第四篇

总计

2020年

1032

1076

1134

1011

4253

2021年

960

1092

727

946

3725

2022年

948

1025

1145

1059

4177

2023年

939

1117

1141

1079

4276

2024年

1145

1185

992

1315

4637

平均数

1004.8

1099

1027.8

1082

4213.6

表2可以看出,2020~2024年研究生入学考试日语考试阅读理解部分的输入词汇量基本达到了《考试大纲》的要求,但各年之间存在差异。

具体来说,首先,对2020~2024年研究生入学考试日语考试阅读理解部分的词汇总量进行分析。2020~2023年的词汇输入量分别为4253个和3725个、2020~2023年的输入词汇量分别为4253、3725、4177和4276个字符,即4000 ± 300个字符,与《考试大纲》规定的词汇量基本一致。然而,2024年的输入词汇量为4636个字符,大大超出了《考试大纲》的要求。不过,由于每年阅读理解部分的作答时间是固定的,因此可以推测在词汇量方面会使2024年的考生感到更加困难。

其次,对2020~2024年研究生入学考试日语考试阅读理解部分每篇文章的平均词汇量进行分析。从表2所示的每篇文章的平均输入词汇量来看,每篇文章的平均词汇量为1000~1100个字符,略高于《考试大纲》规定的词汇量。这意味着考生在备考时,应准备1000~1100个字符的阅读篇章进行练习。

总体而言,最长的文章是2024的第四篇,共1316个字符。相比之下,最短的文章是2021年的第三篇,共727个字符。换句话说,2024年第四篇的词汇量大约是2021年第三篇的1.8倍,相差587个字符,差距相当大。这一巨大差异表明,文章的长度不是恒定的,而是不稳定的。

因此,在今后的试题中,除了要符合《考试大纲》的要求外,建议还要为每篇阅读文章设置一定的词汇长度范围,过长和过短的文章都不利于评估学生的阅读理解能力。

3.1.2. 题材

题材是指艺术作品或学术研究的主题。李筱菊(2001)[5]认为,文章题材的分类具体有7类:日常生活类、人物与社会生活类、经济与贸易类、社会科学类、艺术与人文类、自然科学与技术类、世界与民族类。董杰和冷丽敏(2020)[3]将日语专业四级考试的听力文本分为12个主题。《考试大纲》规定:“考生应能读懂不同类型的文字材料,包括信函和杂志上的文章,同时还能读懂与自身学习或工作有关的文献、技术说明的产品介绍等。”参照上述分类方法,本文将2020~2024年研究生入学考试日语考试阅读文本的科目分为以下几类。

表3显示,数量最多的题材是日常生活、人生哲学和社会文化,各题材占比为25.00%,共占75.00%,即每年一篇。也就是说,在六个科目中,这三个题材占了大多数。研究还发现,教育题材占总数的15.00%,即每年有0.60篇。此外,数量最少的题材是自然环境和科学技术,这两个题材各占比5.00%,并且只在2020年第一篇和2024年第三篇出现过。

Table 3.Quantitative statistics of various subjects

3.各题材的数量统计表

教育

日常生活

自然与环境

人生哲学

社会文化

科学技术

2020年

0

1

1

1

1

0

2021年

1

0

0

1

2

0

2022年

1

2

0

0

1

0

2023年

1

1

0

2

0

0

2024年

0

1

0

1

1

1

总数(篇)

3

5

1

5

5

1

比例

15.00%

25.00%

5.00%

25.00%

25.00%

5.00%

从上述规定可以得出,考试考查的文章应以科学技术为重点,并辅以各种类型的题材。然而,从数据来看,对于科学技术题材的文章考查得最少,这是与《考试大纲》的规定相悖的。

因此,建议今后要根据《考试大纲》的规定,一定程度地增加科学技术题材的文章数量。此外,应该让题材尽可能多样化,以达到均衡地对各题材进行考查的效果。

3.1.3. 文章易读性

李绍山(2000)[6]认为,易读性指文本易于阅读和理解的程度,解决易读性的关键问题是如何对文本的易读性进行科学准确地测量,它对阅读理论和阅读教学具有重要的实践意义。

在日语文本研究中,李在镐开发的jReadability系统为衡量日语文本的可读性提供了线索。在该系统中,李在镐(2016)[7]利用日语教科书语料提出了基于多元回归分析的可读性公式,并测定了文章的易读性分数。这个分数对应了7个易读性等级,分别是:初级前半(非常简单)、初级后半(简单)、中级前半(中等)、中级后半(较难)、高级前半(难)、高级后半(非常难)和超级(特别难)。

因此,为了阐明研究对象的可读性,本研究将所研究的20篇文本导入jReadability,得到了以下数据。(“2020-1”指2020年第1篇阅读,下同。)

表4表5显示了这20篇文章的易读性情况。分数越低,说明文章越难,分数越高,则说明文章越容易。

Table 4.Readability scores of articles and their corresponding grades

4.各文章的易读性分数及其对应等级

文章编号

易读性分数

易读性等级

文章编号

易读性分数

易读性等级

2020-1

2.23

上级前半

2022-3

1.04

上级后半

2020-2

0.45

超级

2022-4

3.24

中级后半

2020-3

3.22

中级后半

2023-1

2.58

中级后半

2020-4

3.58

中级前半

2023-2

3.25

中级后半

2021-1

2.84

中级后半

2023-3

2.87

中级后半

2021-2

3.91

中级前半

2023-4

3.95

中级前半

2021-3

3.46

中级后半

2024-1

1.76

上级前半

2021-4

3.75

中级前半

2024-2

3.00

中级后半

2022-1

3.69

中级前半

2024-3

2.73

中级后半

2022-2

2.63

中级后半

2024-4

3.94

中级前半

Table 5.The average legibility scores of articles and their corresponding grades by years

5.毎年的文章平均易读性分数及其对应等级

易读性分数

易读性等级

2020年

2.66

中级后半

2021年

3.54

中级前半

2022年

2.84

中级后半

2023年

3.25

中级后半

2024年

3.00

中级后半

表4所示,这20篇文章的易读性分数范围在0.45~3.95之间,即都处于“中级前半”等级以上。通过计算可以得出,50%的文章的易读性等级为“中级后半”,并且从表5可以看出,除2021年外,其他年份文章的平均易读性等级都为“中级后半”。而李在镐(2016)[7]对于“中级后半”难度的具体描述是这样的:“可以大致理解有一定专业性的文章,几乎无障碍地理解日常生活层面的文章”。

此外,《考试大纲》指出,“考试评价的标准是高等学校非日语专业本科毕业生能达到的及格或及格以上水平”,“考生应能与自身学习或工作有关的文献、技术说明的产品介绍等”。由此可以推断作为研究生备考考生,应该能够阅读专业文本和文献,并能大致把握对与自己研究相关的文章内容。而李在镐(2016)[7]对于“中级后半”的难度规定也符合《考试大纲》要求的难度。

因此,可以推断,这20篇文章符合《考试大纲》的规定,即在文章易读性方面的内容效度较高。

3.2. 预期回答特征

Bachman,Palmer (1996)[2]认为,预期回答是指命题者试图通过书面指示、设计任务或通过所提供的篇章输入,来引起语言的使用或者生理反应。Alderson (2000)认为,阅读测试中,阅读行为可以分为三类,分别是阅读技能、阅读能力和阅读策略。命题者设置阅读目的,就是通过书面形式,在相应的理论框架中,测试出要求考生应该具有的阅读能力。李筱菊(2001)[1]认为,在设置阅读试题时,重点不是语言本身,而是考点在哪里,分析出语言的运用功能,从而把控住质量这个关键点。

表1中列举了《考试大纲》规定考查的8种技能。刘粉丽,李家祥(2011)[8]以2002~2011年日语专业研究生入学考试为研究对象,分析了阅读理解试题及考查的技能,通过举例厘清了试题与技能的对应关系,并构建了相应的分析模型。因此,本研究参考刘粉丽,李家祥(2011)[8]的分析方法,将2020~2024年研究生入学考试阅读理解部分的设问按照考查的技能进行分类,如表6所示。

刘润清,韩宝成(1991)[9]指出,阅读能力基本可以分为高层能力和低层能力两部分,并阐明了包含了哪些能力。高层能力聚焦于阅读文本的深层含义,旨在考查考生的综合情报获取能力,是比较难的能力。而低层能力指对更具体的语言能力的掌握,比较简单。低层能力是保证阅读理解得以进行的基础,而人们一般会把测试的着眼点放在对考生高层能力的测量上。据此,可以将上述8点技能分类,可以提看到,第(1)、(4)、(7)、(8)点技能属于高层技能,而第(2)、(3)、(5)、(6)点技能属于低层技能。

表6所示,总体来讲,这100道题目共考查了7种技能,即没有考查第(8)点技能。另外,每年的试题都只考查了4~6种技能,没有一次考试考查了所有技能,这表明对技能的考查有些偏颇。

Table 6.Corresponding relationship between examination skills and questioning

6.考查技能与设问的对应关系

考查技能

设问数量(个)

2020年

2021年

2022年

2023年

2024年

共计

1) 理解主旨要义

3

0

1

1

3

8

この文章のタイトルとして、もっともふさわしいものはどれか。(2024年第35问)

2) 理解文中具体信息

6

5

5

5

8

29

日本人の言う「はい」について、この文章の内容に合っているものはどれか。(2021年第40问)

3) 理解文中的概念性含义

0

0

1

0

0

1

文中の「伝統的空間処理法」とは、どんな方法か。(2022年第27问)

4) 进行有关的判断、推理和引申

9

8

9

11

7

44

文中に「編集部に言われて迷った」とあるが、それはなぜか。(2022年第36问)

5) 根据上下文推测生词的词义

0

0

0

1

0

1

文中の「水掛け論」とは、どういうことか。(2023年第21问)

6) 理解文章的总体结构以及
单句之间、段落之间的关系

2

2

2

1

1

8

文中の(ア)に入れるものはどれか。

[A]まして[B]そこで[C]すると[D]しかし(2020年第22问)

7) 理解作者的意图、观点或态度

0

5

2

1

1

9

筆者は、正しい理解のためにはどのようなことが必要だと言っているか。(2023年第25问)

8) 区分观点、论点和论据

0

0

0

0

0

0

具体来看,首先,对第(4)点技能的考查最多,占总数的44%,这表明它是最受重视的技能。如前所述,第(4)点技能属于高层技能,因此这一现象反映考试能够很好地选拔高水平的考生。

其次,对第(2)点技能的考查第二多,占总数的29%。如上所述,这一技能被认为是低层技能,因为考生基本可以通过选项在文中直接找到正确答案,所以比较简单。对第(2)点技能的考查较多,可以适当地调整考试的难度。

一般来说,高考日语考试的阅读理解部分最常考查的是第(2)点技能,其次才是对第(4)点技能的考查(张梦丹,2022[10])。因此可以看出,考研日语侧重于难度较大的第(4)点技能,这体现出了考研日语和高考日语的考试目的与对象的显著不同,也能够更明显地区分考生水平。

另外可以看到,对第(1) (6) (7)点技能考查略少,分别占总分的8%、88%和9%。如果能够完全均衡地考查这8项技能,则各技能考查比例在12.5%为理想状态。因此,对第(1) (6) (7)点技能考查虽略低于理想状态,但由于它们几乎每年都会被考查到,因此可以认为这些技能所占的比例属于基本可以接受的范畴。

此外,除了第(8)点技能未被考查外,第(3) (5)这两项技能的考查是最少的,100道题目中只有一道考查了这两项技能。然而,如果不能全面地考查《考试大纲》中规定的所有技能,或者对每种技能的考查不够均衡,那么也会导致考生在备考时只注重准备部分技能,而不是所有技能。这对教师和考生的教与学都是不利的,因此建议今后对于8种阅读技能的考查更加均衡一些。

另外,根据统计,研究对象中对高层技能的考查比例占69%,对底层技能的考查比例为31%。因此可以推断,该考试更加重视对高层技能的考查,这也符合该考试作为硕士研究生选拔考试地目的。总而言之,数据分析表明,2020~2024年考研日语阅读理解部分所考查的技能的内容效度较高。

4. 结论与建议

4.1. 结论

本研究参照《考试大纲》,从语篇输入特征和预期回答特征两个方面,对2020~2024年考研日语阅读理解的词汇量、题材、易读性、考查的阅读技能等进行了分析,并得出了以下结论:第一,阅读词汇量适中,均在3700~4300字的范围内,符合《考试大纲》的规定。并且大部分文章词汇量在1000~1100字之间,字数波动不大,比较稳定。第二,文章的题材丰富多样,涵盖了教育、日常生活、自然与环境、人生哲学、社会文化、科学技术等。第三,易读性合理,20篇研究对象的易读性均在“中级前半”以上,平均易读性基本在“中级后半”以上。参考李在镐(2016)[7]对于“中级后半”的描述可以得出,易读性符合选拔硕士研究生的要求。第四,考查的阅读技能基本符合要求,每年均会考查4~6种考试技能,且以高层技能为主,低层技能为辅,故符合选拔硕士研究生的要求。

4.2. 建议

基于上述结论,针对考试命题和阅读教学方面可以提出以下建议。

首先,在考试命题方面:第一,应调整各类题材文章的比重,适当增加“科学技术”题材的阅读文章。数据分析与计算发现,2020~24年的阅读文章题材中,占比最小的是“自然与环境”和“科学技术”两类题材。然而根据《考试大纲》可知,考试本应侧重对于科学技术方面的考查,因此建议适当调整各类题材文章的比重。第二,应当增加对“理解文中的概念性含义”“根据上下文推测生词的词义”“区分观点、论点和论据”技能的考查。目前《考试大纲》共提到了8种技能,然而每年只考查了4~6种,因此对于阅读技能考查的覆盖面不够广,尤其是2020~2024年间对上述3种技能极少,没有做到均衡、全面。因此建议适当增加对上述3种技能的考察。第三,综合上述分析,建议命题者开发题库,在该题库中细化不同技能的考查目标,并根据考生的实际水平选择合适的文章并设计合理的题目。

其次,在阅读教学与备考方面,有以下建议:第一,据统计,2020~2024年的阅读测试的文章篇幅大多在1000~1100字之间,因此建议考生在备考时以这个字数区间的文章为素材进行针对性练习。第二,近年来,阅读的题材有“社会文化”题材的数量考查变少,“人生哲学”题材的数量考查变多的趋势。相较而言,考生一般会感到“人生哲学”题材的文章更为抽象,难度相对较大,因此考生可以进行一定的专项练习。第三,根据5年来文章的易读性平均分数,可以发现文章难度基本为“中级后半”,因此建议考生以该难度的文章作为主要的备考素材进行练习,辅之以一定数量的“中级前半”“上级”难度的文章进行练习,以达到备考的最佳效果。第四,在文章设问方面,由于近5年的试题主要以高层技能为主,特别是高层技能中“进行有关的判断、推理和引申”的考查比重最大,因此建议考生加大对此类设问的练习。由于这类题目的难度较大,且考试时间有限,因此也要掌握多种阅读技能,如略读、寻读、精读等。这样面对高层技能的题目时可以采取精读的方法,面对底层技能的题目可以采取寻读、略读等方法,提高效率及正确率。

参考文献

[1] Charles, A.J. (2000) Assessing English. Cambridge University Press.
[2] Bachman, L.F. and Palmer, A.S. (1996) Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford University Press.
[3] 董杰, 冷丽敏. 日语专业四级考试听力理解内容效度验证研究——基于文本材料的语言输入特征[J]. 日语学习与研究, 2020(3): 11-19.
[4] 教育部考试中心. 2023年全国硕士研究生招生考试日语考试大纲: 非日语专业[M]. 北京: 高等教育出版社, 2022.
[5] 李筱菊. 语言测试科学与艺术[M]. 长沙: 湖南教育出版社, 2001.
[6] 李绍山. 易读性研究概述[J]. 解放军外国语学院学报, 2000, 23(4): 1-5.
[7] 李在鎬. 日本語教育のための文章難易度に関する研究[J]. 早稲田日本語教育学, 2016(21): 1-16.
[8] 刘粉丽, 李家祥. 全国硕士研究生入学统一考试日语试卷阅读理解设问分析[J]. 日语学习与研究, 2011(5): 91-95.
[9] 刘润清, 韩宝成. 语言测试和它的方法[M]. 北京: 外语教学与研究出版社, 1991: 106-107.
[10] 张梦丹. 2017~2021年高考日语阅读理解内容效度研究[D]: [硕士学位论文]. 西安: 西北大学, 2022.

为你推荐




Baidu
map