本研究以某BEC考点的35名口试考官为研究对象,主要通过问卷调查并辅之以访谈的研究方法探讨BEC中级口试的反拨效应,包括考官对BEC中级口试的认识,BEC中级口试对考官的影响和影响评分的因素。研究结果表明,考官对BEC中级口试持肯定的态度,BEC中级口试对考官产生了积极的反拨效应。考官认为考官个人、考生与其搭档的水平差异、口试中按考号顺序组合搭档的施考形式以及其他非语言因素对其评分的影响较小。不过在施考过程中他们也遇到一些困难,如评分标准的自由度,评判的依据与尺度等。本研究期望为BEC中级口试的改进及其施考提供启示,为专门用途英语口语考试的相关研究提供参考。 This study conducted questionnaire survey accompanied by semi-structured interview on 35 speaking test examiners from a BEC test center to investigate the washback effect of speaking test of B2 Business Vantage, exploring examiners’ perceptions and the influence of speaking test of B2 Business Vantage on them. The findings indicate that the examiners hold positive attitude towards speaking test of B2 Business Vantage, and the test has exerted positive washback on examiners. According to the examiners, their scoring was limitedly influenced by examiners themselves, English proficiency discrepancy between candidates and their partners, the way of grouping partners by test numbers and other non-linguistic factors. However, the study explored some difficulties confronted by examiners during the test, such as variance in scoring criteria, evidence of scoring and measurement, etc. This study aims to provide some reference for the improvement of speaking test of B2 Business Vantage, test administration, and related study on ESP speaking English test.
杨宏波1,辜向东2,黄妍琪3
1重庆邮电大学,重庆
2重庆大学,重庆
3重庆第二师范学院,重庆
收稿日期:2020年1月13日;录用日期:2020年1月21日;发布日期:2020年3月13日
本研究以某BEC考点的35名口试考官为研究对象,主要通过问卷调查并辅之以访谈的研究方法探讨BEC中级口试的反拨效应,包括考官对BEC中级口试的认识,BEC中级口试对考官的影响和影响评分的因素。研究结果表明,考官对BEC中级口试持肯定的态度,BEC中级口试对考官产生了积极的反拨效应。考官认为考官个人、考生与其搭档的水平差异、口试中按考号顺序组合搭档的施考形式以及其他非语言因素对其评分的影响较小。不过在施考过程中他们也遇到一些困难,如评分标准的自由度,评判的依据与尺度等。本研究期望为BEC中级口试的改进及其施考提供启示,为专门用途英语口语考试的相关研究提供参考。
关键词 :BEC中级,口语考试,反拨效应,考官
Copyright © 2020 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
为适应我国经济和商业发展的迫切需求,1993年教育部考试中心和剑桥大学考试委员会联合在中国推出剑桥商务英语证书考试(Cambridge English: Business Certificates,简称BEC)。BEC是专为职场或即将进入职场的英语学习者所设计的国际商务英语资格证书考试,旨在考查应试者在真实工作环境中的英语交流能力(http://bec.neea.cn/html1/folder/1507/1856-1.htm)。该考试是一项语言水平考试,能准确反映考生的听、说、读、写四项技能以及英语实际运用能力。BEC考试主要分为BEC初级(B1 Business Preliminary),BEC中级(B2 Business Vantage)和BEC高级(C1 Business Higher)三个级别,包括笔试和口试两个独立部分。目前BEC考试在我国27个省、自治区、直辖市设有144个考点,考试每年在5月和11月举行。BEC国际认可度高,是众多知名跨国企业和国际高等院校评估应聘者和申请者语言能力的标准之一。1993年至今BEC考试在中国的考生人数逾百万,日益发展成为一项大规模、高风险考试。本研究是剑桥测试中心与重庆大学的国际合作项目“剑桥英语考试在中国的影响”的一部分,主要调查BEC中级口试对口试考官产生的反拨效应,对考生的反拨效应我们将另文撰写。
反拨效应(washback/backwash)又称反拨作用,通常指考试对教师和学生以及教和学产生的影 [
关于BEC考试的研究,现有文献主要涉及考试改革的调查和介绍 [
为了弥补上述不足,本文从考官的角度,调查BEC这一职业类英语证书考试的口语考试的反拨效应。
本研究主要调查BEC中级口试对考官产生的反拨效应,涉及以下研究问题:
1) 考官对BEC 中级口试的认识如何?
2) BEC中级口试的影响如何?
本研究的被调查者为某BEC中级口试考点的35名考官。被调查考官以女性为主(占77.1%),年龄主要集中在30~50岁之间(30~40岁占54.3%,41~50岁占42.8%),学历以硕士及以上学历为主(占77.1%)。整体上被调查考官任职资历较高,其中42.4%的考官有10年及以上担任考官的经历和经验,66.6%担任考官的年限为5年以上。但70%以上的考官都没有涉外商贸经历(见表1)。
背景信息 | 人数 | 比例 | |
---|---|---|---|
性别 | 男 | 8 | 22.9 |
女 | 27 | 77.1 | |
年龄 | 30~40 | 19 | 54.3 |
41~50 | 15 | 42.8 | |
50岁以上 | 1 | 2.9 | |
最高学历 | 本科 | 8 | 22.9 |
硕士及以上 | 27 | 77.1 | |
已任考官年限 | 2~5年 | 11 | 33.4 |
6~9年 | 8 | 24.2 | |
10年及以上 | 14 | 42.4 | |
是否有涉外 商贸经历 | 有 | 9 | 27.3 |
没有 | 24 | 72.7 |
表1. BEC中级口试考官的背景信息
本研究主要采用问卷调查辅之以访谈的研究方法。考官问卷主要包括里克特五级量表问题、多项选择题和填空题。问卷第一部分涉及考官的个人基本信息,如性别、年龄、教育背景、英语水平、担任BEC口试考官年限、是否有涉外商务的实践经验等。第二部分调查考官对BEC中级口试的认识;第三部分主要调查BEC中级口试对考官的影响。
调查问卷的设计主要参照《剑桥商务英语教师手册》 [
本研究的数据收集工作得到了某考试中心的支持,考官问卷在BEC中级口试结束后进行,共发放问卷35份,回收35份,其中有效问卷35份,有效率达100%。访谈是在调查问卷完成后进行。有17名考官参与了半结构式访谈。问卷调查数据通过SPSS19.0进行频数统计和描述统计分析,问卷的信度系数(Cronbach’s alpha)为0.935,说明问卷的内在一致性很好,信度很高。访谈数据主要用于定性分析和解释。
本研究调查了考官对BEC中级口试的考试时间、考试真实性和考试评分标准的认识。
BEC中级口试整体时长约14分钟,包含对话(Conversation),简短发言(Mini-presentation),话题讨论(Collaborative task)三部分。关于口试时间,考官认为BEC中级口试总体时长及各部分时长都比较合理,均值都在4以上,而且考官对此的认识比较一致,标准差均低于1 (见表2)。
N | Mean | SD | |
---|---|---|---|
总体时长 | 31 | 4.32 | 0.475 |
对话 | 35 | 4.23 | 0.646 |
简短发言 | 34 | 4.35 | 0.485 |
话题讨论 | 34 | 4.26 | 0.567 |
表2. 考官对BEC中级口试时长的看法
5 = 很合理,4 = 比较合理,3 = 不确定,2 = 不太合理,1 = 很不合理。
所谓真实性是指“语言测试任务的特征与目标语运用任务的特征之间是否对应” [
关于口试内容的真实性,考官总体上认为BEC中级口试内容与职场的真实情境比较一致,其中比较一致和很一致的比例为57.2%。认为一般的比例为40%。认为二者不太一致或很不一致的比例很小,占2.9% (见图2)。74.3%的考官认为BEC中级口试在很大程度上能考察出考生的职场英语水平(见图3)。
可见,总体上考官认为BEC中级口试具有真实性。
图1. 最能考查出职场英语水平的题型
图2. BEC中级口试内容与职场真实情境一致性
图3. BEC中级口试多大程度上能考察出考生的职场英语水平
评分标准是口语测试的重要组成部分,是衡量考生考试表现的重要依据 [
BEC中级口试的评分标准包括整体评分标准和分项评分标准,整体评分标准主要关注考生的整体表现,分项评分标准主要涵盖词汇、语法准确性,话语组织的流利程度,发音,互动交流能力四个方面。整体评分标准和分项评分标准都含0~5五个等级。参与谈话的考官根据整体评分标准给出印象分,不参与谈话的考官分项进行打分。
整体评分标准 | 分项评分标准 | |||||
---|---|---|---|---|---|---|
N | Mean | SD | N | Mean | SD | |
评分细项设置合理 | 33 | 4.27 | 0.517 | 31 | 4.10 | 0.651 |
可操作性强 | 32 | 4.13 | 0.492 | 32 | 4.03 | 0.740 |
评判的标准度高 | 33 | 4.15 | 0.442 | 31 | 3.90 | 0.746 |
评分等级差能真实反映考生 实际水平差异 | 32 | 4.06 | 0.435 | 32 | 4.03 | 0.695 |
能给予考官一定的自由度 | 33 | 3.82 | 0.727 | 31 | 4.03 | 0.706 |
表3. 考官对BEC中级口试评分标准的认识
5 = 完全同意,4 = 比较同意,3 = 不确定,2 = 不太同意,1 = 完全不同意。
本研究调查了考官对BEC中级口试评分标准的态度和认识。总体上,考官对BEC中级口试的整体评分标准和分项评分标准持肯定的态度,均值都在4左右(见表3)。考官认为BEC口试整体评分标准评分细项设置合理,可操作性强,评判的标准度高,评分等级差能真实反映考生的实际水平,而且评分标准能给予考官一定的自由度。
本部分主要从考官的角度分析BEC中级口试对考官产生的反拨效应及影响评分的因素。
本研究调查了BEC中级口试考官的任职经历对考官产生的影响。他们认为担任BEC中级口试考官的经历对其商务英语教学实践和测评实践产生了比较大的影响,均值接近4.5。口试考官的任职经历能够提高考试测评的专业素养,均值为4.41,能增加其职业成就感,均值接近4.0。60%的考官认为能促进其职业发展,均值为3.70 (见表4)。此外,考官认为该任职经历。总体上考官认为BEC中级口试对他们产生了比较正面的影响,91.4%的考官希望今后继续担任BEC口试考官。
N | Mean | SD | |
---|---|---|---|
有助于商务英语教学实践 | 34 | 4.47 | 0.615 |
提高考试测评的专业素养 | 32 | 4.41 | 0.712 |
增加职业成就感 | 33 | 3.94 | 0.933 |
促进今后职业发展 | 33 | 3.70 | 0.984 |
表4. BEC中级口试考官的任职经历对考官的影响
5 = 很大,4 = 比较大,3 = 不确定,2 = 比较小,1 = 很小。
本研究分别从考官、考生、施考形式、其他非语言因素4个方面对BEC中级口试评分的影响因素进行了调查。
考官是口语测试的重要参与者之一,考官个人的基本素质、职业素养和施考经验往往会对口试评分产生很大影响。本研究通过考官自评来判断考官产生的影响。由表5可见,几乎所有考官都认为个人基本素质高,施考得当,各项均值都在4.5以上。可以推断考官因素对BEC中级口试产生了积极的影响。通过上面关于考官背景资料的介绍可知,接近半数的考官都有10年及以上担任BEC考官的经历,66.6%的考官有5年以上的考官任职经历。此外,每次考试前,BEC口试考官要进行严格的培训。考官须通过剑桥大学的定标,即考官给样卷打分,然后与剑桥给定的基准分进行对照,误差在一分以内被认为合格。
N | Mean | SD | |
---|---|---|---|
指令明确 | 35 | 4.89 | 0.323 |
语速适中 | 35 | 4.71 | 0.458 |
营造了良好的交际环境 | 35 | 4.83 | 0.382 |
态度和蔼 | 35 | 4.94 | 0.236 |
给两位考生均等发言机会 | 35 | 4.83 | 0.382 |
发音标准 | 34 | 4.62 | 0.697 |
表5. BEC中级口试考官的自评
5 = 很同意,4 = 比较同意,3 = 不确定,2 = 不太同意,1 = 很不同意。
本研究调查的考生因素指考生与其搭档的水平差异对考官评分的影响程度。BEC中级口试第三个环节是话题讨论,要求两个考生相互配合,围绕给定的商务情景话题进行讨论,并进一步回答考官的提问。该环节主要考查考生与他人进行交际的能力,并以得体的方式进行谈判、对答等。因此,考生间的水平差异可能会对考官的评分产生影响。本研究分析了考官对此问题的态度和看法。约75%的考官认为考生与其搭档的水平差异对口试评分的影响比较小或很小。认为影响比较大的考官比例占25.7% (见图4)。
图4. 考生与其搭档的水平差异对考官评分的影响
BEC中级口试的第三个环节话题讨论要求两名考生共同就给定的商务话题进行讨论并回答考官的提问,按照考号顺序组合搭档是一种常见的考试方式。本研究调查了考官对这种组合方式的看法。67.7%的考官认为考生按照考号顺序组合搭档比较合理或很合理,26.5%的考官持不确定的态度(见图5)。可见,总体上考官认为BEC中级口试考生搭档组合方式合理。
图5. 考官对口试中按考号顺序组合搭档的看法
除了考官、考生和考生组合方式的因素可能会对考试产生影响外,口试中考生的非语言因素(例如手势、眼神交流、面部表情、信心态度、临场应变等)也是本研究调查的内容之一。97%的考官认为考生的非语言因素对评分的影响较小,很小或没有影响(见图6)。
图6. 考生非语言因素对考官评分的影响程度
此外,本研究还调查了BEC中级口试中的应试演练现象,一半以上的考官认为BEC中级口试的简短发言部分存在应试演练痕迹。接近三分之一的考官认为对话部分也存在较明显的应试演练痕迹(图7)。但是这种考试演练痕迹对考官评分的影响并不大,71.4%的考官表示即使发现学生有比较明显的应试演练痕迹,也会选择忽略此情形,会根据评分标准评判。
本研究还对17名考官在施考等过程中遇到的困难进行了访谈。访谈主要涵盖评分标准的制定与评分难度,施考环境,考试时间和薪酬4个方面。有考官指出,现有BEC口试评分标准给予考官的自由度不大,例如,在考生过度紧张时,考官给出提示问题的自由度较小。评分标准的可操作性方面也有一定的难度,主要体现在评判尺度不好把握,例如考官认为0.5分和1分之间的评判尺度难以把握。如果考生在考试过程中能够表达其观点或大意,但是语言的准确性不够高,语法错误多,表达不规范,考官在打分时很难在评分标准里找到相应的评判依据。这些都给评分造成了一定的困难。此外,考官表示,在定标培训过程中,剑桥考官对来自不同国家的考生的评判标准不一致。例如剑桥考官给一些非英语、西方国家的考生的基准分偏高,而给亚洲考生的基准分偏低,存在不公平现象。口试施考环境不理想也是考官施考过程中遇到的困难之一,主要表现在网速慢或者网络不稳定造成登录受阻。部分考官认为,虽然口试的总时间是明确的,但是在口试过程中很难掌控和把握各个环节的时间。有些考官指出,考试占用其周末的时间,但是薪酬待遇却不太理想。
图7. BEC中级口试有较明显的应试演练痕迹的环节
本文从考官的角度进行问卷调查与访谈,研究了考官对BEC中级口试的认识、BEC中级口试对考官的影响和影响评分的因素。总体上,考官对BEC中级口试持肯定的态度,认为BEC中级口试总体时长及各部分时长都比较合理,考试具有真实性,他们对BEC中级口试的评分标准比较肯定。
考官认为BEC中级口试对他们产生了比较正面的影响,这些对考官的影响包括对他们的商务英语教学实践、测评素养提升和职业发展等。考官个人的基本素质、职业素养、施考经验对BEC中级口试的评分产生了积极的影响,而考生因素包括考生与搭档的水平差异、考生与搭档的组合方式、非语言水平因素(例如手势、眼神交流、面部表情、信心态度、临场应变等)对考试的影响不明显。
此外,考官在施考过程中遇到一些困难,口试评分标准的自由度不大,评判尺度不好把握;网络不畅等原因造成施考环境不理想;口试过程中三个环节的时间较难把握;定标培训中存在不公平现象。另外,考试时间安排与薪酬不匹配。
本文基于对口试考官的调查,对BEC中级口试的反拨效应进行了分析,不仅补充了BEC反拨效应口试研究的空缺,而且为BEC口试的施考环境、评分标准的改进,以及考官的培训和考试时间的安排提供了参考,也为专门用途英语口试反拨效应相关研究提供了启示。
杨宏波,辜向东,黄妍琪. BEC中级口语考试的反拨效应——基于对考官的调查分析The Washback of B2 Business Vantage Speaking Test—An Investigation on Examiners[J]. 国外英语考试教学与研究, 2020, 02(01): 1-11. https://doi.org/10.12677/OETPR.2020.21001
https://doi.org/10.1093/applin/14.2.115
https://doi.org/10.1177/026553229601300302
https://doi.org/10.1177/026553229601300303
https://doi.org/10.1016/S0346-251X(02)00005-2
https://doi.org/10.1177/026553229601300305
https://doi.org/10.1007/978-3-319-70446-3_4
https://doi.org/10.1057/9781137449788_14
https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.2333-8504.2011.tb02277.x
https://doi.org/10.1002/j.2333-8504.2011.tb02277.x
https://doi.org/10.1017/CBO9780511733017