ces Creative Education Studies 2331-799X 2331-804X beplay体育官网网页版等您来挑战! 10.12677/ces.2024.129604 ces-95852 Articles 人文社科 基于Peerceptiv互评系统的英语写作同伴回评态度研究
Exploring Perceptions of Peer Backward Evaluation in English Writing: A Study Based on Peerceptiv
重庆邮电大学外国语学院,重庆 03 09 2024 12 09 193 200 27 7 :2024 27 7 :2024 27 8 :2024 Copyright © 2024 beplay安卓登录 All rights reserved. 2024 This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/ 作为二语写作的重要教学手段,同伴互评研究蓬勃发展。但同伴回评的研究非常有限。文章以社会文化为理论依据,基于Peerceptiv同伴互评系统的54篇学术写作文本一稿、二稿以及460条同伴回评为研究语料,通过文本和数据分析,研究不同水平的学生在回评评语的语言特征及其对同伴评语的情感态度。结果显示,1) 高分组和低分组的学生在回评类型上具有一致性,其中认知成分最为丰富;2) 两组学生回评子类的出现频次差异显著。3) 高分组对同伴互评及同伴评语持更为积极的态度,认可同伴评语的价值并能自行提出修改方案;低分组的积极程度略低,态度更加模糊,且更依赖同伴给出直接的修改方案。
As a significant instructional technique in second language writing, research on peer feedback has flourished. However, studies specially focusing on peer backward evaluation are still limited. Grounded in sociocultural theory, this study utilized 54 academic writing texts from the Peerceptiv, the peer evaluation system, including first drafts, revised drafts, and 460 peer feedback comments, as research data. Through textual and data analysis, the study investigated the linguistic features of peer back evaluation comments and students’ emotional perceptions of peer comments. The results reveal that: 1) Students in both high and low-scoring groups demonstrate consistency in types of peer backward evaluation, with cognitive components being the most abundant; 2) Significant differences exist in the frequency of occurrence of subtypes of backward evaluation between the two groups of students; 3) Students in the high-scoring group exhibit a more positive attitude towards peer evaluation and peer feedback, recognizing the value of peer comments and being capable of proposing revision strategies independently. Conversely, students in the low-scoring group demonstrate slightly lower positivity, with more ambiguous attitudes and a greater reliance on peers for direct revision suggestions.
在线同伴互评,回评特征,二语水平,Peerceptiv
Online Peer Feedback
Backward Evaluation Characteristics Second Language Proficiency Peerceptiv
1. 引言

作为实现学生间相互交流与合作的重要手段,同伴互评被广泛运用于中国、美国、德国等大学的外语写作课程中 [1] [2] ,包括以英语学术写作(English Academic Purpose, EAP)课程。其中,异步性网络写作平台Peerceptiv的发展对线上同伴互评的实施起到推动作用,其四大核心功能(匿名互评、评价维度单、回评、评分准确性评估)的共同作用,在一定程度上提高了同伴互评的信度和效度问题 [3] 。目前已有研究基本肯定了在线同伴互评对写作效果的积极作用 [4] ,并就写作互评过程 [5] 和写作互评中的态度和感知 [6] 进行了探索。然而,目前的研究主要集中在同伴反馈评语中,对作者回评评语缺乏关注 [7]

作为对同伴反馈的回应,同伴回评这一过程指作者向审稿人提供审稿质量的反馈。 图1 显示了包含回评的同伴互评过程。常见的同伴互评包括作者完成写作任务的初稿,并交由同伴进行互评。同伴对原作者的初稿就内容、结构以及语言等方面提供修改意见,以辅助作者对初稿进行修改。作者回评是该流程中的一个额外步骤。作者在收到同伴的修改意见后,对该意见进行评分或反馈,以辅助同伴提高互评评语的质量。

Figure 1. A model of the peer assessment process including backward evaluation (adapted from Misiejuk&Wasson, 2021)--图1. 包括同伴回评在内的同伴互评过程(改编自Misiejuk和Wasson,2021)--

回评体现了作者对其所收到评语的态度,从而影响后续的修改以及最终的写作成果,值得进一步研究。本文将对比不同水平的学习者在学术写作活动中进行回评的评语特点并探究其原因。

2. 研究综述

同伴互评,又称同伴评价或同伴反馈,指学习者通过以小组的形式共同参与写作,并为同伴提供或从同伴处接收写作反馈的活动 [8] 。同伴互评既可以用于写作课程实施过程中的形成性评价,也可以用于课程的总结性评价,通过促进学习者之间关于学习的对话,激发学生的自我监控和自我评估技能,并帮助学生在英语写作任务的不同阶段提高写作表现。20世纪70年代起,同伴互评出现在国外的母语写作课堂,并很快被广泛使用 [4] 。这一教学方式在90年代引入中国,被使用在二语写作(尤其是英语写作)课堂中,相关研究也随之兴起。目前的同伴互评研究主要关注同伴欢迎的效能研究、对比研究以及优化研究。大部分研究肯定了同伴互评在二语写作教学中起到的积极作用,认为同伴之间,特别是二语水平非对称的同伴搭配,能有效打分,并促进文本修改和质量提升 [1] ;同伴评语和教师评语具有同样的促进作用 [9]

随着线上平台的搭建和完善,在线同伴互评也受到学界关注。其中,匹兹堡大学开发的Peerceptiv以其完善的细节设计、丰富的实践功能和较高的信度效度受到国内外教学实践和科研的欢迎。目前基于peerceptiv等线上同伴互评的研究着眼于互评过程 [10] [11] 、互评结果(有效性) [12] 、互评影响因素 [1] 以及互评态度与感知 [13] 研究。其中,同伴互评的态度和感知研究是目前该领域研究的热点和前沿,学者们就教师和学生对在线同伴互评的情感态度进行了调查,结果各不相同。早期研究中,学生对同伴互评持怀疑态度,认为同伴对文本的评阅正确率和一致性较低 [10] ,更加倾向教师反馈为主,同伴反馈为辅的学习方式 [14] ;近年来的研究结果则有所不同,学生对在线同伴互评持积极态度,认为这一活动能降低写作焦虑,收获写作建议 [12] [13]

之前的同伴互评研究主要依靠问卷、访谈、反思日志等方式探索学生(评价者)对同伴互评的情感态度,但是作为互评活动的重要一环,回评也是活动的一部分,同样能够更真实地体现学生对同伴给予的评语持何种态度,进而探索学生作为作者和被评价者对同伴互评这一教学形式的情感态度。作为互评的重要环节,文章作者对收到评价的反馈,即“回评”相关的研究相对来说仍然非常有限。目前的研究主要把回评作为中介变量,考察评语、回评、反馈采纳以及学术表现之间关系 [11] [15] [16] ,但是针对中国英语专业大学生,关注回评评语中情感态度都的研究仍然非常有限。作为二语习得的重要因素、学习者的情感态度影响语言学习的过程和结果 [17] ,值得进一步研究。因此本文试图探究不同学术水平的学生在同伴互评活动中针对收到的同伴评价,进行回评的评语特点,进而从互评的视角探索不同学生对同伴互评活动的情感态度。

3. 研究设计 3.1. 研究问题

基于对以往研究的梳理,本文聚焦同伴回评评语与互评活动中的情感态度,回答如下研究问题:

1) 不同写作水平学生的回评评语有无差异?

2) 不同写作水平学生对同伴评语的情感态度有无差异?

3.2. 数据来源

本文以国内某高校英语专业大二年级两个班的56名学生为实验对象,以大学一年级的英语基础写作课程的成绩(由平时成绩、阶段性测试成绩和期末闭卷考试成绩组成)分为高分组和低分组,以Peerceptiv为平台发布了两次写作任务。第一次任务过程中,教师组织学生观看Peerceptiv同伴互评培训视频,使学生熟悉平台的各项功能和使用方法,并提供评价清单,示范如何根据清单进行评价。通过第一次写作任务,学生熟悉了线上同伴互评的流程和评价方式。第二次任务发布后,学生以“初稿写作–同伴互评–修改二稿–同伴回评–终稿”的流程进行写作和同伴互评活动。在同伴互评的过程中,每个人会收到3位匿名的同伴互评,评语对照评价清单,以一致性(unity),支撑性(support),流利与连贯(cohesion & coherence)和句子写作技巧(sentence skills)为评价内容。最终删除未完成全部写作流程和任务的2人,共搜集到学生作文54篇,同伴评价620条,作者回评460条(以系统中的评价框为计数方式,每位学生可能给出多条评价和回评)。

3.3. 数据分析

首先对两组学生的作文最终成绩进行独立样本t检验,结果显示两个组的成绩具有显著性差异。其中高分组和低分组各27人,高分组共给予同伴回评252条,低分组共给予同伴回评208条。

然后将高分组和低分组的互评评语分别导入Nvivo 11.0,通过查询词频(已合并同义词),查看各个单词在不同组别出现的频率,并通过系统自动生成的词云产生直观印象。

其次是回评的编码。两名研究助手通过反复阅读评语和回评,并参考迈尔斯的态度结构和兰玉的编码方式 [18] ,结合实际的回评文本,对互评内容进行编码,将互评中涉及到的情感态度分为认知因素、情感因素和意向因素。编码完成后进行一致性检测,达到并对有争议的部分进行讨论,直至达成一致。

最后统计每种互评类型的出现频次,并使用SPSS 24.0进行曼惠特尼U检验,查看不同组别的学生在回评评语中的态度类型有无显著性差异。之后通过卡方检验统计不同组别学生的回评态度类别及其子类的出现频次,对高分组和低分组互评的态度类型和分布情况进行描述性分析,对高分组和低分组学生同伴回评的态度进行推理性分析。

4. 结果与讨论 4.1. 不同写作水平学生的回评评语有无差异?

1) 回评评语数量和内容结构

回评数量方面,在每组写作人数一样的情况下(各27人),高分组共搜集到回评252条,共计12,519词(每条平均约49.67词),低分组搜集到回评208条,共计8206词(每条平均约39.45词)。其中低分组有9名学生没有参与回评。

通过Nvivo词频查询,统计各个单词在不同组别出现的频率并生成词云,结果如 图2 。两组学生在互评内容上有一定相似性。其中,感谢(thank)在两组学生的回评中出现频次都是最高(加权百分比分别为高分组10.22%,低分组6.75%),suggestion (高分组3.22%,低分组3.12%)和useful (高分组2.79%,低分组4.55%)也经常出现,体现出学生对同伴评语回评丰富的情感因素。不同的是,高分组的回评中经常出现point (3.13%)。结合回评评语上下文分析发现,高分组学生对评语中提到的观点与支撑进行积极的反馈和回评,提现出对作文和段落的一致性(Unity)的关注。低分组关注details (2.40%),回评上下文经常搭配语法和词汇的修改出现,体现出该组学生对语言准确性和词汇多样性(sentence skills)的重视。

互评内容结构方面,高分组和低分组的回评内容都可以大致分为三类,认知成分、情感成分和行为意向成分,除了情感成分中的“不满”以外,每一个小类在两组学生的回评中都有所体现。且认知成分最多,情感成分次之,最少的是行为意向评价。回评评语使用模式上,高分组一般多个回评类型的结合,往往遵循“情感成分→认知成分(→行为意向成分)”的回评模式,而低分组的回评模式更为单一,常为单独的“认知成分”或“情感成分”,以及对不同同伴回复以重复相同的反馈内容。

Figure 2. Word cloud of back evaluation comments for high and low achieving L2 writers--图2. 高分组和低分组回评评语词云--

2) 回评评语类型

通过Nvivo编码,计算出每种回评类型的出现频次。通过正态性检验发现,高分组和低分组的夏皮洛–威尔克自由度均为0.000,均为非正态分布,于是选择使用曼惠特尼U检验。U检测显示两组学生回评情感态度类型总体上存在明显差异(p = 0.000 < 0.05)。再通过卡方检验,检测不同组别学生的情感态度在每一子类回评的频次是否具有显著差异,将上述结果整理形成 表1

<xref></xref>Table 1. Chi-square test of backward evaluation categories between high and low achieving L2 writersTable 1. Chi-square test of backward evaluation categories between high and low achieving L2 writers 表1. 高分组和低分组回评子类的分布情况和卡方检验
大类

子类

频数

总计

卡方检验

高分组

低分组

认知成分

χ2= 23.775, df = 6, p = 0.001

整体赞成

63

59

122

χ2= 12.131, df = 2, p = 0.002

部分赞成

15

5

20

不赞成

7

21

28

复述

40

48

88

χ2= 66, df = 1, p = 0.000

反思

28

15

43

χ2= 2.033, df = 1, p = 0.154

澄清

7

1

8

χ2= 2.168, df = 1, p = 0.106

辩护

4

1

5

χ2= 1.061, df = 1, p = 0.303

情感成分

χ2= 19.147, df = 1, p = 0.000

感谢

119

63

182

χ2= 8.824, df = 1, p = 0.003

不满

0

13

13

χ2= 8.775, df = 1, p = 0.003

行为意向成分

χ2= 18.278, df = 1, p = 0.000

解决方案

55

24

79

χ2= 6.362, df = 1, p = 0.012

经验求教

11

30

41

χ2= 4.702, df = 1, p = 0.003

统计结果显示,总的来说,高分组和低分组在三个情感态度大类上的回评频数均存在显著差异。具体到每一大类下的子类,认知成分中,高分组和低分组的回评评语在接受性反馈(整体赞成、部分赞成、不赞成)和评语复述上存在显著差异(p值分别为0.002和0.000),高分组学生整体接受和部分接受同伴评价的频数更高,说明高分组更容易接纳同伴的建议,低分组则更容易对其持反对态度;同时,低分组更倾向对同伴评语进行复述和评论,作为一种模糊性评价,体现出低分组更少地对收到的评语进行认知加工。情感成分中,两组学生在感谢和不满子项的p值均为0.003,说明高分组和低分组的回评中,这两个小项的频数均存在明显差异,高分组更多的对同伴的评语表达直接到感谢,而低分组则容易对收到的评语感到不满,说明高分组对同伴互评更多地持积极的态度,而低分组则对同伴互评感到不乐观或不信任。行为意向成分中,两组学生在解决方案(p = 0.012)和经验求教(p = 0.003)两项的显著差异体现了不同学术表现的学生在面对评语时采取了不同的行为策略。高分组更容易直接自行提出解决方案,而低分组更倾向于向同伴求助,希望同伴提出更多或更直接的修改办法。

4.2. 不同写作水平学生对同伴评语的态度有无差异?

1) 相似性

高分组和低分组学生的互评的类型在整体上具有一致性,都包含认知成分、情感成分和行为意向成分,具有相似之处。具体而言,一是其中认知成分回评的数量居多,并多持赞成态度,说明两组学生都基本认同同伴给出的评语,肯定了评语的作用和价值,对同伴互评这一活动持积极态度。同时,高分组和低分组在反思、澄清和辩护等方面频次没有显著差异,说明无论哪组学生,都在进行回评的过程中对自己的写作过程和写作结果进行反思,并在有必要的时候进行澄清和辩护。回评中大量且丰富的认知成分体现出同伴互评是一个能够充分调动学生认知的一项教学活动,不仅仅是互评,回评也同样具有重要意义。

二是对同伴评语和同伴付出的时间精力的感激。作为情感成分的小项之一,感谢在所有类别的小项中出现频次最高。这与兰玉 [18] 的发现相似,认为“感谢”作为积极的互评特征,能够有效感知评语的有用性,是同伴互评活动中的积极调节因素。这一结果说明两组学生都乐于同伴的互评行为表达了感激,认为同伴是有价值的评语提供者,进而肯定了同伴互评这一活动。和裘莹莹发现的“澄清是最常见的回评子类” [19] 不同,可能是由于该研究中互评活动发生在中美大学生之间,不同的教育理念和文化背景引发导致了互评过程中的误解,而本次同伴互评则发生在中国学生之间,“亚洲学生更喜欢保持和谐和积极的小组气氛,经常保留他们认为会伤害到其他小组成员的评论,以免导致冲突” [20] 。Saeed等人也发现,相对于线下,线上的同伴互评过程中学生更容易有更多的社交互动评价,比如感激、欢迎、赞扬甚至聊天,这些行为都有利于同伴互评过程中积极氛围的创造,从而形成互评活动的良性循环 [21]

2) 差异性

除了上述的相似性,高分组和低分组的学生在回评评语中也体现出各自对同伴互评这一活动的不同情感态度。

首先,从回评评语数量和篇幅来看,高分组比低分组的更积极地参与到回评环节。高分组学生在参与回评时评语数量和篇幅均大于低分组,而低分组的学生参与率更低,评语类型和评语模式也更加单一,其中有9名学生完全没有进行回评。高瑛和刘杭松提出,相较于评语质量,评语数量对学生的写作成绩具有更强的解释能力和预测功能 [22] 。这解释了为什么高分组的学生能够更多地参与到回评环节,而更丰富的学习和互动经验,也会带来更积极的学习态度 [23] 。对同伴评语的积极回应体现出高分组学生对同伴互评活动抱有更高的热情,也带来了良好的学习体验,有利于学生在之后学习中的投入和发展。

其次,从互评评语所含的态度成分来看,高分组和低分组在回评评语中的认知成分、情感成分和行为意向成分均有所差异。皮亚杰的认知发展理论强调,学生通过自发地参与活动,内化形成自己的认知。高分组对同伴的评语总体持赞同态度,不吝对同伴表达感激,能够积极接纳并对评语内容进行批判性反馈(反思、澄清和辩护),并自行提出解决方案。与之相反,低分组很很少对同伴的评论进行澄清和辩护。他们更容易直接地对同伴的评语表达不满,并在行为意向因素中直接向同伴进行经验求教,希望同伴能提出直接的解决方案。然而Cho等人指出,只有同伴之间有更多的信任和和谐氛围时,那些批评性质的反馈才会在之后的写作修改中被作者认真考虑 [10] 。低分组对同伴的不信任和不满则不利于作者自己对作文进行后续的修改和提高。

5. 结语

本文探讨基于Peerceptiv线上写作平台的同伴互评中不同小组回评的情感态度,发现高分组和低分组回评态度具有一致性。两组学生在回评中都包含了认知成分、情感成分和行为意向成分,特别是对同伴的付出表示感谢。同时两组学生回评的子类在出现频次上存在显著差异。

以上研究结果说明,总体上两组学生都对同伴互评这一活动持积极态度,能充分调动学生的认知加工,并促使学生在作文修改上付出实际行动。同时,高分组能更加积极主动地参与到活动过程中,在不计入成绩的回评环节仍然保持较高的互动热情,对收到的同伴评语持肯定态度,积极接纳和反思,并基于评语自行提出修改方案;而低分组对评语态度更为模糊,容易直接表达出对同伴的不信任,但又更依赖同伴给出更多更直接的写作经验和修改方法。

基金项目

本文系2023年重庆邮电大学社会科学基金项目“社会科学社会文化理论视角下的智慧教室与二语写作情绪研究”(编号:K2023-156)、2022年重庆市外文协会教育教学改革研究“基于智慧教室的英语基础写作教学改革研究与实践”(编号:WWWT22007)的有关成果。

References 高瑛, 张福慧, 张绍杰. 基于Peerceptiv互评系统的英语写作同伴反馈效果研究[J]. 外语电化教学, 2018(2): 3-9, 67. Zhang, L. (2018) Reconceptualizing English Language Teaching and Learning in the 21st Century. Crane Publishing, Taipei. 徐锦芬, 朱茜. 基于Peerceptiv互评系统的英语在线同伴互评研究[J]. 外语电化教学, 2019(2): 10-16. Cao, S., Zhou, S., Luo, Y., Wang, T., Zhou, T. and Xu, Y. (2022) A Review of the ESL/EFL Learners’ Gains from Online Peer Feedback on English Writing. Frontiers in Psychology, 13, Article ID: 1035803. >https://doi.org/10.3389/fpsyg.2022.1035803 Pham, T.N., Lin, M., Trinh, V.Q. and Bui, L.T.P. (2020) Electronic Peer Feedback, EFL Academic Writing and Reflective Thinking: Evidence from a Confucian Context. SAGE Open, 10, 1-20. >https://doi.org/10.1177/2158244020914554 Zhan, Y., Wan, Z.H. and Sun, D. (2022) Online Formative Peer Feedback in Chinese Contexts at the Tertiary Level: A Critical Review on Its Design, Impacts and Influencing Factors. Computers & Education, 176, Article ID: 104341. >https://doi.org/10.1016/j.compedu.2021.104341 张军, 程晓龙. 我国近十年同伴反馈研究: 回顾与展望[J]. 西安外国语大学学报, 2020, 28(1): 48-55. Yu, S. and Lee, I. (2016) Peer Feedback in Second Language Writing (2005-2014). Language Teaching, 49, 461-493. >https://doi.org/10.1017/s0261444816000161 Cho, K. and MacArthur, C. (2011) Learning by Reviewing. Journal of Educational Psychology, 103, 73-84. >https://doi.org/10.1037/a0021950 Cho, K., Schunn, C.D. and Wilson, R.W. (2006) Validity and Reliability of Scaffolded Peer Assessment of Writing from Instructor and Student Perspectives. Journal of Educational Psychology, 98, 891-901. >https://doi.org/10.1037/0022-0663.98.4.891 Nelson, M.M. and Schunn, C.D. (2008) The Nature of Feedback: How Different Types of Peer Feedback Affect Writing Performance. Instructional Science, 37, 375-401. >https://doi.org/10.1007/s11251-008-9053-x Schunn, C., Godley, A. and DeMartino, S. (2016) The Reliability and Validity of Peer Review of Writing in High Schoolap English Classes. Journal of Adolescent & Adult Literacy, 60, 13-23. >https://doi.org/10.1002/jaal.525 Loretto, A., DeMartino, S. and Godley, A. (2016) Secondary Students’ Perceptions of Peer Review of Writing. Research in the Teaching of English, 51, 134-161. >https://doi.org/10.58680/rte201628872 Kaufman, J.H. and Schunn, C.D. (2010) Students’ Perceptions about Peer Assessment for Writing: Their Origin and Impact on Revision Work. Instructional Science, 39, 387-406. >https://doi.org/10.1007/s11251-010-9133-6 高瑛, 汪溢, Schunn, D. 英语写作同伴反馈评语采纳及其影响因素研究[J]. 外语电化教学, 2019(2): 17-24. 解冰. 中国学生在线英语写作同伴互评学习投入历时性研究[D]: [博士学位论文]. 长春: 东北师范大学, 2021. Dörnyei, Z. and Ryan, S. (2015) The Psychology of the Language Learners. Routledge, London, 191-193. 兰玉. 英语写作同伴互评评语帮助性感知研究——从外语学习者评语特征和回评特征角度[J]. 外语教育研究前沿, 2022, 5(2): 67-76. 裘莹莹. 中美大学生跨洋互动写作回评类型对比研究[J]. 山东外语教学, 2022, 43(5): 56-66. Guardado, M. and Shi, L. (2007) ESL Students’ Experiences of Online Peer Feedback. Computers and Composition, 24, 443-461. >https://doi.org/10.1016/j.compcom.2007.03.002 Saeed, M.A., Ghazali, K. and Aljaberi, M.A. (2018) A Review of Previous Studies on ESL/EFL Learners’ Interactional Feedback Exchanges in Face-to-Face and Computer-Assisted Peer Review of Writing. International Journal of Educational Technology in Higher Education, 15, Article No. 6. >https://doi.org/10.1186/s41239-017-0084-8 高瑛, 刘杭松. 英语写作同伴互评中提供反馈的作用与影响因素研究[J]. 外语电化教学, 2021(6): 87-93. Kasch, J., van Rosmalen, P., Löhr, A., Klemke, R., Antonaci, A. and Kalz, M. (2021) Students’ Perceptions of the Peer-Feedback Experience in MOOCs. Distance Education, 42, 145-163. >https://doi.org/10.1080/01587919.2020.1869522
Baidu
map