Exploring Perceptions of Peer Backward Evaluation in English Writing: A Study Based on Peerceptiv
As a significant instructional technique in second language writing, research on peer feedback has flourished. However, studies specially focusing on peer backward evaluation are still limited. Grounded in sociocultural theory, this study utilized 54 academic writing texts from the Peerceptiv, the peer evaluation system, including first drafts, revised drafts, and 460 peer feedback comments, as research data. Through textual and data analysis, the study investigated the linguistic features of peer back evaluation comments and students’ emotional perceptions of peer comments. The results reveal that: 1) Students in both high and low-scoring groups demonstrate consistency in types of peer backward evaluation, with cognitive components being the most abundant; 2) Significant differences exist in the frequency of occurrence of subtypes of backward evaluation between the two groups of students; 3) Students in the high-scoring group exhibit a more positive attitude towards peer evaluation and peer feedback, recognizing the value of peer comments and being capable of proposing revision strategies independently. Conversely, students in the low-scoring group demonstrate slightly lower positivity, with more ambiguous attitudes and a greater reliance on peers for direct revision suggestions.
Online Peer Feedback
作为实现学生间相互交流与合作的重要手段,同伴互评被广泛运用于中国、美国、德国等大学的外语写作课程中
作为对同伴反馈的回应,同伴回评这一过程指作者向审稿人提供审稿质量的反馈。
回评体现了作者对其所收到评语的态度,从而影响后续的修改以及最终的写作成果,值得进一步研究。本文将对比不同水平的学习者在学术写作活动中进行回评的评语特点并探究其原因。
同伴互评,又称同伴评价或同伴反馈,指学习者通过以小组的形式共同参与写作,并为同伴提供或从同伴处接收写作反馈的活动
随着线上平台的搭建和完善,在线同伴互评也受到学界关注。其中,匹兹堡大学开发的Peerceptiv以其完善的细节设计、丰富的实践功能和较高的信度效度受到国内外教学实践和科研的欢迎。目前基于peerceptiv等线上同伴互评的研究着眼于互评过程
之前的同伴互评研究主要依靠问卷、访谈、反思日志等方式探索学生(评价者)对同伴互评的情感态度,但是作为互评活动的重要一环,回评也是活动的一部分,同样能够更真实地体现学生对同伴给予的评语持何种态度,进而探索学生作为作者和被评价者对同伴互评这一教学形式的情感态度。作为互评的重要环节,文章作者对收到评价的反馈,即“回评”相关的研究相对来说仍然非常有限。目前的研究主要把回评作为中介变量,考察评语、回评、反馈采纳以及学术表现之间关系
基于对以往研究的梳理,本文聚焦同伴回评评语与互评活动中的情感态度,回答如下研究问题:
1) 不同写作水平学生的回评评语有无差异?
2) 不同写作水平学生对同伴评语的情感态度有无差异?
本文以国内某高校英语专业大二年级两个班的56名学生为实验对象,以大学一年级的英语基础写作课程的成绩(由平时成绩、阶段性测试成绩和期末闭卷考试成绩组成)分为高分组和低分组,以Peerceptiv为平台发布了两次写作任务。第一次任务过程中,教师组织学生观看Peerceptiv同伴互评培训视频,使学生熟悉平台的各项功能和使用方法,并提供评价清单,示范如何根据清单进行评价。通过第一次写作任务,学生熟悉了线上同伴互评的流程和评价方式。第二次任务发布后,学生以“初稿写作–同伴互评–修改二稿–同伴回评–终稿”的流程进行写作和同伴互评活动。在同伴互评的过程中,每个人会收到3位匿名的同伴互评,评语对照评价清单,以一致性(unity),支撑性(support),流利与连贯(cohesion & coherence)和句子写作技巧(sentence skills)为评价内容。最终删除未完成全部写作流程和任务的2人,共搜集到学生作文54篇,同伴评价620条,作者回评460条(以系统中的评价框为计数方式,每位学生可能给出多条评价和回评)。
首先对两组学生的作文最终成绩进行独立样本t检验,结果显示两个组的成绩具有显著性差异。其中高分组和低分组各27人,高分组共给予同伴回评252条,低分组共给予同伴回评208条。
然后将高分组和低分组的互评评语分别导入Nvivo 11.0,通过查询词频(已合并同义词),查看各个单词在不同组别出现的频率,并通过系统自动生成的词云产生直观印象。
其次是回评的编码。两名研究助手通过反复阅读评语和回评,并参考迈尔斯的态度结构和兰玉的编码方式
最后统计每种互评类型的出现频次,并使用SPSS 24.0进行曼惠特尼U检验,查看不同组别的学生在回评评语中的态度类型有无显著性差异。之后通过卡方检验统计不同组别学生的回评态度类别及其子类的出现频次,对高分组和低分组互评的态度类型和分布情况进行描述性分析,对高分组和低分组学生同伴回评的态度进行推理性分析。
1) 回评评语数量和内容结构
回评数量方面,在每组写作人数一样的情况下(各27人),高分组共搜集到回评252条,共计12,519词(每条平均约49.67词),低分组搜集到回评208条,共计8206词(每条平均约39.45词)。其中低分组有9名学生没有参与回评。
通过Nvivo词频查询,统计各个单词在不同组别出现的频率并生成词云,结果如
互评内容结构方面,高分组和低分组的回评内容都可以大致分为三类,认知成分、情感成分和行为意向成分,除了情感成分中的“不满”以外,每一个小类在两组学生的回评中都有所体现。且认知成分最多,情感成分次之,最少的是行为意向评价。回评评语使用模式上,高分组一般多个回评类型的结合,往往遵循“情感成分→认知成分(→行为意向成分)”的回评模式,而低分组的回评模式更为单一,常为单独的“认知成分”或“情感成分”,以及对不同同伴回复以重复相同的反馈内容。
2) 回评评语类型
通过Nvivo编码,计算出每种回评类型的出现频次。通过正态性检验发现,高分组和低分组的夏皮洛–威尔克自由度均为0.000,均为非正态分布,于是选择使用曼惠特尼U检验。U检测显示两组学生回评情感态度类型总体上存在明显差异(p = 0.000 < 0.05)。再通过卡方检验,检测不同组别学生的情感态度在每一子类回评的频次是否具有显著差异,将上述结果整理形成
大类 | 子类 | 频数 | 总计 | 卡方检验 | |
高分组 | 低分组 | ||||
认知成分χ2= 23.775, df = 6, p = 0.001 | 整体赞成 | 63 | 59 | 122 | χ2= 12.131, df = 2, p = 0.002 |
部分赞成 | 15 | 5 | 20 | ||
不赞成 | 7 | 21 | 28 | ||
复述 | 40 | 48 | 88 | χ2= 66, df = 1, p = 0.000 | |
反思 | 28 | 15 | 43 | χ2= 2.033, df = 1, p = 0.154 | |
澄清 | 7 | 1 | 8 | χ2= 2.168, df = 1, p = 0.106 | |
辩护 | 4 | 1 | 5 | χ2= 1.061, df = 1, p = 0.303 | |
情感成分χ2= 19.147, df = 1, p = 0.000 | 感谢 | 119 | 63 | 182 | χ2= 8.824, df = 1, p = 0.003 |
不满 | 0 | 13 | 13 | χ2= 8.775, df = 1, p = 0.003 | |
行为意向成分χ2= 18.278, df = 1, p = 0.000 | 解决方案 | 55 | 24 | 79 | χ2= 6.362, df = 1, p = 0.012 |
经验求教 | 11 | 30 | 41 | χ2= 4.702, df = 1, p = 0.003 |
统计结果显示,总的来说,高分组和低分组在三个情感态度大类上的回评频数均存在显著差异。具体到每一大类下的子类,认知成分中,高分组和低分组的回评评语在接受性反馈(整体赞成、部分赞成、不赞成)和评语复述上存在显著差异(p值分别为0.002和0.000),高分组学生整体接受和部分接受同伴评价的频数更高,说明高分组更容易接纳同伴的建议,低分组则更容易对其持反对态度;同时,低分组更倾向对同伴评语进行复述和评论,作为一种模糊性评价,体现出低分组更少地对收到的评语进行认知加工。情感成分中,两组学生在感谢和不满子项的p值均为0.003,说明高分组和低分组的回评中,这两个小项的频数均存在明显差异,高分组更多的对同伴的评语表达直接到感谢,而低分组则容易对收到的评语感到不满,说明高分组对同伴互评更多地持积极的态度,而低分组则对同伴互评感到不乐观或不信任。行为意向成分中,两组学生在解决方案(p = 0.012)和经验求教(p = 0.003)两项的显著差异体现了不同学术表现的学生在面对评语时采取了不同的行为策略。高分组更容易直接自行提出解决方案,而低分组更倾向于向同伴求助,希望同伴提出更多或更直接的修改办法。
1) 相似性
高分组和低分组学生的互评的类型在整体上具有一致性,都包含认知成分、情感成分和行为意向成分,具有相似之处。具体而言,一是其中认知成分回评的数量居多,并多持赞成态度,说明两组学生都基本认同同伴给出的评语,肯定了评语的作用和价值,对同伴互评这一活动持积极态度。同时,高分组和低分组在反思、澄清和辩护等方面频次没有显著差异,说明无论哪组学生,都在进行回评的过程中对自己的写作过程和写作结果进行反思,并在有必要的时候进行澄清和辩护。回评中大量且丰富的认知成分体现出同伴互评是一个能够充分调动学生认知的一项教学活动,不仅仅是互评,回评也同样具有重要意义。
二是对同伴评语和同伴付出的时间精力的感激。作为情感成分的小项之一,感谢在所有类别的小项中出现频次最高。这与兰玉
2) 差异性
除了上述的相似性,高分组和低分组的学生在回评评语中也体现出各自对同伴互评这一活动的不同情感态度。
首先,从回评评语数量和篇幅来看,高分组比低分组的更积极地参与到回评环节。高分组学生在参与回评时评语数量和篇幅均大于低分组,而低分组的学生参与率更低,评语类型和评语模式也更加单一,其中有9名学生完全没有进行回评。高瑛和刘杭松提出,相较于评语质量,评语数量对学生的写作成绩具有更强的解释能力和预测功能
其次,从互评评语所含的态度成分来看,高分组和低分组在回评评语中的认知成分、情感成分和行为意向成分均有所差异。皮亚杰的认知发展理论强调,学生通过自发地参与活动,内化形成自己的认知。高分组对同伴的评语总体持赞同态度,不吝对同伴表达感激,能够积极接纳并对评语内容进行批判性反馈(反思、澄清和辩护),并自行提出解决方案。与之相反,低分组很很少对同伴的评论进行澄清和辩护。他们更容易直接地对同伴的评语表达不满,并在行为意向因素中直接向同伴进行经验求教,希望同伴能提出直接的解决方案。然而Cho等人指出,只有同伴之间有更多的信任和和谐氛围时,那些批评性质的反馈才会在之后的写作修改中被作者认真考虑
本文探讨基于Peerceptiv线上写作平台的同伴互评中不同小组回评的情感态度,发现高分组和低分组回评态度具有一致性。两组学生在回评中都包含了认知成分、情感成分和行为意向成分,特别是对同伴的付出表示感谢。同时两组学生回评的子类在出现频次上存在显著差异。
以上研究结果说明,总体上两组学生都对同伴互评这一活动持积极态度,能充分调动学生的认知加工,并促使学生在作文修改上付出实际行动。同时,高分组能更加积极主动地参与到活动过程中,在不计入成绩的回评环节仍然保持较高的互动热情,对收到的同伴评语持肯定态度,积极接纳和反思,并基于评语自行提出修改方案;而低分组对评语态度更为模糊,容易直接表达出对同伴的不信任,但又更依赖同伴给出更多更直接的写作经验和修改方法。
本文系2023年重庆邮电大学社会科学基金项目“社会科学社会文化理论视角下的智慧教室与二语写作情绪研究”(编号:K2023-156)、2022年重庆市外文协会教育教学改革研究“基于智慧教室的英语基础写作教学改革研究与实践”(编号:WWWT22007)的有关成果。