识别面孔表情是识别情绪、进行沟通的重要途径,个体对于情绪性面孔的识别过程是重要且特异的过程。不少研究得出在识别面孔情绪时存在一种区域化效应,即眼睛或嘴巴等区域会对不同情绪性面孔的识别产生不同的影响。本研究采用混合面孔的材料,使得其只有眼睛或嘴巴区域能体现出情绪信息,并考察了31名大学生对这些混合面孔的情绪识别情况。结果发现,个体对高兴嘴巴、惊奇眼睛、恐惧眼睛和生气眼睛的混合面孔的反应时更快、评价的情绪等级更高。综上所述,对于高兴面孔,个体倾向于通过嘴部进行识别;对于惊奇、恐惧和生气面孔,个体则习惯于通过眼部进行识别。 Recognizing facial expressions is an important way of recognizing emotions and communicating. The process of recognizing emotional faces is important and complex. Many studies have found that there is a regionalization effect in the recognition of facial expression, whereby areas such as the eyes or the mouth have different effects on the recognition of different facial expressions. The present study used mixed faces, i.e., only the eyes or mouth represented emotional information, and examined 31 college students emotion recognition for these mixed faces. It was found that individuals responded more quickly to and rated the emotional level higher for the mixed faces of happy mouth, surprised eyes, fearful eyes, and angry eyes. In summary, individuals tended to recognize happy faces through the mouth and surprised, fearful, and angry faces through eyes.
识别面孔表情是识别情绪、进行沟通的重要途径,个体对于情绪性面孔的识别过程是重要且特异的过程。不少研究得出在识别面孔情绪时存在一种区域化效应,即眼睛或嘴巴等区域会对不同情绪性面孔的识别产生不同的影响。本研究采用混合面孔的材料,使得其只有眼睛或嘴巴区域能体现出情绪信息,并考察了31名大学生对这些混合面孔的情绪识别情况。结果发现,个体对高兴嘴巴、惊奇眼睛、恐惧眼睛和生气眼睛的混合面孔的反应时更快、评价的情绪等级更高。综上所述,对于高兴面孔,个体倾向于通过嘴部进行识别;对于惊奇、恐惧和生气面孔,个体则习惯于通过眼部进行识别。
面孔识别,情绪,区域化效应,眼睛,嘴巴
Nan Wang
Faculty of Psychology, Southwest University, Chongqing
Received: Nov. 14th, 2021; accepted: Dec. 16th, 2021; published: Dec. 23rd, 2021
Recognizing facial expressions is an important way of recognizing emotions and communicating. The process of recognizing emotional faces is important and complex. Many studies have found that there is a regionalization effect in the recognition of facial expression, whereby areas such as the eyes or the mouth have different effects on the recognition of different facial expressions. The present study used mixed faces, i.e., only the eyes or mouth represented emotional information, and examined 31 college students emotion recognition for these mixed faces. It was found that individuals responded more quickly to and rated the emotional level higher for the mixed faces of happy mouth, surprised eyes, fearful eyes, and angry eyes. In summary, individuals tended to recognize happy faces through the mouth and surprised, fearful, and angry faces through eyes.
Keywords:Face Recognition, Emotion, Regionalization Effect, Eyes, Mouth
Copyright © 2021 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
面孔是人类头部的正面部分,范围为从额头到下颌。作为外部刺激物来讲,不同于文字、物体等视觉刺激,面孔是一种复杂的特殊刺激,无论是从整体的五官结构进行知觉,还是对局部的特征结构进行知觉,所能得到的信息都是多种多样的,这其中包含熟悉度、情绪、身份等等一系列信息。
面孔识别指的是人类对面孔的知觉,在个体发展中,婴儿出生后不久就可以识别出人类的面孔。近几年来,国内外学者对于面孔识别的研究热度逐渐提升,多方面证据显示出了面孔识别的特殊性。在认知神经研究方面,脑成像研究中Kanwisher等 [
从面孔中可以得到的信息包含特征信息(featural information)和构形信息(configural information),前者指眼睛、鼻子等这些局部结构特征,后者则指这些特征之间的结构关系。对这两者的划分最早来源于对面孔倒置效应的研究,研究者根据实验结果提出了两种对面孔信息的加工模式,一个是特征加工(featural processing),一个构形加工(configural processing),顾名思义就是分别对于两种信息的加工。但两者的先后顺序在目前还没有得出一个确切的结论 [
最近的一项研究发现以往关于不同单位脑细胞加工不同面孔的想法是错误的,研究者们发现大猩猩在加工不同面孔时,表现出了不同单位脑细胞对不同面孔的区域细节特征有反应,即不同细胞加工不同面孔特征,比如说可能存在单独的加工眼睛大小的细胞、加工眼睛形状的细胞等等 [
人类是社会性动物,与人交往是社会生活中必不可少的活动,能够识别他人情绪是与人进行社会沟通的关键,且其被看作是情商的构成部分之一 [
除此之外,不少研究得出在识别面孔情绪时也存在一种区域化效应。Yuki等使用带有“混合情绪”(例如:中性面孔上是表达悲伤的眼睛或者表达悲伤的嘴巴)的面孔材料对日本大学生和美国大学生进行了实验,结果发现日本人更加倾向于通过眼睛识别情绪,美国人则通过嘴巴,且被试在识别恐惧、愤怒情绪时更习惯通过图片的眼部进行识别,对于高兴情绪则通过嘴部 [
综上所述,可以看出眼睛和嘴巴作为面部的重要区域,在面孔识别中占据着关键的地位。特别的,上半张脸的眼睛在识别许多复杂情绪时都发挥了作用,Lee和Anderson通过分析不同强度的情绪图片的眼部细节,以及不同情绪面孔中其和嘴巴的配合程度,得出眼睛在识别内心复杂情绪的时候占据着最重要的地位 [
随机选取31名学生,年龄范围为18~20岁(平均年龄18.8岁),10名男生、21名女生,皆为右利手、视力正常。被试之前没有参与过相似的实验,在进行实验前均获取了被试的同意。
Photoshop CS6软件,E-prime 2.0实验设计软件,SPSS 20.0数据分析软件。
原材料选自The NimStim set of facial expressions [
本实验采用6 (面孔情绪:高兴、悲伤、惊奇、恐惧、生气、厌恶) × 2 (面孔区域:眼睛、嘴巴)组内设计,自变量为面孔情绪和面孔区域,二者均为被试内变量,因变量为反应时、情绪强度评定等级。
实验界面为黑底白字,图片为黑白,为了减小被试在屏幕上的眼动范围,将图片设置为适当的大小(506像素 × 618像素)置于屏幕中间。
首先是1000 ms的注视点,接着开始反应阶段,每个反应界面包括一张面孔图片和情绪强度评定的选择指导语,被试需要输入评定等级以完成反应,9代表极其悲伤,1代表极其不悲伤,限定时间为10000 ms。接着进入5000 ms的空屏界面,之后再进行下一张面孔图片的判定,以此循环,直至实验结束。整个实验耗时大约30分钟,每个被试接受72个试次。
以反应时为因变量,进行6 (面孔情绪:高兴、悲伤、惊奇、恐惧、生气、厌恶) × 2 (面孔区域:眼睛、嘴巴)的重复测量方差分析。被试对不同情绪、面孔区域面孔的反应时如表1。
结果发现,面孔情绪的主效应显著,F(5,30) = 2.81,p < 0.05,η2= 0.005,事后检验发现,惊奇和厌恶情绪的面孔反应时显著低于其他情绪面孔,其他情绪面孔识别的反应时两两差异不显著,具体见图1。面孔区域的主效应显著,F(1,30) = 19.83,p < 0.05,η2= 0.011,依据嘴巴进行面孔识别的反应时显著多于依据眼睛进行面孔识别的反应时;面孔情绪和面孔区域的交互作用不显著,F(5,30) = 0.96,p = 0.48,η2= 0.003。但从趋势来看,在高兴情绪面孔中,对嘴巴的反应时更低,而在生气、恐惧、厌恶等消极情绪面孔中,对眼睛的反应时更低,具体见图2。
情绪 | 面孔区域 | ||
---|---|---|---|
眼睛 | 嘴巴 | 总 | |
高兴 | 3953.37 ± 140.74 | 3834.03 ± 140.74 | 3613.46 ± 81.25 |
悲伤 | 3670.22 ± 140.74 | 3699.45 ± 140.74 | 3611.55 ± 81.25 |
惊奇 | 3440.52 ± 140.74 | 3532.31 ± 140.74 | 3351.39 ± 81.25 |
恐惧 | 3705.68 ± 140.74 | 3836.02 ± 140.74 | 3606.41 ± 81.25 |
生气 | 3607.75 ± 140.74 | 3661.52 ± 140.74 | 3550.30 ± 81.25 |
厌恶 | 3466.69 ± 140.74 | 3624.93 ± 140.74 | 3402.32 ± 81.25 |
总 | 3640.70 ± 57.46 | 3698.04 ± 57.46 | —— |
表1. 眼睛和嘴巴在不同情绪面孔识别时的反应时
图1. 不同情绪面孔下的反应时
图2. 不同全情绪面孔区域下的反应时
对情绪强度评定等级同代表中性情绪等级的5进行单一样本的t检验,得到t = 31.16,df = 3459,p < 0.05。情绪强度评定等级的单一样本t检验结果显著,说明数据整体上和5有显著差异,能够有效体现出情绪强度。
以情绪强度评定等级为因变量,进行6 (面孔情绪:高兴、悲伤、惊奇、恐惧、生气、厌恶) × 2 (面孔区域:眼睛、嘴巴)的重复测量方差分析。被试对不同情绪、面孔区域的评定等级如表2。
情绪 | 面孔区域 | ||
---|---|---|---|
眼睛 | 嘴巴 | 总 | |
高兴 | 3.935 ± 0.132 | 6.111 ± 0.132 | 5.848 ± 0.076 |
悲伤 | 4.885 ± 0.132 | 4.918 ± 0.131 | 5.297 ± 0.076 |
惊奇 | 6.114 ± 0.131 | 5.321 ± 0.131 | 6.13 ± 0.076 |
恐惧 | 5.497 ± 0.132 | 4.924 ± 0.132 | 5.922 ± 0.076 |
生气 | 6.454 ± 0.133 | 5.43 ± 0.131 | 6.391 ± 0.076 |
厌恶 | 6.503 ± 0.131 | 6.418 ± 0.132 | 6.936 ± 0.076 |
总 | 5.565 ± 0.054 | 5.52 ± 0.054 | —— |
表2. 眼睛和嘴巴在不同面孔识别中的情绪评定等级
图3. 不同情绪面孔的评定等级
图4. 不同情绪面孔区域的评定等级
结果发现,面孔情绪的主效应显著,F(5,150) = 55.52,p < 0.05,η2= 0.07,事后检验可知,对于悲伤情绪的评定等级显著低于其他情绪,对于厌恶情绪的评定等级则显著高于其他情绪,具体见图3。面孔区域的主效应显著,F(1,30) = 309.40,p < 0.05,η2= 0.14,对眼睛的情绪评价等级显著大于嘴巴;面孔情绪和面孔区域的交互作用显著,F(5,150) = 24.96,p < 0.05,η2= 0.05。经简单效应分析发现,在高兴情绪面孔中,对嘴巴的情绪强度评价等级更高,而在生气、惊奇、恐惧情绪面孔中,对眼睛的评价等级更高,结果均显著,F高兴(5,150) = 187.10,p < 0.05,η2= 0.08;F悲伤(5,150) = 27.00,p = 0.86,η2= 0.01;F惊奇(5,150) = 38.73,p < 0.01,η2= 0.02;F恐惧(5,150) = 92.32,p < 0.01,η2= 0.04;F生气(5,150) = 50.42,p < 0.05,η2= 0.02;F厌恶(5,150) = 39.45,p = 0.65,η2= 0.02,见图4。
经实验发现,面孔情绪在反应时和情绪强度评定等级上都存在显著的主效应,符合实验假设。具体来说,被试对于厌恶和生气等消极情绪面孔的反应时低于高兴等积极情绪面孔的反应时;对于厌恶情绪面孔的情绪强度评定等级最高,对于悲伤情绪面孔的评定等级最低。
情绪的功能包括信号作用、组织作用、适应作用和动机作用 [
而在情绪强度评定等级方面,厌恶情绪和悲伤情绪的面孔分别是强度等级最高以及最低的评价对象,而且在这两种情绪面孔当中对眼部和嘴部的评定等级之间不存在显著差异,也就是说在对厌恶情绪和悲伤情绪面孔的加工当中面孔情绪和面孔区域之间不存在交互作用,评定等级的差异并不是由面孔区域的不同而引发的,可能很大程度上和情绪面孔的刺激有关。分开来讨论,首先厌恶表情传达着一种反感、拒绝的信息,时常和有威胁性的人际关系以及道德问题相关,所以相比较于悲伤和恐惧,厌恶表情可能会使个体产生与自我相关的消极情绪,进而影响到个体对厌恶情绪面孔的强度评定。而且有相关研究(Pablo et al., 2018)得出在获得一定认知信息之后,厌恶情绪比惊奇情绪更能增加个体做出决定的信心,促使被试做出更极化的判断 [
由结果发现,在面孔识别中,相比于嘴巴,对眼睛的反应时更低,评定等级更高,这说明眼睛在识别面孔情绪时起到了更重要的作用,符合实验假设。而且具体来说,在高兴、惊奇、恐惧和生气情绪面孔中,眼睛和嘴巴发挥了不同的作用。
对于高兴情绪的面孔,对嘴部的情绪评定等级显著高于眼部,而且眼部的评定等级低于4,这代表被试倾向于认为嘴巴在传达高兴信息时的作用要大于眼睛。事实上,说到笑脸,我们首先想到的总是向上翘的嘴角,咧开的嘴以及露出的白色牙齿,比如说在用符号表示高兴情绪时,我们通常会使用“:)”,显著标志是“)”而不是“:”。Horstmann等发现牙齿区域在高兴情绪和愤怒情绪面孔中有着重要作用,说明个体倾向于通过嘴部加工高兴情绪面孔的原因之一是个体对牙齿区域的敏感性 [
另一方面,在惊奇、恐惧和生气的面孔中,眼部则起着更重要的作用,相比于嘴部情绪面孔,眼部情绪面孔能够表达出更强烈的情绪。在表现出一定情绪时,眼部包括瞳孔、眼部肌肉群、眉毛等部位的变化,而嘴部则只包括嘴部肌肉群的变化,相对来说嘴部的某些情绪化表情更容易在不需要外界刺激和复杂意识控制的条件下实现 [
在反应时方面,虽然检验结果并不显著,但是数据的分布趋势是同假设相符的,即面孔情绪同面孔区域存在交互作用,具体的趋势是,在高兴情绪面孔中,眼部比嘴部有着更多的反应时,而在悲伤、惊奇、恐惧、生气和厌恶面孔中,则是嘴部有着更多的反应时。恰好是和评定等级相反的趋势,且也存在显著地负相关,即被试倾向于在更快的时间内对情绪面孔予以更高的强度评定等级,且在眼部、嘴部上都能体现出来。说明面孔能够体现出的情绪强度越大,个体的反应时越快。
对于高兴面孔,个体倾向于通过嘴部进行识别;对于惊奇、恐惧和生气面孔,个体则习惯于通过眼部进行识别。
感谢所有为本研究做出贡献的被试、同学和老师。
王 楠. 面孔情绪识别的区域化效应The Regionalization Effect in Facial Expression Recognition[J]. 社会科学前沿, 2021, 10(12): 3455-3463. https://doi.org/10.12677/ASS.2021.1012473
https://doi.org/10.1523/JNEUROSCI.17-11-04302.1997
https://doi.org/10.1162/jocn.1996.8.6.551
https://doi.org/10.1037/h0027474
https://doi.org/10.1006/cogp.1993.1007
https://doi.org/10.1126/science.831281
https://doi.org/10.1016/j.tics.2015.09.007
https://doi.org/10.1068/p5547
https://doi.org/10.1080/02699939208411068
https://doi.org/10.1097/00001756-200203250-00013
https://doi.org/10.1016/S0168-0102(01)00248-6
https://doi.org/10.1016/j.jesp.2006.02.004
https://doi.org/10.1080/713756761
https://doi.org/10.1007/s00426-013-0492-x
https://doi.org/10.1145/1077399.1077404
https://doi.org/10.1167/8.8.1
https://doi.org/10.1177/0956797616687364
https://doi.org/10.1016/j.psychres.2008.05.006
https://doi.org/10.1037/pspa0000118
https://doi.org/10.1167/12.5.7
https://doi.org/10.1111/j.1467-9280.1992.tb00253.x
https://doi.org/10.1371/journal.pone.0177239