1.宜宾职业技术学院,宜宾; 2.新疆师范大学,乌鲁木齐; 3.翠屏区教体局,宜宾
面孔表情是个体表达内在情绪情感的外部特征之一,准确识别他人的情绪面孔对个体的生存与发展具有重要的现实意义。而情绪面孔的识别大多发生在复杂的社会场景中,并受场景中躯体姿势、面孔表情、背景颜色、情绪性语句等背景信息的影响[1-6]。情绪词作为背景信息的一种同样影响个体对情绪面孔的识别[7-12]。情绪建构理论(The Constructionist Theories of Emotion)认为,以语言或者情绪词表征的“基本心理元素”(例如,身体的内在变化,来自外界的视觉、听觉等刺激,以及情绪分类的概念、已有情绪经验的相关知识等)化合产生诸如生气、厌恶、高兴、悲伤、恐惧等情绪类型。当提前获得并使用情绪的相关概念时,个体将感觉信息转化成某种特殊的情绪并以情绪词(语言)的形式进行命名。所以建构情绪理论认为,情绪词(语言)不仅可以描述特定的情绪(高兴时嘴角上扬,颧骨上提),而且对情绪面孔的识别具有重要的建构作用[7,13-16]。
本文所指的情绪词特指6种典型的情绪面孔所对应的词语,即高兴、悲伤、厌恶、恐惧、惊讶、愤怒,其与情绪负载词(如灾难、葬礼等)相区分[7]。关于情绪词对情绪面孔识别的影响更多集中于语义概念[17,14,18,19],很少从其他维度详细探究。而情绪词又具有效价和语义两个维度[20,21]。因此,本综述将“从效价和语义”两个角度探讨情绪词如何影响个体对情绪面孔的识别以及其心理加工机制。对这些问题的深入探讨不但可以完善情绪理论,而且可以为情绪失认症患者的治疗与干预提供更有价值的依据。
从效价角度看,情绪词对情绪面孔识别的促进作用主要表现为情感启动[22]。情感启动(Affective Priming),是指相比启动刺激与目标刺激的情感效价不一致,启-靶刺激(启动刺激与目标刺激)的效价一致时,提前呈现启动刺激促进个体对目标刺激的反应,即反应时缩短,正确率上升[23]。启动刺激与目标刺激的时间间隔(stimulus onset asynchrony,SOA)比较短[24,25](如:SOA=300ms或者更短时),即情绪词或者情绪性语句与情绪面孔同时出现或情绪面孔呈现在情绪词或者情绪性语境的背景中。情绪词的情感启动是,不同效价的情绪词(积极或者消极)激活个体不同的情感准备状态——对随后呈现的情绪面孔形成一种积极或者消极的情感预期、情感倾向,或者先前的情绪体验为随后的加工任务附上积极或者消极的情感色彩[26]。
施瓦茨(Schwarz)等人给被试呈现中性面孔的同时,呈现积极或消极效价的语句(如,他是有能力的/他是没有能力的),结果发现积极语句背景下(相比消极语句背景)的中性面孔更易被评定为积极情绪类型,而在消极背景下的中性面孔更易被评定为消极情绪类型,该结果表明,语句背景的情绪效价对中性面孔的识别产生相应的情感染色[27]。跨通道的相关研究也支持了上述结果,莫雷尔(Morel)等人通过脑磁图(magnetoencephalogram,MEG)的研究发现,积极语句背景下(听觉呈现)的中性面孔(相比消极与中性语句背景下的中性面孔)在双侧枕颞区域的腹部和右侧颞叶的前部出现脑激活的差异,该结果表明,在非常早的阶段(SOA=30-60ms),情绪背景(积极、消极、中性语句背景)对中性面孔的加工产生不同的影响,这些差异主要是因为语句背景的效价对中性面孔进行情感联结造成的[28]。
情绪词或者情绪性语句不仅影响被试对情绪面孔的识别偏向,还诱发个体对歧义情绪面孔的知觉倾向。金(Kim)等人使用fMRI技术,探讨了语句背景对歧义情绪面孔(如,“吃惊”)的影响,结果表明,相比积极的语句背景(“他通过所有的考试”),在消极语句背景下(“他的车被烧毁了”),吃惊的面孔诱发了更强的腹侧杏仁核的活动,被试对吃惊面孔的反应与消极面孔的反应类似,即在消极条件下,语句背景诱发个体与背景状态一致性的情绪类型,从而将“吃惊”这一中性面孔识别为消极的情绪面孔[29]。
综上所述,在效价维度上,情绪词对情绪面孔识别的作用:通过情感联结,个体更容易将中性面孔或歧义面孔识别为与情绪词或者情绪性语句效价一致的情绪面孔,即情绪词或者情绪性语句的效价对随后识别的面孔进行“情感染色”。
在语义层面上,关于情绪词影响情绪面孔知觉的研究很多。不管使用语义痴呆症患者[30,31](其有关语义加工的脑区存在渐进性萎缩的生理病变,而其他脑区正常,这些生理病变导致患者无法加工、编码、提取相关的语义概念)、述情障碍患者[32](即无法识别自己和他人的情绪,但其相关语义加工的脑区是正常)等特殊被试,还是使用特殊的实验范式(语义饱和范式,不断重复30次情绪词)处理情绪词,个体对情绪面孔的分类均很难遵循普遍性原则[18](即分为6种基本情绪类型),且识别情绪面孔以及对2个情绪面孔是否匹配做出判断时,正确率下降,反应时增加[17,33,7]。但提供视觉线索(如“皱眉”的面孔线索)会改善语义痴呆症患者的分类成绩,而患者却不清楚视觉特征所代表的情绪信息[18](如“皱眉”的面孔特征代表“生气”的情绪类型);给述情障碍的患者提供情绪词时,其识别相关情绪面孔的成绩会大大提升[32];同样,采用启动范式(重复3次情绪词)或提前给定情绪词,会使个体识别、匹配或选择相关情绪面孔的正确率增加,反应时下降[17,33,34]。此外,莱克和阿维泽(Maya和Hillel)采用面孔-身体姿势不同的空间组合方式(对齐 VS 不对齐)研究了情绪词的作用,结果表明呈现情绪词相比未呈现情绪面孔会增加背景中面孔-身体姿势的一致性效应[35]。
情绪词不仅影响个体对情绪面孔的知觉过程,而且影响个体对情绪面孔的视觉表征。诺克(Nook)等人的研究发现,对启动面孔(如“皱眉”的情绪面孔)情绪等级评定(即对情绪面孔强度等级进行评定)的变化会因之前呈现目标刺激(“生气”的情绪词 vs“皱眉”的情绪面孔)的不同而发生变化。目标刺激是情绪词(相比情绪面孔)时,启动面孔对随后呈现的一致性情绪面孔的敏感系数更高、启动作用更强;此外,相比区分2个不相似的情绪面孔,情绪词的参与会提升个体对2个相似情绪面孔(如“生气”与“厌恶”的情绪面孔)的区分成绩[32]。李文娟等人探究了情绪词与情绪面孔的交互作用,结果表明,相比浅度加工情绪词(对情绪做“真假词”判断),深度加工情绪词(对情绪词做“效价”判断)不仅影响个体对随后呈现目标情绪面孔的知觉加工,而且也影响对启动面孔的视觉表征,即改变启动面孔的情绪评定等级[36]。多伊尔(Doyle)等人以“从未见过的外星人面孔”为面孔刺激材料也发现同样的结果,在测试阶段,相比实际观察的情绪面孔(目标阶段),被试对面孔选择的倾向性更偏向于在学习阶段与情绪词一起出现的情绪面孔[37]。此外,多伊尔(Doyle)等人的研究结果表明,相比情绪情境(例如呈现“垂死的老人”这种带有“悲伤”的情绪情境),给被试呈现“悲伤”的情绪词时(启动阶段),其在测试阶段选中之前出现过的目标面孔(即在目标阶段出现的“悲伤”面孔)的正确率
增加[7]。
综上所述,情绪词的相关语义概念是情绪面孔识别的必要条件,其对情绪面孔知觉的影响主要体现在语义启动中,即提前呈现情绪词会激活其蕴含的语义概念、语义知识,例如呈现情绪词“厌恶”不仅激活了“厌恶”的视觉情境,而且也激活了“厌恶”的行为,“厌恶”的发声、声音和“厌恶”的气味等[7],这些个体的早期经验对个体识别相应的情绪面孔(如:“皱鼻子”的情绪面孔)具有易化作用。由于提前激活情绪词(如“厌恶”的情绪词)的语义概念会临时占用认知资源,使个体识别不一致类型的情绪面孔(如除“厌恶”的其他情绪面孔)具有一定的“牵绊”,即抑制不一致情绪面孔的识别。情绪词对情绪面孔识别的影响贯穿于对情绪面孔的加工、分类与识别的各个过程中。
法齐奥(Fazio)等人从态度的易接近假说出发,提出情绪启动的联结强度机制。法齐奥等人采用了词-词的启动范式研究情绪启动效应,认为对态度自动激活程度的可能性与态度目标和评价联系的强度有关,而不管这种强度是否可测,或者是否可操纵。当态度目标和评价联结强度很高时,这种联结对态度自动激活的程度是最强的[38]。例如,相比其他刺激词(如,阳光),大脑认知结构中与所评价的词语(如,有害)效价相同的刺激词(如,吸烟)的联结强度更高,其情绪启动效应更强。所以,情绪词效价影响情绪面孔识别的心理机制可能是,同时呈现情绪词与情绪面孔或两者呈现的时间间隔极短,通过一定的范式启动情绪词的效价(如:对“生气”这个词语做“积极或者消极”的情绪效价判断)后,更易激活随后呈现的、与启动情绪词效价一致的情绪面孔类型(如:“皱眉”的情绪面孔表征是负性情感),即启动情绪词与随后呈现的情绪面孔的效价一致时(如:呈现“生气”的消极效价的情绪词和“厌恶”的消极效价的情绪面孔),对情绪面孔识别的反应时更短,正确率更高;反之,反应时增加,正确率下降。究其原因,相比情绪词与情绪面孔的效价不一致,在个体的认知记忆中,情绪词与情绪面孔的效价一致的联结效应更强,更容易对随后呈现的情绪面孔以相应效价的“情感染色”。
心理建构理论(conceptual act theory,CAT)认为,利用储存在大脑认知结构中的抽象概念(例如,情绪分类的相关概念和个体早先习得的情绪经验),个体将来自身体内部的感觉信息和外部感觉系统的信息知觉为某种清晰的情绪类型,例如,生气、厌恶、悲伤、高兴、恐惧、惊讶等[16,10,39]。这些抽象概念主要以语言的形式储存在大脑的相关区域,而语言将情绪的概念知识、情绪经验,以及个体自身的情感体验结合在一起,同时反作用于内、外部的感知觉信息,从而形成个体新的情绪经验和情绪知觉。而情绪词是相关情绪语言的高度凝结。因而,情绪词(例如,生气、厌恶等)作为一种“粘合剂”或者“占位符(Essence Place-holder)”将不同情绪分类的样例粘合在一起。此外,关于情绪加工的神经影像学表明,情绪加工不仅激活了由内侧前额叶皮层(Medial Prefrontal Cortex)、内侧颞叶(Medial Temporal Cortex)、腹外侧前额叶皮层(Ventrolateral Prefrontal Cortex)组成的“默认网络”(The Dafault Network)脑区,也激活了由脑岛(Insula)、杏仁核(Amygdala)和前扣带回(anterior cingulate cortex ,ACC)组成的“突显网络”(Salience Network)以及腹外侧前额叶皮层的“额顶网络”(Frontoparietal Network)[14,18]。陈学志等人对汉语词语的fMRI研究发现,给被试呈现词语时激活了包括双侧枕叶、左侧颞中回、双侧主运动区及运动前区、左侧顶下小叶,左侧顶上小叶、左侧额中回以及左侧额中、额下回等经典的语言加工脑区。从上述得出,语义加工与情绪加工具有重叠的脑区,这些重叠的脑区与语言的接受、加工、检索、提取有密切的联系[40];杨炯和翁旭初的研究也证实,前额叶皮层与高级的认知加工(如计划、工作记忆和冲动一致等相联系)相关,而判断和决策等高级认知加工都涉及情绪[41]。综上所述,情绪词对情绪面孔识别的影响主要是影响个体对抽象概念的获得(例如,对身体内外部感知觉、情绪经验、情绪知觉等的抽象概念),当情绪词与情绪面孔一致时,提前呈现情绪词会促进个体对情绪面孔的识别,而不一致时,提前呈现情绪词会抑制情绪面孔的识别过程[42,43],即通过启动范式激活情绪词,使个体获得情绪词的相关语义概念(如概念知识、情绪经验和个体自身的情感体验),根据语义网络模型[44],知识在大脑中是以层次语义网络来进行表征,每个类别或者概念代表一个节点,且每个节点间相互连接形成一个网络。若某一个节点被激活,就会激活整个网络链上的语义概念。而情绪面孔的识别与命名需要相关情绪语义的参与,当提前激活的语义概念与随后判断情绪面孔的情绪类型一致时,个体就会快速的做出反应。
综上所述,情绪词在两个维度影响个体对他人情绪面孔的知觉,即情绪词与情绪面孔的效价一致时情绪词促进个体对情绪面孔的识别,而在效价不一致时抑制情绪面孔的识别。情绪词对情绪面孔识别的建构作用反映了,识别他人的情绪面孔必须依赖个体的相关语义概念。情绪词对情绪面孔识别的影响作为一个新兴的研究领域,超越传统情绪研究仅关注面孔的局限,开始探究情绪面孔识别的本质。但是,相关研究对其认知加工过程及潜在的神经基础等问题只进行了初步探讨,关于情绪词影响情绪面孔识别的认知神经机制还存在争议,所以该领域还有许多问题需要进一步的探究。
首先,情绪词效价对情绪面孔知觉影响的关键是SOA的长短,即呈现情绪词与呈现情绪面孔之间的时间间隔。根据上述论述,对于SOA的长短,研究者还没有达到共识[45,46]。所以,以后的研究应采用更加精密的仪器和更严密的实验设计确定情绪词效价启动的时间间隔。
其次,根据加工水平理论的观点,深度的编码加工会产生更强的刺激痕迹,而浅度编码产生较弱的刺激痕迹[47,48]。因此,将编码类型分为深度编码和浅度编码,即对应刺激的深度加工和浅度加工。而阅读的联结注意模型认为对词汇的加工包括最底层的词形加工,以及加工深度更深的语义加工和语音加工[49]。浅度加工情绪词,即“真假词判断”只对目标词汇的字形知觉特征进行了一定的加工,对词汇的语义、语音加工是微弱和不充分的;而深度加工情绪词,即通过“效价判断”处理后,个体所获得情绪词的语义要更多更深[47,36]。所以对情绪词的不同加工程度(即深度加工和浅度加工情绪词)是不是会影响情绪面孔的识别,还需要进一步的研究证实。
最后,虽然已有研究表明,情绪语义概念和情绪面孔识别激活的大脑区域存在重合[14,18,40,50],并证实语言和情绪识别存在交互作用[51,36,33],再次力证情绪的建构理论,但在具体的实验任务中并没有将情绪概念和情绪加工的具体贡献相区分。所以,以后的研究,采用FMRI技术以及损伤研究、电刺激研究的方式精准探究语义概念对情绪识别的贡献率是多大。
[1] Lecker M,Aviezer H.More than Words? Semantic Emotion Labels Boost Context Effects on Faces[J].Affective Science,2021,2(2):1-8.
[2] 丁小斌,康铁君,赵鑫.情绪识别研究中被“冷落”的线索:躯体表情加工的特点、神经基础及加工机制[J].心理科学,2017,40(5):1084-1090.
[3] Takahiko M,C P E,Batja M,et al.Placing the face in context:cultural differences in the perception of facial emotion.[J].Journal of personality and social psychology,2008,94(3):365-381.
[4] Sandrine G,Ludovic B L.Grounding context in face processing:color,emotion,and gender[J].Frontiers in psychology,2015(6):322.
[5] Perry A,Aviezer H,Goldstein P,et al.Face or body? Oxytocin improves perception of emotions from facial expressions in incongruent emotional body context[J].Sychoneuroendocrinology,2013,38(11):2820-2825.
[6] A K S,J M W,M B A G,et al.Why are you looking like that? How the context influences evaluation and processing of human faces[J].Social cognitive and affective neuroscience,2013,8(4):438-445.
[7] Doyle M C,Gendron M,Lindquist A K.Language Is a Unique Context for Emotion Perception[J].Affective Science,2021,2(2):1-7.
[8] Barrett F L,Mesquita B,Gendron M.Context in Emotion Perception[J].Current Directions in Psychological Science,2011,20(5):286-290.
[9] Feldman L B.Emotions are real[J].Emotion(Washington,D.C.),2012,12(3):413-429.
[10] Feldman L B.Variety is the spice of life:A psychological construction approach to understanding variability in emotion[J].Cognition & emotion,2009,23(7):1284-1306.
[11] Feldman L B,Batja M,N K O,et al.The experience of emotion[J].Annual review of psychology,2007(58):373-403.
[12] Barrett F L,Lindquist A K,Gendron M.Language as context for the perception of emotion[J].Trends in Cognitive Sciences,2007,11(8):327-332.
[13] Lindquist A K,Satpute B A,Gendron M.Does Language Do More Than Communicate Emotion?[J].Current Directions in Psychological Science,2015,24(2):99-108.
[14] Lindquist A K,Barrett F L.A functional architecture of the human brain:emerging insights from the science of emotion[J].Trends in Cognitive Sciences,2012,16(11):533-540.
[15] Wilson-Mendenhall D C,Barrett F L,Simmons K W,et al.Grounding emotion in situated conceptualization[J].Neuropsychologia,2011,49(5):1105-1127.
[16] Barrett F L.Are Emotions Natural Kinds?[J].Perspectives on Psychological Science,2006,1(1):28-58.
[17] A K L,Feldman L B,Eliza B,et al.Language and the perception of emotion[J].Emotion(Washington,D.C.),2006,6(1):125-38.
[18] A K L,Maria G,Feldman L B,et al.Emotion perception,but not affect perception,is impaired with semantic memory loss[J].Emotion(Washington,D.C.),2014,14(2):375-387.
[19] C E N,A K L,Jamil Z.A new look at emotion perception:Concepts speed and shape facial emotion recognition[J].Emotion(Washington,D.C.),2015,15(5):569-578.
[20] 史汉文,李雨桐,隋雪.情绪词类型效应:区分情绪标签词和情绪负载词的行为和神经活动证据[J].心理科学进展,2022,30(12):2696-2707.
[21] 康春燕,葛幼姿,郭桃梅,等.情绪词加工的认知神经机制——多义性与情绪价的分离[C]//中国心理学会.心理学与创新能力提升——第十六届全国心理学学术会议论文集.北京师范大学认知神经科学与学习国家重点实验室,2013:2.
[22] 李小花,张钦.情感启动行为研究概述[J].心理科学进展,2004(6):824-832.
[23] Murphy S T,Zajonc R B.Affect,cognition,and awareness:affective priming with optimal and suboptimal stimulus exposures[J].Journal of personality and social psychology,1993,64(5):723.
[24] 王岩.情绪启动与语义启动在不同SOA下的对比研究[D].辽宁师范大学,2013.
[25] Dandan Z,Weiqi H,Ting W,et al.Three stages of emotional word processing:an ERP study with rapid serial visual presentation[J].Social cognitive and affective neuroscience,2014,9(12):1897-1903.
[26] Wen L,E R Z,G S B,et al.Neural and behavioral evidence for affective priming from unconsciously perceived emotional facial expressions and the influence of trait anxiety[J].Journal of cognitive neuroscience,2008,20(1):95-107.
[27] A K S,J M W,M B A G,et al.Why are you looking like that? How the context influences evaluation and processing of human faces[J].Social cognitive and affective neuroscience,2013,8(4):438-445.
[28] Morel S,Beaucousin V,Perrin M,et al.Very early modulation of brain responses to neutral faces by a single prior association with an emotional context:Evidence from EG[J].NeuroImage,2012,61(4):1461-1470.
[29] Justin M K,A R L,Maital N,et al.Behind the mask:the influence of mask-type on amygdala response to fearful faces[J].Social cognitive and affective neuroscience,2010,5(4):363-368.
[30] A M R L,Gorana P,Elizabeth J.Conceptual knowledge is underpinned by the temporal pole bilaterally:convergent evidence from rTMS[J].Cerebral cortex(New York,N.Y.:1991),2009,19(4):832-838.
[31] M V,E J,A M R L.Semantic processing in the anterior temporal lobes:a meta-analysis of the functional neuroimaging literature[J].Journal of cognitive neuroscience,2010,22(6):1083-1094.
[32] C E N,A K L,Jamil Z.A new look at emotion perception:Concepts speed and shape facial emotion recognition[J].Emotion(Washington,D.C.),2015,15(5):569-578.
[33] Maria G,A K L,Lawrence B,et al.Emotion words shape emotion percepts[J].Emotion(Washington,D.C.),2012,12(2):314-325.
[34] Boucher J D,Carlson G E.Recognition of facial expression in three cultures[J].Journal of cross-cultural psychology,1980,11(3):263-280.
[35] Lecker M,Aviezer H.More than Words? Semantic Emotion Labels Boost Context Effects on Faces[J].Affective Science,2021,2(2):1-8.
[36] 刘文娟,沈曼琼,李莹,等.情绪概念加工与情绪面孔知觉的相互影响[J].心理学报,2016,48(2):163-173.
[37] M C D,A K L.When a word is worth a thousand pictures:Language shapes perceptual memory for emotion[J].Journal of Experimental Psychology General,2018,147(1):62-73.
[38] Fazio R H,Sanbonmatsu D M,Powell M C,et al.On the automatic activation of attitudes[J].Journal of personality and social psychology,1986,50(2):229.
[39] Lindquist A K,Gendron M.What’s in a Word? Language Constructs Emotion Perception[J].Emotion Review,2013,5(1):66-71.
[40] 陈学志,周连军,杨倩,等.熟练蒙汉双语者语义加工脑机制的fMRI分析[J].中国医学影像技术,2012,28(8):1475-1478.
[41] 杨炯炯,翁旭初.前额叶在记忆中的作用──脑功能成像研究进展[J].心理学动态,1999(2):13-18.
[42] Barrett F L,Mesquita B,Gendron M.Context in Emotion Perception[J].Current Directions in Psychological Science,2011,20(5):286-290.
[43] Nhi N,M D I.Use of context in emotion perception:The role of top-down control,cue type,and perceiver's age[J].Emotion(Washington,D.C.),2015,15(3):292-302.
[44] Collins A M,Quillian M R.Retrieval time from semantic memory[J].Journal of verbal learning and verbal behavior,1969,8(2):240-247.
[45] 叶烜辰,赵翠莲.情绪词类型及性别的情感启动效应——基于AMP的研究[J].解放军外国语学院学报,2022,45(3):78-85.
[46] 宋兆岩,李芳,宋耀武.不同SOA条件下认知风格对情绪启动效应的影响[J].心理研究,2012,5(1):33-37.
[47] 王丛兴,马建平,邓珏,等.概念加工深度影响道德概念水平方位隐喻联结[J].心理学报,2020,52(4):426-439.
[48] Craik F I M,Lockhart R S.Levels of processing:A framework for memory research[J].Journal of verbal learning and verbal behavior,1972,11(6):671-684.
[49] Seidenberg M S.Reading in different writing systems:One architecture,multiple solutions[M]// In P Mc Cardle,B Miller,J R Lee,et al.Dyslexia across languages:Orthography and the brain-gene-behavior link(pp.146-168).Paul H Brookes Publishing,2011.
[50] Satpute B A,Lindquist A K.At the Neural Intersection Between Language and Emotion[J].Affective Science,2021,2(2):1-14
[51] Grosse G,Streubel B,Gunzenhauser C,et al.Let’s Talk About Emotions:the Development of Children’s Emotion Vocabulary from 4 to 11 Years of Age[J].Affective Science,2021,2(2):1-13.