1.西南大学音乐学院,重庆; 2.中国音乐心理健康研究所,重庆
音乐和语言系统是人类最重要的两个声音系统,音乐和语言的比较研究正引起越来越多的研究兴趣。和语言一样,音乐也是人类的普遍存在,它包含了感知上离散的元素,这些元素被组织成层次结构的序列[1]。而句法是语言和音乐研究中的重要内容,它包含着结构元素属性的各个层次,和各层次结构中所包含的内容。
音乐句法是指将离散的音符元素融合为有层级结构的规则。音乐句法可分为空间结构和时间结构,空间结构对应句式结构与音高结构[2]。其中,乐句、调性、节奏是音乐句法中极为重要的三个属性。
语言句法是语法的一部分。根据所学语言的固定用法,讨论谓词、修饰词和其他词之间的关系。在句子结构中表达它们之间关系的单词形式的排列是语法的组成部分之一[3]。
根据共享句法整合资源假说(shared syntactic integration resource hypothesis,SSIRH),音乐和语言共享用于句法整合加工的神经资源[4]。通过在音乐和语言关系的认知研究的基础上,提出了句法合成的神经资源分享假说。这一框架表明,音乐和语言在神经系统区域存在着重叠。这一理论框架的提出是为了解决音乐句法和语言句法在处理中所产生的矛盾。一方面,神经心理学研究表明,音乐和语言在句法加工的脑机制上是分离的;另一方面,认知心理学、神经科学和病理学等方法考察了语言和音乐加工规则之间的相互影响[5],神经成像学证据指出音乐和语言又存在着重叠,这就是句法合成的神经资源分享假说(Shared Syntactic Integration Resource Hypothesis),简称SSIRH。该框架指出,尽管语言和音乐在许多方面不同,但在认知层面上却有着紧密的联系。
失语症是指与言语功能相关的脑组织大声病理变化,患者无法正确理解和表达符号沟通系统,尤其是对言语、词汇、语法、语言结构、语言内容和意义的理解和表达,并且语言基础的认知过程和语言功能发生缺陷。失音症主要表现为对音乐认知存在障碍,大脑神经遭受损伤,失去了感知音乐的能力。失乐症者的语言能力正常,但他们对于音乐乐曲中的旋律音调却无法分辨[6]。但随着深入研究,一些人患上失语症后,他们的音乐感知和音乐句法能力是完整的,而患上失乐症的病人其语言方面没有问题。
但大量神经影像学研究成果表明,语言和音乐关系紧密,加工脑区多有重叠。对于音乐家来说,大脑语言区域的损伤会导致创造音乐和欣赏音乐能力的丧失。通过神经影像学研究可发现音乐和语音处理过程中有多个脑区的神经重叠[7],这可能表明,语言建立的神经回路中的一部分功能可能在进化过程被用作于音乐性,反之亦然。
基于神经心理学和神经成像技术的深入研究发现,帕特(Patel)提出语言和音乐在结构整合处理中共享神经资源,神经共享是解释音乐和语言之间传递效应的关键概念。这一假设表明,处理词汇或和弦所需的认知资源取决于它们与整个句法的相关性[8]。对于音乐和语言,它们在表现领域是独立的,但处理所需的资源和负责处理的大脑区域是相同的。而后Patel引入了OPERA假说,OPERA假说即音乐的好处是由语言处理网络中的自适应可塑性(plasticity)驱动的,当满足以下 5 个条件时,这种可塑性就会发生:
(1)重叠(Overlap):在处理音乐和语音中使用的声学特征(例如,波形周期性,振幅包络)的大脑网络中存在解剖学重叠;
(2)精度(Precision):就处理精度而言,音乐对这些共享网络的要求比语音更高;
(3)情绪(Emotion):参与这个网络的音乐活动会引起强烈的积极情绪;
(4)重复(Repetition):经常重复参与该网络的音乐活动;
(5)注意力(Attention):参与这个网络的音乐活动与集中注意力有关。
如果缺乏音乐技能,也可以通过语言训练来弥补,语言和音乐在认知资源中共存。在医学领域,一些人将音乐引入失语症的治疗,这些音乐疗法在恢复患者的语言和情感支持方面发挥了非常好的作用。并且对音乐和言语之间神经共享的系统搜索不仅是临床和教育目的的重要途径,也是理解音乐性的神经生物学起源的重要途径。
音高结构组织是调性句法的关键组成部分。人们普遍认为,音乐家的调性句法加工能力要比非音乐家好,音乐训练会增强音高直觉判断力和音乐专业素养。近年来,随着音乐认知神经科学的发展,研究者通过脑电和成像技术来研究人类音乐句法加工的能力。StefanKoelsch与其合作者首次通过操纵和声片段的音高关系探究未受过音乐训练的普通人对音乐句法的加工。研究发现,无论在内隐还是外显任务中,未受过音乐训练的普通人大脑都能对违规和声句法诱发出一种早期后前侧的负波(early Hight-anterior negativity,ERAN)。具体来说,这种负波出现在违规和弦出现后的150毫秒左右,处在右脑的前部[9]。ERAN效应体现出大脑对违规与不违规句法加工的差异,因此被称为音乐句法的脑电成分。在该研究中研究者最后得出,人类对音乐句法的加工能力可能是普遍存在的,并由此暗示人人都具备音乐的感受能力。这可能是一种无论是否受过音乐训练都具有的一种听觉信息加工的机制。
但有研究对该结论做出了挑战,从华东师范大学与上海音乐学院共招募了36个被试,根据被试音乐训练的经验分为音乐专业组和非音乐专业组。音乐材料分为七类,包括三种音乐类型(古典调性,印象流派,无调性)通过核磁共振扫描和行为评价要求被试将音乐片段进行归类,并将归类结果进行评估。研究结果表明非音乐专业组对于音乐句法加工的能力可能仅限于调性音乐,在遇到调性的不稳定情况下,没有经历过音乐训练的人则不能很好地对此类音乐类型进行加工,如印象流派音乐,这可能是无法欣赏此类音乐类型的原因之一。而经历过音乐训练的人则可以很好地根据调性不稳定情况调整,从而进行音乐理解[10]。
音乐句法加工是考察音乐音高结构的加工,除了音高结构,音乐中另外一个重要的结构是时间结构[11]。
音乐家和非音乐家之间的N100振幅差异在额叶电极上最为明显,这表明N100振幅对节奏异常刺激的增加可能源自听觉联想区域,这是音乐家对节奏异常刺激的增强处理的基础。由于有长期的音乐训练,音乐家在听觉记忆中对目标旋律节奏模式有更强的心理刺激。与非音乐家相比,音乐家的P200振幅也有所增加,音乐训练对P200振幅有增强效果[12]。音乐家对节奏和韵律的感知更发达,在节奏能力测试中,他们在旋律和和声方面的得分始终高于非音乐家。此外,音乐家对违例的MMN表现出更高的振幅和更短的延迟,这表明他们比非音乐家部署了更精确的预测模型。
与非音乐家相比,音乐家对和声句法违规诱发的ERAN效应波幅更大,潜伏期更短。那么,音乐家与非音乐家对节奏句法加工是否也会诱发不同的大脑反应。与音乐家不同,非音乐家没有对句法规则违反诱发ERAN效应。ERAN反映了与音乐句法加工相关的快速且自动的神经加工过程[13]。该结果表明,与音乐家不同,非音乐家不具备对节奏句法早期自动化加工的能力。这可能是由于音乐家经过长期专业的音乐训练,大脑中有更好的节奏句法规则的表征。
音乐家和非音乐家在句中位置都诱发了ERAN效应与P600效应,在句末位置虽然都诱发了P600效应,但是只有音乐家诱发ERAN效应[14]。
虽然音乐家与非音乐家都具备节奏句法加工的能力,音乐训练对句末位置节奏句法违规的早期自动化加工能力具有积极作用,音乐训练可能有助于形成对节奏句法的早期自动化加工,从而提高早期句法加工的敏感性。
已有研究通过功能性磁共振成像技术,发现音乐训练不仅可以提高语言编码能力和语言预测能力,还可以将跨模态信息整合到运动听觉系统中。随着研究的深入,将音乐家与非音乐家采用 fMRI 测量的静息状态活动的结果比较研究,发现音乐家增加了运动和多感官区域的功能连接。这一结果表明,即使在没有任务的研究设计中,长期的音乐训练也会影响大脑的功能连接,并指出音乐家的运动和多感官网络可能会得到更好的训练以共同行动。通过音乐训练能够增强大脑之间的连接,使大脑的结构和功能更为紧密联系,从而锻炼大脑,提高认知功能。音乐训练与认知技能在大脑功能间的因果关系至关重要,相关研究证据表明,音乐训练的时间数量与言语记忆的增加有直接关系[15]。
研究人员测试了处于时间和音乐发展不同阶段的儿童的言语和视觉记忆任务。音乐训练与语言记忆显著相关,但与视觉记忆无关。功能性磁共振成像(fMRI)研究了被动听力任务期间音乐家和非音乐家之间皮层激活的差异,研究结果提供了将音乐专业知识与语言领域联系起来的证据。并且发现了音乐家和非音乐家在颞平面(PT)和左背外侧前额叶皮层(DLPFC)的激活程度上存在差异,音乐家表现出更大程度的激活。左PT,也称为韦尼克区,与语言理解有关,PT的激活程度与参与者开始音乐训练的年龄相关。这些研究支持了音乐训练可能会影响与语言能力和语言记忆相关的大脑结构的观点。音乐家大脑结构差异与语言记忆过程之间的关系,即长期和短期的语言记忆都利用了左半球结构。言语记忆相关的行为结果可能是加强使用言语排练过程的结果,这既可以将信息暂时存储在工作记忆中,也可以帮助创建这些信息的长期痕迹[16]。
从心理声学的角度来看,音乐和语音处理存在机制共享。在低层次加工阶段,音乐与语言就存在着共同的加工机制。当给被试同时呈现旋律与歌词时,在颞上回、颞中回(middle temporal gyrus,MTG)、脑岛和额下回等脑区,音乐的音程分析与语言的词义分析相互干扰。在高层级的加工阶段,音乐与语言也存在共有的加工机制。旋律的加工激活了与语言紧密联系的布洛卡区(额下回区域)和威尔尼克区(颞上回区域),这两个区域均参与了语言的句法加工[17]。
音乐训练过程中涉及的大脑环路与言语加工涉及的大脑环路非常相近。两者共享了从外耳进入内耳,然后传到脑干进行初步编码加工,最后到达大脑皮层这一条听觉传导通路,涉及的大脑皮层区域同样有高度重叠。
最初的OPERA假设侧重于声学特征(例如波形周期性),而不是认知需求(例如听觉和工作记忆)。扩展的OPERA假设基于音乐训练增强听觉加工水平的建议,将共享认知处理的思想纳入了神经重叠的讨论[18]。
音乐训练对于儿童教育是有许多益处的,特别是音乐训练对特殊人群的认知能力影响。音乐干预被发现能够提升语音加工能力、听觉加工水平,能促进大脑活动的整合协调。特别是帮助特殊儿童(如发展性阅读障碍儿童,developmental dyslexia,DD)DD儿童被认为在阅读和拼写方面有着特殊的障碍,掌握读写技能的速度极慢。
音乐训练涉及个体的感觉、运动相关脑区,以及多重感知通道整合,可以促进儿童听觉皮层、连接感觉—运动皮层间胼胝体的神经可塑性,相关神经功能的变化都可能会影响儿童的语言能力[19]。
在听觉加工阶段,语音作为一般声音信号在基本听觉神经网络中被加工。语音的频率、时间等参数通过皮层下听觉神经核(如下丘、耳蜗核等)进行分辨,进而在听觉皮层进行整合,形成自下而上的神经通路。神经生理研究发现,参加6个月钢琴训练后,4~5岁儿童对元音频率的感知能力更强[20],12个月的音乐训练可以增强正常儿童对元音时长、嗓音起始时间的感知能力,并使得DD儿童的语音感知能力恢复到与正常同龄儿童相同的水平[21]。此外,音乐训练还可能通过增强与听觉注意、听觉记忆相关的皮层与初级听觉皮层间的功能连接,从而加强执行功能对听觉加工的认知控制,自上而下地增强皮层下脑干听觉神经中枢的功能,从而促进语音感知能力。因此,音乐训练通过影响皮层下基本听觉神经通路与大脑皮层听觉相关加工和调控脑区,增强儿童在听觉加工阶段的语音感知[22]。
为了从一段音乐或正在进行的语音中提取意义,听觉系统必须编码音调或语音线索(以识别音符或说话者)以及节奏(话语或交响乐中单词和和弦随时间的展开),并在背景噪音或交响乐团中的乐器中分离声音。因此,处理音乐所涉及的神经机制应该与语音机制重叠并影响语音机制。熟练的音乐家在听和演奏音乐方面的悠久历史和经验可能会对即时记忆中听觉时间序列的处理产生选择性影响。
由于长期的音乐训练,音乐家的左半球可能更充分地参与频谱信息的处理,众所周知,频谱信息通常优先在右半球处理。相比之下,在检测节奏偏差方面,目前的研究结果表明,与非音乐家相比,无论受刺激的耳朵如何,音乐家都能更准确地检测节奏偏差,而且受刺激的耳对演奏测量没有影响。音乐家有着将注意力集中在声音上的能力,而这种能力反过来可以帮助他们对声音进行分类并做出相关的决定。对ERP的分析再次揭示了这一点。与非音乐家相比,音乐家的N2/N3分量(分类过程)对音调变化的潜伏期更短,P3b分量(决策过程)对声调和节段变化的潜伏期更短,振幅更大[23]。
音乐家和非音乐家之间与音乐感知相关的认知技能的差异对应于这些群体之间大脑结构和大脑功能的差异。经典研究表明,音乐家表现出胼胝体纤维束的形态学差异,以及小脑体积的增加,以及左中央前回、运动前区和左小脑的初级运动和体感区的灰质体积的增加,在涉及语言和音乐的时间结构的脑区中,以及在涉及听觉感知的脑区中[24]。
言语感知与理解能力下降是老年人日益严重的慢性问题之一。此外,老年人对于理解聆听日常交流中的声音(例如,环境噪音、其他人说话、音乐)也是一个挑战。噪声中语音(speech in noise,SIN)感知是一个多方面的过程,其中耳蜗听力损伤是听力的主要障碍方面,中枢听觉处理和认知能力下降SIN 缺陷的关键预测因素[25]。
杜忆研究小组一项行为实验证实,老年人在噪音背景下言语感知能力下降与他们的听觉工作记忆下降有关,而音乐训练可以有效延缓老年人在嘈杂环境中的言语感知能力下降。这项研究招募了老年非音乐家、老年音乐家、年轻非音乐家和年轻的音乐家进行噪声语音识别测试。结果表明,音乐训练对改善年轻群体的噪音下言语感知能力作用不明显,但在改善老年人群体中效果明显。并且,老年音乐家对噪音的认知明显高于非老年音乐家。通路分析结果表明,听觉工作记忆在减少语音感知老化和改善嘈杂环境中的音乐训练体验方面发挥着重要的中介作用。
音乐训练提高了老年人理解句法的能力。在积极聆听任务期间接受音乐训练的组中,额叶左电极的正向电活动普遍增加。这种活动与言语运动系统相关的潜在皮质源有关。对这种结果模式的一种可能解释是,音乐训练加强了听觉运动联系,是对句法理解的积极转移[26]。
音乐句法和语言句法在大脑内部有着神经资源区域共用,在加工机制上存在着重叠和共享。音乐训练不仅对音乐本身的处理有益,还能通过增强早期句法加工的敏感性和改善言语刺激的听觉编码能力来提升语言的句法加工和听觉加工。未来的研究可以进一步探索不同类型的音乐训练对认知过程的影响,以及如何在教育实践中促进语言的学习和发展。
[1] Patel A D.Language,music,syntax and the brain[J].Nature neuroscience,2003,6(7):674-681.
[2] 张晶晶,梁啸岳,陈伊笛,等.音乐句法加工的认知机制与音乐结构的影响模式[J].心理科学进展,2020,28(6):883-892.
[3] 司富珍.句法制图研究的新视野[J].语言教学与研究,2019(3):25-37.
[4] 王星,李德高,李艺,等.音乐对语言加工的影响:来自ERP的证据[J].应用心理学,2023,29(3):280-288.
[5] 李恒,曹宇.语言和音乐共享同一认知加工系统——来自汉语关系从句的证据[J].外语教学,2020,41(6):32-36,53.
[6] 朱晓菊,何小俊.音乐疗法治疗脑卒中失语症的研究进展[J].护理研究,2020,34(2):288-290.
[7] Neves L,Correia A I,Castro S L,et al.Does music training enhance auditory and linguistic processing? A systematic review and meta-analysis of behavioral and brain evidence[J].Neuroscience & Biobehavioral Reviews,2022(140):104777.
[8] Drakoulaki K,Anagnostopoulou C,Guasti M T,et al.Situating language and music research in a domain-specific versus domain-general framework:A review of theoretical and empirical data[J].Language and Linguistics Compass,2024,18(2):e12509.
[9] Alonso J G,Banón J A,DeLuca V,et al.Event related potentials at initial exposure in third language acquisition:Implications from an artificial mini-grammar study[J].Journal of Neurolinguistics,2020(56):100939.
[10] 张瑞卿.音乐句法与调性的神经机制[D].上海:华东师范大学,2018.
[11] 张晶晶,薛亚楠,冯银,等.音乐学习对语言韵律加工的影响及其作用机制[J].心理科学,2024,47(1):21-27.
[12] Zamorano A M,Kleber B,Arguissain F,et al.Extensive sensorimotor training enhances nociceptive cortical responses in healthy individuals[J].European Journal of Pain,2023,27(2):257-277.
[13] 孙丽君.音乐训练对乐句结构加工影响的神经基础[D].上海:上海师范大学,2018.
[14] Sun L,Liu F,Zhou L,et al.Musical training modulates the early but not the late stage of rhythmic syntactic processing[J].Psychophysiology,2018,55(2):e12983.
[15] Sala G,Gobet F.Cognitive and academic benefits of music training with children:A multilevel meta-analysis[J].Memory & cognition,2020,48(8):1429-1441.
[16] Román-Caballero R,Vadillo M A,Trainor L J,et al.Please don’t stop the music:A meta-analysis of the cognitive and academic benefits of instrumental musical training in childhood and adolescence[J].Educational Research Review,2022(35):100436.
[17] 侯建成,董奇.音乐认知:脑与认知科学的研究成果及其教育启示[J].武汉音乐学院学报,2010(2):166-173.
[18] Fiveash A,Bedoin N,Gordon R L,et al.Processing rhythm in speech and music:Shared mechanisms and implications for developmental speech and language disorders[J].Neuropsychology,2021,35(8):771.
[19] Habibi A,Damasio A,llari B,et al.Childhood music training induces change in micro and macroscopic brain structure:results from a longitudinal study[J].Cereb Cortex,2017,28(12):1
[20] Nan Y,Liu L,Geiser E,et al.Piano training enhances the neural processing of pitch and improves speech perception in Mandarin-speaking children[J].Proc Natl Acad Sci USA,2018,115(28):E6630-E6639.
[21] Frey A,François C,Chobert J,et al.Music training positively influences the preattentive perception of voice onset time in children with dyslexia:a longitudinal study[J].Brain Sci,2019,9(4):91.
[22] Román-Caballero R,Vadillo M A,Trainor L J,et al.Please don’t stop the music:A meta-analysis of the cognitive and academic benefits of instrumental musical training in childhood and adolescence[J].Educational Research Review,2022:100436.
[23] Vuust P,Heggli O A,Friston K J,et al.Music in the brain[J].Nature Reviews Neuroscience,2022,23(5):287-305.
[24] Ellis B J,Sheridan M A,Belsky J,et al.Why and how does early adversity influence development? Toward an integrated model of dimensions of environmental experience[J].Development and Psychopathology,2022,34(2):447-471.
[25] Zhang L,Fu X,Luo D,et al.Musical experience offsets age-related decline in understanding speech-in-noise:type of training does not matter,working memory is the key[J].Ear and Hearing,2021,42(2):258.
[26] Zendel B R,West G L,Belleville S,et al.Musical training improves the ability to understand speech-in-noise in older adults[J].Neurobiology of aging,2019(81):102-115.