解决词汇挑战的多模态策略:情境资源与创造性手势在四岁和五岁儿童中的作用
《Acta Psychologica》:Multimodal strategies for resolving lexical challenges: The role of situational resources and creative gestures in four- and five-year-old children
【字体:
大
中
小
】
时间:2026年05月10日
来源:Acta Psychologica 2.7
编辑推荐:
吕尧王 | 卡塔琳娜·J·罗尔芬
德国帕德博恩大学艺术与人文学部,心理语言学系
**摘要**
本研究探讨了四岁和五岁的儿童如何利用手势创造性地解决词汇和表征方面的挑战,以及在语言资源不足时如何产生创造性手势。65名德语儿童在视觉刺激的帮助下纠正了木偶对勺子的不合常规
吕尧王 | 卡塔琳娜·J·罗尔芬
德国帕德博恩大学艺术与人文学部,心理语言学系
**摘要**
本研究探讨了四岁和五岁的儿童如何利用手势创造性地解决词汇和表征方面的挑战,以及在语言资源不足时如何产生创造性手势。65名德语儿童在视觉刺激的帮助下纠正了木偶对勺子的不合常规使用(纠正任务),随后在没有视觉刺激的情况下向照顾者描述了这一事件(说明任务)。我们的定量分析主要集中在表征性手势(指示性和象征性手势)以及手势的大小上。结果显示,在有物体的情况下,指示性手势明显增多,但在象征性手势或手势大小方面两种任务之间没有差异。纠正任务中与勺子的物理互动有助于儿童在说明任务中更好地回忆所经历的事件,但并未影响他们产生的手势数量。手势的生成受沟通情境(有物体 vs. 无物体)的影响,而非儿童之前与物体的物理体验。
为了捕捉儿童的创新多模态策略,我们将创造性手势定义为超越常规形式以表达新颖、抽象或细腻意义的手势。定性分析表明,儿童用手势代替缺失的词语,强调意义或通过身体和声音使事件生动化。一些手势创造性地结合了多种功能,或将常规形式重新用于新的目的。这些发现为儿童在面对语言词汇挑战时如何构建意义提供了新的见解。综合来看,我们提出了一种区分儿童的非传统手势和强化传统手势的方法,这与研究结果一致,即手势作为一种认知工具可以促进早期创造力。
**1. 引言**
**1.1 手势作为多模态和认知资源**
手势和言语并非孤立存在,而是作为多模态系统共同发挥作用,这一系统受到儿童认知能力和互动情境需求的共同影响(Boden等人,2024;Sparaci & Volterra,2025)。在语言发展过程中,手势是一种早期且有力的表达方式。指物行为是最先出现的沟通行为之一,与词汇增长、词汇学习和共同注意密切相关(Colonnesi等人,2010;Liszkowski & Rüther,2024;Tomasello等人,2005)。11至24个月大的儿童开始产生象征性手势,这些手势与所指对象的特征相关联(Stanfield等人,2014),使他们能够表达超出其口语词汇范围的意义(Acredolo & Goodwyn,1988;Iverson等人,1994)。因此,即使是早期的沟通交流也表明,当儿童外化想法、检索词语和管理复杂话语任务时,手势也起着重要作用(Cook等人,2008;Kirk & Lewis,2017;Pine等人,2007)。
这些发展证据支持了将手势视为符号系统核心组成部分的观点,该系统还包括目光、姿势和韵律(Karad?ller等人,2024;Sparaci & Volterra,2025;Schroer & Yu,2023)。这些理论挑战了语言纯粹是“大脑内部”过程的观点(Clark,2008,第xxvii页)。随着儿童话语技能的提高,手势在意义构建和详细表达中发挥着越来越重要的作用。它们丰富了叙事结构,突出了相关信息,并使儿童能够表达难以用语言表达的关系和事件。例如,能够进行详细叙述的儿童 tend to 使用更多的象征性手势(Rohlfing,2023),鼓励使用手势还可以提高言语流畅性和创造性叙事能力(Kirk & Lewis,2017;Laurent等人,2020)。
手势不仅支持语言表现,还帮助儿童在创造性和叙事性情境中构建和细化意义。它们作为一种灵活的表征资源,使儿童能够通过身体运动积极地组织思考(Alibali & Kita,2010)。这种灵活性在于手势能够减轻认知负担、模拟想象中的动作并在空间中可视化概念——尤其是在语言资源仍在发展阶段(Alibali & Kita,2010;Boden等人,2024)。通过手势,儿童在解决问题或回忆经历时尝试不同的表达形式,这些能力与早期创造力密切相关(Kirk & Lewis,2017)。
**1.2 手势与创造性思维**
尽管人们普遍认识到手势对儿童认知的价值和功能,但文献中很少有关于手势如何促进创造性沟通行为的探讨。通常情况下,沟通需要说话者表达新颖的想法或指代难以描述的实体。对于儿童来说,创造性沟通行为至关重要,因为他们经常遇到词汇空白,即不知道如何用适当词语表达某个对象。这种情况在儿童中比成人更为常见(Clark,1981)。在这种情况下,儿童必须借助手势等替代资源来传达新的、抽象的或尚未完全编码在词汇中的概念(Acredolo & Goodwyn,1988)。
基于手势在早期发展中出现的观点及其在沟通中的核心作用,近期研究强调了手势作为创造性思维催化剂的潜力。创造性思维通常分为两类:收敛性思维和发散性思维。收敛性思维关注寻找问题的最佳解决方案,而发散性思维则涉及产生许多新的、合适的想法或解决方案(Hyusein & G?ksun,2023)。近期研究(包括针对成年人的研究)表明,手势与这两种思维类型都有关,尽管作用方式不同(Hyusein & G?ksun,2025)。研究成人收敛性思维的成果为手势如何支持创造力提供了有益的见解。例如,Hyusein和G?ksun(2023)通过远程关联测试(RAT)研究了言语和视觉收敛性思维,参与者需找出连接三个线索的单一词语或图像。他们发现,手势对收敛性思维的影响取决于个体的心理意象能力,即生成、维持、检查和转换内部视觉表征的能力。对于具有强大心理意象能力的成年人而言,象征性手势有助于改善言语收敛性思维,但频繁的手势使用可能阻碍那些意象能力较弱的人。这些发现表明,手势并不总是支持专注的问题解决,可能会与其他与心理意象相关的内部过程相互作用。
与手势对收敛性思维的影响相反,手势对发散性思维的影响更为一致。例如,Hyusein和G?ksun(2024)通过吉尔福德替代用途测试(AUT)研究了这一关系,该测试要求参与者为日常物品生成尽可能多的创造性用途。他们的结果显示,无论参与者的认知背景如何,象征性手势都能增强想法生成。双语研究进一步表明,这种效果取决于语言环境。在针对土耳其-英语双语者的双语研究中,Hyusein和G?ksun(2025)发现,虽然象征性手势在参与者的母语中与发散性思维呈正相关,但在第二语言中则没有同样的效果。更广泛地说,身体运动也与创造性想法生成有关。Frith和Miller(2024)测试了大学生在三种运动条件下的AUT任务表现:有意义的运动、无意义的圆周运动和受限运动。有意义运动组的参与者(如用手塑造想象中的物体)生成的原创想法更多。这些发现支持有意义的运动有助于外化和丰富创造性思维的观点。
类似的证据也来自儿童研究:Broaders等人(2007)发现,在解决数学问题时被提示使用手势的儿童比未受提示的对照组探索了更多策略。Kirk和Lewis(2017)发现,手势使用增加了物体使用任务中的想法生成。此外,在叙事情境中,Laurent等人(2020)观察到,使用手势的学龄前儿童产生了更长、更具想象力的叙述,并使用了更多多样化和低频的词汇。
总体而言,有大量证据表明手势支持各年龄段的创造性思维和想象力。然而,虽然大多数研究将手势使用与个体特征联系起来,但尚未明确说明手势如何促成新想法的产生并支持表达。对创造性手势的专门研究(定义为偏离常规形式或具有新沟通功能的手势)可能为理解儿童如何使用身体不仅表达意义,还能实时构建和探索意义提供有希望的途径。
**1.3 创造性手势**
要识别创造性手势,首先要定义创造力。创造力被定义为“个体或群体在社会背景下产生的既新颖又有用的可感知产品的能力,这种产品是才能、过程和环境相互作用的成果”(Plucker等人,2004,第90页)。这个定义有两个关键标准:创造性成果不仅要新颖,而且要有用或相关(Runco & Jaeger,2012)。在手势的背景下,我们认为创造力是通过手部动作和意义的动态互动产生的,使说话者能够以新颖的方式表达或构建想法。
此外,还需要区分创造性手势与其他可能反映认知努力但本身不具备新颖性的手势和言语现象。例如,手势-言语不匹配现象指的是儿童在完全用言语表达之前用手势补充言语陈述(Church & Goldin-Meadow,1986)。这种不匹配表明儿童正处于知识过渡阶段。然而,这并不涉及创造性手势形式的发明。尽管创造性手势和手势-言语不匹配都揭示了认知处理的重要方面,但创造性手势涉及更多的表征创新。一种识别创造性手势的方法是通过其语义和形式特征。创造性手势常打破常规沟通模式,产生新颖或独特的形态,从而传递意义(Kok & Cienki,2016)。这些形态可能是对沟通需求的自然反应,可以反映说话者试图更生动、精确或富有创意地表达概念的尝试(Hostetter & Alibali,2008;Kok & Cienki,2016)。重要的是要强调,创造性手势可能同时反映文化和个体创新。从文化角度来看,手势嵌入在共享的符号系统中,创造性使用可能以新的方式扩展或适应这些规范(Poggi,2002;Poggi,2008)。从个体层面来看,儿童常常基于自身的身体经验和沟通意图发明新的手势形式(Bellini,2024)。在这种意义上,手势不仅是一种表达工具,还是一种创造性的思维媒介,能够扩展言语所能表达的范围。
对于成人而言,Cienki和Mittelberg(2013)确定了创造性手势的三个形式特征:首先,它们具有超出常规的动态性,速度和强度更高;其次,它们使用了扩展的手势空间,将动作延伸到常规边界之外;第三,它们与其他身体表现形式(如身体姿势和夸张的面部表情)协调。例如,Cienki和Mittelberg(2013)发现,一位讲师在描述“语法与使用的边界模糊”时用力将手掌合拢,而另一位讲师则画出一个大弧来表示“介词”。这些手势不同于非创造性手势(如简单的节奏性动作或简单的指向)。此外,他们认为创造性手势可以发挥特定功能,如具体化个体对象、支持想法的详细阐述或对说话者态度的元评论。这类手势不仅仅是思想的伴随物,还可以为思想的形成提供支持。
尽管Cienki和Mittelberg(2013)提出的形式特征有助于理解创造性手势,但目前尚不清楚这些特征是否适用于儿童的手势行为。关于儿童创造力领域的研究仍然有限,很少有研究探讨儿童如何用手势发明、详细阐述或以新颖方式表达意义(Kirk & Lewis,2017;Laurent等人,2020)。此外,关于这些手势如何与言语和任务需求相互作用,我们知之甚少。对于儿童来说,在他们需要依赖替代手段来克服词汇缺失的情况下,创造性手势可能特别有用——也就是说,在他们没有传统参照手段可用的情况下。受到这些情境需求的启发,我们当前的研究旨在探讨幼儿在使用创造性手势时的行为特点,并特别关注这些手势如何在互动中促进多模态的意义构建。
2. 本研究
儿童在交流过程中经常遇到找不到确切词汇来表达某个概念的情况——即所谓的词汇缺失(Clark, 1981)。这种缺失不仅源于词汇量有限,还可能发生在儿童试图表达新的、抽象的或个人重要观念时(Goldin-Meadow, 2003; ?z?al??kan & Goldin-Meadow, 2005)。研究表明,手势不仅仅是填补空白词汇的工具:它以灵活的形式积极地支持思维的组织、精炼和外部化(Beilock & Goldin-Meadow, 2010; Kirk & Lewis, 2017)。手势不仅可以简单地替代缺失的词汇,还可以作为一种认知工具,支持观念的发展和交流(Beilock & Goldin-Meadow, 2010; Goldin-Meadow, 2003; McNeill, 1992)。基于这一观点,本研究调查了幼儿在面对不同表征和词汇挑战的交流任务中如何使用手势,以及手势如何根据可用的情境资源创造性地扩展传统形式以支持新的意义构建。因此,我们观察了儿童在两个通过相同非传统事件关联的交流任务中的行为:(1) 一个情境化的纠正任务,其中儿童直接回应玩偶对可见物体的非常规使用(例如,玩偶握着勺子的错误一端);(2) 一个去情境化的说明任务,要求儿童在没有具体参照物的情况下描述事件。
需要强调的是,尽管这两个任务都涉及同一个目标事件,但它们的结构存在系统差异。最显著的区别在于,纠正任务提供了直接的视觉支持和与玩偶的共同参照背景,而说明任务要求儿童在没有共同参照物的情况下重构和描述事件。此外,儿童交流行为的受众也不同:在纠正任务中,玩偶是事件的共同观察者;而在说明任务中,照顾者则是不知情的。因此,说明任务对儿童的表征和词汇能力要求更高,他们需要在大脑中模拟过去事件并通过语言表达出来。这引发了一个解决问题的情境,因为儿童必须识别非常规行为并适当重构它以便与他人交流。先前的研究表明,在解决问题或重构非常规事件时,手势能够促进探索性思维并帮助生成新观念(Chu and Kita, 2008, Chu and Kita, 2011)。因此,本研究的首要目的是比较儿童在两个交流任务中的手势使用情况。先前研究表明,在认知要求较高的情境下,如解决问题(Broaders et al., 2007; Grimminger et al., 2010)、叙述(Demir et al., 2010)或解释(Pine et al., 2004)时,手势的使用会增加。特别是当缺乏物理背景来支持信息时,说话者倾向于使用更具象征性的手势(Gullberg, 2006; Hostetter & Alibali, 2008)。我们假设儿童在去情境化的说明任务中会使用更多的象征性手势,因为该任务需要他们进行内部处理。除了手势类型外,我们还考察了手势的大小,这一方面在以往的研究中很少被关注。手势大小可能反映了说话者在交流中投入的体力努力和沟通重点(Asal?o?lu & G?ksun, 2023)。较大的手势可能表明沟通需求较高或在语言资源不足时需要更大的解释努力。因此,我们探讨了儿童在不同任务中的手势大小是否存在差异,以及在去情境化说明任务中体力努力是否有所增加。
第二个目的是考察纠正任务中的两种实验条件(有物理工具互动与无物理工具互动)是否会影响儿童在后续说明任务中的表现。躯体认知研究表明,感觉运动经验可以增强概念编码、记忆和表达行为(James, 2010; Kontra et al., 2012)。因此,我们假设与物体有物理互动的儿童在说明任务中会提供更丰富的言语描述和更具情境依据的手势(参见Boden et al., 2024)。这使我们能够评估之前的互动是否影响了儿童通过语言和手势回忆和重构意义的能力。
第三个也是核心目的是识别和分析创造性手势的实例——那些超越传统形式以表达新意义或扩展意义的手势(Poggi, 2002, Poggi, 2008)。因此,我们并没有检验具体方向上的假设,而是探讨这些手势是否会在不同的交流需求中出现,以及儿童如何使用身体以创造性和具身化的方式构建和表达新的观念。
3. 方法
本研究采用的方法与Wang和Rohlfing(2025)之前提出的方法相同。在此基础上,本研究将数据集从55个扩展到65个儿童,并通过系统的定量分析补充了之前的定性研究。与之前的定性分析不同,本研究对手势类型、手势大小和创造性手势特征使用了明确且可复制的编码标准。所有手势都由经过培训的注释者进行双重编码,以确保评分者的可靠性。此外,手势大小的编码系统得到了改进,以提高空间精度。原来的方案仅通过两个维度来区分手势大小,但这种方法无法可靠地分类许多儿童将手臂向前伸展的情况。为了解决这个问题,我们扩展了空间编码系统,增加了第三个维度,区分了在躯干前后产生的手势,从而提高了手势大小分类的精细度。
3.1. 参与者
本研究使用了来自更大项目的四岁和五岁儿童的子样本(N = 66)(参见Abramov, Kern等人,2021; Abramov, Mertens等人,2021; Boden等人,2024; Kern等人,2024)。由于研究专门关注儿童对勺子误用事件的反应,我们只包括那些在至少一项交流任务中提供了有效反应的儿童。这意味着,如果儿童在纠正任务中纠正了玩偶的行为或在说明任务中提到了勺子的误用,他们就被纳入了样本。根据这一标准,一个在两项任务中都没有提供有效反应的儿童被排除在外,最终样本为65名儿童(25名女孩,40名男孩;平均年龄M = 53个月,标准差SD = 5.48个月,范围:45-66个月)。所有儿童的主要语言是德语,并且在学校的交流中最多使用第二语言的比例不超过10%。
每个儿童与照顾者一起参观了两次大学实验室,两次访问之间至少间隔2周。在第一次访问中,儿童参与了一系列交流任务。在第二次访问中,通过非言语智能测试SON-R(Tellegen等人,2007)评估了他们的视觉处理能力和流体智力。认知测试数据不包含在当前研究中,因为我们关注的是儿童在交流任务中的自发手势使用情况。由于样本来自现有数据集,因此没有进行先验的功效分析。相反,我们使用G*Power(Faul等人,2007)进行了敏感性分析,以估计在α = 0.05和功效 = 0.80的条件下可用样本量能检测到的最小效应。对于主要分析(第4.1.2节),假设五个预测变量和总共65个样本,研究能够检测到大约f2 = 0.22或更大的效应。对于后续的回归分析(第4.1.3节),假设三个预测变量和34名成功回忆事件的儿童样本,可以检测到的效应大小约为f2 = 0.37。这些值分别对应于中等至较大的效应(Cohen, 1988),表明研究有足够的能力检测到中等至较大的效应。
3.2. 程序和刺激
本研究仅关注更大项目中的三项交流活动之一(另外两项是解释和叙述)。Rettig(2017)将这项活动的主要目标描述为向第三方说明另一个人的不当行为。所选活动要求说话者不仅描述一个非常规行为,还要分享道德判断并确认共同的规范。先前的研究(Abramov, Mertens等人,2021)表明,这项任务引发了儿童最多的手势使用。这对我们的分析很重要,因为这项任务要求儿童在没有流畅语言描述的情况下说明非常规行为,这需要创造性的解决方案,我们预计说明任务会产生广泛的手势。如上所述,这项交流活动包括两个相关任务:(1) 儿童对玩偶非常规行为的情境化纠正;(2) 儿童在没有物体和角色的情况下对这一非常规行为的去情境化说明。这两个任务是相关的,因为纠正行为启动了说明行为。在任务1中,实验者和儿童坐在一张足够大的桌子旁,以防止儿童接触到实验者提供的物体。实验者介绍了一个自称是人类行为专家的手偶(一只狗)。狗以非常规的方式演示了五种日常物品的使用方法。例如(见图1),为了演示吃饭的动作,狗握住了勺子的碗部(而不是把手),并试图用勺子舀食物,同时说道:“Ja, ich habe gesehen, wie die Menschen L?ffel halten, n?mlich so! [是的,我见过人们这样拿勺子!]”。每次演示后,狗会问儿童这种行为是否正确,从而促使儿童提供纠正。大多数儿童觉得狗的非常规行为很有趣,并且很乐意进行纠正。
实施了两种实验条件(Boden等人,2024):在物理纠正条件下,儿童被指示站起来,接近玩偶,并通过身体动作纠正玩偶的错误行为;在远程纠正条件下,他们被要求保持坐姿,从远处用语言或手势纠正玩偶。这些条件是基于研究发现,即执行某个动作会影响人们随后对该事件的表达方式(Hostetter & Alibali, 2010)。在完成五次演示后,在任务2中,玩偶被移除,儿童无法看到或接触到它。在外面等待的照顾者被邀请回到房间并坐在地板上的垫子上。儿童被要求与照顾者一起坐着,描述刚刚发生的事情。这种设置创造了更高的词汇和符号需求,因此有望引发多样化的手势策略,尤其是在语言资源不足的情况下。
在原始设计中,玩偶演示了五种非常规物品的非常规使用方式。然而,在本研究中,我们只关注其中一个动作:即用非常规方式用勺子吃饭。选择这个动作是因为几乎所有样本中的儿童都提到过它,并提供了明确的手势纠正。这也是参与者中最容易理解和一致表达的动作,非常适合研究儿童的手势策略。因此,成功回忆被编码为一个二元变量,表示孩子是否在插图任务中明确提到了勺子的错误使用方式。3.3. 手势和言语编码所有视频和音频数据都使用ELAN(Sloetjes & Wittenburg, 2008)逐帧转录和编码。言语根据GAT 2.0规范(Selting et al., 2009)进行转录。基于之前讨论的创造性手势的特点及其与儿童交流行为的相关性,我们从手势类型、空间大小、新颖性(非传统性)和表现力(例如,手势是否伴随身体动作、夸张的面部表情或发声)的角度分析手势。手势类型按照McNeill(1992)的框架进行分类,该框架将手势分为象征性手势、指示性手势、比喻性手势和节奏性手势。由于象征性和指示性手势在视觉上信息量大,并且能直接补充儿童的话语,因此我们在本研究中仅分析这两种手势。象征性手势描绘了所指对象的语义特征,如物体属性或动作,而指示性手势则指向特定的对象或位置。手势的空间大小使用EcoGest编码方案的改编版本进行编码(Abramov, Kern, et al., 2021; Abramov, Mertens, et al., 2021)。该方案将手势系统地映射到二维的手势空间中的25个区域。为了提高空间精度,我们通过增加第三个维度将手势空间划分为前后两部分,并增加了四个额外的区域(见图2)。手势根据它们的位置进行编码,然后根据它们跨越的区域数量进行分类:小(在一个区域内)、中(跨越两个区域)和大(跨越三个或更多区域)。下载:下载高分辨率图片(185KB)下载:下载全尺寸图片图2. 用于评估儿童交流行为的手势空间。如果手势偏离常规或文化上的传统手势,并以独特或特定情境的方式表达意义(例如,发明一个手势来表示“用勺子的错误一端进食”),则认为该手势是新颖/非传统的。表现力捕捉了手势是否通过超出手动动作的其他表现形式得到了增强。这包括伴随的面部表情、发声或身体动作,这些都能增强手势的交流力度或生动性。我们通过计算每个孩子在每个任务中的总词汇量(字数)来分析言语产生情况。为了比较两个任务(纠正 vs. 插图)中的手势产生情况,我们没有使用手势的绝对数量,而是计算了象征性手势、指示性手势和总手势数量的比率。手势比率是通过将给定类型的手势数量除以孩子的总词汇量并乘以100来计算的(每100个单词的手势数量)。所有数据均由两名经过培训的编码员进行编码,他们对每个孩子被分配的条件不知情。为了确保可靠性,随机选取了20%的视频并进行了独立的双重编码。评分者之间的可靠性非常好:总体手势计数(ICC = 0.95,95% CI [0.85, 0.99])、手势大小(ICC = 0.95,95% CI [0.85, 0.99])和手势类型(ICC = 0.88,95% CI [0.65, 0.96])。表现力也显示出极好的一致性(ICC = 0.99,95% CI [0.98, 0.99])。相比之下,由于样本中非常低的出现频率,非传统手势的ICC值接近零。因此,非传统手势仅包含在定性分析中,不包括在定量分析中。4. 结果4.1. 定量分析所有统计分析都是在R(v4.2.2;R Core Team, 2021)中进行的。由于孩子们在任务中的发言量存在显著差异,所有手势分析都是基于手势比率(每100个单词的手势数量)而不是绝对手势数量。缺少词汇量或词汇量为零的儿童被排除在基于比率的分析之外。我们的分析分以下三个步骤进行:首先,我们报告了在远程和物理纠正条件下两个任务中的手势比率(总体、象征性和指示性)、手势大小比率(大、中、小)和词汇量的描述性统计。这些描述性模式为后续的推断分析提供了基础。其次,为了测试手势产生在任务和实验条件之间是否有所不同,我们使用了lme4包中的lmer()函数拟合了两个线性混合效应模型(Bates et al., 2015)。第一个模型预测了手势比率,考虑了任务类型(纠正 vs. 插图)、手势类型(象征性 vs. 指示性)、纠正条件(物理 vs. 远程)及其交互作用。因此,我们评估了象征性和指示性手势在两个任务和条件下的使用是否不同。第二个模型预测了手势大小比率(大、中、小)、任务类型、纠正条件及其交互作用,以确定手势大小是否因情境而异。在两个模型中,年龄和性别都被作为协变量包括进来。由于数据具有重复测量的结构,参与者被作为一个随机截距包括进来,以解释儿童内部观察结果的非独立性,我们还探索了包括随机斜率的模型。然而,这些模型要么未能收敛,要么产生了奇异的拟合。因此,我们保留了随机截距模型(1 | 受试者)作为数据支持的最大结构(Bates et al., 2015)。为了确定固定效应结构,我们使用似然比检验比较了包含和不包含三因素交互作用的模型,并在交互作用没有改善模型拟合时保留了更简约的模型。最终模型是使用限制最大似然估计的。固定效应的P值使用Satterthwaite近似方法通过lmerTest包(Kuznetsova et al., 2017)估计,并进行了Holm校正后的事后比较。混合效应模型的效应大小使用边际R2报告,线性模型使用R2报告。第三,我们进行了后续分析,以评估纠正任务中与工具的物理交互作用是否影响儿童的回忆和随后的交流行为。逻辑回归旨在根据物理交互条件、年龄和性别预测插图任务中勺子事件的成功回忆。在成功回忆事件的儿童中,使用两个线性模型来检验纠正任务中的物理交互作用是否预测了插图任务中的手势产生和词汇量。还进行了MANOVA分析,以检验物理交互作用对儿童手势和言语产生的综合影响。4.1.1. 描述性统计在讨论任务相关的手势类型和大小差异之前,我们首先提供了孩子在任务和条件下的手势率和言语产生的概览。表1展示了在远程和物理条件下纠正和插图任务中的总体手势率、象征性手势率和指示性手势率(每100个单词的手势数量)以及词汇量的描述性统计。结果显示,在两种条件下,孩子在插图任务中产生的词汇量都多于纠正任务,尤其是在物理条件下差异更为明显。两种任务中的手势比率因手势类型而异。在纠正任务中,无论在哪种条件下,儿童产生的指示性手势都明显多于象征性手势,特别是在远程条件下。相比之下,插图任务中的手势产生主要由象征性手势主导,其出现频率远高于指示性手势。表1. 任务中的手势率和词汇量的描述性统计(平均值,标准差)。条件任务总手势数M(标准差)象征性手势M(标准差)指示性手势M(标准差)词汇量M(标准差)远程纠正31.9(60.1)12.0(35.1)19.9(40.1)9.1(7.4)插图10.0(9.6)10.6(8.9)1.1(3.4)14.2(8.7)物理纠正12.3(22.4)1.8(5.6)10.5(22.2)6.1(4.8)插图7.4(8.1)7.1(7.3)0.8(2.4)27.0(14.8)除了手势类型,我们还检查了任务中手势大小的分布。表2报告了大、中、小手势的平均比率(每100个单词的手势数量)。在两种条件下,纠正任务中的大手势比插图任务更频繁,尤其是在远程纠正情境中。中手势总体上很少见,在任务和条件间的比率几乎相同。小手势总体上最为频繁,尤其是在远程条件下的纠正任务中。这些描述性模式激发了后续的混合效应分析,以评估手势大小是否随交流任务的需求而变化,以及这些模式是否受到实验条件的影响。表2. 任务中手势大小率的平均值和标准差。条件任务大手势M(标准差)中手势M(标准差)小手势M(标准差)远程纠正17.1(40.1)2.2(5.2)26.8(46.8)插图6.8(5.5)1.7(3.3)9.8(23.1)物理纠正5.8(14.0)2.1(9.4)19.4(16.1)插图2.9(3.3)2.2(4.3)4.1.2. 纠正 vs. 插图为了检验儿童的手势产生在任务、手势类型和纠正条件之间是否有所不同,我们拟合了一个线性混合效应模型,预测了手势比率,考虑了任务类型(纠正 vs. 插图)、手势类型(象征性 vs. 指示性)和条件(物理纠正 vs. 远程纠正),包括所有交互作用。年龄和性别被作为协变量包括进来,参与者作为一个随机截距。使用似然比检验进行模型选择,结果表明三因素交互作用没有改善模型拟合,χ2(1) = 0.03,p = .86,因此最终分析中保留了仅包含两因素交互作用的更简约模型。最终模型的边际R2为0.07,条件R2为0.12,表明固定效应解释了手势比率方差的相对较小比例。分析揭示了任务类型 × 手势类型的显著交互作用,χ2(1) = 4.50,p < .05。相比之下,任务类型的主要效应(χ2(1) = 1.97,p = .16)、手势类型(χ2(1) = 2.40,p = .12)和纠正条件(χ2(1) = 1.81,p = .18)不显著。涉及纠正条件的交互作用均未达到显著性(所有p > .30),年龄和性别同样没有预测手势比率(所有p > .58)。事后比较(Holm校正)表明,在每个任务和条件下,象征性和指示性手势率没有显著差异(所有p > .12)。接下来,我们检查了每个任务中的每种手势类型。对于指示性手势,在远程条件下,儿童在纠正任务中产生的指示性手势显著多于插图任务中的手势,β = 19.24,SE = 6.64,t(143) = 2.90,p < .01。在物理纠正条件下也出现了同样的趋势,但不显著,β = 10.71,SE = 7.68,t(163) = 1.39,p = .17。相比之下,象征性手势率在两种条件下都没有差异(两个p > .43)。这些结果表明,两种交流情境引发了儿童不同的指示性手势使用方式,并且在没有共享视觉参照物的情况下,这些使用方式显著减少。相比之下,儿童象征性手势的使用在任务之间相对稳定。无论是从物理上纠正木偶还是从远处纠正木偶的儿童,这种模式都没有差异(见图3)。下载:下载高分辨率图片(225KB)下载:下载全尺寸图片图3. 任务内/任务间的手势率。我们还检查了交流任务中手势大小是否有所不同。似然比检验表明,任务类型、手势大小和纠正条件之间的三因素交互作用没有改善模型拟合,χ2(2) = 0.28,p = .87。因此,最终模型仅包括了两因素交互作用。模型的边际R2为0.11,条件R2为0.14,再次表明固定效应的贡献较小。在这个模型中,任务类型(χ2(1) = 3.78,p = .05)和手势大小类别(χ2(2) = 5.38,p = .07)都没有达到显著性水平。纠正条件没有显著预测手势大小比率,χ2(1) = 1.26,p = .26,且没有交互作用项达到显著性(所有p > .10)。年龄和性别也没有显著预测手势大小比率(ps > .53)。Holm校正后的事后比较表明,在远程纠正条件下,小手势的发生频率显著高于中手势,β = 24.77,SE = 5.92,t(199) = 4.18,p < .001,而中手势的发生频率低于大手势,β = ?13.93,SE = 4.74,t(176) = ?2.94,p < .01。没有其他成对比较达到显著性(所有ps > .07)。总体而言,这些结果表明手势大小在交流情境中的变化很微弱,且基本上不受纠正条件的影响。4.1.3. 物理工具交互作用对事件回忆的影响我们检查了有多少儿童成功回忆了插图任务中勺子的非典型使用方式。在65名儿童中,有36名(55.4%)成功提到了勺子的非典型使用方式。在这些儿童中,有13名实际纠正了木偶(36.1%),而23名没有(63.9%)。在性别分布方面,15名女孩(41.7%)和21名男孩(58.3%)成功回忆。为了检查纠正任务中的物理动作是否影响回忆,我们拟合了一个逻辑回归模型,预测成功回忆(编码为二元结果)。物理纠正与远程纠正、月龄和性别被作为预测变量包括进来。模型显示年龄有显著效应,β = 0.12,SE = 0.06,z = 2.07,p = .039,OR = 1.13,95% CI [1.01, 1.29],表明年龄较大的儿童更有可能回忆并报告非典型使用方式。相比之下,无论是纠正方式(β = ?0.69,SE = 0.56,z = ?1.25,p = .21,OR = 0.50,95% CI [0.16, 1.48])还是性别(β = ?0.48,SE = 0.56,z = ?0.86,p = .39,OR = 0.62,95% CI [0.23, 1.82]),都无法显著预测对行为的回忆。在成功回忆事件的儿童中,我们接着评估了身体纠正是否影响了他们在插图任务中的手势和言语表达(见图4)。通过在线性模型中预测手势频率(每100个单词的总手势数)来考察手势行为,该模型考虑了纠正方式、年龄和性别等因素。根据线性模型结果,纠正方式并不是一个显著的预测因子(β = ?3.00,SE = 3.29,t(30) = ?0.91,p = .37)。性别(β = ?4.71,SE = 3.13,t(30) = ?1.51,p = .14)和年龄(β = 0.04,SE = 0.26,t(30) = 0.17,p = .87)也未能显著预测手势频率。该模型解释的手势频率方差很小(R2 = 0.09)。下载:下载高分辨率图片(205KB)下载:下载全尺寸图片图4. 通过身体互动在插图中进行的言语和手势回忆。然而,儿童的言语产生情况显示出不同的模式。一个预测单词数量的线性模型显示,纠正方式有显著影响(β = 12.70,SE = 4.21,t(30) = 3.02,p < .01):身体纠正了木偶使用勺子的儿童在重述动作时说出的单词数量明显多于没有进行身体纠正的儿童。性别(p = .85)和年龄(p = .94)对儿童的话语产生没有显著影响。该模型解释了单词数量方差的较小比例(R2 = 0.24)。最后,由于手势和言语共同构成了儿童的多模态表达行为,并且可能相互关联,因此使用多元方差分析(MANOVA)同时分析了这两种测量结果。手势频率和单词数量作为因变量,纠正方式、年龄和性别作为自变量。纠正方式显示出显著的多元效应(Pillai's trace = 0.30,F(2, 29) = 6.32,p < .01),证实了身体纠正影响了儿童在回忆过程中的整体表达表现。性别(p = .34)和年龄(p = .98)没有显示出多元效应。
4.2. 定性分析
正如第3.2节所述,纠正和插图任务都要求儿童解释木偶对物体的非传统使用方式。因此,儿童经常遇到词汇空白,特别是在他们缺乏描述物体相关部分或动作的常规词汇时。然而,尽管两项任务都涉及对不熟悉部分或非传统行为的指称,但表征挑战有所不同:纠正任务提供了共享的视觉背景来解决指称问题,而插图任务则需要在没有参照物的情况下进行去情境化的重建。为了概述儿童在每项任务中如何指称木偶对勺子的非传统使用方式,表3总结了两项任务中观察到的言语和手势策略。该表包括了以各种方式回应的儿童数量以及他们使用的具体表达形式。这张表为4.2.1至4.2.4节中詳細的定性分析提供了框架。4.2.1 不使用常规术语指称勺子部位,4.2.2 使用指示词(“这里”、“那里”)指称勺子部位,4.2.3 用空间术语描述错误使用方式,“反过来”,4.2.4 用指示标记“这样”指示正确/错误的行为,我们通过这些内容研究了儿童如何根据两种情境的不同要求调整他们的多模态交流方式。具体的文字记录摘录及其对应的多模态编码(包括创造性和非创造性的手势示例)见附录(表A–G)。
表3. 两项任务中儿童的手势和言语行为比较
| 任务 | 纠正方式 | 插图 | 用言语指称违规行为的儿童数量 | 用手势指称的儿童数量 |
|---------|-------------|-----------|----------------|--------------|
| 纠正 | | 61名儿童(49名4岁,12名5岁)| 31名儿童(23名4岁,8名5岁) |
| | | | 1. 否认(通过摇头) | 34名儿童(29名4岁,5名5岁) |
| | | | 2. 部分纠正,例如:“Ja, ein kleines bisschen anders” | |
| | | | 3. 用“andersrum/falschrum/falsch/andere Seite/etc.”指明纠正方向 | |
| | | | 4. 完整纠正,例如:“du sollst so machen” | |
| | | | 5. 详细纠正,例如:“an dem Stiel/das Lange…” | |
| | | | 1. 插图中的否定,例如:“Der Hund hat den L?ffel falsch…” | |
| | | | 2. 通过指示表达粗略说明 | |
| | | | 3. 对物体进行详细说明 | |
| | | | 4. 对动作进行详细说明 | |
4.2.1 不使用常规术语指称勺子部位
没有儿童使用勺子的常规术语来指称其部位。相反,有五名儿童用手势来指明勺子的碗是正确的食用部位。在纠正任务中,两名儿童(ID16,ID30)用手势描绘勺子的圆形碗部,并用语言描述为“das Runde”。这些手势与语言同步,并指向可见的物体,主要用于在共享的情境中明确指称对象。在插图任务中,三名儿童也使用“das Runde”来指代碗部,但他们使用的手势更加新颖和富有创意。由于无法接触到物体,儿童使用了象征性的、指示性的或组合的手势来简短展示木偶如何使用勺子。一个特别有创意的手势来自ID16,他在插图中结合了象征性和指示性手势(见文本记录1):他一只手模拟握住勺子,另一只手画出一个半圆形来指示勺子的碗部。他说:“Der hat n?mlich mit dem L?ffel das Runde angepackt und dann mit dem Andere gegessen”。这个手势的结合体现了两种不同的表征模式,产生了单只手无法表达的新含义。
4.2.2 使用指示词(“这里”、“那里”)指称勺子部位
“这里”:三名儿童(纠正任务中1名,插图任务中2名)使用“hier”来指代勺子的正确部位。这些指示性表达通常伴有提供额外语义信息的象征性手势,例如正确的握持位置或特定的勺子部分。
“那里”:三名儿童在纠正任务中使用了“da”来指代勺子的部位。所有这些手势都是使用食指进行的,用于引导注意力到错误的勺子握持位置。
4.2.3 用空间术语描述错误使用方式
“反过来”、“错误的方向”、“相反”、“反向”、“另一边”
在纠正任务中,儿童的手势主要是为了澄清勺子的正确或错误方向。十五名儿童使用了手势,其中大多数是指示性的。这些手势通常涉及用食指描画半圆或旋转手臂来展示勺子应如何握持。在插图任务中,十名儿童在口头描述动作时也使用了手势,尽管这些手势往往只是模仿狗使用勺子的行为,而没有明确指出勺子的位置或结构。这反映了孩子尽力将抽象的词汇通过空间形式来表达,尽管缺乏视觉上的支持。基于现有文献(Caldognetto & Poggi, 1995; Cienki & Mittelberg, 2013; Poggi, 2002, Poggi, 2008)和我们的实证发现,我们将创造性手势分为两大类:(1)非常规创造性手势,这些手势涉及新构建的、高度修改的或不熟悉的形式,不属于孩子典型的手势库;(2)创造性常规手势,其中熟悉的形式被以意想不到或功能扩展的方式使用(见图5)。下载:下载高分辨率图像(103KB)下载:下载全尺寸图像图5. 儿童交流中的创造性手势类别。与Poggi(2002, 2008)的定义类似,该定义主要关注需要上下文解释的非常规手势,我们将第一类创造性非常规手势“新手势”定义为在交流情境中明显不熟悉或意外的手势。这些手势在此之前未曾被观察到,并且对成人观察者来说显得“不自然”。例如,儿童ID40通过将手背或拳头底部朝嘴方向转动来做一个富有表现力的手势,以强调使用勺子的相反方向。大多数其他儿童使用的更常规的方式是模仿通常的勺子使用方式,或者做一个指示性的圆形手势来表示“相反的方向”。相比之下,ID40的手势打破了这些常规的表达形式,其含义只有结合孩子的伴随语言才能清楚。因此,它构成了一个依赖于上下文的创造性构建。在这个更广泛的非常规手势类别中,我们还包括复合手势,即儿童将几个熟悉的手势组合成一个结构上新的配置。类似的手势在最近的手势注释工作中被描述为“具有多个意义成分的手势”和“协调或同时手势”(Lai等人,2024年,第5809-5810页)。虽然每个组成部分可能是常规的,但它们的整合产生了一个具有新的形式或语义特性的手势——类似于复合词产生的与其各个部分不同的意义。例如,在一个案例(ID16)中,每只手执行不同的功能;而在另一个案例(ID34)中,一只手同时协调了指示性和图像性手势。这些组合创造了一个新的复合意义或独特的视觉结构,无法仅通过单个组成部分来还原。它们超越了各个部分的意义潜力,使儿童能够表达单个手势无法传达的想法。此外,我们认为创造力并不仅限于新颖或不熟悉的手势形式。一些儿童通过创造性地调整常规手势来增强或加强正在进行的交流。在这一类创造性常规手势中,我们进一步区分了两个子类别:首先,重复手势不是用来表示物理运动,而是用来强调或澄清交流意义(Bressem, 2021)。这些手势同时具有语义和语用功能(例如,ID47反复指向以表示“相反[umgekehrt]”)。其次,一些儿童使用了我们称之为增强手势的手法,即通过添加类似语言的声音、面部模仿或身体动作等附加的表现方式来丰富手势。如ID8、ID33和ID40所示,这些多模态增强的手势通过增加情感强度或生动性增强了手势的交流效果,并帮助描述事件的生动性。在这些情况下,常规手势通过其他表达资源得到了扩展,从而以更有效的方式支持和阐述意义。扩展Cienki和Mittelberg(2013)的框架,我们在儿童中的发现挑战了创造性手势必然是大型或高度表现力的假设。最初,这一分类主要是基于成人对话开发的,强调形式特征,如扩展的手势空间、增强的强度以及与全身动作的协调。尽管我们在某些情况下观察到了这些特征,尤其是在那些使用了夸张动作和声音的儿童中,我们也发现许多创造性的手势是微妙的、简洁的,并且嵌入在特定情境中。这可能是因为儿童对自己非常规使用手势的认识较少。这表明需要对框架进行修改,以解释儿童的创造性行为(Gupta等人,2025)。我们的数据还表明,手势的创造性不能仅归结为形式本身。相反,我们认为它是从手势在特定交流情境中的功能中产生的。这包括它们如何补充缺失的言语元素、澄清语义内容或在词汇压力下构建新的表达方式。例如,ID13向上指的手势在形式上很简单,但在交流上具有创新性。它将一个常规手势重新用于一个概念上抽象的指称对象,表明即使是小规模、熟悉的形式也可以在比喻或象征性使用中发挥创造性作用。因此,我们提出了一种更广泛的发展方法来理解创造性手势——这种方法不仅强调形式,还强调功能和情境。在幼儿期,当手势同时具有表征和认知支撑功能时,创造性使用可能涉及微妙的调整,如双手之间的复合手势、分层多个功能(例如,指示性+图像性),或将类似语言的声音和手势整合成一个表达单元。这些模式揭示了结构新颖性、功能灵活性和语义扩展——这些都是创造性交流的标志。本研究的方法学局限性在于我们分析的手势受到任务的限制。因为儿童是在一个严格定义的情境中对手偶的非规范动作作出反应的,所以可能的手势形式范围本质上是有限的。这种限制使得区分常规手势和非常规手势变得更加容易,因为大多数儿童试图交流同一个核心事件(即错误使用的勺子)。在更开放的交流情境中,常规手势和非常规手势之间的界限可能更加模糊。未来的研究应该测试这里开发的创造性-常规区别是否可以推广到限制较少、更开放的情境中。总之,这项研究表明,手势是儿童在面对词汇挑战时进行交流的强大和适应性资源。特别是在语言资源仍在发展的阶段,儿童利用手势来外化思维、构建意义,并创造性地应对语言挑战。这与大量研究表明儿童不仅使用手势来补偿缺失的词汇,还积极构建和塑造意义的工作相一致(Goldin-Meadow, 2003; Kita, 2000; ?z?al??kan & Goldin-Meadow, 2005)。我们的发现通过揭示一些手势超出了常规或补偿性用途,揭示了表示事件的创新性和多模态策略,为这一领域增添了内容。因此,识别和分类创造性手势至关重要,因为它为理解具身交流如何支持认知发展奠定了基础,特别是在言语资源不足的情况下。我们观察到的模式进一步补充和扩展了关于儿童手势使用的先前研究。Peeters关于指示性和示范性手势的工作强调了手势如何协调注意力并建立共同参照(Peeters等人,2021; Peeters & ?zyürek, 2016)。我们的结果通过表明在没有共同物理情境的情况下指示性手势的使用会减少,这与指代依赖于共同建立的资源(如可感知的指称对象)的观点一致。同时,儿童的创造性手势使用与研究表明手势作为概念创新场所的研究相呼应,手势作为探索、排练和外部化新想法的媒介(Goldin-Meadow & Beilock, 2010; Hostetter & Alibali, 2008)。无论是通过新颖的构建、语义扩展还是多模态丰富,我们研究中产生的手势都揭示了幼儿重新组织和扩展熟悉形式以满足交流需求的能力。我们的发现扩展和补充了Cienki和Mittelberg(2013)的工作,从形式和功能两个方面重新定义了手势的创造性,特别关注儿童有限的词汇资源如何促进身体作为表征工具的新用途。无论是通过新颖的构建、语义扩展还是多模态丰富,这些手势都反映了幼儿在其交流系统中创新能力。此外,它们为研究手势创造力与更广泛认知技能(如创造性思维、问题解决和符号表示)之间的关系提供了新的途径。重要的是,尽管创造性手势的概念在成人对话研究中受到了一些关注,但在该领域的研究仍然有限,在发展性背景下几乎不存在。据我们所知,以前没有实证研究系统地探讨过幼儿如何创造性地使用手势。鉴于幼儿期是语言和认知发展的形成期,这一空白尤为显著。通过研究幼儿创造性手势的出现和特征,我们的研究为发展性和比较性研究提供了重要贡献。它强调了需要将手势不仅仅视为交流支持,而且视为一种生成性、具身的工具,通过它儿童可以在富有想象力和解决问题的情境中构建、探索和表达想法。未来的研究需要探讨儿童创造性思维与其手势使用之间的更多关系。此外,纵向方法可以基于我们的发现:经常产生创造性手势的儿童可能在感觉运动发展、空间推理或创造性问题解决方面表现出优势。研究这些手势是否预示着在感觉运动任务或更广泛的创造性思维方面的表现,将为了解具身行动在认知成长中的作用提供宝贵的见解。同时,手势通常嵌入在持续的多模态交流活动中,使得难以将其具体贡献与更广泛的互动动态分开。因此,未来的研究可以探讨创造性手势的使用是否为儿童提供了重要的表征体验,或者是否使他们能够维持互动流程,从而完成任务,这也是一种互动体验。在这方面,实验研究可以测试鼓励创造性手势使用是否有助于促进问题解决中的创新。这些方向将加深我们对多模态表达如何不仅促进即时交流成功,还有助于长期认知发展轨迹的理解。