《Language, Cognition and Neuroscience》：The addressee’s face as a cue for gesture production
编辑推荐：
这篇综述聚焦于“可见性效应”，探讨了说话者手势产生频率增加的关键触发因素。通过三项行为实验，文章挑战了“听者能否看到手势是主因”的传统观点，并提出新见解：说话者能否看到听者面部是关键线索，且此效应仅在传达动态空间信息时显著。文章强调了交流行为设计（recipient design）中，面部可见性作为二元提示（one-bit model）的重要作用，为理解非言语沟通的适应性机制提供了实验证据。
The addressee’s face as a cue for gesture production
INTRODUCTION
说话者在交谈时会产生伴随语音的手势，这是一种在说话过程中自发产生的具有沟通性的身体动作。手势可以将信息从说话者传递给听者，有助于听者理解说话者的信息，甚至能传达语言中未直接表达的内容。由于手势以空间为表征媒介，它在传达空间信息方面比传达抽象信息更有效。
说话者会为了听者的利益而设计其伴随语音的手势。例如，他们会根据听众的物理布局调整手势的方向，或将关键的空间信息通过手势而非语言呈现。说话者在产生指示性手势时会考虑听者的视角，并且在向已听过同一故事的听者复述时会减少手势幅度。说话者还会根据听者的行为反馈做出沟通性调整，例如在手势变得更精确、幅度更大或更显眼。在嘈杂环境中，人们会产生更多运动片段的手势，这被认为能提高手势的沟通效果。
一个经典发现是，当听者能看到说话者时，说话者会产生更多的手势，这被称为“可见性效应”。这种效应通常被解释为沟通动机触发了手势产生，即说话者似乎认为手势是为了被看见。然而，以往的研究并未明确是手势的可见性本身至关重要。在操纵手势对听者是否可见时，以往研究通常使用物理遮挡物或将双方置于不同房间。因此，在所谓的手势不可见条件下，说话者和听者也无法看到对方的整个身体。这就存在一种可能性，即身体其他部位的可见性也可能至关重要。
一个合理的假设是，说话者之所以在能看到听者面孔时产生更多手势，是因为面部在交流中扮演着重要角色。听者在对话中通常持续注视说话者的面部，说话者对听者的目光很敏感，并使用语言和手势来吸引听者的注意，目光在话轮转换中也起着重要作用。听者通过面部表情向说话者提供反馈。此外，有研究表明，当说话者和听者能进行眼神接触时，说话者会产生更多手势。因此，看到听者的面部可能触发说话者产生更多手势。
THE CURRENT STUDY
本研究旨在探究说话者在面对面条件下比视觉遮挡条件下产生更多手势，究竟是因为其手势能被看见，还是因为他们能看到听者的面部。我们假设，说话者产生更多手势是因为他们能看到听者的面部。
我们通过分离面部可见性和手势可见性来研究这个问题。与先前研究类似，我们使用屏幕作为物理遮挡物来操纵相互可见性。除了常规的完全可见与完全不可见操纵外，本研究引入了一种新条件：在说话者和听者之间放置一个齐肩高的屏幕，阻止听者看到手势，但允许双方看到彼此的面部。
我们比较了说话者在三种条件下的手势频率和手势高度。第一种是无屏幕的面对面条件，双方可以毫无限制地看到彼此。第二种是齐肩高屏幕条件，听者看不到说话者的手势，但双方可以看到彼此的面部。第三种是齐头高（高于头部）的完整屏幕条件，双方完全看不到彼此。
我们区分了不同类型的手势。表征性手势描绘动作、运动、物体、形状、位置或隐喻性地描绘抽象概念。当说话者和听者之间没有视觉障碍时，表征性手势产生得更多。互动性手势支持与听者的互动或直接指涉听者。当没有视觉障碍时，互动性手势也产生得更多。我们还测量了说话者表征性手势的高度，以检查在齐肩高屏幕条件下，说话者是否比在无屏幕条件下将手势举得更高，这表明说话者为了让听者看到其手势而调整了手势高度。然而，我们预期参与者不太可能根据遮挡物高度改变手势高度，因为关于视频中介沟通的研究表明，人们通常不会根据网络摄像头可见范围调整手势位置。
对于手势产生的可见性效应，不同的解释做出不同的预测。如果手势可见性是关键因素，那么说话者在无屏幕条件下的表征性和互动性手势频率都应高于齐肩高屏幕和完整屏幕条件。此外，如果说话者调整每个手势以确保其可见性，那么他们在齐肩高屏幕条件下的手势高度应高于无屏幕和完整屏幕条件。如果面部可见性是关键因素，那么说话者在无屏幕和齐肩高屏幕条件下的表征性和互动性手势频率都应高于完整屏幕条件。
另一种可能性是，当手势不可见时，说话者可能使用头部动作。头部动作可以传达特定信息，例如用点头来表达说话者对所述故事的立场。信息不仅可以通过点头和摇头来传达，还可以通过更复杂的表征性头部动作来传达。头部动作也可用于管理对话中的话轮转换。因此，说话者可能通过头部动作来补偿无法轻松做出的可见手部动作。在当前研究中，我们测量了说话者的头部动作以排除这种可能性。如果说话者在齐肩高屏幕条件下没有比无屏幕条件下产生更多头部动作，我们就可以排除他们用头部动作来补偿手部动作被遮挡的可能性。
先前研究使用了多种刺激材料来调查可见性对手势的影响。一些研究使用抽象刺激，另一些使用空间刺激：静态空间刺激（如线条图）或动态空间刺激（如动画片）。这些研究表明，当参与者描述动态空间刺激（如动画片）时，更可能出现可见性效应。在实验1中，我们用抽象刺激测试了假设；在实验2中，用动态空间刺激测试了假设。我们预测在动态空间刺激中会发现可见性效应，但在抽象刺激中不会。
先前研究以两种方式控制了听者的行为。一些研究发现，在听者尽量不回应的情况下存在可见性效应，而另一些研究则在听者提供一些回应的情况下发现了可见性效应。有研究者批评可见性研究，因为听者的行为通常没有得到很好控制或描述。控制听者行为很重要，因为当听者有回应时，说话者会产生更多手势。在当前研究中，我们将听者的言语回应控制为两个水平：独白和对话，以便将研究发现推广到两种类型的互动。更具体地说，听者在一半的试次中是言语有回应的，另一半是无回应的。我们明确操纵了言语回应性，而非视觉回应性，以便能对可见性和回应性进行因子式操纵。然而，我们也获得了对听者视觉回应的评分，以查看听者在（言语）有回应条件下是否无意中比无回应条件下表现出更多的视觉回应，从而完全刻画每种条件下回应性的性质。
如果我们发现说话者在无屏幕和齐肩高屏幕条件下比在完整屏幕条件下做出更多手势，仍不清楚是面部可见性至关重要，还是任何（其他）身体部位的可见性就足够了。先前研究表明，当听者的存在感更清晰时，人们会产生更多手势。例如，与录音机交谈相比，在电话/对讲机中与另一个人交谈时，人们会产生更多手势。因此，任何表明听者存在的视觉证据都可能足以触发手势产生。实验3通过比较说话者在两种新条件以及无屏幕和完整屏幕条件下的手势产生来研究这种可能性。在第一种新条件下，说话者与听者交谈，中间悬挂一个下巴以上高度的屏幕，这样听者可以看到说话者的手势，但说话者和听者看不到彼此的面部。在第二种新条件下，说话者与听者交谈，中间悬挂一个膝盖以上高度的屏幕，这样说话者和听者看不到彼此的面部或手势，但说话者能看到听者的小腿和脚。我们预测，只有面部的可见性对手势的可见性效应是相关的，说话者只有在能看到听者面部时才会产生更多手势。
EXPERIMENT 1
Introduction
我们调查了说话者在讨论抽象话题（即社会困境）时产生的伴随语音手势，以测试说话者产生更多手势是因为其手势能被看见，还是因为他们能看到听者的面部。
Methods
- •
Participants：31名以英语为母语的参与者（年龄M=25.23，SD=9.67）的数据被分析。另有23名参与者（心理学本科生）对听者的视觉回应性进行了评分。
- •
Design：实验采用2×3设计，两个被试内自变量为：可见性（无屏幕、齐肩高屏幕、完整屏幕），听者回应性（有回应、无回应）。测量了三个因变量：每100个单词的表征性手势频率、每100个单词的互动性手势频率，以及平均表征性手势高度。
- •
Materials：为了引发手势，参与者看到了六个社会困境，并为每个困境回答三个问题。通过调整固定在两个可调节高度的三脚架之间的屏幕来操纵可见性。使用两台摄像机分别记录说话者和听者（实验者）。
- •
Gesture elicitation procedure：参与者作为说话者，实验者作为听者。参与者阅读社会困境并向实验者回答问题。在无屏幕条件下，屏幕被移开；在齐肩高屏幕条件下，屏幕顶部升至齐肩高，双方只能看到彼此下巴以上部分；在完整屏幕条件下，屏幕被升高至双方完全看不到彼此。在听者有回应条件下，实验者在适当时机产生“是的”、“好的”等一般性回应以及与语境相符的具体回应。在听者无回应条件下，实验者全程保持沉默。使用拉丁方技术平衡条件顺序。
- •
Addressee responsiveness procedure：一组新的参与者观看从手势引发任务中获得的视频片段，对听者（实验者）在四种面部可见条件下的视觉回应性（面部表情和头部动作）进行1-7级的评分。
- •
Gesture coding and speech transcription：参与者的手势在动作的划动阶段被识别和分类。关键区别是表征性手势与非表征性手势。表征性手势包括图标性、隐喻性、指示性和传导性手势。互动性手势是本研究关注的非表征性子类别，但在我们的数据集中出现频率很低。其他非表征性手势（如节拍性手势和象征性手势）未包含在分析中。根据手势高度（低于腰部、腰部和下巴之间、高于下巴）对手势进行分类。由母语者转录语音，用于计算因变量。
- •
Inter-rater reliability：编码者间在手势频率识别上具有很高的一致性（组内相关系数=.982），在手势类型和高度分类上也有可接受的一致性。
Results
对听者视觉回应性的分析（在说话者能看到听者的条件下）显示，可见性主效应不显著，听者回应性主效应显著，听者在有回应条件下被评价为视觉回应性更强。可见性与回应性交互作用不显著。
表征性手势频率的方差分析显示，可见性和听者回应性的主效应均不显著，两者的交互作用也不显著。
高于下巴的手势在所有条件下都不常见。混合效应逻辑回归显示，齐肩高屏幕条件与其他条件在手势高于下巴的比率上没有显著差异。
Discussion
可见性或听者回应性对表征性手势频率均无显著影响。研究结果不支持说话者因其手势能被看见而产生更多手势的说法，也不支持因其能看到听者面部而产生更多手势的说法。我们无法确定文献中手势可见性效应是由哪个因素（手势可见性或面部可见性）负责。此外，听者（实验者）在有回应条件下无意中表现出更强的视觉回应性，这应能加强回应性对手势频率的任何影响，但我们未发现手势频率在各条件间存在显著差异。我们也没有发现任何证据表明，当手部手势在齐肩高条件下不可见时，人们会产生更多头部动作来补偿。实验1可能未能发现手势的可见性效应，是因为说话者需要传达的信息是抽象的。手势在传达动态空间信息方面特别有效。在当前实验中，说话者可能在手势可见条件下并未比不可见条件下产生更多手势，因为手势对沟通的用处不大。在实验2中，我们进行了基本相同的实验，但使用了包含丰富动态空间信息的不同刺激材料。
EXPERIMENT 2
Introduction
实验2以与实验1相同的方式进行，只是用于引发手势的刺激材料不同。我们使用了先前研究发现手势可见性效应时用过的动画片段。动画刺激应能引发传达角色位置和运动（动态空间信息）以及动作（运动信息）的手势。由于带有动态空间或运动信息的手势能更好地向听者传达信息，当说话者认为手势能使听者受益时，应会产生更多手势。我们对实验2的预测与对实验1的预测相同。由于我们在本实验中发现了可见性对表征性手势频率的主效应，为确保说话者没有在其手部被齐肩高屏幕遮挡时比手部可见时更多地使用头部做手势，我们测量了说话者的表征性头部动作。
Methods
- •
Participants：31名以英语为母语的参与者（年龄M=18.48，SD=0.68）的数据被分析。另有11名参与者对听者的视觉回应性进行了评分。
- •
Design：设计与实验1相似，增加了一个新的因变量：每100个单词的表征性头部动作频率。
- •
Materials：屏幕与实验1相同。参与者的言语和手势通过六个来自《Canary Row》动画片（ Tweety 和 Sylvester）的视频片段引发。
- •
Gesture elicitation procedure：程序与实验1相同，只是参与者被展示动画片段来引发言语和手势。参与者首先观看视频片段两次，然后面向实验者尽可能详细地描述动画。抵消平衡、手势可见性和听者回应性的操纵方式与实验1相同。
- •
Addressee responsiveness procedure：听者回应性评分的获取方式与实验1相同。
- •
Gesture coding and speech transcription：手部手势的编码方式与实验1相同。使用实验1编码手册的补充部分对表征性头部动作进行编码。表征性头部动作被定义为头部的运动，可被解释为描绘某个物理动作、属性、角色或物体的运动、隐喻概念，或标识空间中的位置。语音转录方式同实验1。
- •
Inter-rater reliability：编码者间在手势频率识别上具有很高的一致性（组内相关系数=.953），在手势类型和高度分类上也有可接受的一致性。
Results
对听者视觉回应性的分析显示，可见性主效应不显著，听者回应性主效应显著，听者在有回应条件下被评价为视觉回应性更强。可见性与回应性交互作用不显著。
表征性手势频率的方差分析显示，可见性主效应显著，但听者回应性主效应不显著。可见性与回应性的交互作用不显著。
事后成对比较显示，说话者在无屏幕条件下的表征性手势频率显著高于完整屏幕条件，在齐肩高屏幕条件下的频率也显著高于完整屏幕条件。无屏幕条件与齐肩高屏幕条件之间的差异不显著。
高于下巴的手势在所有条件下都不常见。混合效应逻辑回归显示，齐肩高屏幕条件与其他条件在手势高于下巴的比率上没有显著差异。
表征性头部动作频率的方差分析（在无屏幕和齐肩高屏幕条件下）显示，可见性和听者回应性的主效应均不显著，交互作用也不显著。
Discussion
有三个关键发现。第一，说话者的表征性手势频率在无屏幕和齐肩高屏幕条件下高于完整屏幕条件。第二，说话者没有在任何手势可见性条件下以显著不同的高度产生手势。第三，说话者在听者有回应条件下并未比无回应条件下产生显著更多的表征性手势。研究结果表明，说话者在能够看到彼此面部的条件下产生了更多的表征性手势，而不是在听者能看到说话者手势的条件下。也就是说，结果提供了证据表明说话者产生更多手势是因为他们能看到听者的面部。研究结果没有为“说话者只在听者能看到其手势时才会做更多手势”的观点提供证据。说话者并非仅在其手势能被听者看见时才产生更多手势。说话者也没有在齐肩高屏幕条件下更频繁地将其手势举到屏幕以上以便听者看见。此外，没有证据支持说话者通过产生更多头部动作来补偿其手势不可见的观点，因为说话者在齐肩高屏幕条件下并未比无屏幕条件下产生更多表征性头部动作。
虽然实验2表明说话者产生更多手势是因为他们能看到听者的面部，但尚不清楚说话者看到听者面部是否是触发手势可见性效应的唯一因素。有可能即使说话者看不到听者面部，只要听者能看到说话者的手势，说话者也可能产生更多手势。此外，说话者看到听者的任何部位（而不仅仅是面部）都可能导致其产生更多手势。实验3研究了这些可能性。
EXPERIMENT 3
Introduction
除了听者面部可见性触发手势的观点外，还有另外两种（非互斥的）方式来解释为什么人们在面对面条件下比在完整屏幕条件下产生更多手势。第一，即使说话者看不到听者面部，说话者的手势对听者可见也可能触发更多的手势产生。这与先前研究（如Alibali等人，2001）的主张一致。我们通过使用屏幕阻止说话者和听者从下巴以上看到彼此来测试这个假设。说话者和听者无法看到彼此的面部，但能明确知道听者可以看到说话者的手势。第二，任何听者身体部位（表明听者存在的视觉指示物）都可能触发手势产生。如果是这样，那么当说话者看到听者的小腿和脚而看不到其手势或面部时，手势产生应被触发。我们通过使用屏幕阻止说话者和听者从膝盖以上看到彼此来测试这个假设。听者既看不到说话者的面部也看不到手势，但说话者仍能看到听者的小腿和脚（听者存在的视觉指示物）。与实验1和2类似，我们使用无屏幕条件和完整屏幕条件来与新的下巴以上和膝盖以上条件进行比较。我们假设说话者看到听者面部是唯一触发其产生更多手势的因素。因此，即使说话者和听者能看到彼此的手势或小腿，只要他们能看到彼此的面部，说话者就应产生更多手势。因此，我们预测说话者在无屏幕条件下应比在下巴以上、膝盖以上和完整屏幕条件下产生更多的表征性手势。
Methods
- •
Participants：33名以英语为母语的参与者（年龄M=18.4，SD=0.56）的数据被分析。
- •
Design：实验3采用单因素被试内设计，自变量为可见性（无屏幕、下巴以上屏幕、膝盖以上屏幕、完整屏幕）。测量两个因变量：每100个单词的表征性手势频率和平均表征性手势高度。
- •
Materials：装置与实验2相同。参与者的言语和手势由实验2中使用的六个片段中的四个引发。
- •
Procedure：程序与实验2相同，只是参与者只描述四个片段而非六个。抵消平衡方式与实验1和2相同，初始顺序为：无屏幕、下巴以上屏幕、膝盖以上屏幕、完整屏幕。在无
