视觉与触觉运动线索协同增强新型物体形状的类别形成与泛化

《Experimental Brain Research》：Visual and tactile motion cues enhance the categorisation of novel object shapes

本文针对物体类别学习中单一感官信息限制泛化能力的问题，通过智能手机平台开展了一项创新研究，探讨了视觉与触觉（振动）运动线索如何协同促进新物体类别的学习与泛化。研究发现，在测试阶段同时提供多种感官线索（SvMvt）能显著提升分类准确性，即使形状线索（Sv）的可靠性降低，此益处依然存在。该成果深化了对物体类别动态、多感官本质的理解，并为设计多感官教育工具、触觉界面及虚拟环境提供了重要启示。

　　

想象一下，当你正在森林中悠闲漫步时，突然有个东西落在了你的背上。一阵恐慌后，你意识到那是一只昆虫，而不是一片从树上飘落的叶子。在将这个“东西”归类为昆虫而非叶片的过程中，你很可能依赖了多种线索：比如昆虫翅膀扑动的感觉，或是它爬入视野时腿部的移动。视觉和触觉提供的线索都是零碎的信息，感知系统必须决定如何整合或加权这些信息，以支持物体识别和类别形成。理解我们如何从多感官信息中学习新的物体类别，需要澄清哪些特征被选择、它们如何表征，以及它们如何促进对已学样本之外的泛化。尽管我们已知多种感官特征有助于分类，但这些输入如何影响新物体类别的形成，尤其是这种跨模态（而非单一模态内）特征定义的多感官类别是否允许泛化到新样本，目前尚不清楚。先前关于从已学多感官表征进行泛化的研究结果不一，部分研究报道了多感官学习对泛化的益处，而另一些则未发现多感官信息对分类性能有特定帮助。这些差异可能源于对物体本身的先验知识量、学习期间跨模态感官信息的相关程度，或每个感官线索对类别成员资格的相对独特性或可预测性。真实世界中的物体不仅由形状定义，也由其运动定义。当来自两种感官模态的信息具有共享的时间特性（如同步运动）时，它们更有可能被整合，这可能有助于增强多感官信息对类别学习的任何益处。在此多感官过程中，通过视觉或触觉收集的关于物体运动的信息可在类别形成中发挥根本作用。鉴于视觉和触觉运动线索有助于物体识别和辨别，我们可以假设它们也有助于物体分类，但这此前尚未被研究。基于此，本研究旨在探究运动相关线索是否能不仅促进类别学习，还能促进跨新样本的泛化。

在接下来的三项实验中，参与者学习了与视觉和触觉运动线索相关联的新形状类别（实验1和2），或在学习阶段仅呈现物体形状（实验3）。研究人员操纵了类别成员资格线索的信息量，并研究了可用线索的数量和类型如何影响学习以及对新物体的泛化。此外，他们还在测试中比较了分块与交错试次呈现方式，因为有先前证据表明，分块试次能强化类别内的特征相似性，而交错试次则能促进跨类别的辨别对比，并可能增强长期记忆和跨模态类别归纳。然而，交错试次也可能增加认知负荷，特别是在跨模态线索切换时。因此，在多感官情境下，交错试次可能增强或损害分类性能。

研究人员主要采用了基于智能手机的远程在线实验方法，并进行了严谨的数据统计分析。关键方法包括：1）刺激材料创建：使用3D建模软件（Blender）创建了28个新颖3D形状，这些形状基于一个经过验证的圆形形状空间，并具有高度相似性。通过动画引擎为每个物体赋予四种视觉运动模式（摇摆、跳跃、滚动、摇晃），并利用智能手机的振动功能生成与视觉运动模式高度同步的触觉振动序列。实验通过Pavlovia平台在线进行，参与者使用安卓手机参与。2）实验设计与流程：研究采用学习阶段（带反馈）与测试阶段（无反馈）相结合的设计。学习阶段，物体形状与特定的视觉和触觉运动线索相关联。测试阶段，在四种线索条件下评估对已学和新颖物体的分类：仅形状（S_v）、形状加视觉运动（S_vM_v）、形状加触觉运动（S_vM_t）以及形状加视觉和触觉运动（S_vM_vt）。实验1和2还比较了测试中试次是分块呈现（按线索条件分组）还是交错（随机混合）呈现。实验2通过重新分配部分形状到相反类别，降低了形状相似性作为类别成员资格线索的可靠性。实验3作为控制实验，学习阶段仅呈现静态形状，以探究运动线索在学习阶段整合的必要性。3）数据分析：使用R语言通过广义线性混合效应模型（GLMM）分析分类准确性数据，以评估线索条件和样本类型（已学/新颖）的影响，并进行事后比较。

方法

• •
  参与者：所有参与者均通过Prolific平台招募，要求英语流利、视力正常或矫正至正常、无听力障碍。基于事前功效分析确定样本量。实验前参与者需完成音量校准（使用布朗噪声掩盖振动声），并需在学习阶段达到75%的准确率阈值才能进入测试阶段。
• •
  刺激材料：基于一个经过验证的圆形形状空间创建了28个3D新形状，形状在空间中均匀分布，并人为设定了类别边界。其中每个类别的9个极端形状用于学习，5个靠近边界的新形状用于泛化测试。每个形状被赋予四种视觉运动模式之一，并生成同步的触觉振动模式。所有物体刺激和用于生成视觉掩蔽的脚本均可在开放科学框架（OSF）项目页面获取。
• •
  设计与流程：实验使用三个不同的分类线索：视觉形状（S_v）、视觉运动（M_v）和触觉运动（M_t）。学习阶段，所有物体形状都与视觉和（相关的）触觉运动一起呈现，因此类别成员资格由所有三个线索平等定义。测试阶段采用被试内设计，因素为线索条件（4水平）和样本类型（已学/新颖）。主要结果指标是测试阶段的分类准确率。在实验1A和2A中，测试试次按线索条件分块呈现；在实验1B和2B中，所有试次交错随机呈现。
• •
  分析：使用R和lme4包对原始参与者反应（0，1）拟合GLMM模型，采用二项分布和logit链接函数。模型以线索条件和样本类型及其交互作用作为预测因子，参与者作为随机截距，样本类型作为随机斜率。通过似然比检验（II型）评估预测因子的统计显著性，并使用emmeans包进行事后比较，采用Bonferroni校正。

结果

• •
  实验1：当测试试次分块呈现时（实验1A），线索条件（χ2(3) = 26.50, p < 0.001）和样本类型（χ2(1) = 11.80, p < 0.001）对分类准确率有显著主效应。事后比较显示，所有线索组合条件（S_vM_v, S_vM_t, S_vM_vt）的准确率均显著高于仅形状条件（S_v）。此外，三线索条件（S_vM_vt）的准确率也显著高于两个双线索条件。对新样本的准确率显著低于已学样本。当测试试次交错呈现时（实验1B），同样发现线索条件（χ2(3) = 12.20, p = 0.007）和样本类型（χ2(1) = 8.08, p = 0.005）的显著主效应，但三线索条件相对于双线索条件的优势不再显著，且触觉运动线索（S_vM_t）并未比仅形状条件带来显著提升。在两种版本中，仅形状条件的准确率均显著高于机会水平。
• •
  实验2：当降低形状线索的可靠性后，在分块测试条件（实验2A）下，线索条件与样本类型存在显著交互作用（χ2(3) = 9.09, p = 0.028）。对于已学样本，所有线索组合条件均优于仅形状条件；但对于新样本，仅在三线索组合条件（S_vM_vt）下表现才显著优于仅形状条件。在交错测试条件（实验2B）下，仅发现线索条件的显著主效应（χ2(3) = 276.72, p < 0.001），样本类型效应不显著。事后比较显示，所有线索组合条件均显著优于仅形状条件，且三线索条件显著优于两个双线索条件。此外，触觉运动条件（S_vM_t）的表现显著优于视觉运动条件（S_vM_v）。在实验2A中，仅形状条件的准确率仍高于机会水平，但在实验2B中则处于机会水平。
• •
  实验3：当学习阶段仅呈现静态形状时，测试阶段的结果显示，仅有样本类型对分类准确率有显著主效应（χ2(1) = 34.95, p < 0.001），线索条件无显著效应。对新样本的分类准确率（约76%）显著低于已学样本（约86%），且测试阶段提供的运动线索未带来任何益处。

讨论与结论

三项实验的结果共同表明，先前学习的、由形状、视觉运动和触觉振动定义的多感官类别能够支持物体分类和泛化。总体而言，增加视觉和触觉运动线索促进了相对于仅凭形状信息的样本分类和泛化。实验3的结果证实，仅凭视觉形状本身可以支持类别学习，但泛化能力较差，且测试阶段的运动线索未带来益处，这表明学习阶段的多感官编码对于支持泛化至关重要，而非测试阶段线索的可用性。

研究结果与关于线索可靠性在感知中作用的先前证据一致，并将其延伸至类别学习领域。例如，当形状的类内相似性作为分类线索的可靠性降低，而运动线索保持完全信息性时（实验2），参与者的分类表现更多地受到触觉和视觉运动线索的影响，尤其是在分块条件下。结果进一步支持了触觉线索并非仅仅是补充性的，而是类别表征形成中不可或缺的一部分的观点，特别是当它们在时间上对齐且与任务相关时。

任务形式（试次分块还是交错）显著调节了观察到的多感官益处：分块试次一致地导致了更高的准确率和更好的泛化，而交错呈现则导致线索条件间的性能差异较小，且触觉线索的贡献不那么稳健。不同的任务需求可以影响线索组合，包括跨模态组合。尽管有证据表明交错呈现由于辨别对比而能增强泛化，但本研究发现对新样本的分类性能弱于已学样本。这表明交错呈现可能触发对个体线索或模态的更大依赖，或者可能损害特定线索-类别关联的检索。在分块条件下，整合到物体表征中的运动线索可能作为记忆中的情境支持，有助于对物体形状进行分类。

在真实世界中，我们对物体进行分类的能力可能取决于可用感官信息的性质和类型、先验知识以及与任务相关的其他情境依赖因素之间复杂的相互作用。例如，只有触觉运动似乎在不同任务结构（交错或分块试次）中对分类和泛化性能产生了差异性影响。方法学因素可能有助于解释文献中报告的一些不一致发现。与这种复杂性一致，本研究发现没有单一的机制能完全解释所有数据。未来的研究需要进一步调查线索组合如何有益于学习及后续表现。

总之，本研究阐明了多感官分类的特征性和情境敏感性本质，并证明跨感官线索对于分类的有效性取决于线索可靠性以及任务结构。这些发现强调了多感官运动线索在形成强大且可泛化的物体类别表征中的关键作用，对理解感知分类的多感官基础以及设计利用多感官整合的教育和交互技术具有重要意义。