好吃！这是一款社交游戏，通过让儿童与虚拟助手进行实际互动来促进低功能自闭症儿童的认知训练

《International Journal of Human-Computer Studies》：Yum-Yum! A social game using tangible interaction with a virtual agent for cognitive training in children with low-functioning autism

自闭症儿童认知与社交技能提升研究：基于TUI技术的Yum-Yum社交游戏设计与评估，该游戏通过虚拟代理与实体交互工具结合，初步验证能提升低功能自闭症儿童（5-7岁）的主动社交行为和认知参与度，同时降低错误反应率。

　　

李佳佳|柴雅青|郑子霞

中国山东省青岛市青岛大学艺术学院

摘要

低功能自闭症（LFA）的儿童面临着显著的认知和语言挑战，这些挑战严重影响了他们的学习和日常生活。这些挑战也给他们的家庭带来了沉重的负担。虽然一些辅助技术有助于自闭症谱系障碍的儿童提高他们的认知和社交技能，但大多数技术都是为高功能自闭症儿童设计的。本文介绍了一款名为Yum-Yum的社交游戏，该游戏利用了基于有形用户界面（TUI）技术的虚拟代理。通过使用虚拟代理、一系列有形的互动工具以及多层次的社交游戏机制，Yum-Yum旨在帮助LFA儿童提高他们的认知和识别能力，同时培养他们的社交技能。我们对20名5至7岁的LFA儿童进行了游戏设计评估。结果初步表明，Yum-Yum激发了这些儿童的主动社交行为，减少了他们的不活跃和错误反应，表明其对他们的认知参与度和用户体验有积极影响。本文还概述了在TUI学习环境中创建虚拟代理和互动社交游戏的设计指南，为未来支持儿童学习的游戏设计探索了一个有趣的方向。

引言

自闭症谱系障碍（ASD）是一种常见的神经发育障碍。根据美国疾病控制与预防中心（CDC）的最新报告，美国大约每36名8岁的儿童中就有1人被诊断出患有ASD（CDC，2023年）。在自闭症谱系中，根据智力水平和语言能力，个体通常被分为两类：高功能自闭症（HFA）和低功能自闭症（LFA）。HFA个体没有明显的智力障碍，并具备一定程度的语言和沟通能力，但他们仍然存在社交互动缺陷（Sanders，2009年）。然而，LFA个体表现出明显的智力障碍、重复性行为、很少或没有语言或沟通能力，并可能表现出攻击性和自伤等有害症状（Bauminger等人，2007年；Brambilla等人，2003年）。

尽管儿童自闭症是一种终身疾病，其原因尚不清楚且无法治愈，但有效的早期干预对于ASD儿童的康复至关重要。此类干预对于提高他们的认知能力、语言能力、适应行为和社交技能尤为重要（Bernardini等人，2014年；Lian和Sunar，2021年）。例如，基于同伴的指导、应用行为分析（ABA）和图片交换沟通系统（PECS）等干预措施已被证明可以有效增强自闭症儿童的社交技能、沟通能力、共同注意力和认知能力（Chien等人，2015年；Matson，2009年；Odom等人，2010年）。然而，传统的干预方法主要依赖于治疗师或父母的口头、行为或图片指导，往往对自闭症儿童来说不够直观或吸引人。这些方法难以吸引儿童的注意力，因此无法实现有效的干预效果。

随着数字产品逐渐渗透到生活的各个方面、工作和娱乐中，许多利用数字技术进行增强干预的方法已被证明能够通过提供传统工具无法提供的视觉体验而产生积极的教育效果。例如，基于面部表情识别的移动应用程序（Harrold等人，2014年）、旨在培养儿童共同行为的数字互动系统（Giraud等人，2021年）以及促进社交技能的沉浸式环境（Mora-Guiard等人，2017年）都显示出了有希望的结果。特别是基于具身代理的教育系统被认为具有很高的潜力（Hsu和Teoh，2017年；Tartaro和Cassell，2007年），因为它们可以改善学习效果，提高学生的参与度，并为自闭症儿童提供无压力、无偏见的学习环境（Alcorn等人，2011年；Li等人，2023年）。然而，最近开发的大多数代理技术主要集中在训练儿童特定技能或提供僵化和机械的动作或语言模仿上。也就是说，它们没有将社交技能整合到实际干预训练中，这意味着这些技能不能由计算机导师推广到现实世界环境中来支持ASD儿童（Giraud等人，2021年；Porayska-Pomsta等人，2012年）。此外，这些方法通常只对HFA儿童有效，对于LFA儿童来说更加具有挑战性，因为LFA儿童在社交技能、语言沟通和身体能力方面严重不足（Brambilla等人，2003年；Li等人，2025年；Wu等人，2020年）。

在本文中，我们介绍了基于有形用户界面（TUI）技术的虚拟代理社交游戏Yum-Yum的设计和实现。这款游戏最初侧重于水果识别，旨在帮助自闭症儿童发展初步的沟通和社交技能，并探索他们的认知识别能力。与大多数仅训练儿童特定技能和信息共享或模仿的TUI游戏不同，我们将社交沟通（SC）、情绪调节（ER）和交易支持（TS）（即SCERTS模型）、PECS、基于游戏的学习方法和具身代理策略整合到了Yum-Yum系统中，将儿童从被动接受者转变为积极的探索者。Yum-Yum系统是一个社交互动的虚拟环境，儿童可以使用有形物体以及口头和非口头行为与嵌入在真实场景中的三维（3D）虚拟代理进行互动。TUI模式利用物联网和交互式投影技术支持虚拟代理对物理物体的实时识别，并提供及时反馈，弥合了虚拟世界和现实世界之间的差距，实现了这两个物理空间之间的结合互动。该系统还结合了基于参与式设计（PD）工作坊（Prizant等人，2003年）的多场景和多层次游戏机制，使儿童能够逐步和系统地理解和掌握所学内容。

章节片段

自闭症和传统干预

ASD是一种严重影响认知和社交行为的神经发育障碍。其临床症状通常包括社交沟通缺陷以及受限的、重复性的行为和兴趣（APA，2013年）。由于神经发育问题，自闭症儿童的感觉能力与正常发育的儿童有显著差异。他们通常对某些主题或活动表现出高度的兴趣和专注。

Yum-Yum：基于PECS和SCERTS理论的学习目标

Yum-Yum虚拟代理和有形互动是Yum-Yum项目的两个关键组成部分。为了确保虚拟代理是一个可靠的社交伙伴，能够帮助ASD儿童通过他们偏好的自然互动模式进行认知和社交训练，我们使用了自闭症相关研究理论中的SCERTS模型和PECS来支持Yum-Yum虚拟代理及其与儿童的互动设计。因此，我们旨在回答两个问题：

Yum-Yum系统的设计和实现

在前面的章节中，我们讨论了使用PECS和SCERTS模型中的互补干预方法来指导虚拟代理的互动行为和Yum-Yum游戏机制的重要性。在本节中，我们将介绍基于这些理论和模型的Yum-Yum系统的设计方法，包括以自闭症为中心的PD、虚拟代理设计、游戏机制、基于TUI的场景设计以及相关的技术实现。

评估结果

我们设计了一个实验来评估Yum-Yum系统在提高LFA儿童的认知和识别能力（专注于三种水果的识别）、沟通和社交技能以及注意力和参与度方面的有效性。实验结果表明，ASD儿童的表现在令人鼓舞。

讨论与局限性

基于我们对Yum-Yum系统的评估，包括TUI和TB模式，我们确定了一些关键发现和设计讨论。这些见解旨在提高虚拟代理和基于TUI的社交游戏机制在支持儿童认知训练和发展他们初步社交技能方面的潜力。尽管本研究评估的是一种结合了可触性、具身运动、空间互动和材料规模的综合干预条件，但

结论与未来工作

在这项研究中，我们设计并开发了一款基于TUI环境的社交游戏Yum-Yum。我们描述了其理论基础、设计和评估方法，以支持LFA儿童对特定物体的认知，并观察和探索他们的潜在社交活动。我们邀请了20名LFA儿童测试了Yum-Yum系统的两个版本。实验结果表明，使用Yum-Yum系统的儿童表现出更高的参与度

未引用的参考文献

(endran等人，2009年；Franklin等人，2008年；Gibbs，2007年；Andrea Tartaro，2007年；Liu等人，2024年；Shneiderman，1981年)

CRediT作者贡献声明

李佳佳：写作 – 审稿与编辑、撰写原始草稿、验证、监督、方法论、资金获取、正式分析、数据管理、概念化。柴雅青：软件开发、调查、数据管理。郑子霞：可视化、资源管理、数据管理。