利用位置信息来理解人类活动和习惯的家庭机器人

《Robotics and Autonomous Systems》：Household robot utilizing location information for human activity and habit understanding

该研究提出一种整合位置估计、人类活动识别（HAR）和计划识别的智能系统。通过融合ResNet50-Places365场景分类模型与基于物体距离的自创位置估计器，结合AL-GCN模型将骨骼数据与位置信息进行图卷积神经网络融合，并构建可更新的知识库实现计划预测。实验表明位置估计准确率达92.83%，AL-GCN模型在跨主体评估中达94.33%，计划识别通过习惯学习显著提升准确率。系统已部署于自制家庭机器人进行实景验证。

　　

林祖翰|陈慈安|罗志翔|傅立辰

台湾国立大学电气工程系，台北，台湾

摘要

本文提出了一种集成系统，该系统结合了位置估计、人类活动识别（HAR）和计划识别模块。为了提高HAR的性能，我们提出了一种位置估计系统，该系统融合了ResNet50-Places365（Zhou等人，2018年）和我们开发的估计器，后者利用了人与附近物体之间的距离信息。位置估计系统的位置信息以及人体骨骼信息将被输入到由我们开发的活动-位置图卷积神经网络（AL-GCN）控制的HAR模块中。为了更充分地利用识别出的活动信息，我们提出了一个计划识别系统，该系统在考虑人类习惯的同时更新人类的计划知识库，从而做出三个重要的预测：下一个活动、目标以及计划。在我们的实验中，我们在数据集和真实世界场景中评估了我们的系统。在数据集评估中，我们的位置估计系统准确率为92.83%；我们的AL-GCN模型在跨主体评估中的准确率为94.33%，优于现有的最先进（SOTA）模型；当考虑习惯并更新知识库时，我们提出的计划识别系统的性能得到了提升。在真实世界实验中，位置估计在客厅中的准确率为98%，而我们的AL-GCN模型通过包含位置信息，准确率提高了10%到20%。最后，我们的计划识别显示，通过更新知识库，预测准确性显著提高。

引言

近年来，智能家庭机器人作为辅助生活的有前景的解决方案应运而生。然而，为了在日常人类环境中有效运作，这些机器人不仅需要准确识别人类行为，还需要理解诸如位置和个人习惯等上下文线索。传统的人类活动识别（HAR）方法通常仅依赖于骨骼或视觉数据，这导致在动作模式相似的情况下（例如“坐下”与“穿鞋”）产生混淆。

此外，室内位置估计仍然是一个非平凡的问题。视觉场景可能充满了多种代表性特征，使得在没有歧义的情况下确定用户的确切位置变得困难。此外，解释人类行为随时间的变化需要能够识别计划并适应用户的特定习惯，这是静态计划库或刚性识别算法无法有效解决的挑战。

在这项研究中，我们考虑了一种位置估计方法，该方法结合了两种不同的模型来获取用于HAR的位置信息。一种名为ResNet50-Places365 [1]的模型通过处理图像数据来估计位置。另一种模型由我们开发，称为位置估计器，它利用人与附近物体之间的距离来确定人的位置。此外，我们提出了一个称为活动-位置图卷积神经网络（AL-GCN）的人类活动识别系统，该系统通过结合3D人体骨骼数据和估计的位置可能性来提高识别性能。AL-GCN将这种融合的信息纳入空间-时间图卷积架构中，使系统能够更好地理解上下文中的人类行为，并实现更高的准确性和鲁棒性。我们还提出了一个计划识别系统，可以做出各种预测，如下一个活动、目标以及计划。为了提高计划识别的性能，我们通过创建一个知识库来考虑人类习惯，该知识库包括一个存储各种活动序列的计划库、一个用于预测下一个活动的Loc-NextAct张量，以及一个用于预测目标的Loc-Objective张量。此外，随着新信息的获取，知识库可以更新，以适应不同的用户并改进预测结果。最后，我们的系统被物理部署到我们自制的机器人上，以执行真实世界的场景。

在我们的实验中，进行了两种类型的评估。一种是数据集的评估，另一种是在真实世界场景中评估我们的物理机器人。在数据集评估中，我们提出的融合了ResNet50-Places365 [1]和位置估计器的方法比单独使用任何一种方法都更准确。通过结合位置信息，我们提出的AL-GCN模型的表现优于现有的最先进（SOTA）方法。此外，通过更新知识库并考虑位置信息，我们的计划识别系统的预测得到了改进。在我们的真实世界实验中，位置估计在客厅中的准确率为98%，而我们的AL-GCN模型通过包含位置信息，准确率提高了10%到20%。最后，我们的计划识别结果显示，通过更新知识库，预测准确性显著提高。

本工作的主要贡献包括：（1）一种新颖的位置估计系统，该系统结合了场景分类和物体距离线索，以克服单个图像中出现多个房间时的歧义；（2）一种具有位置感知能力的人类活动识别模型（AL-GCN），该模型结合了骨骼数据和房间级信息，以提高识别准确性，特别是对于动作相似的活动；（3）一个适应习惯的计划识别框架，该框架使用个性化历史张量和动态计划库来改进目标和下一步预测，超越了传统的静态基于计划的模型；（4）在移动家庭机器人上的实际部署和评估，证明了我们系统在受控数据集和真实生活场景中的有效性。

相关工作

本工作包含两个主要研究主题：人类活动识别和计划识别。以下将介绍与这些主题相关的工作。

方法论

在本节中，我们将介绍我们提出的系统的概述。我们的系统由两部分组成，包括服务器和机器人，如图1所示。服务器包括4个模块：位置估计、识别重定位、人类活动识别和计划识别。另一方面，机器人包括3个模块：导航和定位、感知以及响应模块。

然而，以下部分将仅关注本工作的主要贡献。

实验和结果

在本节中，首先将介绍实验设置，然后介绍为验证三个主要部分（即位置估计、AL-GCN和计划识别）而设置的实验。首先将测试位置估计，然后是我们的HAR模型。最后，将评估计划识别以测试预测结果。此外，实验包括在数据集和真实世界场景中验证我们的系统。

结论

在这项工作中，开发了一个包含位置估计、人类活动识别和计划识别的系统。我们提出了一种基于检测到的人的位置的人类活动识别系统，称为AL-GCN。在位置估计的帮助下，AL-GCN模型接收位置信息和骨骼数据，以进行更准确的识别。此外，AL-GCN的位置信息和活动输出被用作

CRediT作者贡献声明

林祖翰：撰写——原始草稿、方法论、概念化。陈慈安：撰写——审阅与编辑。罗志翔：撰写——审阅与编辑。傅立辰：撰写——审阅与编辑。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：傅立辰报告称获得了台湾国家科学科技委员会的财政支持。如果有其他作者，他们声明没有已知的可能会影响本文所报告工作的财务利益或个人关系。

林祖翰于2023年从台湾国立大学电气工程系获得硕士学位。他的研究兴趣包括社交机器人和智能家居机器人，特别是人机交互方面。