从表面到真实：机器人感知中实现真实人物识别的新途径

《Pattern Recognition》：From Apparent to Real: A New Path for Real Personality Recognition in Robot Perception

真实人格识别的关键在于克服数据稀缺问题，本研究提出通过聚合多人际观察的显性人格数据构建统一监督信号，并设计标签偏差校正和样本加权损失函数提升模型鲁棒性。实验表明该方法在ELEA基准数据集上显著优于直接使用显性标签的模型，且与真实标签模型性能差距仅为3%。

　　

孙云佳|彭少辉|王涛

北京大学，北京，100871，中国

摘要

在机器人感知中，准确识别真实人格对于实现个性化的人机交互至关重要。训练高性能的人格识别模型通常需要大量的数据。然而，真实人格只能通过自我报告获得，收集此类数据具有挑战性。为了解决这个问题，我们提出了一种新方法，该方法利用表面人格数据来实现真实人格的识别。表面人格是指外部观察者所感知的人格。由于它不依赖于自我报告，并且允许单个注释者对多个个体进行标注，因此收集起来更加容易。具体来说，我们建议将一个人的多个视频中的表面人格注释汇总成该个体的统一人格表示。然后使用这种汇总的人格来监督人格识别模型的训练。然而，直接训练可能会遇到两种类型的偏差：标签偏差和样本偏差。标签偏差指的是每个样本所传达的真实人格与汇总人格之间的差距。样本偏差表明，不同样本对汇总人格的贡献不同。因此，我们分别引入了两种方法来处理标签和样本可能出现的偏差。对于标签偏差，我们建议额外预测每个样本的标签偏差，以纠正原始的汇总人格。对于样本偏差，我们建议应用加权损失来减少表面人格与汇总人格差异较大的样本的影响。我们使用相同的汇总策略，将一个人不同视频片段中的预测结果结合起来，得到统一的真实人格结果。在标准基准ELEA上的实验表明，我们的方法有效，其性能优于直接使用表面人格标签训练的模型。我们的方法在没有真实人格标签的情况下，仅性能下降了约3%，这证明了我们在标签稀缺环境中的可行性。实验中的代码和数据分割可在https://github.com/sunyunjia96/App2Real处获得。

引言

人格识别是人机交互（HRI）中的一项关键机器人感知能力，因为机器人需要准确理解交互对象的人格，以便促进个性化交互[1]、[2]、[3]、[4]。例如，机器人可以根据用户不同的人格调整自己的特征以获得信任[5]。社交机器人应根据用户的人格调整行为，以提高互动性，因为证据表明在HRI中人格与行为之间存在很强的关联[1]。常用的人格模型是五大人格特质[6]，包括五个维度：开放性、尽责性、外向性、宜人性和神经质。人格识别有两个关键方面：真实人格识别，关注个体的稳定内在特征；以及表面人格识别，指的是观察者根据面部表情、手势和行为等可观察线索所感知的特征[7]。真实人格在相对较长的时间内保持一致，而表面人格在较短的时间内可能会发生变化。它们是相关的，但完全一致本质上是困难的，因为真实人格并不一定完全可观察。

表面人格与真实人格之间的差距凸显了从表面人格推断真实人格的方法的必要性，这也是本工作的目标。在这项工作中，我们提出将表面人格汇总成统一的人格表示，作为真实人格的伪标签。我们进一步考虑了样本之间的偏差以及标签中的偏差，并在训练过程中纠正标签或损失函数。接下来，我们首先详细介绍了真实人格识别的挑战以及从表面人格数据估计真实人格的挑战，然后简要介绍我们提出的方法。

在HRI中，机器人对人类人格的感知主要集中在真实人格识别上[8]、[9]、[10]、[11]，因为目标是更好地理解与机器人交互的个体的特征，而不是其他人从这些个体身上感知到的特征。然而，收集大规模的真实人格数据具有挑战性，因为它通常依赖于个体的自我报告。此外，由于伦理问题，许多人不愿意提供他们的真实人格作为训练数据。虽然真实人格仅限于单个个体的自我报告，但表面人格适合大规模的数据收集和注释，因为它可以由多个注释者对不同个体进行标注。据我们所知，迄今为止最大的真实人格数据集包含147名受试者[12]，而表面人格数据集First Impression[13]包含3060名受试者，远远多于真实人格数据集。更大的数据量使得表面人格的模型训练比真实人格的训练更为可行。因此，我们建议利用表面人格数据（相比真实人格数据更容易收集）来实现真实人格识别。据我们所知，我们的工作是第一个从自动化人格识别的角度，将表面人格与真实人格联系起来的。

仅使用表面人格标签从数据中估计真实人格是具有挑战性的。这是因为表面人格并不总是反映真实人格。此外，与相对一致的真实人格不同，个体的表面人格在不同视频片段中可能会有所变化。图1（a）显示了First Impressions数据集中10个随机受试者的表面人格注释[13]。我们使用外向性-神经质、宜人性-尽责性和外向性-开放性作为x轴和y轴，来可视化五大人格特质的五个维度。相同颜色的点代表来自不同视频的同一受试者的表面人格。可以看出，同一受试者在不同视频片段中的表面人格是不同的。因此，从表面人格数据中提取关于真实人格的信息并不容易。

为了解决这一挑战，我们提出将表面人格标签汇总成一个近似真实人格的统一标签，作为训练人格识别模型的监督信息。图1（b）说明了我们的方法。首先，对于每个人，我们通过计算非异常数据点的平均值来汇总所有视频中的表面人格。然后，人格识别模型以这些视频为输入，输出每个视频的预测人格。由于每个视频可能包含关于真实人格的不同信息，因此需要以更灵活的方式使用汇总的人格。我们从两个角度考虑视频展示的真实人格与个体实际真实人格之间的偏差：

• 1.
  标签偏差。不同的视频可能反映个体真实人格的不同方面。因此，我们在每个视频的汇总人格中添加了一个偏差校正，该校正也由人格识别模型预测。然后使用校正后的标签来训练人格识别模型。这使模型能够校准统一人格与真实人格之间的潜在差异，以及同一人在不同视频中反映的真实人格的可能信息差异。
• 2.
  样本偏差。视频的表面人格与汇总人格相差越远，它就越偏离代表统一真实人格。因此，我们引入了一个加权损失函数，对接近汇总人格的视频赋予更大的权重，对偏离汇总人格较远的视频赋予较小的权重。这鼓励模型关注个体视频片段中人格的一致方面。

训练后，同一人的不同视频片段的预测仍然会表现出一定程度的变化。因此，我们将同一人的所有视频片段的预测结果汇总起来，得到最终的统一真实人格结果。此外，我们在真实世界机器人上实现了人格识别模型，使其能够感知人格。

我们的贡献总结为三点：1）我们提出利用表面人格数据来识别真实人格，解决了收集真实人格标签的挑战。据我们所知，我们是第一个提出利用表面人格数据进行真实人格识别的。2）我们提出了一个使用表面人格数据进行真实人格识别的流程。3）实验结果表明，利用表面人格来识别真实人格是有效的。我们的方法在一个人不同视频片段之间实现了相对一致的人格预测，并且所提出的方法可以在真实世界机器人上实现。

相关工作

相关工作

我们回顾了之前关于人格识别的研究，包括表面人格识别和真实人格识别。

方法

为了利用多样的表面人格来识别一致的真实人格，我们提出将表面人格汇总作为模型训练的监督信息。在第3.1节中，我们首先提供了问题定义（3.1.1节），然后描述了如何汇总表面人格（3.1.2节）。之后，我们描述了如何使用汇总的人格来训练真实人格识别模型（3.1.3节和3.1.4节），并进行了相关讨论

实验

我们通过彻底的实验验证了从表面人格数据学习真实人格的可行性，并进行了消融研究，以验证我们设计每个组件的有效性。

结论

为了解决获取真实人格数据的挑战，我们提出了一种利用表面人格数据（更容易收集）进行真实人格识别的方法。通过汇总表面人格注释，我们的方法引导模型估计更一致的人格特征。通过实验，我们证明了使用表面人格数据进行真实人格识别的可行性，而且我们的方法比直接使用

手稿准备过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT、doubao和deepseek来润色语言。使用这些工具/服务后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

CRediT作者贡献声明

孙云佳：撰写——原始草稿、可视化、验证、方法论、概念化。彭少辉：撰写——审阅与编辑、资源整理。王涛：撰写——审阅与编辑、监督。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：王涛报告称，北京仿人机器人创新中心有限公司提供了设备、药品或物资。孙云佳报告与北京大学存在关系，包括就业关系。王涛报告与北京大学存在关系，包括就业关系。彭少辉报告与中国科学院软件研究所存在关系

致谢

我们要感谢北京仿人机器人创新有限公司和上海Touchbot机器人有限公司的支持。

孙云佳目前是北京大学计算机科学学院的博士后研究员。她分别于2018年和2024年在中国科学院北京分院获得了学士和博士学位。她的研究兴趣包括计算机视觉和情感计算，特别是注视估计和人格识别。