编辑推荐：
动物行为姿态跟踪技术从传统计算机视觉方法发展到深度学习驱动的2D/3D高精度跟踪及多模态神经信号对齐，显著提升了行为量化与神经机制关联分析能力，推动神经医学研究从被动观察到机制解析。
作者：钟宇哲、王兰静、王晓月、孙崇、陈俊、杨海涛
中国西安西北工业大学柔性电子国家重点实验室（LOFE）与柔性电子研究所（IFE）
摘要
动物行为是神经功能的外在表现，也是了解大脑机制和疾病状态的关键窗口。传统的行为研究依赖于人工观察和经验性分类，但这些方法存在主观偏见，并且时空分辨率有限，难以将行为与神经活动进行定量关联。随着计算机视觉和深度学习的快速发展，姿态跟踪技术已经从二维（2D）估计发展到三维（3D）重建，进一步实现了多模态对齐。本文综述了基于机器学习的动物姿态跟踪方法的发展历程，从早期的无监督和有监督方法，到能够实现高精度2D和3D跟踪的深度神经框架，再到结合基础模型、生成模型和新型神经网络等前沿技术的多模态对齐。深度学习使得高保真的行为表型分析和姿态-神经映射成为可能，推动了多动物跟踪和神经医学研究的进步。尽管取得了显著进展，但在跨物种泛化、注释标准不一致以及行为-神经因果关系的建模方面仍存在挑战。未来的研究将重点关注自监督学习和生成学习，以减少对注释的依赖，并实现多模态时空整合，从而更好地对齐神经状态与行为动态。
引言
计算行为学研究在自然或受控环境中探讨动物的行为模式及其潜在机制，包括个体如何感知环境、学习和决策、进行社会互动以及适应压力和疾病[1]。传统的动物行为研究主要依赖人工观察和记录。虽然这种方法简单易行，但容易受到观察者主观因素的影响，如注意力、疲劳、视角和个人偏见，这些因素阻碍了客观、高通量和可重复的定量描述。此外，在数据收集和分析效率方面也存在显著限制。特别是在低分辨率或身体部位重叠的情况下，人工直接观察无法准确记录动物行为，导致数据收集不准确[2]。随着过去二十年机器学习（尤其是计算机视觉和深度学习）的快速发展，基于标记或无标记的姿态跟踪技术使研究人员能够可靠地识别关键解剖标志（如四肢、尾巴、头部），从而追踪动物姿势的变化并重建时间轨迹[3]。这将高维的自然行为转化为可计算的时空特征，为行为表型与神经机制的对齐奠定了数据基础[4]。这些姿态跟踪技术使研究人员能够更精确地观察和量化动物行为，进一步深入研究动物运动模式、社会互动和潜在的神经机制。此外，在这些姿态跟踪工具训练过程中收集的数据集，以及使用它们进行注释生成的数据集，为更深入的动物行为和神经科学研究提供了重要的参考和可靠的数据来源。因此，基于机器学习的姿态跟踪已成为动物行为研究的常用方法[5],[6],[7]。
尽管之前的综述提供了有价值的见解，但其范围仍然有限：一些综述侧重于早期的计算机视觉应用[15]；另一些则强调了2018年后深度学习融入动物姿态跟踪的进展[4]；还有一些通过人类姿态跟踪技术转移来介绍3D动物姿态跟踪[16],[19]。同时，基于机器学习的动物姿态跟踪在行为和神经医学研究中具有重要意义，包括步态分析（图1a）、神经机制探索（图1b）、疼痛研究（图1c）、康复评估（图1d）和社会行为分析（图1e）等领域。这些应用迫切需要一个全面的技术框架来支持动物姿态跟踪[14]。与早期的综述相比，本文提供了一个统一的视角，涵盖了从早期机器学习方法到深度学习驱动的多模态姿态跟踪和神经信号整合的发展过程，对单动物与多动物、2D与3D姿态跟踪进行了更详细的分类，并强调了神经医学应用的重要性，特别是在步态分析、神经机制探索和社会行为分析等领域。
具体而言，本文旨在追踪过去二十年基于机器学习的动物姿态跟踪技术的发展历程。它从早期的计算机视觉方法开始，逐步发展到深度网络驱动的单动物和多动物2D及3D跟踪，并探讨了多模态对齐在连接计算行为科学与神经医学挑战中的作用。关键进展包括关键点检测、时间建模、身份跟踪方面的范式转变，以及利用半监督学习降低注释成本的方法。本文还探讨了3D重建和多模态融合在分析复杂社会行为中的作用。最后，总结了代表性数据集，讨论了神经行为对齐的挑战，并概述了神经医学应用的前沿方向，包括个性化表型分类和闭环干预。
早期机器学习在动物行为量化中的应用
在计算机视觉的早期阶段，动物行为跟踪主要依赖于传统的图像处理和机器学习方法[15]。这些开创性的方法提供了第一代自动化工具，用于“行为表型的客观量化”，为后续的二维神经科学研究奠定了基础：首先，自动化减少了人为主观性和劳动力成本，使得大规模、长期的行为观察成为可能；其次，它
深度学习驱动的动物姿态跟踪与神经行为对齐
传统上，动物姿态跟踪依赖于手动特征提取和经典的计算机视觉技术，如分类[51]、聚类[52]和主成分分析[53]。尽管在某些程度上取得了成功，但这些方法往往受到特征提取准确性的限制，且对复杂环境（如遮挡和光照变化）的适应能力较差，导致连续帧间的稳定跟踪存在挑战[6],[54]。此外，
常见数据集和数据收集方法
在动物姿态跟踪的发展过程中，一直缺乏大规模、多样化的数据集以及统一的注释和分析基准。现有的大多数动物姿态跟踪数据集主要集中在少数几种物种（如人类、狗、猫）上，而其他物种（如野生动物、昆虫、鸟类）的数据资源相对匮乏。这种物种不平衡限制了模型在面对不同体型动物时的泛化能力
结论与展望
本文系统地回顾了动物姿态跟踪技术的发展历程，从基于先验知识和浅层特征的早期计算机视觉方法，发展到基于深度学习的2D和3D姿态估计；从单模态视觉方法到多模态神经行为对齐的系统性演化。本文强调了动物行为研究从主观观察向数据驱动的定量研究的转变，总结了高精度
资助
本研究得到了中国国家自然科学基金（项目编号5113250114和62571439，资助对象为杨海涛）、中国国家重点研发计划（项目编号2025ZD1206800，资助对象为杨海涛）、中央高校基本科研业务费（项目编号25GH02010318和G2025KY05015，资助对象为杨海涛）以及“高层次海外人才回国”项目（项目编号5113240094，资助对象为杨海涛）的支持。
CRediT作者贡献声明
杨海涛：撰写——审稿与编辑，监督。陈俊：撰写——审稿与编辑。钟宇哲：撰写——初稿撰写，可视化，方法论设计，数据整理。王兰静：可视化，数据整理。王晓月：方法论设计，数据整理。孙崇：撰写——审稿与编辑。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
本研究得到了中国国家自然科学基金（项目编号5113250114和62571439，资助对象为杨海涛）、中国国家重点研发计划（项目编号2025ZD1206800，资助对象为杨海涛）、中央高校基本科研业务费（项目编号25GH02010318和G2025KY05015，资助对象为杨海涛）的支持
钟宇哲目前在中国西安西北工业大学柔性电子研究所攻读硕士学位。他的研究兴趣包括机器学习和柔性电子设备的建模、用于行为跟踪的智能传感系统，以及用于神经行为研究的多模态信号处理。
