编辑推荐：
针对非视场成像（NLOS）条件下人体姿态估计精度低的问题，提出结合深度学习和物理模拟的创新框架，通过联合提取深度与强度图特征实现低信噪比（SNR）下的高精度姿态估计，并构建大规模仿真数据集。实验表明该方法在SNR≤0.13、目标距反射面1.75米时仍保持有效。
肖中培|戴晨|叶瑞琳|曾建伟|李文文|徐飞虎
中国科学技术大学物理科学与技术学院、合肥国家微尺度物理科学研究中心，中国合肥230026
摘要
在非视距（NLOS）条件下估计人体姿态对于救援和安全应用至关重要。然而，直接将现有的姿态估计技术应用于NLOS成像会导致精度较低，这是由于信号严重衰减和空间分辨率有限，尤其是当目标远离中继表面时。为了解决这些限制，我们提出了一种新的NLOS人体姿态估计框架，其中包含了两个关键的创新。首先，我们引入了一种深度学习架构，该架构能够同时从深度图和强度图中提取特征，从而即使在信噪比（SNR）较低的情况下也能实现稳健的姿态估计。其次，我们提供了一个基于物理的NLOS仿真流程，用于生成大规模的NLOS姿态样本数据集，从而无需复杂的捕捉系统即可灵活地合成训练数据。在合成数据和真实世界NLOS数据集上的实验结果表明，我们的方法能够在具有挑战性的距离（最远达1.75米）和低SNR条件下实现准确的姿态估计。这些结果突显了我们框架在实际NLOS人体姿态估计应用中的巨大潜力。
引言
非视距（NLOS）成像使得观察者无法直接看到的物体能够被可视化和重建[1]、[2]、[3]、[4]、[5]、[6]、[7]。在典型的飞行时间（ToF）系统中，脉冲激光光照射到中继表面，散射到被遮挡的场景中，然后返回到探测器，如图1所示。通过扫描中继壁并记录飞行时间信息，这些系统可以捕获瞬态测量数据，并将其重建为隐藏场景的3D表示[8]、[9]、[10]。然而，当前的NLOS成像仍然面临几个挑战。在信噪比（SNR）较低的情况下，例如在强日光下或拍摄远处目标时，重建结果往往缺乏清晰的结构和有意义的语义信息。这导致难以准确识别人体姿态和与意图相关的特征，严重限制了其在安全监控、反恐和救援行动中的实际应用。
人体姿态估计作为计算机视觉中的一个核心问题，在视距场景中取得了显著进展[11]、[12]、[13]、[14]、[15]，这些方法基于RGB图像[16]、[17]、[18]和ToF数据[19]，显示出高精度和鲁棒性。最近的研究将这些技术扩展到了NLOS条件[20]、[21]，使得可以从NLOS数据中提取人体骨骼。然而，现有方法通常依赖于高质量的NLOS测量数据，这限制了它们在现实世界场景中的适用性。此外，这些方法通常需要昂贵的数据收集过程或现有的姿态数据库，限制了它们对不同人体姿态和复杂环境的适应性。
为了解决这些挑战，我们提出了一种适用于NLOS条件的稳健人体姿态估计网络，其中包含两个关键创新。首先，我们的方法将隐藏场景重建为3D体积，从派生的强度图和深度图中提取卷积特征，并通过多阶段网络和后处理预测关键点，最终生成语义详细的3D人体模型。其次，为了提高适应性和泛化能力，我们引入了一个特定于NLOS的数据生成流程，该流程可以从智能手机视频中合成多样化的训练样本，涵盖复杂的姿态和环境。最后，使用我们定制的NLOS成像系统（图1）进行的实验验证表明，我们的方法在不同位置、深度和SNR条件下都能实现稳健的姿态估计。值得注意的是，即使在极端成像条件下，我们的方法也能保持准确的性能——在SNR低至0.13和目标深度达1.75米的情况下仍能实现可靠的姿态估计，优于之前的工作[3]、[8]、[9]、[10]。这些能力显著提高了NLOS人体姿态估计在现实世界应用中的实际可行性。
章节摘录
NLOS成像
NLOS成像利用散射或反射的光信号来重建隐藏的目标，使其成为计算成像中的一个重要研究方向[1]、[2]、[3]、[4]、[5]、[6]、[7]。主动光学NLOS成像通常使用超快激光器发射脉冲光，而单光子雪崩二极管（SPAD）或相干探测器捕获散射信号以重建隐藏物体[8]、[9]、[10]。Velten等人[1]率先提出了一种基于时间反转的NLOS成像方法，
NLOS成像模型
在一般的NLOS成像模型中，激光束首先照射到墙上的一个点μ，引发第一次散射事件。一些光子随后到达隐藏物体的表面并发生二次散射。最终，散射的光子被墙上的另一个检测点μ′接收，完成第三次散射[10]。这个过程可以用以下积分方程表示：
