《Robotica》：Novel model-based force and object slip estimation approach for neuromorphic vision tactile sensors
编辑推荐：
本文针对机器人精准抓取中物体滑移早期检测的难题，提出了一种基于模型的神经形态视觉触觉传感器新方法。研究人员通过物理和数学建模，结合事件相机和仿生凸起标记设计，实现了对抓取物体滑移位移和按压力的定性与定量估计。实验验证了传感器的一阶系统行为，并利用LSTM时空分类器和模糊逻辑分类器，成功以超过99%的准确率识别机器人动作及按压力程度。该研究为机器人稳定抓取提供了高效的模型化反馈控制策略，具有重要的应用价值。
在机器人技术领域，让机械手像人手一样灵巧地抓取和操纵物体是一个核心目标。然而，一个长期存在的挑战是如何在物体刚开始发生滑移时就及时检测到，并迅速调整抓握力以防止物体掉落或损坏。这对于在非结构化环境中工作的机器人至关重要，例如物流分拣、精密装配或人机协作场景。目前，许多触觉传感器依赖于数据驱动的方法，即通过大量场景数据训练模型来识别触觉事件。这种方法虽然有效，但往往需要庞大的数据集，且模型的灵活性和与控制器的兼容性有待提高。相比之下，基于物理模型的方法从传感器的工作原理出发构建数学模型，有望更高效、更精确地解读传感器信号，并直接用于控制器设计。
为了应对这一挑战，发表在《Robotica》上的这项研究提出了一种新颖的基于模型的神经形态视觉触觉传感器方法。该研究团队自行研制了一种独特的触觉传感器，它巧妙地将仿生学设计、事件相机技术和物理建模相结合。传感器的核心创新在于其仿生皮肤设计，上面有模仿人类指纹脊线的凸起标记。这些标记采用柔性的Ninjaflex材料通过3D打印技术制成，能够灵敏地响应微小的接触力和初始滑移。传感器内部集成了一台DVXplorer Mini神经形态事件相机，用于捕捉标记在受压或滑移时的形变。事件相机不同于传统的帧式相机，它仅在场景亮度发生变化时异步报告事件，具有高时间分辨率、低延迟和低功耗的优点。
研究人员为这种传感器建立了详细的物理和数学模型。他们将标记的按压和弯曲行为抽象为弹簧-阻尼器系统，推导出传感器对按压和滑移动作的响应表现为一阶系统（FOS）行为。模型建立了外部作用力、标记条带的角位移、光圈面积变化与事件相机捕获的光强变化之间的数学关系。为了验证模型，研究团队将传感器安装在UR10工业机器人机械臂的末端执行器上，对一块3D打印的平板目标物执行了一系列标准化的抓取动作，包括接近、按压、滑移和释放。实验设计了不同级别的按压力（如轻、小、中、大等），并采集了事件相机产生的数据。
在数据分析阶段，研究人员采用了两种基于模型的长短期记忆（LSTM）网络分类方法：时序LSTM和时空LSTM。时序LSTM直接利用传感器事件计数随时间变化的序列（即一阶系统响应曲线）来识别机器人的动作（接近、按压、滑移）。时空LSTM则进一步利用了传感器视场中感兴趣区域（ROI）内事件加权的质心特征，该质心的移动轨迹与物体的滑移直接相关。此外，研究还使用模糊逻辑（FL）分类器对按压力的大小进行了定性评估（如“小”、“中”、“大”），并基于质心变化率定量估算了物体的滑移速率和位移。
研究结果显示，传感器的实验数据清晰地验证了其按压和滑移行为符合一阶系统模型，模型拟合的相关系数R分别达到0.983138和0.999762。无论是时序LSTM还是时空LSTM分类器，对机器人动作的分类准确率均超过了99%。同时，按压力面积与力的大小程度显示出强相关性，模糊逻辑分类器能够有效地对按压力进行定性分类。更重要的是，通过跟踪ROI内质心的移动，研究人员成功地估算出了物体的滑移速度（与机器人末端执行器设定速度接近）和滑移位移，这为实时闭环力控制提供了直接的反馈信号。
该研究的结论部分强调，这种基于模型的方法为神经形态视觉触觉传感器提供了一种有效的框架。所推导的数学模型不仅帮助理解传感器的工作机制和局限性，而且为未来实现预测性和自适应控制奠定了坚实基础。传感器的仿生凸起标记设计使其对微小力和初始滑移高度敏感。通过结合事件相机的高动态特性以及LSTM和模糊逻辑等人工智能算法，该传感器能够快速、准确地感知触觉信息，并对抓取状态（如滑移和按压力）进行定性和定量估计。这项工作显著提升了机器人触觉感知的能力，对于实现更稳定、更安全的机器人抓取操作具有重要意义。
