基于斑点皮肤的多种模式触觉感知技术，用于精细机器人操作

《Advanced Intelligent Systems》：Speckle Skin-Based Multimodal Tactile Perception for Fine Robotic Manipulation

　　摘要

触觉感知对于实现机器人手与物体之间的物理交互至关重要，它使得有效且安全的抓取和操纵成为可能。基于视觉的触觉传感器因其高空间分辨率和可扩展性而越来越受欢迎。目前，大多数基于视觉的触觉传感器使用标记阵列跟踪方法或光度立体方法。标记阵列的空间分辨率受到标记密度的限制，而光度立体方法则需要复杂的照明。在这项工作中，我们提出了一种利用斑点皮肤的微型基于视觉的触觉传感器，即SpeckleTac。通过应用密集的光流方法以及自适应卡尔曼滤波和动态权重融合，可以获得高分辨率和准确的2D位移场，进而重建3D表面。然后，通过基于ResNet的架构SPTacNet实现接触物体的分类和姿态估计，该架构整合了挤压-激发（SE）残差块。此外，通过结合TV正则化的iFEM方法，可以获得接触压力分布以及6轴力和扭矩。我们证明了SpeckleTac能够准确定位未知物体的质心，从而实现稳定的抓取，并便于安全处理玻璃管中的血液样本。这项工作为机器人手的“现实世界”应用中的多模态触觉感知提供了有前景的解决方案。

1 引言

近年来，人形机器人的发展是一个前沿领域[1]，这类机器人具备嵌入式智能[2]，能够在非结构化环境中自主工作，与人类协作并响应周围环境。在所有任务中，物体抓取和操纵[3]是最常见和最基本的。视觉和触觉传感器为机器人提供了关键的感觉反馈[4]，以高效且安全地感知和完成任务。物体抓取通常由视觉模块发起，该模块提供物体姿态的粗略估计。同时，触觉感知需要提供仅凭视觉无法获得的关键物理信息，例如阴影区域中的接触细节、精确的抓取姿态以及接触力/扭矩反馈。尽管在过去十年中有关触觉传感器的研究很多，但满足实际机器人应用需求的多模态触觉传感器仍然很少。理想的触觉传感器[5]应满足以下几个关键要求：（1）足够微型化和模块化，以便容易集成到灵巧的机器人手的夹持器或指尖中；（2）能够实时提供高分辨率的触觉反馈，以支持快速准确的响应；（3）在各种环境中具有强大的鲁棒性、良好的重复性和可靠性；（4）制造成本合理，以便广泛采用。受这些要求的驱动，基于视觉的触觉传感器近年来受到了越来越多的关注。与传统电气或磁性传感器相比，这类传感器具有极高的空间分辨率、强的鲁棒性，并且对环境干扰的敏感度较低[6-9]。此外，它们具有很高的可扩展性，非常适合与先进的计算机视觉技术集成，成为跨模态感知的有前途的解决方案。自2004年以来，基于视觉的触觉感知技术取得了显著进展，最初由Tachi Susumu等人开发的GelForce[10]开始了这一历程。这种开创性的传感器采用了标记跟踪方法，后来通过双层配置得到了增强，以实现机器人抓取的多轴力估计[11]，并在机器人手中成功抓取软泡沫物体。2009年，Bristol Robotics Lab引入了TacTip，它通过跟踪柔性硅胶皮肤内的内部乳头状销的位移，将触觉相互作用转换为压力数据，从而催生了一系列多样化的传感器[12-19]。同时，MIT的Adelson团队开发了GelSight[20]，利用光度立体技术进行微米级纹理重建。后续的迭代结合了标记位移分析，以估计法向力和切向力，并通过透明标记支持双模态操作[21-23]。微型化努力带来了Fin-Ray[24]，这是一种拇指大小的传感器，被证明在操纵 delicate 物体时非常有效。2018年，该团队提出了GelSlim[25, 26]，引入了反射光路径和iFEM进行力重建。这演变为GelSlim3.0[27]，它在薄型设计中结合了3D形状重建、力分布和早期滑移检测，非常适合狭小空间。2022年的最新创新包括Tac3D[28]，它是第一个应用虚拟立体视觉进行高精度、实时3D几何和力测量的传感器，以及GelStereo[29]，它使用立体视觉实现了亚毫米级分辨率。2023年，9Dtact[30]创新性地利用半透明凝胶的光学和变形特性，实现了无凝胶表面辅助标记或图案的精确3D形状重建和通用6D力估计。Fang等人[31]利用铜箔制造了用于室内/室外化石识别的坚固传感器，而Ho等人[32]提出了SimTacLS，结合了模拟引擎以实现大规模触觉感知任务中的有效模拟到真实转换。当前的基于视觉的触觉感知主要依赖于基于阵列的标记或光度立体技术，但两者都存在明显的局限性。基于标记的分辨率本质上受到制造密度的限制，而光度立体技术需要高质量的多色照明和复杂的、特定于几何的照明优化。此外，现有传感器的体积较大，阻碍了它们与灵巧机器人手的集成。2022年，DelTact[33]利用随机颜色图案和密集光流算法实现了全分辨率的亚毫米级接触变形跟踪以及高时空分辨率的在线接触形状和力分布提取。Du等人[34]提出了一种基于优化的方法，从基于视觉的光流重建3D接触点云，结合接触几何和尺度估计来解决单目模糊问题，精度达到亚毫米级。Sferrazza等人[35]提出了模拟到真实的策略，用于3D接触力分布重建，在模拟数据上训练轻量级的U-Net以实现120 Hz的实时推理和跨传感器可传输性。2025年，Cao等人[36]开发了ABP算法，该算法使用混合标记模式进行3D变形测量，能够容忍大的变形，并实现小于1毫米的两点区分。特别是随机斑点标记，它们提供了超高的空间分辨率，适用于连续感知，在大变形和遮挡情况下表现出强大的性能，制造简单，多功能性强，串扰减少，使其成为微型化和集成到基于视觉的触觉传感器中的理想选择。基于这些进展和基于斑点感知的固有优势，我们展示了SpeckleTac（图1），这是一种微型传感器，能够测量3D表面变形和6轴力/扭矩，它使用带有随机斑点图案的传感层，并由简单的LED灯条照明，实现了0.03毫米/像素的高空间分辨率。SpeckleTac具有与机器人夹持器和手相匹配的紧凑整体尺寸，采用反射光路径和微型相机配置。通过并行化的密集光流、自适应卡尔曼滤波和多尺度加权融合，实现了高空间分辨率和准确的2D位移场。在此基础上，应用了不可压缩材料模型和逆有限元方法（iFEM），并通过基于ADMM的总变分（TV）进行正则化，以重建3D变形并解耦六轴力。最后，我们展示了SpeckleTac在实际机器人抓取和操纵任务中的多模态触觉感知能力，包括基于ResNet的物体分类、由实时质心估计指导的抓取策略，以及有效处理玻璃管中的血液样本。

2 设计和工作原理

2.1 SpeckleTac的设计

如图2a所示，SpeckleTac包括四个模块：一层带有随机“斑点”的“虚拟标记”层、一个照明模块、一个图像采集模块和外壳。SpeckleTac的结构如图2a所示。斑点皮肤主要由三个部分组成：底部的透明弹性体层、顶部的随机斑点标记层和保护性的表皮层。使用Ecoflex GEL（Smooth-on，美国）和RTVS6100（Hasuncast，中国），质量比为2:1，形成了高透明弹性体层。随机斑点标记层是通过将反射玻璃微粒与透明硅胶混合制成的，具体来说，硅胶和玻璃微粒以20:1的质量比混合，并通过行星式离心搅拌器（ARE-300，日本）充分搅拌以确保微粒均匀分布，然后将混合物浇涂在弹性体表面，使用自动薄膜涂布机（CV-TB-X3，中国）形成500微米厚的薄膜。然后，通过将DragonSkin 10 Slow（Smooth-On，美国）与碳纳米管以15:1的质量比混合，制备了保护性表皮层，为随机分布的玻璃珠提供非反射的黑色背景（详见注S1，图S1和S2）。如图2b所示，斑点皮肤由嵌入LED的亚克力板照明，然后通过镜子反射到微型相机模块。这样的设计实现了紧凑的光路配置，保持了整体尺寸的小巧。微型相机（OV5640，OmniVision，中国）具有小巧的体积（9毫米×9毫米×5毫米）、宽视野角和可重构的高分辨率（1600×1200 @ 30 fps或2592×1944 @ 15 fps）。相机相对于水平面安装了60度角，以高分辨率捕获皮肤图像，并且从镀银平面镜（相对于水平面放置了30度）反射图像。SpeckleTac传感器的整体尺寸为21×21×37.5毫米3，传感面积为15×15毫米2，与大多数机器人夹持器和手相匹配。

2.2 基于光流 的2D位移场跟踪

如图3所示，随机斑点图像的2D位移场是通过将非接触状态下的初始帧与当前帧进行比较来确定的。当帧与帧之间的时间间隔较长时，直接应用数字图像相关性或光流进行相关计算或像素匹配会变得具有挑战性。为了解决这个问题，采用了Farneb?ck密集光流方法，该方法使用多尺度搜索窗口进行初始化，以计算帧间流场，然后累积这些流场以获得2D位移场。由于Farneb?ck光流的并行性质[37]，实现了CUDA加速，并将初始参考帧加载到GPU内存中，以避免重复的大数据传输造成的通信延迟。这种优化使得可以以1600×1200的分辨率进行处理，每帧的计算时间为15-20毫秒。然后，流场被降采样以加速后续数据处理。降采样网格的中心点被称为虚拟标记点。在将帧间光流与前一帧的总位移累积之前，应用了矩阵形式的自适应卡尔曼滤波器，以减轻由照明波动或操纵过程中振动引起的噪声。通过直接过滤帧间流，可以有效地抑制环境噪声，同时保持对快速流变化的即时动态响应。自适应卡尔曼滤波器由三个参数控制：P（误差协方差矩阵）、Q（过程噪声协方差）和R（测量噪声协方差）。初始状态协方差P设置为一个较大的值，以反映滤波器对状态的先验知识缺乏。随着流的迭代更新，P逐渐减小，减少了新观测值在状态更新中的权重。Q和R根据预测值和观测值之间的残差进行自适应调整。在快速运动场景中，预测值和观测值之间的误差增加；因此，Q增加，R减小，从而获得更大的卡尔曼增益K，使滤波器能够快速响应快速的光流变化。相反，在稳定或慢速运动场景中，Q减小，R增加，使得K减小，从而获得更平滑、更稳健的流估计。完整算法在算法S1中总结，自适应卡尔曼滤波器模块的初始参数在注S2中提供。图S3展示了使用自适应卡尔曼滤波器与不使用它的情况之间的比较。此外，引入了一个自适应置信度指标来评估测量值和预测值之间的差异：

所提出的置信度指标进一步应用于位移场的多尺度融合中。由于每个虚拟标记点的帧间光流需要独立的卡尔曼滤波器，简单的基于循环的实现将在计算上非常密集。为了解决这个问题，设计了一个向量化卡尔曼滤波单元，该单元能够同时高效地处理跨越数万个虚拟网格点的光流。

2.3 多尺度融合位移场

从上述计算获得的2D位移场由于照明波动或反射玻璃珠的不均匀性而显示出显著的漂移。这种效应在细划分的采样网格上尤为明显，即小尺度位移场。为了解决这个问题，引入了一种动态权重多尺度位移场融合算法（见图4a）。通过利用大尺度位移场对边界噪声的较低敏感性，该算法有效抑制了中心区域和边界区域的异常值和极端噪声，同时保留了中心区域小尺度场的细致位移细节。如图4a(ii)所示，动态权重W由四个关键因素决定：(1) 空间位置权重Wbase；(2) 位移差异动态因子Fdiff；(3) 卡尔曼置信因子Ckalman；以及(4) 边界约束因子。多尺度融合位移场（见图4a(iii)）可以表示为（具体细节请参见注解S2）。

图4
(a) 从多尺度2D位移到高质量动态权重融合2D位移的流程：(i) 输入：通过多尺度网格下采样的2D位移。(ii) 自适应动态加权模型的结构。(iii) 输出：多尺度权重融合的2D位移。(b) 多尺度融合2D位移场的评估：(i) 边界区域和中心区域的位移最大标准差；(ii) 边界区域和中心区域的位移最大变异系数。

在执行上述加权融合后，可以准确且稳健地获得2D位移场。为了证明所提算法的有效性，使用了一个位移平台在4000帧连续的时间内对传感器表面施加了2 N的正常压力。图4b比较了多尺度融合位移场与两个单独尺度位移场在测试周期内的最大标准差和异常值。结果表明，所提出的多尺度融合位移场有效抑制了异常值，并在边界区域控制了噪声，同时在中心区域的准确性可与大尺度位移场相当甚至超过它。此外，为了应对在制造不同传感器过程中出现的散斑分布和照明等干扰因素，进行了一系列实验，将物理传感器与散斑噪声仿真相结合，以验证所提算法对上述干扰的鲁棒性（详见注解S2）。

3 多模态触觉感知

3.1 3D表面重建

基于不可压缩超弹性模型，可以从融合的2D位移场中提取深度（z轴）的位移（见图5a）。首先，需要将2D位移场从像素坐标系转换为传感器坐标系（即世界坐标系），如图5a(i)所示（具体校准细节请参见注解S3）。图5
(a) 从融合的2D位移基于不可压缩超弹性模型重建完整3D位移的流程：(i) 输入：转换为传感器坐标的多尺度权重融合2D位移。(ii) 2D位移的梯度分量计算。(iii) 不可压缩约束模块的演示。(iv) 输出：完整的3D位移和3D表面重建。(b) 八种日常物体的3D位移场和3D表面重建结果。由于SpeckleTac中使用的弹性体是由硅胶制成的，可以将其建模为不可压缩超弹性材料，在压缩下的体积应变近似为零，如图5a(iii)所示。提出了两种适用于不同场景的模型，用于从2D位移场推导出3D位移场。对于小应变场景（ε ≤ 5％），可以这样推断：

(3) 其中εvol是体积应变，εxx、εyy、εzz分别是x轴、y轴和z轴的应变。为了计算简便，假设z轴的应变是均匀分布的。因此，3D位移的z轴分量可以计算为

对于有限应变场景（ε > 5％），应分别对弹性体进行建模。弹性体的变形梯度张量F表示为

在不可压缩假设下，变形梯度张量F应遵循以下表达式：

随后，通过对上述方程进行一系列矩阵运算，可以得到3D位移的z轴分量（具体细节请参见注解S4）

基于这两种模型，最终可以获得两种操作条件下的完整3D位移场。通过将这个位移场与传感器略微弯曲的感知表面的原始坐标结合起来，可以得出重建的3D表面几何形状，如图5d所示。实验验证表明SpeckleTac具有优异的深度重建性能，平均绝对误差（MAE）为0.0192 mm，标准差（Std）为0.0623 mm（见图S9）。

3.2 接触物体分类和姿态估计

除了接触力和扭矩之外，在接触过程中识别物体类别和估计物体姿态对于机器人操作至关重要。这些能力補足了基于视觉的方法在黑暗或遮挡条件下的局限性，使得在多样化环境中能够进行稳健的感知和决策。为了利用重建的3D位移场中的几何细节，我们提出了SPTacNet，这是一个轻量级的深度学习框架，用于同时进行物体识别和姿态估计。如图6a所示，该架构建立在修改后的SE-ResNet上，它在残差块中集成了Squeeze-and-Excitation（SE）注意力机制。这种设计使网络能够高效地模拟空间依赖性和通道级别的特征重要性，自适应地优先考虑最具区分性的触觉模式。图6
(a) 嵌入了SE残差块和多任务头的SPTacNet架构。(b) 随着训练周期变化的训练和验证损失及准确率曲线。(c) 分类结果的混淆矩阵。(d) 每个类别的OBB姿态和关键点的预测。一个关键的创新是级联的多任务策略，它利用了语义融合模块。网络首先生成软分类概率，然后将这些概率投影到一个密集的语义向量中，并与全局视觉特征连接起来。这种统一的、语义增强过的表示输入到并行回归头中，以预测定向边界框（OBB）参数和接触关键点。通过利用物体特定的先验知识，SPTacNet动态调整其几何预测，在分类和姿态估计任务中实现了高精度（详见注解S5和图S2）。构建了一个包含各种标准组件和日常物体的触觉数据集，包括螺母（大/小）、定位螺丝（大/小）、圆头螺丝、六角键、LED条和USB-A。当物体与基于视觉的触觉传感器接触时，接触表面的几何形状和姿态直接映射到3D位移场中。这八个物体的多尺度融合位移场（2D视图）和重建的3D表面已经显示在图5b中。高分辨率的位移数据保留了丰富的接触细节，为后续的神经网络训练提供了稳健的特征输入。如图6b所示，训练和验证损失在连续的训练周期中迅速下降并稳定下来，没有明显的过拟合现象。大约30个周期后，验证准确率接近100％，证明了网络的强大拟合能力和泛化性能。图6c中的混淆矩阵进一步证实了分类性能。在测试集上，模型在所有类别中实现了超过95％的高准确率，包括视觉相似的物体（例如Nut L和Nut S）和不同类型的螺丝，并且能够根据部分接触有效回归每个类别的姿态和关键点，如图6d所示。这些结果表明，3D位移场可以准确捕捉到接触物体的几何形状和姿态。结合SE-ResNet架构，系统不仅可以区分明显不同的物体（例如六角键与USB连接器），还可以区分细微的尺寸变化（例如不同尺寸的螺母），证明了这种基于视觉的触觉感知方法的鲁棒性和有效性。

3.3 六轴力/扭矩测量

在前一节中，已经获得了完整的3D位移场和重建的3D表面几何形状。接下来，采用逆有限元方法（iFEM）来重建传感器上的接触力和扭矩。iFEM根据观察到的物体变形来推断施加在物体上的力。在这项研究中，它用于从之前获得的3D位移场反向计算传感器表面上的接触力分布，即：

为了从表面变形重建接触力场，建立了一个1:1的超弹性有限元模型。感测皮肤被离散成四面体元素，网格密度与位移采样网格同步，以确保插值精度。为了克服高维模拟的计算瓶颈，在CPU上实现了流水线并行策略，自动执行单位力分析，以高效构建合规性矩阵C。

为了从表面变形重建接触力场，建立了触觉体的1:1超弹性有限元模型。感测皮肤被离散成四面体元素，网格密度与位移采样网格同步，以确保插值精度。为了克服高维模拟的计算瓶颈，在CPU上实现了流水线并行策略，自动执行单位力分析，以高效构建合规性矩阵C。为了解决由于细网格邻近性导致的C的固有病态性和秩亏缺问题，提出了一个TV正则化重构器，如图7a(ii)所示。重构被构建为一个凸优化问题，使用TV正则化来抑制测量噪声，同时在接触边界处保持清晰的力梯度。TV正则化重构器的凸优化目标表示为

为了满足实时要求，非光滑的L1目标通过交替方向乘子法（ADMM）来解决。通过预加载稀疏算子、预处理线性系统和预计算常数矩阵，进一步优化了实现。这将计算复杂性降低到O(n^2)，从而在不牺牲处理速度的情况下实现高保真力的解耦（详见注解S6和算法S2）。在ADMM迭代求解器收敛后，该模块输出每个网格节点的三轴接触力向量，然后将其插值到多尺度融合的虚拟标记节点上。使用这些插值值，可以计算传感器表面上的总接触力/扭矩，如下所示：

接触力和扭矩重建算法的结果显示在图7b中。基于高精度位移平台和6轴力/扭矩传感器Bota Mini（Bota Systems，瑞士）建立了接触力验证平台，以验证接触力重建的准确性，其中使用了圆柱形压头，正常力Fn的加载范围为0–5.0 N，切向力Fx和Fy的加载范围为0–2.0 N，z轴扭矩Tz的加载范围为0–0.3 N·mm。SpeckleTac实现了6D力/扭矩重建，正常力Fn的RMSE值为0.0893 N，切向力Fx的RMSE值为0.2095 N，切向力Fy的RMSE值为0.1880 N，z轴扭矩Tz的RMSE值为0.0368 N·mm（见图S11）。在图7b(i)中，分别在传感器的不同位置施加了三种不同的正常力负载。在这里，扭矩参考点设置在传感器表面的中心；因此，Tx和Ty的大小取决于负载位置。此外，还进行了沿y轴、-y轴和x轴的滑动运动，Tx和Ty的变化与预期的物理行为紧密匹配，如图7b(ii)所示。在图7b(iii)中，一个点受到不同方向的法向力和扭力作用，相应的接触扭矩曲线清楚地显示了Tz的顺时针和逆时针变化。

4. 演示
出色的抓取能力和安全性是实现机器人真正具身智能的关键技术之一。对于机器人来说，看似简单的抓取动作是主动感知环境和与物理世界交互的重要手段。无论是在精密组装和灵活分拣等工业应用中，还是在配备智能手术辅助机器人的医疗场景中，抓取都是一项基本操作。在抓取过程中，机器人必须根据触觉反馈调整策略，以防止物体滑动或掉落。对于操控任务，机器人需要根据触觉反馈自适应物体的姿态以实现组装。在这项工作中，我们开发了一个实验装置，将基于斑点的视觉触觉传感器（SpeckleTac）与机器人夹具和机械臂集成在一起，完成了以下两个实验：（A）估计物体的质心并实现稳定且安全的抓取；（B）自动调整物体的姿态并完成安装任务。

4.1 重心搜索与稳健抓取
SpeckleTac通过一个定制的固定装置安装在一个平行夹具PGC-50-35（dh-robotics，中国）上，该夹具通过法兰盘连接到机械臂上，用于协调使用六角钥匙进行抓取（图8a）。这个实验仅关注垂直于感应表面的负扭矩Tz：当物体质心（CoM）右侧时为正，左侧为负，接近质心时接近零。采用了基于扭矩的迭代搜索策略来估计质心。全局相机首先在其两端定义了一个大致的质心搜索范围。在每次迭代中，机械臂依次在范围的左端点、中点和右端点进行抓取，并施加1牛顿的标称法向力，稍微抬高物体，并通过SpeckleTac记录稳定的Tz值。如果任何Tz接近零，则迭代终止。否则，比较相邻点的Tz符号以更新搜索范围——相同的符号表示质心位于Tz绝对值较小的点和范围边界之间；相反的符号表示质心位于两个点之间，如图8b所示。历史Tz值指导后续迭代，避免重复抓取。如实时力/扭矩曲线（图8c）所示，迭代范围更新使算法能够确定最接近质心的抓取点，从而实现稳定抓取。

4.2 自适应姿态调整与血液收集管的组装
如图9a所示，该实验侧重于组装过程中的自适应和微调。夹具首先抓住血液收集管，然后使用SpeckleTac获取管的姿态和实时力/扭矩信息，并将信息反馈给控制器程序。如果判断管子不是垂直的，控制器会逐步减小施加在管子上的法向力Fz并将Tz控制在较小值（如图9b(i)所示）。随后，设置了4个测试点来模拟将管子插入底板的不同情况。一旦管子与底板发生碰撞，控制器会将因碰撞而变化的力/扭矩恢复到初始水平，证明碰撞已被消除。然后管子向下移动，直到接近底部，此时反馈力Fy超过预设阈值（如图9b(ii)所示）。

5. 结论
本文介绍了SpeckleTac，这是一种基于随机斑点模式的集成式微型视觉触觉传感器。该传感器的尺寸为21×21×37.5毫米3，空间分辨率为0.03毫米，采用了可扩展的虚拟网格。同时，它可以实时获取完整的触觉信息，包括接触物体分类和通过3D表面重建预测物体姿态，以及通过逆向有限元分析（FEM）计算六轴力/扭矩。此外，我们展示了一个配备了SpeckleTac传感器的机器人夹具，用于精细操控任务，包括调整血液样本管的位置和放置、迭代估计物体的质心，并最终实现稳定抓取。本研究的主要创新和贡献包括：（a）在保持较大感应面积的同时显著减小传感器尺寸；（b）使用密集的光流结合自适应卡尔曼滤波进行稳健的亚像素表面位移计算；（c）基于不可压缩超弹性模型的3D表面重建；（d）使用受逆向FEM启发的方法和TV正则化凸优化进行六轴接触力/扭矩估计；（e）通过深度学习外推物体接触信息以进行姿态估计。实验结果表明，SpeckleTac在深度重建方面的平均绝对误差（MAE）为0.0192毫米，标准差（Std）为0.0623毫米，同时具有可靠的6D力/扭矩重建性能：法向力Fn的均方根误差（RMSE）为0.0893牛顿，切向力Fx为0.2095牛顿，切向力Fy为0.1880牛顿，z轴扭矩Tz为0.0368牛顿·毫米，证明了物理驱动方法在提升传感性能方面的有效性。为了进一步说明SpeckleTac在该领域的表现，我们在表S1中将其与其他主流视觉 Based Touch Senors（VBTSs）进行了比较。在未来的工作中，我们将利用原始 sensing 数据提取更高阶的特征，例如通过光流检测接触过程中的振动。结合双目视觉和光流将获得更高精度的3D表面位移场。通过进一步微型化，多个传感器将被集成到灵巧的机器人手中，以执行更复杂的任务。这些努力旨在探索基于视觉的触觉传感器在机器人夹持器和手部具身智能中的更广泛潜力，并在非结构化环境中实现复杂和通用的精细机器人操控。

致谢
本研究得到了中国国家自然科学基金（项目编号52275579，王H）、中国科学院人才引进计划（王H）、安徽省科技创新突破计划重点项目（项目编号202423h08050003和202523j08050014）、中央高校基本科研业务费（项目编号YD2090002019，王H）和中国科学技术大学启动基金（王H）的支持。

利益冲突
作者声明没有利益冲突。

数据可用性声明
支持本研究结果的数据可向 corresponding author 提供，如需获取可合理请求。