温度驱动的多模态/单驱动软指

《Robotics and Autonomous Systems》：Temperature driven multi-modal/single-actuated soft finger

基于深度学习的软抓取系统研究及实验分析|软机器人|自适应控制|卷积神经网络|非破坏性抓取|Obj10数据集

　　

Dhruba Jyoti Sut|Prabhu Sethuramalingam

研究学者，机械工程系，SRM科学技术学院，KTR校区，Kattankulathur，603 203，金奈，印度

摘要

在过去几年中，软体机器人技术取得了显著进展，这主要得益于其更高的灵活性和更安全的操作特性。在医疗保健、农业和机械制造等多个行业中，末端执行器或夹持器帮助机器人系统完成抓取、运输、操纵、组装和喷涂等任务。夹持策略的灵活性和适应性决定了抓取物体的效果。除了非破坏性抓取外，软体操作器还提高了材料的延展性、安全性、适应性和灵活性。然而，由于外部因素导致内部非线性和不可预测的变形，制造、建模和操作软体操作器仍然具有挑战性。传统的开关调节阀无法有效控制处理脆弱物品的软体气动夹持器的压力。本文提出了实时图像处理技术，并结合自适应夹持力来避免对物品造成损坏。通过比较卷积神经网络（CNN）、CNN-支持向量机（SVM）和Inception v3三种算法，探讨了哪种方法在名为Obj10的新数据集上表现最佳。该数据集包含22,410张图像，分为十个类别。实验中采用了带有比例-积分-微分（PID）控制的伺服系统来调节过滤器-调节器-润滑器（FRL），确保了高效的控制机制和力的获取。压力传感器数据被用作系统的反馈信号。基于Inception v3的CNN模型在图像压缩后提高了分类准确性，特征提取生成了特征向量。重新训练分类层后，物体分类的准确率达到了97.88%。所提出的框架将物体识别与新的控制方法相结合，用于三爪夹持器的实验中，结果表明软体夹持器在非破坏性抓取方面具有优势。

引言

随着技术的发展，机器人正在替代人类执行高风险和高要求的任务[1]。机器人需要夹持器，作为机械臂的末端执行部件，其功能类似于人类的手[2,3]。在工厂、仓库等场所，工业机器人操作器能够自主执行物品的抓取和放置操作。这对于选择和排列组件、打包物品、挑选货物、作物挑选以及农业等领域的分类工作至关重要[4],[5],[6]。这些应用涉及处理形状、质地和大小各异的脆弱易损产品[7]。为了实现安全抓取，夹持器需要模仿人类的手部特性。因此，需要一种灵活且适应性强的夹持器（软体夹持器）来处理脆弱、不规则或易损坏的物品[8]。在需要操作复杂且可变形物体的任务中，对软体机器人的需求日益增长。为了确保安全抓取，必须使用轻柔的力量并限制夹持力，同时减少滑动。自动化、机器人技术、医疗和监控领域都依赖于计算机视觉技术，这对工业革命具有重要意义。深度学习因其出色的语言处理和图像/物体处理能力而成为一项重要技术。由于强大的GPU和大规模数据集的存在，市场预测其将实现显著增长[9]。随着计算能力的提升，计算机在当今社会变得至关重要。学习算法对于人工智能（AI）发挥其潜力至关重要。为了实现最佳性能，测试是必不可少的，而训练模型需要大量的数据集。反向传播算法使神经网络在20世纪80年代变得流行[10]。神经网络最初诞生于20世纪40年代，但早期的学习速度较慢且计算成本较高。后来的研究表明，增加神经网络的层数可以有效捕捉高维输入信号的复杂性[11]。图像分类一直是计算机视觉研究的重点，这使得图像分析变得复杂。卷积神经网络（CNN）在语音识别[12,13]、文本预测[14]等领域表现出色。图像分类和检测是物体检测的关键，大量数据集对此起到了辅助作用。Microsoft COCO是一个流行的物体检测基准数据集，包含大量的图像用于检测和分类[15]。图1展示了本研究中介绍的抓取和放置操作的物品分类方法。

对于自主软体机器人抓取而言，实时感知（目标物体识别）和适应能力必须准确且高效。由于机器人末端执行器的控制具有挑战性且不断进化，特别是在目标识别和夹持适应方面，深度学习显得尤为重要。深度学习实现了精确高效的自动视觉识别，改进了物体分类。特别是卷积神经网络（CNN），优化了特征提取和分类，提高了目标识别的准确性[16],[17],[18]。转移学习方法[18,19]被应用于大规模物体数据集。本研究的独特之处在于它结合了增强感知能力和自适应控制机制，通过深度学习集成实现了软体机器人的抓取功能。与传统夹持方法相比，本文提出了一个端到端的深度学习框架，使末端执行器能够根据目标识别结果调整夹持力。通过多模态传感器融合（视觉和力传感器）的集成，提高了抓取精度。精确的物体识别使机器人能够确定理想的夹持力、接触方式和软体末端执行器的变形策略，从而提高了操作灵巧性和类似人类的操作能力，使机器人能够区分坚硬和脆弱的物体并相应调整夹持力。该框架结合了三种CNN模型——VGG16、CNN-SVM和Inception v3，用于名为Obj10的新数据集的图像分类，目的是在不损坏物体表面的情况下识别物体并使用最佳夹持力。CNN-SVM可以提升CNN的分类能力。在CNN架构中加入SVM分类器可以增强区分能力，SVM是一种二分类器，通过学习超平面在CNN生成的特征空间中划分类别。CNN提取相关特征的能力和SVM的判别能力共同提高了分类准确性。Inception v3是一种先进的深度学习架构，在图像分类方面表现出色。Inception模块允许网络利用不同大小的滤波器在多个尺度上记录物体特征。本文重点探讨了将深度学习技术应用于机器人抓取，特别是使用软体夹持器，以实现基于物体识别的最佳夹持力。为此，创建了包含硬质和软质脆弱物品的新数据集Obj10，并进行了大量实验以评估各种算法的优势和局限性。最后，比较了传统夹持器和软体机器人夹持器的抓取能力。

相关工作

相关研究

许多研究将触觉传感数据与机器学习方法（如K-最近邻（KNN）[20]、随机森林（RF）[21]和3D CNN[22]）相结合，以改进机器人夹持器。这些分类和识别方法已在多个领域得到应用。在抓取和放置操作中，精确的物体识别仍然具有挑战性。早期的工业机器人使用视觉伺服控制方法进行独立抓取和操纵。这些解决方案通常依赖单摄像头

材料与方法

系统硬件和控制方法是软体夹持器的两个核心组成部分。第3.1节描述了软体气动夹持器（SPG）的系统架构，第3.2节讨论了物体识别技术。实验和分析部分说明了为什么选择软体夹持器而非传统夹持器能提高物体抓取和放置的功能性

分类模型训练

本研究进行了实证分析，以评估系统的硬件和软件组件的性能。实验使用的硬件规格如下：

• •
  CPU：Intel(R) Core (TM) i5-1035G1，基础频率为1.00 GHz，涡轮加速频率为1.19 GHz。
• •
  存储设备包括256 GB固态硬盘（SSD）以实现快速数据访问，以及1 TB硬盘（HDD）以提供更大的存储空间。

物体识别结果与讨论

比较研究采用了多种性能评估指标，包括准确性、召回率、漏检率和错误率，这些指标基于输出混淆矩阵的分析得出。这些评估指标用于评估研究中使用的不同模型或算法的性能。图15明确显示，增加训练周期数可以提高准确率，表明让模型进行更多训练迭代有助于提升性能

结论

物体检测及其分类对于抓取和放置操作至关重要。深度学习算法通过提供详细和准确的成果，彻底改变了识别和检测领域。本研究探讨了与机器人技术相关的CNN最新进展。然而，将机器学习应用于机器人技术仍有许多未探索的空间。因此，机器学习的科学发展必须满足机器人技术的需求和期望

作者贡献声明

Dhruba Jyoti Sut：负责撰写初稿、资源收集、方法设计、数据整理。Prabhu Sethuramalingam：负责撰写初稿、验证、项目监督、正式分析、数据整理和概念构思。