《Computer Vision and Image Understanding》：Deep learning based empty shelf detection based on autonomous mobile robot
编辑推荐：
为解决零售业缺货(OOS)导致的销售损失问题，研究人员开展了基于ROS框架的自主移动机器人平台研究。该系统采用两阶段深度学习架构（Segmenter ViT语义分割与YOLOv6目标检测），在真实超市环境中实现90.86% F1-score的空货架检测精度，效率较人工提升8倍，为智能零售提供了低成本、高效率的解决方案。
在零售业领域，缺货（Out-of-Stock, OOS）问题始终是困扰商家的重大挑战。据《哈佛商业评论》分析，缺货情况会导致销售额下降4%，这意味着大型零售连锁企业每年可能损失约4000万美元的收入。传统解决方案包括RFID（射频识别）技术，虽然能有效管理库存并加速结账流程，但每个产品都需要粘贴标签（每个约2美分），且商品售出后标签即丢失，长期成本高昂。另一种思路是计算机视觉算法，例如采用固定摄像头监控货架。但这种方法需要精心布置摄像头位置，确保覆盖所有货架区域，且分辨率足够高以识别单个商品，部署成本同样不菲。此外，固定摄像头视角有限，难以灵活应对超市布局变化或临时遮挡。
正是在这样的背景下，来自意大利萨莱诺大学的研究团队在《Computer Vision and Image Understanding》期刊上发表了他们的最新研究成果。他们开发了一套基于机器人操作系统（Robot Operating System, ROS）的自主移动机器人平台，旨在通过深度学习技术自动化、高效地检测超市空货架，从而显著加速补货流程。
为开展此项研究，研究人员主要采用了以下几项关键技术方法：首先，基于ROS构建了完整的机器人系统架构，集成自适应蒙特卡洛定位（AMCL）和Timed Elastic Band (TEB)算法实现自主导航与避障。其次，在计算机视觉层面，创新性地提出两阶段检测流程：先使用基于Vision Transformer (ViT)的Segmenter算法进行货架区域语义分割，再在分割区域内应用YOLOv6目标检测器识别空货架。此外，研究还引入了DeepSort算法对检测到的空货架进行跟踪，避免对同一空位重复报警。实验数据来源于团队自建的MIVIA OOS数据集（包含约5590张由机器人平台在超市实地采集的图像）以及多个公开数据集。
2. Proposed system
研究人员设计了一套基于ROS的软件架构，该架构具备硬件无关性，允许不同编程语言的节点通过发布/订阅协议进行通信。系统核心模块包括导航（含定位、路径规划、避障）、SLAM（同步定位与建图）以及基于视觉的人员与空货架检测。导航模块依赖机器人自身传感器（激光扫描仪、深度相机），无需改造环境，通过路径控制器动态判断走廊人流情况，决定是否跳过当前路径点，体现了以顾客为中心的设计理念。
2.1. Autonomous navigation
自主导航是系统的关键。它使用预先构建的环境地图，结合AMCL算法进行定位，并采用Dijkstra算法进行全局路径规划，TEB算法进行局部实时调整。系统能动态更新内部地图以纳入静态和动态障碍物。测试表明，在真实超市环境中，系统在6条不同路径上的导航成功率达到93%，能够有效应对顾客流动等动态环境。
2.2. People detection
采用SSD-Mobilenet-v2单阶段检测器进行人员检测，为路径控制器的决策提供依据，确保机器人不会在拥挤的走廊中穿行，影响顾客购物体验。
2.3. Shelving segmentation
货架分割是两阶段检测法的第一步。它将图像中的每个像素分类为“货架”或“背景”，极大地缩小了后续空货架检测的搜索范围。团队选用Segmenter视觉变换器（ViT）算法，该算法通过编码器-解码器结构处理图像块（patch），在测试集上取得了91.51%的平均交并比（mIoU），并在嵌入式设备NVIDIA Jetson Xavier NX上达到47 FPS的处理速度，实现了精度与效率的平衡。
2.4. Empty shelf detection
空货架检测被定义为一个单类目标检测问题。研究选用了锚点自由的YOLOv6检测器，并利用SimOTA动态标签分配策略提升检测精度。在未使用货架分割过滤的情况下，YOLOv6-S模型的F1-score为81.20%。然而，误差分析发现大量误检（False Positive）出现在非货架区域（如墙壁、天花板）。因此，结合货架分割模块后，检测精度显著提升。
4. Experimental validation
实验验证部分全面评估了系统性能。导航测试在意大利萨莱诺的一家超市营业时间内进行，机器人成功完成了93%的预设路径。在计算机视觉任务上，使用自建和公开数据集进行训练和测试。语义分割模块中，Segmenter Vit-T模型在测试集上达到91.51%的mIoU。空货架检测模块中，单独的YOLOv6-S检测器F1-score为81.20%，而结合货架分割模块后，F1-score大幅提升至90.86%，精度（Precision）从70.56%提高到91.16%，这主要得益于分割模块有效滤除了大量非货架区域的误检。消融实验进一步证实了COCO数据集预训练和语义分割模块各自带来的性能增益。最终，在完整的超市路径巡检任务中，机器人平均耗时约4分钟，而人工操作员则需要36分钟，效率提升近9倍。
5. Conclusions
本研究成功开发并验证了一个基于自主移动机器人的空货架检测系统。该系统的主要优势在于：首先，通过移动平台避免了固定摄像头部署的高成本，实现了对超市环境的灵活、全面覆盖。其次，创新的两阶段深度学习架构（Segmenter ViT + YOLOv6）结合针对性的数据增强策略，显著提高了空货架检测的准确性和鲁棒性，F1-score达到90.86%。最后，系统在真实超市环境中的卓越表现（93%的导航成功率和近9倍于人工的检测效率）证明其具备实际应用价值，能为零售商提供一种高效、低成本的库存监控解决方案，有效减少因缺货造成的销售损失，提升运营效率。这项研究为零售行业的智能化升级提供了重要的技术参考和实践范例。
