《Array》：Multi-scale token fusion with Mamba adapters for efficient 3D industrial defect detection
编辑推荐：
三维（3D）工业缺陷检测对于制造质量保证、机器人检测以及安全敏感的生产环境至关重要，在这些场景中，可靠的几何异常定位直接影响生产效率和系统可靠性。然而，3D点云缺乏密集的纹理线索，呈现无序且不规则的采样，并且包含有限的标注异常，这使得现有的（通常依赖于手工设计
三维（3D）工业缺陷检测对于制造质量保证、机器人检测以及安全敏感的生产环境至关重要，在这些场景中，可靠的几何异常定位直接影响生产效率和系统可靠性。然而，3D点云缺乏密集的纹理线索，呈现无序且不规则的采样，并且包含有限的标注异常，这使得现有的（通常依赖于手工设计的描述符或不可微的排序启发式方法的）方法难以实现鲁棒的定位。研究人员提出了一种紧凑的3D异常检测框架，该框架由几何语义感知排序器（Geometric Semantic-Aware Sorter, GSAS）、Mamba状态空间适配器（Mamba State-Space Adapter, MSSA）和基于注意力的判别器（Attention-Based Discriminator, ABD）组成。GSAS从冻结的预训练Transformer中提取的多层逐块令牌构建了一个可微的、表面一致的软排序；MSSA融合排序后的令牌，以线性时间传播长程跨层上下文；ABD生成槽级异常分数，再将其重新投影到点上以实现密集定位。在Anomaly-ShapeNet、Real3D-AD和新收集的RealScan-AD基准测试上的实验表明，研究人员的方法分别达到了91.2%、76.6%和78.9%的点级AUROC，同时也获得了38.7%、19.7%和20.5%的点级AUPR。此外，该方法在Anomaly-ShapeNet和Real3D-AD上分别达到了86.8%和78.4%的物体级AUROC，在RealScan-AD上达到了80.0%，在冻结骨干网络以约17.3 FPS运行时，性能优于最强的比较基线。
# 论文解读：基于Mamba适配器与几何语义感知排序的高效3D工业缺陷检测
## 研究背景与问题
在工业制造中，三维（3D）缺陷检测对于质量保证、机器人巡检以及安全敏感的生产环境至关重要。尽管基于二维（2D）图像的异常检测在过去十年中取得了显著进展，但2D方法在应用于几何缺陷检测时存在固有局限性。许多工业故障，如细微凹痕、薄裂纹和材料缺失，主要改变形状而非外观，导致2D投影中光照、视角变化和遮挡会弱化或模糊这些缺陷线索。这促使研究人员直接在3D数据（如点云和深度扫描）中进行异常分析。然而，3D点云缺乏密集纹理、呈现无序不规则采样且标注异常数据有限。现有方法常依赖手工描述符、大容量记忆库、昂贵的配准/聚类过程或迭代生成推理，导致运行时、内存占用和系统复杂度高。同时，点云的无序性使得一些方法通过脆弱的排序或启发式遍历将其线性化，可能混合远距离表面区域并削弱上下文传播。重建类方法对采样伪影敏感，可能无意中抑制异常结构。此外，公开3D异常基准数据集的规模与多样性有限，使得密集监督稀缺，亟需鲁棒的自监督和伪异常生成策略。
## 研究内容与结论
为解决上述问题，研究人员提出了一种紧凑实用的3D异常检测框架，结合了几何保持排序、高效序列融合和局部判别评分，同时保持冻结的预训练点云骨干网络。该框架由三个核心模块组成：几何语义感知排序器（GSAS）、Mamba状态空间适配器和基于注意力的判别器（ABD）。GSAS通过可微的、表面一致的软排序将无序的多层逐块令牌转换为空间连贯序列；Mamba适配器以线性时间融合排序后的槽位，传播长程跨层上下文；轻量判别器在融合表示上产生槽级异常对数，再重投影到点进行密集定位。为训练判别器，研究人员在融合特征空间中合成稀疏伪异常以提供局部监督，避免对真实缺陷标签的依赖。
实验在三个基准数据集上进行：合成基准Anomaly-ShapeNet、高精度真实扫描基准Real3D-AD以及新收集的跨传感器工业数据集RealScan-AD。结果表明：该方法在所有数据集上均显著优于现有最强基线（如Group3AD），同时保持约17.3 FPS的推理速度。在Anomaly-ShapeNet上，点级AUROC达91.2%，AUPR为38.7%；在Real3D-AD上，点级AUROC为76.6%，AUPR为19.7%；在更具挑战的RealScan-AD上，点级AUROC为78.9%，AUPR为20.5%。这些结果证明了可微几何感知排序、高效序列融合与特征空间伪异常学习在多种采集条件下共同提升定位精度与部署速度的有效性。该论文发表在《Array》期刊。
## 关键技术方法
研究人员采用了如下主要技术方法：
1. **骨干网络**：使用在ShapeNet上预训练的冻结Point-MAE Transformer提取分层补丁令牌。
2. **几何语义感知排序器（GSAS）**：通过可微的Sinkhorn归一化构建近似双随机的软排列矩阵，将无序令牌转换为表面一致的有序序列，并引入列熵正则化（促进集中分配）和局部性正则化（使几何相邻令牌分配至邻近槽位）。
3. **Mamba特征适配器**：基于选择性状态空间模型（S6/Mamba），在GSAS排序序列上以线性时间传播长程跨层上下文，通过门控残差和层归一化稳定训练。
4. **异常特征生成器**：在训练时通过伯努利掩码稀疏地注入各向同性高斯扰动，生成特征空间伪异常作为判别器的正样本监督。
5. **跨补丁注意力判别器**：采用单层多头自注意力机制（Multi-Head Self-Attention, MHA）结合补丁中心位置编码，输出槽级异常对数，再通过最大响应聚合重投影至点级热力图。
6. **损失函数**：采用基于logit的二元交叉熵损失，结合GSAS的列熵正则化和局部性正则化，使用AdamW优化器训练。
样本队列来源包括Anomaly-ShapeNet（基于ShapeNetCoreV2合成的40类1600样本）、Real3D-AD（蓝色结构光扫描的12类1254个高密度点云）以及新收集的RealScan-AD（采用Intel RealSense D435i和Orbbec Femto深度传感器，含10类工业工件，含5种缺陷类型，每类2000正常扫描用于训练）。
## 研究结果
### 4.4. 在Anomaly-ShapeNet上的结果
该方法在Anomaly-ShapeNet上达到点级AUROC 91.2%和AUPR 38.7%，较最强基线Group3AD分别提升6.6%和13.3%。物体级AUROC为86.8%，AUPR为98.7%，分别提升5.4%和3.4%。同时保持17.31 FPS的高速推理。消融实验表明，多尺度令牌融合、GSAS几何保持排序和稀疏特征空间监督共同促进了性能提升。极细裂纹和装饰性高曲率区域仍构成挑战。
### 4.5. 在Real3D-AD上的结果
在Real3D-AD上，该方法点级AUROC为76.6%，AUPR为19.7%，较Group3AD提升2.8%和5.8%。物体级AUROC 78.4%，AUPR 77.7%，提升3.1%和3.4%。按缺陷形态和遮挡程度分解显示，方法在凹痕/局部变形和缺失材料/孔洞上改进最大；薄裂纹仍最困难。随着遮挡增加，性能下降但始终优于基线。
### 4.6. 在RealScan-AD上的结果
在RealScan-AD上，该方法点级AUROC 78.9%，AUPR 20.5%，物体级AUROC 80.0%，AUPR 81.6%，较Group3AD分别提升2.9%、6.0%、3.2%和3.6%。定性结果显示出更紧凑的空间一致性热力图，抑制了因传感器伪影造成的假正响应，验证了框架在跨传感器噪声下的鲁棒性。
### 4.7. 消融实验
- **骨干网络训练策略**：微调骨干略优于冻结（点级AUROC从82.6%升至84.1%）；从头训练导致显著下降，表明对预训练先验的依赖。
- **骨干网络架构**：方法对骨干选择不敏感，Point-MAE最优，Point-BERT和Point-M2AE接近，PointNeXt提供最高吞吐。
- **GSAS排序**：移除GSAS或随机排序导致性能严重下降；按坐标排序部分恢复但弱于学习到的GSAS，证明GSAS提供了超越几何排序的语义关系。
- **Sinkhorn归一化**：硬匈牙利匹配性能略降；使用简单softmax最差，表明Sinkhorn在优化稳定性和结构规律性间取得良好平衡。
- **适配器选择**：Mamba适配器在准确率-效率权衡上表现优秀（接近注意力模型但速度更快、内存更低）；MLP和恒等映射显著下降。
- **异常特征生成器**：选择性稀疏高斯噪声最佳；稀疏掩码次之；密集扰动（p=1.0）性能最差，说明局部化伪异常提供最有效监督。
## 讨论与结论
### 讨论
研究人员的框架核心贡献在于几何保持令牌排序与高效跨层序列融合的结合。GSAS和Mamba适配器构成方法主体，判别器和异常生成器主要提供训练稳定性与定位锐度。计算剖面上，GSAS和令牌-槽位分配是主要开销，但随输入点增长呈次线性，Mamba贡献微小。与现有基于状态空间模型（SSM）的点云模型相比，本方法将Mamba作为轻量跨层融合模块，而非独立骨干，专注于工业异常检测中细粒度空间结构保持和弱监督上下文建模。框架针对工业异常检测的三大瓶颈（数据多样性有限、标注昂贵、轻量化部署需求）设计：利用冻结预训练Transformer迁移几何先验；通过稀疏合成特征空间异常减少标注成本；仅训练轻量适配器和判别器保持参数高效。
### 结论
研究人员提出了一个紧凑实用的3D工业缺陷检测框架，结合了几何语义感知排序器（GSAS）、Mamba状态空间适配器和基于注意力的判别器（通过稀疏特征空间伪异常训练）。GSAS产生可微的表面一致软排序；Mamba适配器以线性时间融合有序槽位，注入长程跨层上下文；判别器输出槽级异常对数再重投影到点。整个流水线参数高效，冻结大预训练Transformer骨干，仅训练轻量适配器和头部。在合成、真实扫描和跨传感器设置中，该方法在Anomaly-ShapeNet上达到点级AUROC 91.2%与AUPR 38.7%，物体级AUROC 86.8%与AUPR 98.7%；在Real3D-AD上点级AUROC 76.6%与AUPR 19.7%，物体级AUROC/AUPR 78.4%/77.7%；在新收集的RealScan-AD上点级AUROC 78.9%与AUPR 20.5%，物体级AUROC/AUPR 80.0%/81.6%。实现约17.3 FPS推理速度。局限性包括极细缺陷和严重遮挡下的可靠性不足，以及对固定预训练骨干和补丁/槽位构建的依赖。未来工作方向包括跨模态扩展、自适应槽位构建和在线适应策略。
