GAFD-CC:具有置信度校准的全球感知特征解耦技术,用于异常数据检测

《Neural Networks》:GAFD-CC: Global-Aware Feature Decoupling with Confidence Calibration for Out-of-distribution Detection

【字体: 时间:2026年02月22日 来源:Neural Networks 6.3

编辑推荐:

  基于全局感知特征解耦与置信校准的离分布检测方法提出,通过分离正相关和负相关特征提升ID/OOD边界清晰度,结合多尺度置信融合增强检测鲁棒性,实验表明该方法在多种基准数据集和模型架构下优于现有方法。

  
Kun Zou|Yongheng Xu|Jianxing Yu|Yan Pan|Jian Yin|Hanjiang Lai
中山大学计算机与工程学院,广州,510000,中国

摘要

异常数据(OOD)检测对于确保学习模型在现实世界应用中的可靠性和鲁棒性至关重要。现有的事后OOD检测方法通过利用特征和logit信息来检测OOD样本,而无需重新训练。然而,这些方法往往忽略了特征和logit之间的内在相关性,而这种相关性对于有效的OOD检测至关重要。为了解决这一限制,我们提出了全局感知特征解耦与置信度校准(GAFD-CC)方法。GAFD-CC旨在细化决策边界并提高区分性能。首先,它通过分类权重引导进行全局感知特征解耦,即将特征与全局分类权重的方向对齐以解耦它们。由此,GAFD-CC提取了两种关键信息:正相关的特征有助于增强分布内(ID)/OOD边界的区分度;负相关的特征则有助于抑制误报并收紧这些边界。其次,它将这些解耦的特征与多尺度基于logit的置信度进行自适应融合,以实现全面且鲁棒的OOD检测。在大型基准测试上的广泛实验表明,GAFD-CC的性能与最先进方法相比具有竞争力,并且具有很强的泛化能力。

引言

机器学习模型通常在封闭环境中进行训练,但在实际应用中部署时不可避免地会遇到异常数据(OOD数据)(Drummond和Shearer (2006))。在这种情况下,这些模型可能会产生错误的预测(Nguyen等人 (2015))。这个问题对安全关键领域(如自动驾驶 (Kitt等人 (2010) 和医学分析 (Schlegl等人 (2017)))构成了重大风险,因此需要有效的OOD检测方法来提高模型安全性。目前,主要的OOD检测方法是通过设计事后评分函数(Hendrycks和Gimpel (2016);Liang等人 (2017);Wang等人 (2022))来计算置信度分数,从而识别OOD样本,而无需重新训练模型。
现有的事后OOD检测方法大致分为基于logit的方法(Hendrycks和Gimpel (2016);Liu等人 (2020))和基于特征的方法(Sun等人 (2021);Sun和Li (2022))(Ling等人 (2025))。基于logit的方法简单高效,利用分类器的输出置信度。然而,当模型表现出过度自信或分布内(ID)和OOD样本的logit相似时,这些方法可能会失效。相比之下,基于特征的方法可以从中间层捕获更丰富的语义信息,但往往难以找到最佳的距离度量或校准策略来有效区分ID和OOD样本。为了克服这些方法的局限性并充分利用它们的互补优势,出现了混合方法(Liang等人 (2017);Ling等人 (2025);Wang等人 (2022)),这些方法综合了logit、特征和梯度等各种信息来源。例如,ODIN(Liang等人 (2017)通过基于梯度的扰动来提高logit的区分能力。ViM(Wang等人 (2022)从特征残差生成虚拟OOD logit。OptFS(Zhao等人 (2024)通过特征 shaping影响logit。CADRef(Ling等人 (2025)基于最大logit权重解耦特征)。然而,许多现有的混合方法,包括上述方法,仍然采用静态或有限的融合策略。它们通常依赖于受限的方向投影或固定规则,缺乏自适应校准,并且尚未充分利用整个特征向量与完整分类权重集之间的内在全局相关性,这可能会限制它们的性能。这就提出了一个关键问题:我们能否更好地利用这种全局相关性来实现更鲁棒的OOD检测?
为此,我们提出了全局感知特征解耦与置信度校准(GAFD-CC)。GAFD-CC通过两步过程提升OOD检测性能。首先,它通过分类权重引导进行全局感知特征解耦,将特征与全局分类权重的方向对齐,提取两种关键信息:正相关的特征有助于增强ID/OOD边界的区分度和清晰度;负相关的特征有助于抑制误报并增强这些边界的鲁棒性。其次,它将这些解耦的特征与多尺度基于logit的置信度度量进行自适应融合,形成动态加权的OOD检测分数,从而显著提高检测性能。
总结来说,本文的主要贡献如下:
  • 我们提出了GAFD-CC,这是一种新颖的OOD检测框架,通过引入全局感知特征解耦有效整合了多尺度logit信息与特征,捕捉它们之间的内在全局交互作用。
  • 我们证明了GAFD-CC利用特征相对于分类权重的方向偏差来派生新的判别分数,这些分数能够本质上捕捉并增强分布内和OOD样本之间的区分度,显著减少分数分布的重叠。
  • 通过在多种基准测试上的广泛实验评估,包括具有挑战性的困难OOD数据集以及各种基于卷积神经网络和Transformer的架构,我们证明了我们的方法与最先进基线相比具有竞争力,并表现出很强的鲁棒性。

章节片段

OOD数据暴露

一个主要的研究方向是在训练过程中利用辅助的异常数据(OOD数据),这一技术最初由Outlier Exposure(OE)(Hendrycks等人 (2018)提出)。其核心思想是训练模型在这些已知的异常样本上产生较低置信度或均匀的预测,从而导致了诸如特征空间规范化(Dhamija等人 (2018);Huang和Li (2021);Ming等人 (2022))和合成数据生成(Lee等人 (2018);Yang等人 (2021))等策略。

OOD检测问题表述

考虑一个在ID数据集Dtrain上训练的分类模型F,其中样本xX被映射到输出空间
Y={1, …,kk表示ID类的数量。神经网络F可以分解为特征提取器f和分类器g,即F=f°g。这里,f(x)表示从输入x提取的特征向量,分类器g(通常是一个具有权重矩阵W和偏置向量b的线性层)根据这些特征计算logit输出。
OOD检测的目标

方法

在本节中,我们将详细介绍我们提出的全局感知特征解耦与置信度校准(GAFD-CC)。首先介绍全局感知特征解耦(GAFD),它全局考虑特征和logit信息之间的交互作用,以提高分布内(ID)和OOD样本的可区分性。鉴于对于分类模型而言,logit信息是通过将特征与最后一层的全连接分类权重相乘获得的,GAFD捕捉到了这一点

数据集

对于OOD检测基准测试,我们使用ImageNet-1K(Deng等人 (2009)作为ID数据,以及六个常用的OOD数据集:iNaturalist(Van Horn等人 (2018))、SUN(Xiao等人 (2010))、Places(Zhou等人 (2017))、Textures(Cimpoi等人 (2014)、OpenImage-O(Wang等人 (2022)和ImageNet-O(Hendrycks等人 (2021))。这些数据集涵盖了自然物种、场景背景、材料纹理和对抗性策划的图像,涵盖了多样的视觉领域和语义类别,从而提供了

结论

在本文中,我们提出了一种新的OOD检测方法GAFD-CC。它通过全局类感知特征解耦和基于logit的分数置信度融合来提升OOD样本的检测性能。在各种基准测试上的广泛实验表明了GAFD-CC的有效性和鲁棒性。此外,跨多个基于CNN和Transformer的架构的全面评估进一步验证了其有效性和跨模型的鲁棒性。消融研究

CRediT作者贡献声明

Kun Zou:撰写 – 审稿与编辑,撰写 – 原稿撰写,概念构思。Yongheng Xu:撰写 – 审稿与编辑。Jianxing Yu:监督。Yan Pan:监督。Jian Yin:监督。Hanjiang Lai:撰写 – 审稿与编辑,监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号