能量集合概念瓶颈模型：提升基于概念的学习中的可解释性和准确性

《Knowledge-Based Systems》：Energy-Ensemble Concept Bottleneck Models for Enhancing Interpretability and Accuracy in Concept-Based Learning

EE-CBM通过能量基础概念编码器克服信息瓶颈，结合概念嵌入与概率分支，利用MMD损失优化概念区分度，在多个数据集上验证了其任务准确性与模型可解释性的平衡优势。

　　

作者：Dasom Ahn、Sangwon Kim、Byoung Chul Ko

韩国大邱市大西区达古别路1095号，凯明大学计算机工程系，邮编42601

摘要

概念瓶颈模型（CBM）作为一种有前景的解决方案，旨在解决深度学习模型缺乏可解释性的问题。最近的CBM研究通常通过利用高容量架构或辅助预测路径来实现较高的任务和概念准确性。然而，仅高的概念准确性并不能保证概念能够被可靠地用作因果和可干预的决策变量，这对于实际的可解释性至关重要。EE-CBM利用基于能量的概念编码器来有效提取概念，克服了传统CBM中常见的信息瓶颈。此外，EE-CBM架构中的新型能量集成门能够高效地结合概念概率和嵌入，进一步解决这一瓶颈。在CUB-200-2011、TravelingBirds和CheXpert数据集上的测试表明，EE-CBM在概念准确性和任务性能方面都取得了显著提升，表明在不牺牲准确性的前提下提高了可解释性。这项工作将EE-CBM视为CBM研究中的一个重要进展，使其能够在性能和可解释性之间取得平衡，从而提高模型的透明度。

引言

由于深度学习模型的不透明性，模型解释变得越来越重要，尤其是在医疗保健和自动驾驶等关键基于图像的领域。概念瓶颈模型（CBM）[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]应运而生，旨在通过将模型决策过程简化为易于理解的概念来提高其透明度。CBM研究首先推断出预测中使用的关键概念，然后仅使用这些推断出的概念来预测最终标签，如图1（a）所示。这种方法利用人类可以直接理解的概念显著提高了模型的透明度。

早期的CBM研究旨在确保模型的透明度，但这往往导致准确率低于黑箱模型。虽然最近的CBM在概念准确性方面表现出了竞争力，但一些研究通过引入辅助路径（例如x→y）或潜在的捷径来提高性能。这些结构修改可能会降低概念在最终预测中的因果影响力，从而限制了干预的稳定性，并牺牲了瓶颈的固有透明度。因此，开发能够在保持模型透明度的同时缩小与黑箱模型性能差距的算法至关重要，这符合CBM研究的初衷。模型可解释性指的是模型为其预测提供人类可理解的解释的能力，确保决策过程的透明度。相比之下，概念准确性量化了模型推断出的中间概念表示的正确性。尽管这两个方面有所不同，但它们密切相关。高概念准确性通过确保解释中使用的概念与真实情况一致来提高可解释性。然而，可解释性也取决于瓶颈的完整性；如果模型依赖于非概念性的捷径，即使概念非常准确，也无法提供对决策过程的忠实解释。为了解决准确性和可解释性之间的权衡，提出了概念嵌入模型（CEM）[2]。CEM是一种改进的CBM网络[1]，它结合了正面和负面的语义，如图1（b）所示。Coop-CBM [12]通过使用辅助损失来开发丰富且表达力强的概念表示，从而提高了CBM的性能。基于能量的CBM（ECBM）[13]利用一系列神经网络来确定包含输入、概念和类别的候选元组的集体能量。通过这一统一框架，预测、概念细化和条件依赖性评估等任务被表示为从多种能量函数集成中得出的条件概率。最近的著名CBM研究[6]、[12]、[13]采用了x→c→y和x→y结构来学习最终标签和概念之间的关系（图1（c））。虽然这些方法可以提高标签准确性，但往往难以准确推断概念，而这正是CBM研究的核心目标。这阻碍了模型的透明度。例如，尽管CBM模型可能能够准确诊断肺炎，但它可能无法检测到肺部病变，从而削弱了临床信任。

在这项研究中，我们提出了一种新的方法——能量集成CBM（EE-CBM），旨在如图1（d）所示，提高概念学习中的推断准确性和可解释性之间的平衡。所提出的EE-CBM包括两个分支模块：概念提取和概念概率。概念提取分支通过全连接（FC）层预测概念嵌入C，类似于其他CBM模型。概念概率分支使用基于能量的机制生成概率P，从而提高概念准确性。这一分支在确定输入数据中每个概念的可能性方面起着关键作用。它作为一个概率估计器，为每个概念分配概率，并反映它们对整体表示的相关性和贡献。通过明确分离语义概念特征学习和概率概念存在建模，EE-CBM在一个单一的概念瓶颈框架内整合了基于特征和基于能量的推理。这种双分支设计的动机在于观察到概念语义和概念不确定性在可解释学习中起着互补作用：概念特征编码了区分性的语义信息，而概念概率提供了概念存在的校准估计。在EE-CBM中，基于能量的学习直接在骨干潜在空间中进行，得到的概念概率通过专用的能量集成门（EEG）与概念特征融合。这种形式允许EE-CBM在保留语义信息丰富的概念表示的同时，明确考虑不确定性，从而实现更可靠的概念推断。

为了确保即使在噪声较大或图像质量较差的挑战性场景中也能进行稳健的概念推断，EE-CBM整合了通过马尔可夫链蒙特卡洛（MCMC）[15]、[16]、[18]方法生成的样本。每个分支的概念嵌入C和概率P在能量集成门（EEG）中结合，生成最终概念。EEG缓解了CBM研究中潜在的信息瓶颈问题。此外，为了促进准确的概念学习，EE-CBM对每个概念嵌入应用最大均值差异（MMD）[19]、[20]作为损失函数。MMD损失鼓励相同概念的嵌入在样本中形成紧凑的簇，同时将不同概念的簇分开。在各种数据集的下游任务中，EE-CBM有效地平衡了概念理解和标签预测之间的平衡。

所提出的EE-CBM的主要贡献如下：

我们提出了EE-CBM，这是一种新的架构，旨在在概念学习中平衡任务准确性和可解释性，由两个分支组成：概念提取分支和概念概率分支。

EEG结合了概念嵌入和概念概率。这种组合有助于解决传统CBM中存在的潜在信息瓶颈问题。

我们采用基于能量的公式和MCMC采样来获得概率概念估计，这有助于在噪声较大或模糊的输入下稳定概念推断。

MMD损失函数促进了潜在空间中概念的区分性，使相似的概念更加接近，将不同的概念分开。

通过在CUB-200-2011 [21]、AwA2 [22]和CheXpert [23]等各种基准数据集上的实验，所提出的EE-CBM展示了出色的性能和模型可解释性。

章节片段

概念瓶颈模型

CBM [1]是一种可解释的方法，可以确保人工智能模型的透明度，并使用直观易懂的概念对图像进行分类。CBM的输入数据由组成，其中包括$X=\{x_1,x_2,,x_N\}$张图像，个概念标签，。这里，单个概念标签由$c_k^{*}$个单独的概念注释组成。CBM具有统一的结构

EE-CBM

所提出的EE-CBM由图2中所示的组件组成。关键元素是概念编码器，它生成最终概念C，并包含两个分支。第一个分支称为概念提取分支，通过FC层预测概念嵌入C′，类似于其他CBM模型。第二个分支称为概念概率分支，它使用基于能量的机制来确定每个概念的存在，生成概率P并提高概念准确性。

实验

数据集。为了评估我们提出的模型的性能，我们使用了四个数据集进行了实验：CUB-200-2011 [21]、TravelingBirds [1]、AwA2 [22]和CheXpert [23]。CUB-200-2011数据集包含11,788张属于200个鸟类类别的图像。它被划分为5,994张训练图像和5,794张测试图像。每张图像都标注了一个类别标签和312个属性（概念）。我们遵循了CBM和CEM的方法，使用了112个属性

讨论与局限性

这项工作提出了EE-CBM，有效解决了概念理解和标签预测之间的权衡问题。EE-CBM的核心在于它利用能量集成和概念概率来处理概念信息瓶颈，无论骨干网络的大小如何。这种方法使模型能够更深入地理解概念。此外，由于它结合了MMD损失，EE-CBM有助于形成潜在的

CRediT作者贡献声明

Dasom Ahn：撰写——原始草稿、可视化、软件、方法论。Sangwon Kim：验证、形式分析、概念化。Byoung Chul Ko：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：

Byoung Chul Ko报告称获得了韩国国家研究基金会的财务支持。Byoung Chul Ko与韩国国家研究基金会有以下关系：