近年来，由于深度学习方法的进步，人工智能（AI）模型的性能有了显著提升，并被应用于日益多样的领域，包括那些输出可能产生严重影响的关键系统。然而，这些模型往往像“黑箱”一样，其内部决策过程难以被用户甚至开发者理解（Lillicrap & Kording, 2019）。为了解决这个问题，人们提出了各种可解释AI（XAI）方法。对于计算机视觉模型，常用的基于显著性的XAI方法会突出显示对AI决策重要的像素（Petsiuk et al., 2018; Selvaraju et al., 2017）。这些方法生成的解释质量（即显著性图）通常通过其与模型的吻合度来评估，这种吻合度是通过改变被突出显示的像素后模型输出的变化来衡量的（Samek et al., 2016; 参见Adebayo et al., 2018）。
然而，像吻合度这样的计算指标并不能反映实际用户从解释中感知和学习AI模型的程度。最近的研究开始考虑关注用户心理状态的认知指标。例如，Hoffman等人（2023）提出了一个包含认知指标的概念模型，这些指标在解释过程的不同阶段进行评估，从解释的合理性以及用户在接受解释时的满意度，到用户处理解释时的理解程度和好奇心，最后到用户将所学应用于与AI系统交互时的信任度和表现。Hsiao和Ngai等人（2021）进一步考虑了每种认知指标的不同主观和客观衡量方法。他们指出，这两种类型的衡量方法在评估心理构造时往往不一致，因为某些心理过程超出了人们的意识范围，难以通过自我报告的测量方法来评估，因此尽可能使用客观指标是必要的。
在这些认知指标中，特别重要的是考虑用户的理解程度，因为它直接反映了用户在接收解释时是否形成了对AI系统的可靠心理模型。实际上，已有许多研究探讨了解释是否以及如何帮助用户更好地理解AI系统（Brachman et al., 2023; Kulesza et al., 2015）。此外，当人类提供解释时，他们通常会推断学习者的心理状态以识别知识缺口并尝试缩小这一差距（Olson & Bruner, 1996; Strauss & Shilony, 1994），这种能力被称为“心智理论”（ToM，即通过归因于他人的心理状态来理解他人行为的能力）。为了提供人类可理解的解释，XAI系统应具备类似的能力来监测用户当前的理解水平。基于这一理念，Hsiao和Chan（2023）提出了一个基于心智理论的XAI框架，该框架提供以用户为中心的解释，并促进人机之间的相互理解。在这个框架中，XAI系统需要了解人类用户如何执行任务的心理模型，以便将其策略与AI的策略进行比较，突出差异，帮助用户更好地理解AI的策略。此外，XAI系统还需要推断用户对AI的当前理解程度，以便提供后续解释，帮助用户更准确地构建对AI的心理模型。
鉴于此，在当前研究中，我们旨在开发一套全面的用户理解度衡量指标，并调查常用的基于显著性的XAI方法是否确实能提升用户对计算机视觉模型的理解。虽然之前有一些关于图像分类模型用户理解度的研究（例如Alqaraawi et al., 2020; Balayn et al., 2022；综述见Müller, 2024），但涉及对象识别和定位的对象检测相关研究仍然有限（Zhao & Chan, 2023）。对象检测在自动驾驶和医疗诊断等关键系统中起着重要作用，这些系统的透明度至关重要。因此，我们重点研究了基于显著性的解释如何帮助用户更好地理解驾驶场景中的对象检测模型，并使用了实时性能较高的Yolo-v5s模型（Jocher, 2020）。在评估用户理解度时，我们认识到仅使用自我报告的指标是不够的，因为用户常常高估自己对AI系统的理解程度，尤其是在要求他们从局部、实例级的解释中构建更高层次的系统级理解时（Chromik et al., 2021）。实际上，对解释对象的局部理解可能无法推广到对系统整体工作原理的全面理解。因此，我们旨在开发一套能够客观评估用户对对象检测模型整体理解度的任务，同时包括自我报告的指标来测试不同指标之间的一致性。在整体理解中，我们进一步区分了三个层次：（1）特征层，即了解哪些特征会影响系统的决策；（2）对象层，即了解系统处理不同对象的能力；（3）图像层，即了解系统在不同图像上的表现。我们使用这些任务在训练阶段前后评估参与者对对象检测模型的理解程度，期间他们看到了带有或没有显著性图解释的模型输出。先前的研究表明，参与者对视觉刺激的理解可以通过他们的目光移动行为来反映（Gegenfurtner et al., 2011; Kruger and Steyn, 2014; Zheng et al., 2022）。因此，除了行为表现指标外，我们还利用眼动追踪来探索使用眼动行为作为评估用户当前理解程度的替代性、非侵入性指标的可能性。具体来说，我们使用隐马尔可夫模型（EMHMM；Chuk et al., 2014）进行眼动分析，通过将个体眼动模式与通过聚类发现的代表性注意力策略进行比较来建模和量化，并利用个体隐马尔可夫模型（HMMs）的熵来量化眼动一致性。我们还根据参与者的注视点生成了注意力热图，并将其与XAI生成的显著性图进行比较，从而直接衡量每个参与者的注意力策略与AI策略的相似性。
鉴于先前的研究发现显著性图可能有助于特征层理解，但对图像分类的更高层次理解影响有限（Alqaraawi et al., 2020），我们假设对象检测的情况也会类似。与我们的假设相反，我们发现显著性图并未在提升用户理解方面提供额外帮助，除了简单地提供AI的检测结果、未检测到对象的情况以及误报信息之外。此外，仅展示AI的检测结果、未检测到对象的情况以及误报信息本身，足以提升某些特征层和对象层的理解，但无法提升更高的图像层理解。因此，有必要考虑其他XAI方法，以确保用户能够根据解释构建出对对象检测AI模型的可靠心理模型。总体而言，我们的研究指出了当前XAI研究中的空白，特别是针对对象检测AI的研究，并探索了开发能够更好提升用户理解的XAI方法的潜在方向。
