连接认知与情感：基于共情的多模态虚假信息检测

《Information Fusion》：Bridging Cognition and Emotion: Empathy-Driven Multimodal Misinformation Detection

多模态虚假信息检测中提出融合创作者意图与读者情绪的双视角共情框架，通过LLM模拟读者认知情感反应并设计双阶段信号过滤机制，在PolitiFact等数据集上准确率达90%以上。

　　

卢元|王志涵|张正轩|史磊

中国传媒大学数据科学与智能媒体学院，北京，100024，中国

摘要

在数字时代，社交媒体加速了错误信息的传播。现有的检测方法通常依赖于浅层的语言或传播特征，缺乏原则性的多模态融合，无法捕捉创作者的情感操控和读者的心理反应，这限制了预测的准确性。我们提出了双方面共情框架（DAE），该框架通过分别建模认知共情和情感共情来推导创作者和读者的视角。分析了创作者的认知策略和情感诉求，而大型语言模型（LLMs）则模拟读者的判断和情感反应，提供了比传统分类器更丰富、更接近人类的信号，并部分缓解了由于人类反馈不足所带来的分析挑战。进一步设计了一种具有共情意识的过滤机制来优化输出，增强了真实性和多样性。该流程整合了多模态特征提取、以共情为导向的表示学习、基于LLM的读者模拟以及具有共情意识的过滤。在PolitiFact、GossipCop和Pheme等基准数据集上的实验表明，基于融合的DAE一致性地优于现有的最佳基线方法，为错误信息检测提供了一种新颖且以人类为中心的范式。

引言

随着在线平台日益塑造我们的信息格局，有机曝光和算法策划之间的界限变得模糊，为错误信息的快速传播创造了条件[1]，[2]。虽然检测此类内容对于维护健康的信息生态系统至关重要，但现有方法面临重大障碍。它们往往缺乏一种原则性的融合机制来模拟创作者意图和读者接受之间的复杂互动。此外，它们难以区分微妙的情感线索和强烈的情绪信号，这使得它们对现代错误信息的多模态和风格多样性显得脆弱。

核心挑战在于错误信息的心理深度。其传播不仅仅是耸人听闻的内容的功能，而是一个根植于人类心理操控的复杂过程[3]，[4]。创作者经常精心设计叙事以引发特定的情感反应，从而绕过了读者的关键认知检查。以图1中的例子为例：内容被设计用来引发愤怒或同情，鼓励在仔细验证之前立即分享。仅分析内容情感基调的检测器可能会落入创作者的陷阱，将强烈的情绪信号误解为真实性的标志。这突显了一个关键缺口：当前模型缺乏一个统一的融合框架，能够同时分析创作者的策略意图和读者的心理影响。

最近的研究从多个角度探讨了错误信息的检测，但没有一个提供创作者意图和读者反应的统一心理融合。多模态和脱离上下文（OOC）方法如SNIFFER [5]和NewsCLIPpings [6]提高了语义对齐性和可解释性，但仍然局限于表面一致性，而非有意的情感操控。基于社会信号的系统如CAS-FEND [7]和GenFEND [8]利用用户反馈，但依赖于事后的互动，这对于早期或具有操控性的内容无效。以意图为导向的方法如Dm-inter [9]侧重于创作者方面的推断，但忽略了读者的认知-情感反应。基于LLM和MLLM的增强型检测器，包括EFND [10]和GSFND [11]，提高了可解释性，但仍缺乏对创作者策略与读者共情之间心理联系的结构化建模。这些局限性揭示了一个持续的缺口：缺乏一个统一的框架，能够整合对创作者意图的认知理解和读者影响的情绪模拟——这正是我们提出双方面共情（DAE）框架的动机。

为了解决这些局限性，我们通过心理共情的视角重新定义了错误信息检测，这涉及认知（理解意图）和情感（模拟情感影响）组件的融合[12]。这种双重视角使模型不仅能够捕捉创作者采用的策略，还能了解读者可能的反应。

基于这一洞察，我们提出了双方面共情（DAE）框架，将浅层特征融合与基于心理信息的建模相结合。与将创作者内容与用户反馈分离的现有方法不同，DAE创新地将错误信息检测概念化为量化创作者意图与读者接受之间的共情差距。首先，为了解决早期用户反馈的稀缺问题，我们引入了读者共情反应模拟机制。该模块通过利用LLMs重建不同用户角色的多样认知和情感反应模式，从而生成丰富、更接近人类的信号，而无需依赖事后的互动。其次，为了解决生成过程中固有的噪声问题，我们设计了两阶段共情信号过滤机制。通过将基于LLM的语义规范与基于注意力的重要性排名相结合，该组件将原始模拟提炼成高保真的共情线索。最终，通过审视创作者精心设计的情感操控与读者模拟审查之间的差异，DAE提供了一个更加原则性和解释性的真实性评估范式。

我们工作的主要贡献包括：

•

我们提出了一个双方面共情框架，这是一个基于创作者和读者视角的多层次分析，结合了认知和情感共情特征。

•

为了系统地模拟不同读者对内容的心理反应，我们引入了读者共情反应模拟机制：我们提示LLM模拟受角色条件影响的评论，这些评论同时捕捉了认知内容和情感立场。

•

为了提高这些模拟反应的质量和可靠性，我们开发了两阶段共情信号过滤机制：一个单次LLM澄清步骤对每条评论进行去噪和规范化，然后是一个非LLM的基于注意力得分的top-k选择器，保留最显著的共情信号。

•

我们在三个不同领域的广泛使用的数据集上进行了实验，结果表明，我们基于融合的模型在多模态错误信息检测方面具有竞争力。具体来说，我们的模型在PolitiFact、GossipCop和PHEME上的准确率分别为90.6%、90.1%和89.8%，均超过了之前的最佳基线。

部分摘录

错误信息检测

错误信息指的是无论是否有欺骗意图而被传播的虚假或误导性信息[13]。它对公众舆论、社会稳定性和信息安全构成了重大威胁[14]。近年来，检测方法已从传统的机器学习方法不断发展到深度学习[15]。早期的错误信息检测主要依赖于手动特征工程，通过提取文本语言特征和传播特性来进行预测

任务定义

在这项工作中，我们特别关注基于新闻的错误信息。多模态错误信息检测的任务是根据其多模态输入信息来确定给定新闻的真实性。形式上，每条新闻表示为：$D_i=\{T_i,I_i,C_i\}$其中D_i表示第条新闻的多模态数据，T_i代表文本内容，I_i对应于相关图像，C_i是用户评论集。该任务的目标是将每条推文分类为真实或虚假，

方法

本节概述了DAE框架。然后详细描述了每个组成部分，如图2所示。

实验设置

数据集。我们在三个广泛使用的数据集上评估模型性能：PHEME [27]、GossipCop和PolitiFact [28]。PHEME数据集是一个多模态错误信息集合，包括五个突发事件：Charlie Hebdo、Ferguson、Germanwings坠机事件、渥太华枪击事件和悉尼围攻事件。我们对与每条新闻相关的推文、图像和评论进行分类。GossipCop和PolitiFact也是多模态虚假新闻检测数据集。这些数据集中真实和虚假新闻的分布如下所示

结论

总之，我们提出了一个用于多模态错误信息检测的双方面共情框架，该框架整合了认知和情感共情，提供了一种更深入、更以人类为中心的方法。通过分析创作者的心理策略并模拟读者的情绪和认知反应，该框架实现了比传统方法更精确和更具解释性的检测。

未来的研究方向可以集中在实时共情建模上，以适应不断变化的情况

CRediT作者贡献声明

卢元：撰写——审阅与编辑、项目管理、资金获取。王志涵：撰写——审阅与编辑、初稿撰写、可视化、方法论、调查、数据策划、概念化。张正轩：撰写——审阅与编辑、初稿撰写、可视化、监督、方法论。史磊：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。