基于多尺度光谱表征与跨模态图卷积推理协同作用的谣言检测

《Engineering Applications of Artificial Intelligence》：Rumor detection based on the synergy of multi-scale spectral representation and cross-modal graph convolutional reasoning

　　宋 Lei彬|葛纪科|陈珠勤|唐若霜|周江海|李倩音|肖翔
重庆科技大学计算机科学与工程学院，中国重庆 401331

**摘要**
随着社交媒体和多模态内容的迅速扩展，谣言检测在跨模态特征对齐和深度语义一致性建模方面面临挑战。尽管多模态谣言检测方法已经取得了显著进展，但在捕捉文本和图像之间的细粒度语义差异方面仍存在局限性，并且缺乏足够的解释性和鲁棒性。为了解决这些问题，我们提出了一个基于多尺度光谱表示（Multi-scale Spectral Representation）和跨模态图卷积推理（Cross-modal Graph Convolutional Reasoning）协同作用的多模态谣言检测框架，该框架能够在光谱、语义和结构层面协同建模谣言特征。具体来说，我们首先采用多尺度光谱编码来揭示不同频率带之间的微妙光谱不一致性；随后在共享的潜在空间中完成跨模态语义对齐；最后利用跨模态图卷积推理来捕捉样本之间的全局结构依赖关系，从而实现一致的语义区分。实验结果表明，我们的方法在微博和Twitter数据集上的准确率和F1分数均优于其他代表性方法，验证了其在特征融合和跨模态推理方面的有效性和稳定性。

**引言**
随着社交媒体的普及和传播机制的演变，信息传播方式已从点对点广播转变为多点并行传播，使得错误信息在网络中迅速传播（Cinelli等人，2020年）。近年来，虚假内容从单模态文本发展为结合图像和文本的多模态谣言，具有更高的欺骗性和传播性，对社会认知安全构成了严重威胁（Jin等人，2017年；Zhou等人，2020年）。传统的单模态检测方法常常无法捕捉不同模态之间的语义差异，这限制了它们在复杂信息环境中的有效性（Zhou和Zafarani，2020年；Qi等人，2019年）。为了解决这一局限性，多模态深度学习方法越来越注重改进跨模态交互和表示学习，以增强语义对齐和融合（Baltruaitis等人，2019年；Wu和Goodman，2018年）。此外，频域分析作为一种补充视角被用于识别多媒体内容中的微妙不一致性，为多模态谣言检测提供了新的思路（Bai等人，2024年）。然而，现有研究大多集中在单层特征建模上，尚未实现一个能够协同整合光谱、语义和结构维度的统一框架。这仍然是多模态谣言检测领域的一个关键挑战。

早期的谣言和错误信息检测研究主要关注单模态表示，依赖于语言和语义分析来检测文本或图像的伪造痕迹（Golo等人，2023年；Bondielli和Marcelloni，2019年）。然而，这些方法难以识别混合媒体内容中不同模态之间的语义差异，这促使人们转向多模态融合范式（Azri等人，2023年）。虽然许多多模态方法采用特征连接或加权策略来整合文本和视觉特征，但它们往往无法模型化深度的模态交互和对齐，导致跨模态一致性不足（Tufchi等人，2023年；Peng等人，2023年）。为了克服这一问题，研究人员探索了结构建模策略来捕捉多模态数据内的关系，从而挖掘高阶依赖性和语义传播模式（Dhawan等人，2024年）。进一步的进展将注意力机制和对比学习整合到图神经网络（GNN）中，以捕获后级和社区级的语义关联，增强了多模态结构建模的鲁棒性（Wu等人，2024年）。同时，频域分析为揭示多媒体生成或操作过程中引入的微妙不一致性提供了有效的视角。在本工作中，我们将这些不一致性称为伪造伪迹，可能包括多媒体信号中的不规则纹理模式、压缩失真或异常统计分布。先前的研究表明，这些频域不规则性通常为检测被操纵的多媒体内容提供了有用的线索（Cui等人，2024年；Lai等人，2025年）。尽管多模态融合、结构建模和频域分析在性能上有所提升，但该领域仍受到三个关键瓶颈的制约：跨模态语义对齐不足、特征层次之间的协同作用有限以及跨域场景中的鲁棒性不足。为了弥合这些差距，我们的研究基于一个统一的理论视角：首先，视觉频率表示具有内在的稳定性和抗噪性，可作为跨平台泛化的不变信号；其次，在统一潜在空间内的联合建模最大化了语义、结构和光谱信息的互补效应；最后，与简单的串联相比，潜在空间中的图结构建模明确捕捉了跨模态元素之间的长距离依赖性和结构约束。受到这些见解的启发，我们提出了多尺度光谱表示和跨模态图卷积推理框架（MSR-CGCR）。虽然最近的多模态方法通常依赖于纯端到端架构进行统一表示学习，但这种设计可能无法明确捕捉一些对谣言检测至关重要的补充线索，包括在多媒体编辑或生成过程中可能引入的频域不一致性、跨模态语义不一致性和样本之间的结构依赖性。为了解决这些挑战，MSR-CGCR整合了三种互补的建模视角，在渐进的推理流程中运作：光谱建模首先捕捉与操作相关的伪迹，语义对齐整合跨模态的光谱感知表示，图卷积推理在丰富的语义空间上进行结构推理。首先，引入多尺度光谱表示来捕捉频域中的细粒度伪造线索；其次，联合语义表示学习在共享的潜在空间中对齐文本和视觉信息，以确保跨模态一致性；最后，跨模态图卷积推理模型化样本之间的全局结构关系，以增强语义区分能力。通过协同整合多尺度光谱特征、联合语义表示和图卷积推理，MSR-CGCR有效克服了现有技术的局限性，提高了多模态谣言检测的泛化能力和解释性。

本文的主要贡献如下：
(1) 我们提出了一个多尺度光谱特征提取（MSFE）模块。通过在频域内引入多尺度卷积和动态光谱选择，该模块捕捉了来自不同频率带的与多媒体不一致性相关的细粒度光谱线索，弥补了传统空间域模型在识别结构敏感特征方面的不足。
(2) 我们构建了一个联合语义表示学习（JRL）框架。结合轻量级变分潜在正则化（VLR）模块和对比学习，该框架在共享的潜在空间中同时实现了分布对齐和语义一致性，有效缓解了模态-collapse问题。
(3) 我们设计了一个跨模态图卷积推理（CGCR）模块。通过在统一潜在空间中构建跨模态语义图并利用带拉普拉斯平滑的光谱图卷积，该模块实现了多跳消息传递，从而可以明确推理跨模态关系，捕捉文本和图像之间的长距离依赖性和语义冲突。
(4) 我们在WeiboRumorSet和Twitter（MediaEval，2016）数据集上进行了系统的性能评估。实验结果表明，MSR-CGCR模型在准确率和F1分数方面始终优于代表性基线，证明了其在特征融合和跨模态推理方面的有效性和稳定性。

**相关工作**
有效多模态谣言检测的关键在于在实现深度跨模态对齐的同时，弥合文本和图像之间的语义差距。现有研究大致可以分为三个维度：多模态表示学习，用于构建模态互补的共享空间；图神经网络（GNN），利用传播拓扑结构提高鲁棒性和解释性；以及频域感知，用于挖掘光谱伪造线索，融合多模态特征。

**问题定义**
为了方便后续的方法描述，我们首先提供了多模态谣言检测任务的正式定义，然后阐述了总体优化目标。设D={(Ti,Ii,yi)}i=1N表示包含N个样本的训练数据集，其中Ti和Ii分别代表第i个样本的文本内容和视觉图像，yi∈{0,1}表示真实标签（0表示非谣言，1表示谣言）。模型的目标是学习……

**模型构建**
如图1所示，所提出的MSR-CGCR框架由三个核心模块组成，它们在统一的潜在空间中分层运行：光谱层的MSFE、语义层的JRL和结构层的CGCR。

**数据集和实验设置**
为了评估所提出的框架，我们选择了两个广泛使用的多模态谣言检测基准数据集：微博（WeiboRumorSet）（Jin等人，2017年）和Twitter（MediaEval，2016年）。这两个数据集都包含文本和图像模态，能够验证模型在多种语言和社交媒体环境中的性能。表1总结了关键统计信息，包括真实推文数量、谣言推文数量及其对应的图像数量。

**结论**
在本工作中，我们提出了MSR-CGCR，这是一个可解释的框架，它结合了光谱、语义和结构建模来进行多模态谣言检测。通过多尺度光谱编码的协作机制、联合表示学习和图卷积推理，该模型有效捕捉了细粒度的伪造伪迹并对齐了跨模态语义。实验结果证实了MSR-CGCR在微博和Twitter上的优越性。

**作者贡献声明**
宋 Lei彬：撰写——审稿与编辑、原始草案撰写、方法论、数据管理。
葛纪科：撰写——原始草案撰写、项目管理、概念化。
陈珠勤：验证、形式分析。
唐若霜：资源管理、方法论。
周江海：监督、资源管理。
李倩音：调查、数据管理。
肖翔：资源管理、形式分析。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报道的工作。

**致谢**
本研究部分得到了2024年重庆市教育委员会人文社会科学重点项目（编号24SKGH288）和2025年重庆市教育委员会人文社会科学研究项目（编号25SKGH215）的支持。