基于社会学的观点预测方法：将有限信心理论与TabTransformer相结合

《Neurocomputing》：Sociologically-informed opinion prediction: Fusing bounded confidence theory with TabTransformer

意见演化预测模型TT-SBCM通过融合TabTransformer与随机有界置信模型，有效整合理论约束与数据驱动，提升少数群体动态捕捉能力。

　　

Jiao Luo|Yiping Yao|Zhuo Liu|Wenjie Tang|Xin Zhang

国防科技大学系统工程学院，中国湖南长沙410073

摘要

预测公众舆论的演变在商业营销、选举策略和政策制定中起着关键作用。尽管基于理论的舆论动态模型具有可解释性，但在模拟复杂的社会互动和异质用户行为时，它们的预测准确性往往有限；相比之下，数据驱动的方法通常需要大规模、高质量的数据，并且缺乏可解释性。为了弥合这些差距，本文提出了TT-SBCM（TabTransformer-Integrated Stochastic Bounded Confidence Model），该模型将随机有界置信框架与TabTransformer架构相结合。在我们的方法中，随机微分方程对用户互动施加了理论约束，而TabTransformer则有效地融合了用户身份和时间特征，以捕捉重要的长期依赖关系。在多个合成数据和真实世界数据集上的实验表明，TT-SBCM的表现优于现有最先进的方法：与最佳现有模型相比，它在Consensus数据集上的F1分数提高了大约12%，在Polarization指标上的准确率提高了多达5%，并且在真实的Twitter数据上保持了稳健的性能。此外，通过比较实际和预测的舆论分布演变，TT-SBCM不仅能够准确捕捉长期舆论趋势，还在检测少数派舆论群体的微妙动态变化方面显示出显著的优势。源代码可在https://github.com/200159lj/TT-SBCM处公开获取。

引言

在当今的数字时代，Twitter、Facebook和Weibo等平台已成为公众表达和意见分享不可或缺的渠道，从根本上重塑了公众情绪的演变方式。社交媒体不仅加速了集体意见的发展，还为商业和政策研究提供了无与伦比的机会。通过利用这些平台的实时洞察，公司可以动态调整其策略，使产品和服务与不断变化的消费者偏好保持一致[1]，[2]，而政策制定者可以迅速响应新兴的公众关切[3]，[4]。这种双重影响突显了研究舆论演变的重要性，因为它为市场优化和响应式治理提供了必要的指导。

经典的舆论动态模型——从离散框架（如Voter模型和Sznajd模型[5]，[6]）到连续方法（如DeGroot模型和有界置信模型（BCM）[7]，[8]）——长期以来为理解公众舆论的演变提供了理论基础。这些模型通过假设个体随机采纳邻居的观点（如Voter模型）或通过个人和同伴观点的加权平均值更新他们的观点（如DeGroot模型）来简化社会互动，而BCM进一步将影响限制在特定的置信区间内。虽然这些公式直观且易于分析，但它们往往无法捕捉现实世界社会行为的丰富多样性和动态复杂性[9]。在实践中，个体差异（如对变化的抵制或选择性接触）挑战了这些简化的假设，导致预测准确性降低[10]，[11]。此外，这些模型所需的精确参数估计通常假设能够访问高质量数据，而这在实际社交网络的嘈杂和多方面的环境中很少满足。

深度学习的最新进展催生了新的方法，通过利用大量的社交媒体数据来捕捉用户之间的复杂互动模式。例如，Zhao等人[13]开发了一个混合模型，将门控循环单元与图卷积网络相结合，能够在异构网络环境中捕捉动态的舆论变化。类似地，Zhu等人[14]提出了一个神经框架，利用循环神经网络来模拟用户的历史行为，并通过注意力机制来更好地考虑邻近意见的影响。这些方法通过揭示非线性依赖关系和传统理论模型经常忽略的潜在特征，在预测性能上取得了显著提升。然而，深度学习方法仍然面临关键挑战：它们通常需要大量高质量的数据，可能在面对新场景时过拟合，并且往往缺乏充分阐明驱动舆论演变的基本机制所需的可解释性。

将理论框架与深度学习相结合的混合方法在模拟舆论动态方面受到了广泛关注。例如，Okawa等人[15]引入了社会信息神经网络（SINN），它将经典的舆论动态重新表述为常微分方程，以便将社会科学见解无缝整合到神经网络框架中。基于这一想法，Wang等人[16]开发了神经概率有界置信（NPBC）模型，通过将理论约束嵌入学习过程进一步提高了预测性能。这些方法利用了传统模型的可解释性和领域知识，同时利用深度学习的强大表示能力来减少对大量高质量数据的需求。尽管如此，这些混合模型主要依赖于基于MLP或RNN/LSTM的架构来参数化舆论动态，这在模拟长距离依赖关系和跨异质特征的高阶互动方面能力有限。基于自注意力的Transformer模型的最新进展表明，有可能在统一的方式下捕捉复杂的互动模式和长距离依赖关系。这表明进一步提高预测准确性仍然是可能的[17]，[18]。

为应对上述挑战，我们提出了Transformer增强型随机有界置信模型（TE-SBCM），该模型将理论约束与基于Transformer的深度学习框架相结合。在TE-SBCM的基础上，我们的工作通过额外的改进进一步提升了其在模拟舆论动态方面的性能。我们提出了一种新的舆论演变预测模型——TabTransformer-Integrated Stochastic Bounded Confidence Model（TT-SBCM）。该模型首次将专为表格数据设计的TabTransformer与可微分的随机有界置信框架相结合。通过利用多头自注意力机制，TT-SBCM有效地融合了用户身份和时间属性等多模态特征，以捕捉跨维度依赖关系。此外，通过将随机有界置信模型的微分方程约束嵌入训练过程，该模型有机地将理论指导与数据驱动的预测相结合，有效地表征了长距离依赖关系和复杂的互动模式，同时在处理类别不平衡和罕见舆论群体时表现出更高的敏感性和稳健性。

本文的主要贡献总结如下：

• •
  介绍了TT-SBCM模型，它通过将TabTransformer与可微分的随机有界置信相结合，将理论约束与数据驱动的预测相结合。
• •
  所提出的模型利用TabTransformer增强了离散（用户）和连续（时间）特征的表示，从而更精确地检测到少数派舆论群体。
• •
  在多个合成数据集和真实的Twitter数据集上的广泛实验表明，与现有方法相比，TT-SBCM在预测准确性、模型稳定性和舆论分布的动态跟踪方面有所改进。

本文的其余部分组织如下。第2节回顾了相关工作。第3节介绍了提出的TT-SBCM框架，第4节描述了数据集、实验设置和结果。第5节总结了本文。附录A提供了可复现性细节。

部分摘录

经典理论模型

舆论动态是一个重要的研究领域，专注于社会中舆论的形成和演变，已经取得了重要的理论进展。早期模型主要基于描述个体之间舆论交换机制的数学方程，可以分为两类：离散值模型和实值模型。离散值模型，如Ising模型[19]、Voter模型[20]和Sznajd模型[6]，将个体舆论表示为

问题定义

在一个由一组用户$$和时间序列$$组成的社交网络中，每个用户$$在每个时间步骤$$的舆论表示为$$。目标是根据用户舆论的历史数据，预测用户在未来时间步骤的舆论状态，以预测$$