相关性还是因果关系：分析大型语言模型（LLM）和逻辑回归模型（LRM）推理过程的因果结构

《Artificial Life》：Correlation or Causation: Analyzing the Causal Structures of LLM and LRM Reasoning Process

　　

摘要：

大语言模型（LLMs）存在关键推理问题，如不忠实性、偏见和不一致性，因为它们缺乏坚实的因果基础，可能依赖于表面相关性而非真正的理解。相继出现的小语言模型（LRMs）作为一种有前景的替代方案，利用强化学习（RL）和蒸馏等先进训练技术来提高任务准确性。然而，这些训练方法对因果关系的影响在很大程度上尚未得到探索。在本研究中，我们对LLMs和LRMs进行了系统的因果分析，基于四个关键变量来检验结构因果模型（SCMs）：问题指令、思考过程、推理步骤和答案。我们的研究发现，经过RLVR训练的LRMs表现出更强的因果推理能力，与理想的因果结构更为吻合，而LLMs和经过蒸馏处理的LRMs未能解决与因果相关的问题。进一步的研究表明，RLVR减少了虚假相关性，增强了真正的因果模式，从而减轻了不忠实性和偏见。此外，我们对RLVR训练过程动态的观察发现，虚假特征的减少与因果结构的改善之间存在高度相关性，因果关系在训练过程中持续得到改善。本研究有助于理解推理模型中的因果关系，强调了RLVR在增强因果推理中的关键作用，并为设计具有更强因果基础的未来AI系统提供了见解。