官方媒体对大型语言模型的影响具有控制作用

《Nature》：State media control influences large language models

　　

摘要

全球有数百万人通过大型语言模型（LLMs）来获取信息。尽管多项研究有力地证明了这些模型的说服力^{1，2，3，4，5，6，7，8，9，10》，然而关于哪些因素影响这些模型本身的证据却非常有限，这引发了人们对哪些公司和政府负责构建和监管这些模型的担忧。通过六项研究，我们发现世界各地政府对媒体的控制已经通过训练数据影响了LLM的输出结果。我们进行了一项跨国审计，发现LLM在媒体自由度较低的国家的语言中表现出更强烈的亲政府倾向。这一结果是相关性的，为了明确国家媒体控制如何具体影响LLM的机制，我们对中国的媒体进行了多部分案例研究。我们证明，由中国政府编写和策划的媒体内容出现在LLM的训练数据集中。为了评估这种包含的潜在影响，我们使用了一个开放权重模型，发现额外针对中国官方媒体的预训练会生成更多关于中国政治机构和领导人的积极回应。通过两项审计研究，我们将这一现象与商业模型联系起来，发现用中文提示模型会得到更多关于中国机构和领导人的积极反馈，而用英文进行相同查询则不会。这种跨语言的影响力和说服力的结合表明，国家和权力机构有更大的战略动机来利用媒体控制，以期塑造LLM的输出结果。}