综述：通过微调大型语言模型和属性图神经网络来探索金融情绪分析

《Neural Networks》：Exploring Financial Sentiment Analysis via Fine-tuning Large Language Model and Attributed Graph Neural Network

本文提出FLAG框架，结合大语言模型和图神经网络，通过监督微调和直接偏好优化提升金融情感分析效果，利用语义相似性和主题共现构建图结构捕捉股票间交叉影响，在中国A股市场实验中显著优于基线模型，平均提升夏普比率50%。

　　

穆宗深|万玉杰|庄月婷|谭杰|程洪|王月阳

中国杭州，浙江大学

摘要

财务情感分析（FSA）是指将文本内容分类到预定义的情感类别中，以分析其对金融市场波动的潜在影响。然而，直接将这些预训练的大型语言模型（LLM）应用于FSA仍然存在重大挑战。现有方法无法与特定领域的目标保持一致，也难以适应定制的财务数据结构。此外，这些LLM主要依靠自身信息来预测股票价格变化，未能考虑相关股票之间的相互影响。在本文中，我们提出了一种新的框架，将LLM与图神经网络（GNN）相结合，利用从财务新闻中提取的股票情感信号来模拟股票价格动态。具体来说，我们使用开源的Llama-3-8B模型作为基础，然后通过监督式微调（SFT）和直接偏好优化（DPO）技术提高其对财务情感模式的敏感性。利用微调后的LLM的情感输出，我们设计了一个GNN来增强股票表示，并通过两种类型的文本属性图来建模跨资产依赖性，这些图能够动态编码时变的价格相关性。在中国A股市场的实验表明，财务情感显著影响股票价格变化。我们的框架优于之前的基线模型，在夏普比率（Sharpe ratio）上平均提高了50%。

引言

情感分析的目标是检测和分类多模态数据流（文本、图像和语音）中的主观观点（Tsapeli等人，2017年）。随着行为金融理论的发展，情感因素在金融研究中受到了广泛关注，特别是在市场决策（例如，短期价格趋势预测Xing等人，2019年）、虚假新闻检测Dong等人，2018年）和风险识别Yang等人，2023a年）方面。

FSA涉及一系列自然语言处理（NLP）任务，如命名实体识别、方面提取和主观性检测Kumar等人，2023年；Mao等人，2024年）。随着NLP的进步，FSA技术也在不断发展。早期的工作Loughran和McDonald（2011年）；Malo等人（2014年）依赖于情感词词典和简单规则来推断句子或消息的极性。后续基于学习的方法Cortis等人（2017年）；de Fran?a Costa和da Silva（2018年）；Kraus和Feuerriegel（2017年）；Lutz等人（2018年）使用了支持向量机、回归集成和深度神经网络等模型，基于词表示来学习情感特征。最近，LLM的出现加速了情感分析的发展。在大量语料库上预训练的LLM为FSA提供了可靠且灵活的方法，利用其广泛的世界知识和上下文学习能力。基于编码器的模型（例如FinBERT Huang等人，2023年）和其他BERT变体He等人，2020年）以及基于解码器的架构（例如BloombergGPT Wu等人，2023年；GPT、LLama和其他Transformer变体Buscemi和Proverbio（2024年）；Ji（2024年）；Kheiri和Karimi（2023年）在FSA方面表现出显著的性能提升。

然而，现有的FSA方法存在两个关键局限性。首先，LLM在领域适应性方面存在不足。一些研究通过API调用使用像GPT-3这样的语言模型即服务（LMaaS）平台。这些现成的模型缺乏针对特定任务的微调。由于缺乏财务词典和市场事件模式，通用领域的LLM在金融环境中的表现不佳Kirtac和Germano（2024年）。其他方法仅采用简化的SFT对齐策略来理解和生成与FSA相关的上下文信息。在投机炒作和基本面变化的重要性不同的情况下，这些模型无法通过反馈使模型的行为与人类价值观和偏好保持一致Lee等人，2023年；Ouyang等人，2022年；Ziegler等人，1909年）。其次，市场结构依赖性尚未得到充分探索。当前的基于LLM的FSA框架孤立地处理股票，忽略了市场传染理论中形式化的相关股票之间的相互影响Zhang等人，2023年。该理论认为，投资者从众行为会产生动态的相互依赖性——即股票A的价格变动通过共同的行业曝光或同质主题联系影响股票B和C。

在本文中，我们提出了一种新的FLAG框架（精细调整的大型语言模型与属性图神经网络集成），用于FSA任务。首先，使用统一的提示对中文Llama-3-8B模型进行微调，使其同时适应特定股票和整个行业的财务新闻。训练包括使用SFT进行情感感知的文本表示，以及使用DPO使模型输出与专家标注的财务情感标签对齐。接下来，基于先前的财务知识，我们构建了两种类型的属性图，每种股票节点都关联相应的财务新闻，即语义相似性图和主题共现图。GNN在这些文本属性图上操作，以汇总相关股票的情感信息。最后，将增强的情感信号输入价格趋势预测模块，用于构建投资组合。本文的主要贡献总结如下：

• 1.
  我们使用微调后的LLM为单个股票生成文本级情感表示。强大的LLM通过SFT和DPO策略在财务新闻数据上进行了优化。
• 2.
  我们利用图神经网络来捕捉相关股票之间的相互影响，并丰富从LLM知识中提取的情感表示。
• 3.
  我们在三个主要的中国A股市场指数（CSI 300、CSI 500、CSI 1000）上进行了实验。结果表明，我们的FLAG模型优于现有的最佳基线模型，在ARR、MD和SR等指标上取得了显著改进。

部分摘录

财务情感分析

FSA是金融领域的情感分析任务Du等人（2024年）；Inserte等人（2024年）；Lee等人（2024年）。在早期阶段，基于词典的研究将文档视为词袋，并使用映射算法根据预定义的类别字典对单词进行分类Engelberg等人（2012年）；Li（2010年）；Tetlock（2007年）。随后，应用了多种传统的机器学习方法（例如，随机森林、线性回归、支持向量机）

方法

在本节中，我们将详细介绍我们的LLM集成GNN在文本属性图上进行的情感分析和股票价格预测。如图1所示，核心概念利用LLM生成的表示作为GNN处理的补充文本特征。我们的分层框架包括两个阶段：基于LLM的特征提取和图感知的价格预测。微调后的LLM处理股票新闻以生成文本情感嵌入。然后，GNN架构对这些文本属性图进行处理

实验

在本节中，我们进行了全面评估，以验证我们提出方法的有效性。首先，我们展示了FLAG在三个指数数据集上始终获得更高的风险溢价，并且与现有最佳模型相比表现出一致且显著的优越性。随后，我们进行了消融研究，以确定我们方法有效性的关键组成部分。最后，我们进行了参数敏感性分析，以强调

结论

在这项工作中，我们提出了FLAG模型，该模型结合了LLM和GNN，利用财务情感新闻进行股票价格趋势预测。FLAG采用两阶段适应机制。我们通过SFT和DPO在财务新闻语料库上微调预训练的LLama-3-8B模型，获得单个股票的粗略情感表示。然后，我们将LLM生成的情感特征作为节点属性注入RevGAT，以增强语义相似性图和新闻共现图上股票之间的情感交叉效应

CRediT作者贡献声明

穆宗深：撰写——原始草稿，验证，方法论，概念化。万玉杰：资源，数据管理。庄月婷：监督，形式分析。谭杰：撰写——审阅与编辑，监督，形式分析。程洪：资源，形式分析。王月阳：监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作部分得到了西南证券的博士后工作站、国家自然科学基金（编号62376043，编号62002035）和重庆市自然科学基金（编号CSTB2023NSCOMSX0091）的支持。