ROQuA：一种基于RAG（Retrieval, Answering and Generation）的电子商务评论问答框架

《Electronic Commerce Research and Applications》：ROQuA: A RAG-based opinion question-answering framework for e-commerce reviews

提出基于检索增强生成（RAG）的ROQuA框架，解决电商评论意见问答中检索相关评论和生成无幻觉摘要两大挑战。通过评论丰富、问题重写和三阶段提示策略，ROQuA在JD、Douyin、Yelp三个数据集上显著优于SOTA模型，尤其在LSBE指标提升0.6分。

　　

周胜凯|邱江涛|林玲|王思宇|徐云

中国成都西南财经大学商学院

摘要

随着大型语言模型的快速发展，检索增强生成（RAG）已成为提升LLM基于检索信息生成文本内容能力的最具代表性的技术之一。然而，将RAG应用于意见问答（QA）面临两个关键挑战：（1）检索与问题相关的评论；（2）生成没有幻觉的评论摘要。在这项研究中，我们提出了ROQuA，这是一个基于RAG的框架，旨在解决意见QA中的这些挑战。该框架结合了多种技术，包括评论丰富、问题重写和三阶段提示策略，以提高ROQuA的性能。我们在三个数据集上进行了实验——JD、抖音和Yelp，分别包含18.2万条、25万条和6万条评论。结果表明，ROQuA在意见QA任务中的表现优于现有最先进模型。特别是，在本研究中引入的用于评估意见QA的LSBE指标上，ROQuA比第二佳模型提高了0.6分。此外，我们对基于RAG的意见QA中的幻觉现象进行了深入分析，并表明仔细的评论选择和提示工程可以显著减少幻觉内容。

引言

意见挖掘是文本挖掘和自然语言处理中的一个重要任务，它从评论中提取结构化的情感信息，通常表示为四元组$(t\mathrm{ag}\mathrm{et}g\mathrm{et},s\mathrm{en}\mathrm{tim}\mathrm{et},h\mathrm{ol}\mathrm{der},\mathrm{ti}\mathrm{im})$（Liu, 2012）。然而，这样的四元组往往不足以从评论中获得更深入的见解。例如，它们无法有效回答更复杂的问题，如“顾客对商品A有什么看法？”或“顾客如何比较商品A和商品B的价格？”

为了解决这一限制，引入了意见问答（QA）（Ku等人，2008年）。它生成一个文本摘要，综合了与给定查询相关的意见，使结果对管理者和顾客都更具信息性和实用性。例如，与输出“（天气，负面）”和“（天气，降雨导致温度下降）”相比，后者传达了更丰富的上下文含义。图1说明了意见挖掘和意见QA之间的概念差异。

与传统的基于事实的QA系统不同，意见QA系统旨在识别和总结用户评论中嵌入的主观意见。在构建电子商务评论的意见QA系统时，至少会出现两个主要挑战。

•

电子商务评论有两个关键特征：它们通常很短且包含隐含的意见。通常无法通过简单搜索直接提取这些意见。因此，意见QA系统必须能够检索与给定问题相关的评论。尽管这些评论在语义上与问题相关，但它们往往缺乏明显的术语级匹配。因此，传统的信息检索技术不足以应对这一挑战。

•

意见QA系统必须能够从评论数据中总结意见，即使线索很微妙且隐藏在大量评论中。此外，总结的意见应该用自然语言流畅表达，而不是作为不连贯的文本片段。

以往关于意见QA的研究并未充分解决上述挑战。首先，现有的信息检索技术（Li等人，2009年；Chatterjee等人，2021年）往往无法在语义层面识别与问题隐含相关的评论。其次，许多研究只是检索相关段落并将它们连接起来（Deng等人，2020年；Achiam等人，2023年）作为答案，导致输出缺乏连贯性和可读性。

最近，大型语言模型（LLMs）在广泛的自然语言任务中表现出色。特别是，检索增强生成（RAG）（Lewis，2020年）作为生成式AI中的一个突出方法出现，旨在通过基于检索的外部信息来增强LLM的响应。

通过利用LLMs的推理和总结能力（Laban等人，2023年），基于RAG的模型可以有效应对第二个挑战。因此，在这项研究中，我们开发了一个名为ROQuA的基于RAG的框架，用于电子商务评论的意见QA。然而，这种方法引入了一个新的挑战：LLMs中的幻觉现象，即模型生成的文本在事实上是不正确的、不相关的或无意义的，即使它看起来是合理的。因此，基于RAG的意见QA必须解决两个关键问题：检索相关评论和生成没有幻觉的准确意见。

为了解决这些挑战，ROQuA结合了一组技术，包括评论丰富、问题重写和三阶段提示策略。当用户提交问题时，使用LLM提取其中隐藏的实体和主题。然后使用提取的实体检索包含匹配术语的评论。此外，根据评论与识别主题的相关性对评论进行排名。如果检索到的评论数量很多，通过聚类操作按主题对它们进行分组并过滤掉不相关的内容。进一步使用LLM评估所选评论与问题的相关性后，将最终选定的评论集发送给LLM进行意见总结。

ROQuA通过搜索、排名、过滤和评估的逐步过程仔细选择与问题相关的评论。这使得LLM能够准确总结意见，同时最小化幻觉现象。

此外，与依赖大量人力和物力的标记数据的有监督学习方法不同，ROQuA利用无监督学习来规避这一限制。

本研究的主要贡献是开发了ROQuA，这是一个专门为应对电子商务评论意见问答挑战而设计的基于RAG的框架。

部分片段

意见问答

在自然语言处理中，QA系统通常被分为开放领域或领域特定型。开放领域QA系统，如ChatGPT，通常无法回答关于其大型训练语料库中未包含的非常具体、专有或新颖的数据的问题；例如，本文收集的电子商务评论。

然而，领域特定型QA系统可以根据它们处理的问题类型分为两个子类别：（i）事实性问题，

问题定义和研究目标

在本文中，我们使用“问题”一词指用户提交给ROQuA的输入，使用“查询”一词指传递给ROQuA检索模块以搜索相关评论的处理后的输入。

本文中使用的符号在表2中进行了总结。

为了清楚地描述我们的任务，我们将研究问题形式化为如下。

定义1

（意见QA）：给定一个问题$s$

和一组评论$R$，意见QA系统从中检索出一组与$s$相关的评论。然后它用自然语言总结这些评论中表达的意见，形成最终答案。如果无法生成有效答案，系统将输出字符串“无答案。”

本研究的目标是设计一个基于RAG的意见QA框架，能够生成准确、连贯和可靠的意见摘要

方法论

如第1节所讨论的，将RAG应用于意见QA涉及两个核心挑战：（1）检索与用户问题相关的评论；（2）以最小化幻觉的方式总结意见。实际上，如果能够准确检索到相关评论，LLMs中的幻觉现象可以显著减少。

因此，我们开发了一个基于RAG的意见QA系统，名为ROQuA，如图2所示。该图还提供了ROQuA如何运行的示例。ROQuA的目标是

实验

本节从四个角度对提出的框架ROQuA进行了全面评估：

•

ROQuA在意见QA任务中能否胜过现有最先进的模型？

•

ROQuA中引入的技术是否显著提高了意见QA的性能？

•

由于LLMs中的幻觉可能导致不正确或误导性的输出，ROQuA能否有效缓解这个问题？

•

本研究提出了一种新的指标来评估生成意见的质量。这种指标的可靠性如何

理论意义

据我们所知，ROQuA是第一个基于RAG的意见QA框架。它旨在通过利用LLMs的推理和总结能力，从评论中生成准确的意见。ROQuA整合了几项创新技术，包括评论丰富、问题重写和三阶段提示策略，以提高生成意见的准确性和可靠性，同时减少幻觉现象。实验结果

案例研究

为了展示ROQuA的能力，我们开发了一个演示平台，网址为http://roqua.cpolar.cn/。该网站的网页截图显示在图5中。该网站允许用户探索两个数据集（抖音和Yelp）的意见问答。首页显示了每个数据集的词云，提供了频繁出现术语的可视化表示。在专门的QA页面上，左侧面板列出了实体及其出现频率

结论

与传统的意见挖掘相比，意见QA提供了一种更有效和方便的方法，用于从电子商务评论中提取见解。然而，这项任务面临两个关键挑战：检索相关评论和准确总结意见。为了解决这些挑战，我们提出了ROQuA，一个利用LLMs的推理和总结能力的意见QA框架。基于RAG范式，ROQuA整合了几项创新技术，包括评论

CRediT作者贡献声明

周胜凯：验证、方法论。邱江涛：方法论、概念化。林玲：写作——审阅与编辑、数据整理。王思宇：写作——审阅与编辑、验证、监督。徐云：写作——审阅与编辑、验证。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作得到了重庆工程大数据智能应用研究中心（编号2025KFKT-005）的支持。