人工智能生成的内容如何重塑用户生成的内容？来自TripAdvisor的一项实证研究

《Decision Support Systems》：How does artificial intelligence-generated content reshape user-generated content? An empirical study from TripAdvisor

用户生成内容受AI摘要影响呈现双刃剑效应，差分分析显示高评分低星级酒店评论量降幅达40%，伴随评论长度增加18%和评分下降0.3分，内容主题转向具体体验，揭示AI工具在提升信息获取效率的同时削弱UGC生态多样性。

　　

李子东 | 邦英硕

韩国首尔西大门区延世路50号延世大学商学院，邮编03722

摘要

生成式人工智能（Generative AI）彻底改变了数字生态系统中的内容创作方式，但其对用户生成内容（UGC）的更广泛影响仍需进一步探索。为填补这一研究空白，我们研究了TripAdvisor引入的AI生成内容（AIGC）摘要功能，并探讨了该功能如何影响用户评论行为。基于在线评论写作动机的分类框架，我们认为AIGC满足了用户分享体验的多种动机，从而降低了他们创作新内容的积极性。通过针对新加坡酒店评论的自然实验，我们的差异-in-differences分析发现，在AIGC功能实施后，整体评论数量显著下降，其中高评分评论的下降幅度尤为明显。这种效应在低星级酒店中比在高星级酒店中更为显著。我们还观察到，用户在使用AIGC后撰写的评论长度更长，评分略低。我们的结构化主题建模也显示评论内容从泛化主题向具体主题发生了显著转变。这些发现表明生成式人工智能如何重塑UGC的动态，并为希望利用人工智能创新同时保持用户反馈真实性和多样性的平台管理者提供了实际参考。

引言

在数字时代，用户生成内容（UGC）已成为塑造消费者行为和决策的关键力量。对于酒店等体验型服务而言，这一影响尤为显著，大约81%的旅行者在预订住宿前会阅读评论[1]。像TripAdvisor这样的平台在此过程中发挥着重要作用，使用户能够获取和提供信息，从而影响集体认知和旅行体验。

生成式人工智能（Gen-AI）的快速发展为这一生态系统带来了新的动态。Gen-AI技术已经改变了多个行业的内容创作、情感分析和摘要生成方式。然而，我们仍缺乏对Gen-AI如何在参与式数字环境中影响人类行为的深入理解。随着Gen-AI在在线平台中的日益普及，跨不同情境的严格实证研究对于全面了解其对用户参与度、内容创作和社会互动的多方面影响至关重要。

2023年10月，TripAdvisor推出了一项基于AI的功能，能够自动生成用户评论的摘要，为旅行者提供简洁的酒店概览[2]。这一创新为我们探索AI生成内容（AIGC）对UGC的影响提供了独特的机会。基于现有的评论写作动机分类框架，我们提出了AIGC可能如何重塑个人评论写作动机的理论预测。随后，我们利用TripAdvisor上新加坡酒店在AI摘要功能实施前后的用户评论数据，采用了差异-in-differences方法进行实证分析。这种方法使我们能够准确评估AIGC的影响并提供有力的实证证据。具体而言，本研究探讨了以下研究问题：1）AIGC如何改变个人对评论的参与度？2）AIGC如何改变酒店评论的性质和内容？3）AIGC如何影响满意度评分？

理解AIGC与人类生成内容之间的互动至关重要。随着AI技术越来越深入地融入在线平台，评估这些工具如何改变用户行为和更广泛的内容生态系统变得十分必要。此类分析的见解不仅有助于平台管理者和政策制定者识别潜在的负面影响（如用户参与度下降和内容质量变化），还能加深我们对人类生成内容与AI生成内容之间相互作用的理解。鉴于最近的研究预测表明，AI生成的内容最终可能占所有在线内容的很大比例，这一点尤为重要。通过研究TripAdvisor的AI摘要功能，本研究为数字平台如何利用AI提升用户体验同时保护用户反馈的真实性与多样性提供了新的认识。我们重点关注三个与评论相关的指标：评论数量、长度和评分，这些指标在理论和实践上都被认为是非常重要的。评论数量和长度反映了用户的整体参与度，而评分则体现了用户评价的维度。这些指标的实际意义也非常明显，因为平台通常会定期监测并报告这些数据作为反映用户行为的关键绩效指标。由于这些指标的理论和实践重要性，以往的研究在探讨平台级变化的影响时也主要关注了这些变量[3]、[4]、[5]、[6]。

我们的研究发现，TripAdvisor采用AI生成摘要后，用户生成的酒店评论数量显著减少，其中高评分评论和低星级酒店的降幅最为明显。同时，继续发表评论的用户更倾向于撰写更长且评价更中立的评论，这表明AIGC对UGC产生了双重影响：一方面使信息更易于获取，可能激励剩余用户提供更详细的反馈；另一方面则可能抑制用户参与度并影响整体情感倾向。这些复杂现象凸显了在评论平台上设计和管理AI功能的必要性，管理者需要在高效总结信息与保持用户体验的丰富性、真实性和多样性之间找到平衡。通过揭示这些动态，本研究为数字生态系统中的未来技术发展提供了理论和实践上的启示。

相关文献

相关文献主要分为两个方向：（1）关于Gen-AI影响的研究；（2）关于UGC的研究。尽管这两个领域都有大量研究，但Gen-AI与UGC的交叉研究，尤其是在在线评论平台的背景下，仍较为缺乏。

假设构建

我们提出了一组假设，以探讨AIGC在在线酒店评论背景下对UGC的多方面影响。基于Yoo和Gretzel（2008）[27]提出的在线评论写作动机分类框架，我们认为AIGC可能满足或削弱用户的内容创作动机，从而影响他们提交评论的意愿。该分类框架包括诸如“享受动机”（从评论行为中获得乐趣或满足感）等动机。

样本构建

TripAdvisor是一个领先的在线旅行平台，提供全球酒店的用户生成评论。2023年10月23日，TripAdvisor推出了一项基于AI的功能，可以自动总结酒店评论，在每个酒店的评论页面顶部显示简洁的概览。该功能会自动应用于评论数量达到一定规模的酒店，而非通过平台人工选择。

我们收集了相关酒店评论数据。

实证策略

我们采用年度差异-in-differences（DID）方法[29]来评估AIGC对在线酒店评论中用户生成内容的因果影响。评估平台级干预措施的一个基本挑战是可能违反“稳定单元处理值假设”（SUTVA），即一个单元的处理状态不应影响其他单元的潜在结果。在我们的研究中，由于AIGC从根本上改变了信息环境，因此可能存在SUTVA的违反情况。

讨论与结论

本研究探讨了AIGC对在线评论平台中UGC的影响，填补了现有研究中的重要空白。通过分析AI生成评论摘要的引入方式，本研究提供了关于生成式人工智能如何改变用户参与度、内容创作努力和社区情感的实证证据。

本研究在多个方面对学术界做出了贡献。首先，它扩展了关于在线评论的研究，展示了AI生成摘要如何影响用户行为。

CRediT作者贡献声明

李子东：负责撰写初稿、软件开发、方法论设计、数据分析、概念构建。邦英硕：负责撰写评论与编辑、项目监督、数据管理及概念构建。

利益冲突声明

作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。

致谢

作者感谢副主编和两位匿名审稿人的建设性建议和宝贵指导。本研究基于第一作者的博士论文完成。本研究得到了延世大学研究基金的资助。

李子东是延世大学商学院的博士候选人，她的研究兴趣包括信息系统经济学和在线用户行为，特别关注新兴技术如何塑造数字互动和市场动态。她的当前研究探讨了人工智能的变革性影响，包括其经济和政策意义，以及其对消费者行为和决策过程的影响。