是什么让一篇评论具有帮助性？电子商务中的多模态预测模型

《Electronic Commerce Research and Applications》：What makes a review helpful? A multimodal prediction model in e-commerce

多模态评论有用性预测模型MCHPM通过整合文本语义、视觉特征及浅层属性（如可读性、图像质量），结合BERT和VGG-16提取深层信息，利用Python提取浅层特征，构建协同注意力机制和门控多模态单元动态加权各模态，在亚马逊真实数据集上验证优于现有基准模型，证实浅层特征与深层语义协同提升预测精度的理论价值。

　　

Heena Lim|Seonu Park|Qinglong Li|Xinzhe Li|Jaekyeong Kim

韩国首尔02447京熙大学大数据分析系

摘要

电子商务的迅速发展使得在线评论成为消费者决策的关键因素。然而，评论数量的庞大和质量的不一致性使得有价值信息的识别变得极为复杂。因此，基于机器学习和深度学习的评论有用性预测（RHP）成为应对这些挑战的强大方法。虽然单模态RHP方法主要分析文本内容，但多模态方法通过整合文本和视觉内容来提高预测准确性。尽管有这些优势，现有模型往往忽略了诸如评论可读性和图像质量等对消费者评价至关重要的浅层特征。为了提供一个更全面的RHP框架，我们提出了一种基于详细可能性模型的多模态线索有用性预测模型（MCHPM）。MCHPM使用来自Transformer（BERT）和VGG-16的双向编码器表示来提取核心线索（文本和图像的语义内容），而基于Python的特征提取技术则捕捉边缘线索（例如文本可读性和图像质量）。最后，共注意力机制用于识别线索之间的依赖性，门控多模态单元（GMU）在预测过程中有效权衡各种模态。在真实的亚马逊评论数据集上的实证评估表明，所提出的MCHPM优于现有基准模型，从而验证了将浅层特征纳入多模态RHP研究的重要性。总体而言，这些发现为提升RHP效果和确保消费者在电子商务中做出更明智的决策提供了宝贵的见解。

引言

电子商务的快速发展将在线购物变成了现代生活的重要组成部分。与消费者可以直接体验产品的线下购物不同，在线购物严重依赖评论作为关键信息来源（Fresneda和Gefen，2019）。然而，评论数量的庞大和质量的不一致性使得关键信息的识别变得复杂（Bilal和Almazroi，2023）。为了解决这一瓶颈，引入了评论有用性投票系统来识别有价值的评论。然而，这些系统存在结构限制或偏见，例如“早鸟”效应，即较旧的评论获得了更多投票，从而掩盖了可能更相关的最新评论，使其无法获得足够的关注。这种现象加剧了显眼评论和不太显眼评论之间的可见性差距，导致了马太效应（Saumya等人，2023）。这种消费者决策的扭曲突显了评论有用性预测（RHP）的重要性，以自动识别有价值的内容并支持更明智的购买决策。

RHP研究根据其方法大致分为两类：单模态RHP和多模态RHP。单模态RHP依赖于机器学习（ML）或深度学习（DL）模型，分析单一来源的特征，如评论文本、评论者信息、产品属性和评分。研究表明，这些单独因素显著影响感知到的有用性（Krishnamoorthy，2015；Liu等人，2008；Malik，2020；Singh等人，2017）。然而，基于ML的研究严重依赖于手工制作的特征，从而限制了它们捕捉评论中嵌入的深层语义信息的能力（Ren等人，2024）。相反，DL方法通过结合嵌入技术和神经网络从文本内容中提取语义特征来克服这一限制（Bilal和Almazroi，2023；Li等人，2024；Mitra和Jenamani，2021；Saumya等人，2023）。

此外，智能手机的广泛使用使消费者能够越来越多地通过图像分享他们的体验和意见。这一趋势推动了对多模态RHP（MRHP）的兴趣增加，MRHP整合了文本和图像数据（Ma等人，2018；Xiao等人，2022）。这种多模态方法通过将详细的文本信息与生动的视觉数据结合起来来提升RHP效果（Luo等人，2024）。例如，Huang等人（2019）提出了一个结合两种模态的预测模型。Ren等人（2024）开发了一个整合两种模态的RHP模型以提高模型的可解释性。尽管现有研究主要探索了深层语义和视觉特征，但它们常常忽略了诸如评论可读性和图像质量等影响消费者评价准备的浅层特征（Petty，1986）。

基于详细可能性模型（ELM）的理论框架，我们提出了一种基于多模态线索的有用性预测模型（MCHPM），以更真实地表示消费者-评论-评价过程。ELM认为消费者通过两种不同的机制来评估信息：核心线索（评论内容）和边缘线索（文本可读性、图像质量等）（Petty，1986）。基于这一基础，MCHPM提取影响有用性评价的各种评论线索，并将其作为RHP的输入。该模型通过整合这些消费者行为过程，更有效地反映了自然的人类认知过程（Wei等人，2025）。

为了实施这一框架，MCHPM使用来自Transformer（BERT）和视觉几何组（VGG-16）模型的双向编码器表示来提取核心线索。此外，通过Python库中的专门特征提取技术捕获边缘线索，包括语言文本特征和图像质量属性。另外，共注意力机制用于捕捉线索之间的依赖性，门控多模态单元（GMU）在预测过程中模拟各种模态的相对重要性。来自真实亚马逊评论数据的实验结果证实，MCHPM优于现有基准模型，验证了将浅层特征与深层语义线索结合到MRHP研究中的有效性。本研究的主要贡献如下：•

据我们所知，这是首批系统地在RHP背景下采用ELM的研究之一，旨在弥合现有理论研究和预测建模之间的差距。我们使用预训练模型提取的深层信息作为核心线索，并使用从评论中手动提取的浅层特征作为边缘线索。

•

为了捕捉线索之间的相互作用以及不同模态之间的相互作用，我们采用了一种先进的特点融合方法。具体来说，使用共注意力机制来学习线索之间的依赖性，并使用GMU来模拟每种模态的动态重要性。

•

我们的MCHPM通过使用真实的亚马逊评论数据进行广泛的实证研究进行了评估。实验结果证实，该模型的性能优于现有基准模型，并表明每个线索在预测过程中都具有动态重要性。

本文的其余部分组织如下：第2节讨论相关研究，第3节描述MCHPM架构，第4节描述数据集和实验设计，第5节展示结果和分析，第6节总结研究并提出未来研究的方向。

节选

评论有用性预测

电子商务的扩展使得在线评论成为关键的信息来源。然而，评论数量的指数级增长加剧了RHP研究的热情。根据所采用的方法，RHP研究大致分为单模态和多模态方法，前者主要利用DL模型对评论文本进行编码，并学习语义和序列模式以进行RHP。例如，Saumya等人（2020）提出了一个卷积神经网络（CNN）模型

概述

最近的MRHP研究越来越重视文本-图像的整合，这得益于发现评论图像的视觉特征显著提高了有用性预测的效果。尽管这些MRHP研究展示了文本-图像交互的影响，但它们主要探索了深度文本和图像特征或跨模态语义交互，而往往忽略了浅层属性的作用。然而，ELM认为消费者通过整合核心线索来评估评论的有用性

数据集

为了评估所提出的MCHPM的性能，我们使用了来自Amazon.com的数据集，这是世界上最大的电子商务平台（Hou等人，2024）。该数据集包含57.154亿条在线评论及相关元数据，涵盖1996年5月至2023年9月的纵向时间段。从MRHP数据集中选择了评论文本、图像和有用性投票。此外，为了提高实验结果的应用性，我们还选择了评论数据

RHP模型的性能比较

在本节中，我们将所提出的MCHPM的性能与一系列现有的基准模型进行了比较，以展示其预测优势。这些基准模型分为仅使用评论文本的单模态RHP模型和整合文本和图像的多模态RHP模型。如表6所示，所提出的MCHPM在所有数据集中都优于所有基准模型。具体而言，MCHPM分别实现了3.864%、4.061%、2.172%和6.349%的改进

理论意义

本研究为RHP领域做出了重要的理论贡献。首先，它提出了一个整合文本和视觉数据的多模态框架来预测有用性。虽然之前的RHP研究主要探索了评论文本的语义特征，而往往忽视了视觉信息或将其视为次要属性，但我们整合了文本语义和视觉特征，展示了它们互补交互对预测效果的增强作用

CRediT作者贡献声明

Heena Lim：撰写——原始草稿、软件、方法论、调查、概念化。Seonu Park：撰写——审阅与编辑、方法论、调查、数据管理。Qinglong Li：撰写——审阅与编辑、验证、项目管理、概念化。Xinzhe Li：验证、软件、资源、方法论、数据管理。Jaekyeong Kim：撰写——审阅与编辑、验证、监督、项目管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。