《Computer Speech & Language》：Sentence representations for semantic textual similarity: A systematic review
编辑推荐：
这篇综述系统性回顾了2018年至2025年期间关于生成句子表示以用于语义文本相似性（STS）任务的最新研究。文章通过构建一个分类法来组织该任务，分析了各种方法的模型架构、训练数据集和评估指标，总结了当前最优（SOTA）方法，并提出了针对句子级STS任务选择模型和方法的实用指南，为自然语言处理（NLP）领域的研究和应用提供了全面参考。
在自然语言处理（NLP）的广阔天地里，让计算机理解人类语言的细微差别一直是个核心挑战。其中，衡量两段文本在含义上的相近程度——即语义文本相似度（Semantic Textual Similarity, STS），是许多高级任务如机器翻译、问答系统和信息检索的基石。而要实现精准的语义相似度计算，第一步便是将抽象的句子或文本转化为计算机能够处理的数值形式，即生成富含语义信息的句子表示。近期，一篇系统性的综述文章为我们梳理了这项任务的最新进展与全貌。
文本表示与语义相似度
要处理自然语言，我们首先需要一种能捕获文本关键特征的表示方法。多年来，人们提出了在不同粒度（如词、短语、句子、文档）上表示文本的方法。最基本的方法之一是词袋模型，它将文档转换为一个稀疏的整数向量，记录每个词的出现次数。其进阶版TF-IDF（词频-逆文档频率）则进一步考虑了词语在整个文档集合中的重要性，通过权重来反映特定词语对文档的代表性。然而，这些方法仅关注词汇的共现，无法处理词序变化导致语义相反（如“Lucas学习生物，而非地理”与“Lucas学习地理，而非生物”）或词汇不同但含义相同（如“今天会下雨”与“全天预计有阵雨”）的情况。
近年来，基于神经网络的方法通过学习词语间的上下文关系，能够生成同时保留句法和语义信息的分布式表示。例如，Mikolov等人提出的CBOW（连续词袋）和Skip-Gram模型，通过预测目标词的上下文或根据当前词预测上下文词来训练词向量。这些词向量构成了更丰富文本表示的基础。
真正的变革来自于Transformer架构的提出。其核心的注意力机制允许模型捕捉句子中词语之间的长远依赖关系。以此为基础，BERT（来自Transformer的双向编码器表示）及其后续变体（如RoBERTa、ALBERT）通过在海量文本上的预训练，能够生成根据上下文动态变化的词表示，从而有效区分一词多义（如“bank”可指“银行”或“河岸”）。这些模型通常作为强大的句子编码器，为下游的STS任务提供高质量的句子表示。
一旦句子被转化为高维空间中的向量（即句子嵌入），衡量其语义相似度就变成了计算向量间的距离。最常用的度量包括余弦相似度（计算两个向量夹角的余弦值，结果在-1到1之间）、曼哈顿距离（计算向量各维度绝对差之和）和欧几里得距离（计算向量间的直线距离）。在评估模型性能时，研究者通常将模型预测的相似度分数与人工标注的“黄金标准”分数进行比较，使用皮尔逊相关系数（衡量线性相关）和斯皮尔曼等级相关系数（衡量等级相关）作为主要评价指标。
研究方法论
该综述采用了系统文献综述的方法，旨在全面调查截至2025年2月关于句子表示用于STS任务的文献。研究团队制定了严格的协议，首先在ACL Anthology、ACM Digital Library、IEEE Xplore和Scopus等权威数据库中进行检索，初始获得1708篇文献。经过剔除重复、筛选标题摘要、全文精读及质量评估（包括检查是否明确定义问题、使用合适数据集、与现有工作对比等）三轮筛选，最终纳入了122篇高质量研究进行深入分析。
数据分析与指南
通过对入选文献的梳理，综述揭示了该领域的发展趋势。2018年后，基于Transformer和BERT的模型迅速成为主流，在各类STS评测数据集上取得了最先进的性能。研究团队从这些文献中提取了模型架构、训练数据、评估指标等关键信息，并进行了交叉分析。
基于分析结果，文章提出了一个实用的任务指南，为研究人员和应用开发者选择合适的句子表示和相似度计算方法提供了决策路径。该指南建议，首先应根据任务的具体需求（如对计算资源的要求、对语义捕捉深度的要求）来选择模型类型。对于追求最佳性能且资源充足的场景，基于大型Transformer的模型是首选；而对于需要快速计算或资源受限的场景，则可以考虑更轻量级的模型或经典的词向量组合方法（如对词向量取平均）。其次，相似度度量方法的选择也需考虑，余弦相似度因其对向量幅度的不敏感性，在文本相似度计算中最为常用。
结论与展望
这篇系统性综述清晰地勾勒出句子表示用于语义文本相似度任务的发展脉络。从早期的词袋模型，到神经网络词向量，再到如今占据主导地位的基于Transformer的上下文感知模型，技术的演进不断推动着语义理解能力的边界。分析表明，当前的最优方法普遍依赖于在大规模语料上预训练的深度双向Transformer模型。
然而，挑战依然存在。例如，如何让模型更好地理解长文档、处理领域特定术语、以及降低大规模模型的计算开销，都是未来值得探索的方向。此外，如何将语义相似度技术更有效地应用于具体的生命科学或健康医学信息处理场景（例如，比对临床指南文本、挖掘文献中的疾病-基因关联、评估患者主诉与诊断代码的语义匹配度），需要进一步的跨学科研究和领域适配。本综述提供的分类法、数据分析和实用指南，旨在为后续研究奠定基础，助力自然语言处理技术在追求更精准、更高效的语义理解道路上继续前行。
