《IEEE Transactions on Big Data》：Numerical Constraint-Aware Dense Retrieval with Two-Phase Contrastive Learning
编辑推荐：
为解决现有RVA（Retrieval-Augmented Generation，检索增强生成）系统中稠密检索器对数值约束（如“年龄>30岁”）处理能力不足的问题，研究人员开展了“数值约束感知稠密检索与两阶段对比学习”的主题研究。他们构建了多领域基准数据集NumConQ，并提出了NC-Retriever方法。该方法通过融入渐进式硬负样本的两阶段对比学习框架与混合数值表征方案，显著提升了检索器对数值约束的敏感性，在召回率@10和精确率@10上相较于最优基线获得了65.84%和78.28%的相对提升，显著增强了RAG在知识密集型任务中的准确性。
在人工智能蓬勃发展的今天，大型语言模型（LLMs）展现了惊人的语言理解和生成能力。然而，这些模型也饱受“幻觉”问题的困扰——它们有时会自信地生成与事实不符或缺乏依据的信息。为了解决这一难题，检索增强生成（RAG， Retrieval-Augmented Generation）技术应运而生，它通过让模型在回答前先从外部知识库中检索相关信息，将知识源与强大的生成能力相结合，从而大大提高了回答的事实准确性。如今，RAG已成为处理知识密集型任务的主流范式。
然而，现实世界中的查询往往并非简单的语义问题。特别是在医疗、金融、教育等领域，用户的查询中常常包含精确的数值过滤条件。例如，“查找收入低于1000万美元的公司”、“推荐2020年后上映的科幻电影”或“寻找年龄超过65岁且收缩压高于140mmHg的患者”。这些“数值约束”是传统语义搜索引擎和早期RAG系统中的稠密检索器面临的重大挑战。现有的顶级稠密检索器，如BGE-M3，在面对这类查询时显得力不从心。文档分析显示，当查询要求“平均薪资低于6,183,974美元”时，BGE-M3竟然会检索出薪资为6,650,000美元（超出阈值7.54%）乃至10,710,000美元（超出阈值73.19%）的文档。这表明，当前的模型更像是一个“语义相似度测量仪”，而非一个懂得进行精确数值比较的“智能过滤器”。
为了系统性探究并解决这一问题，一个研究团队在《IEEE Transactions on Big Data》上发表了一项重要研究。他们敏锐地指出了现有稠密检索器的三大关键局限：第一，对多位数数字的分词（Tokenization）不一致；第二，注意力机制偏向于文本特征，忽视了数值信息；第三，缺乏针对数值约束感知的训练目标。为了对症下药，研究人员构建了一个名为NumConQ的全新多领域基准数据集，涵盖了医疗、金融、教育、体育和电影五个领域，包含超过6500个带数值约束的查询和5300余个自然语言描述的文档，为后续研究提供了坚实的实验基础。基于此，他们提出了一种创新的“数值约束感知检索器（NC-Retriever）”。
NC-Retriever的核心贡献体现在两大方面：一个创新的两阶段对比学习框架，以及一种混合数值表征方案。
论文中描述，研究人员主要运用了以下关键技术方法：首先，他们设计了渐进式两阶段对比学习框架，初期使用批内负采样（in-batch negative sampling）让模型掌握通用语义，中后期再渐进式引入通过修改查询中数值生成的硬负样本（hard negatives），迫使模型学习辨别细微的数值差异。其次，针对高位数数字分词不一致的问题，他们提出了一种混合数值表征方法：对于低于阈值（如3000）的小数字，保留其原始数字形式；对于高于阈值的大数字，则将其转换为英文单词表述（如将“5564”转为“five thousand five hundred sixty-four”），以保证分词的一致性并保留数值的位数信息。研究还使用了基于规则的匹配方法来确定查询-文档的相关性，并采用了余弦相似度来计算查询与文档嵌入向量之间的相关性。
研究团队通过详尽的实验，得出了以下关键结果：
- •
实验分析揭示现有模型的短板：研究人员在奥运会数据集上进行了对比实验。结果表明，稠密检索器（如Contriever）对于“身高”、“体重”、“年龄”等数值约束的匹配一致性得分平均仅为16.3%，远低于对“性别”、“国家”、“项目”等非数值约束的平均得分73.64%。这清晰地证明了现有模型在数值约束处理上的巨大缺陷。
- •
评估模型在NumConQ上的综合表现：在全面的NumConQ基准测试中，即使是表现最好的基线模型BGE-M3，其召回率@10（Recall@10）和精确率@10（Precision@10）也分别仅为40.37%和10.45%。实验还发现，模型在处理1-4位数的查询时表现相对较好，但对于更高位数的数字，性能显著下降，这主要归因于高位数数字被分词器切分成多个不规律的子词，破坏了数值的完整性和位置信息。此外，模型在“大于”、“小于”或“范围”查询上的精确度高于严格的“等于”查询，因为前者与稠密嵌入的近似匹配特性更为契合。
- •
NC-Retriever取得显著性能提升：NC-Retriever的表现全面超越了所有基线模型。与微调后的Contriever基线相比，其在召回率@10和精确率@10上分别取得了38.73%和57.48%的相对提升。与最先进的零样本检索器BGE-M3相比，提升幅度更为惊人，分别达到了65.84%和78.28%的相对提升。
- •
消融实验验证方法有效性：研究表明，混合数值表征方法在整体性能上优于纯数字表征或纯单词表征，尤其是在处理高位数数字时优势明显。同时，将硬负样本的引入时机设定在训练总步数的70%时效果最佳，过早引入会导致模型混淆，过晚或不引入则无法充分学习数值的细微差异。
- •
探究模型的泛化能力与表征变化：研究还探讨了模型对未见数值约束的泛化能力。虽然所有模型在“未见”约束上的绝对性能都有所下降，但NC-Retriever依然保持了相对优势。此外，通过对纯数值约束查询-文档对的相似度矩阵进行可视化分析（论文中的热图），发现经过微调的模型在“等于”查询上，对数值接近的文档能表现出更高的语义相似性，但在“大于”、“小于”等比较逻辑的捕获上仍存在局限，难以完全区分数值接近性与比较逻辑。
论文在结论与讨论部分总结了研究的核心发现与意义。这项研究系统性地揭示了当前RAG系统中稠密检索器在应对数值约束查询时的严重不足，并通过构建基准数据集和提出NC-Retriever方法，为解决这一痛点提供了有效的技术路径。NC-Retriever所采用的两阶段对比学习与混合数值表征策略，显著提升了模型对数值信息的敏感度和理解精度，使得RAG系统在金融分析、医疗记录查询、学术研究等需要精确数据过滤的场景中具有更强的实用性和可靠性。这标志着在提升大模型应用的事实准确性和专业性方面迈出了坚实的一步。
同时，作者也指出了研究的局限性，例如未对需要多步数值推理的复合查询进行充分测试，以及过度强调数值精度可能削弱模型的通用语义覆盖能力。这些方向为未来的研究提供了有价值的切入点，以期进一步推动智能检索技术在复杂、真实环境中的应用与发展。
