《Array》：DAPFAM: A Domain-Aware Family-level Dataset to benchmark cross domain patent retrieval
编辑推荐：
为了解决现有专利检索基准缺乏明确的领域划分、难以评估系统处理跨领域检索难题的问题，研究人员开展了“DAPFAM”（一个领域感知的族级专利检索基准）的研究。该研究通过新的IPC3重叠方案，构建了包含明确IN-domain和OUT-domain划分的数据集，并进行了249项实验。结果表明，所有系统在OUT-domain下的性能始终比IN-domain低约五倍，揭示出跨领域检索的根本性挑战。这项工作为开发更稳健的专利检索系统提供了可复现、计算感知的测试平台。
随着现代创新越来越超越传统技术边界，专利审查员和发明人经常需要发现跨越不同技术领域的相关现有技术，这被称为“跨领域专利检索”或“专利现有技术检索”。然而，现有技术的发现面临着巨大挑战，因为一个医疗设备可能融合软件算法、机械部件和电信协议，而一个药物化合物可能依赖于化学工程中的新型制造工艺。更棘手的是，当前主流的专利检索数据集和评估基准，如CLEF-IP、TREC专利赛道、MAREC和BigPatent，都有一个共同的核心局限：它们缺乏明确的“领域”划分机制。大多数数据集没有系统地根据国际专利分类(International Patent Classification, IPC)或合作专利分类(Cooperative Patent Classification, CPC)来区分查询专利和目标专利是否属于同一技术领域，这使得研究者难以精确评估不同检索系统在面对“领域漂移”时的表现。简而言之，我们缺少一个能够系统性地衡量和比较“跨领域检索”难度的“标尺”。传统检索系统通常针对同领域匹配进行优化，可能会因为词汇鸿沟、技术术语分歧以及不同技术领域间文档结构的差异，而错失这些跨领域的关联。
为了填补这一空白，来自法国斯特拉斯堡INSA大学ICUBE实验室的研究团队开展了一项研究，他们构建并系统性评估了一个名为“DAPFAM”的新基准数据集。这项研究的核心目标是为跨领域专利检索提供一个可复现、计算感知的测试平台，从而推动开发出更稳健的专利信息检索系统。相关研究成果发表在《Array》期刊上。
为了构建和评估这一基准，研究人员主要运用了以下几个关键技术方法：首先，他们从全球多司法管辖区的专利数据源Lens.org收集了原始专利数据。其次，他们设计并实施了一套三阶段（青铜、白银、黄金层）的“勋章架构”数据处理流程，对数据进行清洗、过滤，并在专利族层面进行聚合以消除国际冗余。接着，他们提出了一种基于IPC分类码前三个字符（IPC3）重叠的方案，为每个查询-目标专利对分配了明确的“同领域”或“跨领域”标签。最后，他们使用了两种检索后端进行广泛实验：基于词汇匹配的BM25算法和基于深度学习的Transformer模型（使用Snowflake/snowflake-arctic-embed-m-v2.0编码器），并比较了文档级和段落级检索、不同查询表示、多种段落聚合策略以及通过相互排序融合(Reciprocal Rank Fusion, RRF)进行的混合融合。
研究结果详细揭示了跨领域检索的挑战和现有技术的表现边界。在构建DAPFAM数据集方面，研究最终构建的数据集包含1，247个查询专利族和45,336个目标专利族，通过基于引用的相关性判断进行标记。关键的创新在于系统性地基于IPC3重叠定义了IN-domain（共享至少一个IPC3码）和OUT-domain（不共享任何IPC3码）的分区，使得直接测量跨领域检索难度成为可能。数据集在技术领域、时间和司法管辖区分布上达到了广泛的覆盖和平衡。
后端与粒度分析显示，在所有配置下，跨领域检索都存在巨大的性能差距。密集检索(neural)结合段落级检索在整体(ALL)和同领域(IN)子集上表现最佳，NDCG@100分别达到0.3381和0.3839。然而，在跨领域(OUT)情景下，所有方法的性能都大幅下降，密集方法的优势几乎消失，其性能仅比词汇方法(BM25)高出微乎其微的幅度。值得注意的是，OUT-domain的性能在所有配置中始终比IN-domain低大约五倍，突显了领域迁移的根本性挑战。
查询表示有效性分析表明，“标题+摘要+权利要求书”(Title+Abstract+Claims)这种查询字段组合在ALL、IN和OUT所有评估子集上均能取得最优的NDCG@100性能，其次是“标题+摘要”，而仅使用“标题”或“关键词”则表现欠佳，这为实际专利检索系统的查询构建提供了明确指导。
段落长度影响揭示了不同后端对最佳段落长度的偏好差异。密集方法在1024至2048个令牌(token)的段落长度范围内达到峰值性能，而BM25则受益于更长的段落（4096至8192个令牌），性能呈单调提升直至平台期。这表明为不同后端选择适配的段落长度对优化效果至关重要。
段落聚合策略的分析显示，密集方法和BM25方法对最佳聚合策略的选择不同。对于密集方法，在IN-domain场景下，平均前三得分(avg_top3)策略表现最佳；而在更具挑战性的OUT-domain场景下，最高分(maxP)策略则更有效。BM25方法则始终如一地在所有评估子集中选择maxP策略。
有效性-效率权衡表明，文档级方法（无论是BM25还是密集检索）具有最快的执行速度（小于50秒），但效果适中。段落级方法能达到更高的检索效果，但代价是显著增加的计算成本（100-400秒）。这为系统部署时的资源权衡提供了依据。
RRF混合融合（最佳总体） 实验证明，使用相互排序融合(RRF)将BM25和密集检索后端进行混合，能够持续带来效果提升。在最佳参数(K=30)下，混合方法在ALL子集上的NDCG@100达到0.3475，优于最好的单一后端（密集-段落：0.3381），实现了+0.0094的增益。类似的提升也出现在IN和OUT子集上，表明两种后端捕获了互补的相关性信号。
仅文档级混合融合提供了更大的效果提升，同时保持了卓越的计算效率。文档级混合融合(K=60)在ALL子集上的NDCG@100达到0.3324，比最好的单一文档级方法（密集-文档：0.3055）高出+0.0269，其增益幅度是段落级混合融合的近三倍。这使其成为资源受限环境下的一个极具吸引力的部署策略。
跨领域挑战被定量地揭示出来。OUT-domain性能相对于ALL子集性能的比率显示，BM25-段落保持了20.1%的相对性能，而密集-段落则下降到17.5%。文档级方法也显示出类似模式。这种普遍的、严重的性能下降突显了跨领域检索是当前方法面临的一个根本性挑战，密集学习方法受到的冲击尤为明显。
研究的结论和讨论部分强调了本工作的核心贡献与重要意义。首先，DAPFAM是第一个在专利族层面提供明确的、基于IPC3重叠的“跨领域”评估分区的基准数据集。这一设计填补了现有专利信息检索评估中的一个关键空白，使得能够直接、系统化地度量跨领域检索的难度，而这是现有数据集所无法做到的。其次，通过涵盖249个不同配置的广泛实验，研究提供了关于检索粒度、查询表示、段落聚合和混合融合等关键设计选择的全面实证分析。这些分析不仅揭示了最佳实践，更重要的是暴露了当前检索技术在面对领域迁移时的局限性。最关键的发现是，跨领域(OUT-domain)检索代表着一个持续的根本性挑战，在该场景下，密集检索方法相对于词汇方法(BM25)失去了其性能优势，其效果下降至同领域(IN-domain)场景的大约五分之一。这一发现对于必须处理跨领域现有技术发现的专利搜索系统具有重要启示，它警示我们，仅仅依赖先进的语义模型不足以解决词汇和概念鸿沟问题。最后，研究证明了文档级的相互排序融合(RRF)在效果与效率之间提供了出色的权衡，仅需适度的计算开销即可获得显著的效果提升，这为实际系统部署提供了一个实用的解决方案。总之，DAPFAM基准通过暴露跨领域检索的持久挑战，为开发更稳健、领域感知的专利信息检索系统奠定了坚实的基础，并指明了未来研究需要攻克的方向。
