利用知识蒸馏提升阿拉伯语信息检索和重排序性能

《ACM Transactions on Asian and Low-Resource Language Information Processing》：Improving Arabic Information Retrieval and Reranking Performance Using Knowledge Distillation

知识蒸馏提升阿拉伯语信息检索性能，在mMARCO数据集上超越基线与现有模型，MRR@10达0.254，R@1000达0.799，但机器翻译质量影响结果。

　　

摘要AI 摘要

摘要

摘要

基于Transformer的模型彻底改变了信息检索领域，在文档检索和排名方面取得了最先进的性能。对于像英语这样资源丰富的语言，大量高质量标注的数据集促进了强大模型的发展。然而，对于阿拉伯语等资源匮乏的语言来说，由于标注数据的稀缺，开发强大的模型具有挑战性。虽然可以使用翻译后的英语数据集来克服标注数据的缺乏，但翻译过程会引入信息丢失和不一致性。因此，基于翻译数据集微调的模型通常表现不如其英语对应模型。为了解决这个问题，我们探索了将高资源模型的知识转移到低资源模型中的潜力。特别是，我们研究了通过知识蒸馏是否可以有效地将英语检索和重排序模型学到的知识转移到阿拉伯语模型中。我们的结果表明，知识蒸馏显著提高了阿拉伯语信息检索的性能。我们的模型在使用mMARCO阿拉伯语段落排名数据集进行知识蒸馏微调后，其性能超过了最先进的检索和重排序模型。具体来说，我们的交叉编码器的MRR@10达到了0.254，相比之前的最佳交叉编码器mT5提高了8%。在召回率方面，我们的双编码器的R@1000达到了0.799，超过了后期交互模型mColBERT（R@1000 = 0.749，提高了6.7%）和基线BM25（R@1000 = 0.637，提高了25%）。此外，通过利用由IR模型集成生成的软标签进行知识蒸馏，我们能够在不需要大量手动注释的情况下实现相当或更高的性能。这种方法为资源匮乏语言场景下的自动注释和伪标注提供了一种有效的机制。

AI 摘要

AI生成的摘要（实验性）

此摘要是使用自动化工具生成的，未经文章作者的撰写或审核。它旨在帮助发现、帮助读者评估相关性，并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是论文的官方摘要。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和有用性进行评论。这将有助于改进未来的版本。

AI生成的摘要

版本创建于2026年2月6日。

本研究通过知识蒸馏将高资源英语模型的知识转移到阿拉伯语（一种资源匮乏的语言）中，以解决信息检索（IR）的挑战。知识蒸馏使学生模型能够从教师模型的软输出中学习，从而即使在不同架构和语言的模型之间也能传递特定于任务的专长。研究人员在阿拉伯语mMARCO数据集上微调了各种交叉编码器和双编码器架构，该数据集是英语MS MARCO基准的机器翻译版本，尽管查询和段落的独立翻译会降低检索效果。

结果表明，使用知识蒸馏训练的模型明显优于未使用知识蒸馏训练的模型。值得注意的是，使用知识蒸馏微调的AraElectra基交叉编码器模型达到了0.254的MRR@10分数，超过了之前的模型mT5。这表明AraElectra交叉编码器架构能够有效捕获阿拉伯语的重排序任务，尽管计算成本较高。在考虑推理效率和准确性时，mMiniLML交叉编码器显示出更好的平衡，虽然MRR@10略低，为0.2356，但响应时间更快，适用于实时场景。

双编码器模型在大规模检索方面更高效，也从知识蒸馏中受益，显著提高了召回率。不同双编码器的组合嵌入通过利用互补的语义表示进一步增强了检索性能。例如，最佳的双编码器模型的R@1000达到了0.799，优于BM25基线和后期交互模型mColBERT，表明语义嵌入有助于解决由噪声翻译引起的词汇不匹配问题。

研究还指出了机器翻译质量的局限性，因为独立翻译的查询和段落导致了语义漂移和词汇不一致性，对检索召回率产生了负面影响。改进的翻译质量带来了更好的基线性能，表明翻译仍然是一个瓶颈。未来的工作应集中在多语言联合微调和对齐方法上，以减少对翻译质量的依赖。

总之，这项工作表明，通过将知识从英语教师模型转移到阿拉伯语学生模型中，知识蒸馏是低资源语言IR的有效方法，显著提高了排名和召回率。利用教师集合的软标签消除了对大量手动注释的需求，使其成为资源受限语言的实用策略。作者提出了进一步的发展方向，包括改进的知识蒸馏技术、双语训练策略以及扩展到多种语言和数据集，以评估泛化和鲁棒性。

此内容由AI生成。了解更多