《ACM Transactions on Asian and Low-Resource Language Information Processing》：DarijaDB: Unlocking Text-to-SQL for Arabic Dialects
编辑推荐：
这篇综述首次系统性地探讨了针对阿拉伯语方言（特别是摩洛哥方言Darija）的文本转SQL（TtS）任务。研究基于首个Darija文本转SQL数据集Dialect2SQL，利用StarCoder2和Qwen-2.5-Coder等代码大模型（LLMs）进行实验，揭示了英语数据微调模型与方言数据微调模型之间的性能差距，并证明了在多语言数据集上进行训练能显著提升模型性能、缩小上述差距。研究比较了提示工程、微调策略及翻译工作流的优劣，最终表明直接针对方言数据进行微调是最佳方案。
引言
近年来，将自然语言问题（NLQ）转换为可执行SQL查询的文本到SQL（text-to-SQL）模型取得了显著进展，使得即使是非技术用户也能更便捷地与关系数据库交互。这一任务在多个英语数据集和基准（如WikiSQL、SPIDER和BIRD）发布后得到了显著提升，每个数据集覆盖不同的领域和复杂度级别。非英语高资源语言（如中文、俄语和阿拉伯语）也通过翻译现有数据集或创建新数据集从中受益。然而，在文本到SQL领域，仍缺乏能够理解低资源语言和方言的数据集与模型。最新发布的文本到SQL数据集Dialect2SQL专为摩洛哥方言（Darija）设计，该方言以其复杂性及与现代标准阿拉伯语（MSA）和其他阿拉伯语方言的独特性而著称。
本文针对Darija的文本到SQL任务进行了全面研究，主要在Dialect2SQL数据集上使用不同方法和配置，对两种代码大模型StarCoder2和Qwen-2.5-Coder进行了一系列实验。实验揭示了在英语数据上微调的模型与在Darija数据上微调的模型之间的性能差距。此外，结果说明了在训练中加入多语言数据集对性能的积极影响。
相关工作
文本到SQL任务经历了从早期基于草图的槽填充方法、到后来的图方法、再到使用中间表示语言的演变。最近，代码大模型（如CodeLlama、CodeT5、CodeGen、StarCoder和Qwen Coder）的出现彻底改变了这一领域。各种数据集和基准推动了模型的训练与评估，包括领域特定数据集（如ATIS、GeoQuery）和跨领域数据集（如WikiSQL、SPIDER、BIRD）。为弥合英语与其他语言间的差距，出现了如multi-SPIDER（多语言SPIDER手动翻译版）、俄语PAUQ、阿拉伯语Ar-SPIDER以及中文跨数据库上下文相关文本到SQL数据集CHASE和SeSQL等。
Dialect2SQL是首个专为Darija设计的大规模、跨领域文本到SQL数据集，包含9,428个NLQ-SQL对，涵盖69个不同领域的数据库。它同时应对了SQL查询复杂性以及Darija文化和语言复杂性带来的挑战。尽管在阿拉伯方言的各种自然语言处理任务中已有进展，但在阿拉伯方言文本到SQL领域，仍缺乏专门的资源、模型或研究。本文在此基础上，提出了首个能够从Darija问题生成可执行SQL查询的文本到SQL模型。
方法
本研究采用三个主要数据集：BIRD（最新的英文大规模跨领域文本到SQL数据集）、Dialect2SQL（Darija版本）和Ar-SPIDER（现代标准阿拉伯语版SPIDER）。基于在Dialect2SQL子集上的性能表现，研究选择了两个先进的代码大模型作为基础模型：StarCoder2（特别是7B版本表现最佳）和Qwen-2.5-Coder（特别是3B版本在其规模中表现出色）。实验最终使用了这两个模型的3B变体，以在计算效率和性能间取得平衡。
为了高效微调，研究采用了参数高效迁移学习（PEFT）框架，该框架在保持预训练模型参数固定的同时，引入称为适配器的任务特定参数进行更新，从而大幅减少了训练所需的时间和资源。
评估
研究旨在通过实验回答四个核心研究问题（RQ）：
RQ1.1：针对Dialect2SQL的最优文本到SQL提示是什么？实验比较了两种提示设计：使用CREATE TABLE查询作为上下文，以及使用序列化格式表示数据库模式。结果表明，CREATE TABLE提示设计能提供更丰富的上下文信息（如表关系和列类型），从而带来更好的性能，被确定为最优提示。
RQ1.2：两步微调方法是否优于单步微调？实验比较了两种策略：1）先在Ar-SPIDER上微调，再在Dialect2SQL上微调（两步）；2）直接在Dialect2SQL和Ar-SPIDER的合并数据集上微调（单步）。结果表明，单步微调策略显著优于两步法，因为合并训练能让模型更好地捕捉组合数据的细微差别，实现更优的泛化。
RQ2：在英语数据与阿拉伯方言数据上训练的模型性能有何差异？实验结果显示，在英语数据（BIRD）上微调的模型性能显著优于在Darija数据（Dialect2SQL）上微调的同类模型。例如，Qwen-2.5-coder-3b在英语数据上微调后，在BLEU、SQAM和TSED指标上分别比在Darija数据上微调的模型高出10.1%、9%和12.5%。这种差距可归因于模型预训练语料中缺乏Darija数据、SQL与英语的相似性以及Darija本身的内在复杂性。
RQ3：在组合的英语和阿拉伯方言数据集上训练模型有何影响？实验探索了多语言训练的效果。将英语（BIRD）和Darija（Dialect2SQL）数据集结合进行训练，能显著提升模型在Darija测试集上的性能。此外，加入现代标准阿拉伯语（Ar-SPIDER）数据也能带来性能提升，因为其引入了多样性且与Darija相似。然而，当同时结合英语、Darija和现代标准阿拉伯语三种语言的数据时，性能相比仅使用两种语言的数据集略有下降。分析表明，这可能是由于多种语言的组合在选取合适的表、列、聚合函数和条件时混淆了模型。尽管如此，所有多语言组合的性能仍优于单语言训练。多语言训练不仅提升了模型在各自语言测试集上的性能，还显著缩小了英语与方言模型之间的性能差距。例如，BLEU指标的差距从10.1%缩小到了6.7%。
RQ4：翻译工作流与直接在Dialect2SQL数据集上微调的方法相比性能如何？实验比较了直接微调策略与翻译工作流（即先用GPT-4o、NLLB-1.3b或OPUS-MT等模型将Darija问题翻译成英语，再用文本到SQL模型处理）的性能。结果表明，直接微调方法显著优于翻译工作流。例如，使用Dialect2SQL和Ar-SPIDER组合微调的模型，其性能远超使用最佳翻译模型（GPT-4o）的流程，在BLEU、SQAM和TSED指标上分别领先21.8%、7.6%和16.5%。
讨论与局限性
这项关于Darija文本到SQL任务的详细研究凸显了创建专为阿拉伯方言设计的大规模数据集的重要性。此类数据集对于微调代码模型至关重要，能使它们超越翻译工作流的性能。研究结果也强调了在英语数据和Darija数据上训练的模型之间存在显著性能差距。此外，结果证明了在训练中融入多种语言的积极影响，这种多语言方法提高了模型在Darija和英语测试集上的表现，有效缩小了英语与Darija之间的差距。
这些发现与以下假设一致：预训练的代码大模型本质上更擅长处理英语或其他高资源语言，而非方言或低资源语言。这种差异可归因于高资源语言在训练语料中数据丰富，这也解释了观察到的英语与Darija之间的性能差距。同时，在训练集中加入多种语言引入了更大的变异性和多样化的语言输入，从而提升了跨任务性能。这些发现表明，多语言策略为提升低资源语言的性能提供了一个实用且有效的解决方案。
尽管Dialect2SQL专注于Darija，但这些发现可能无法推广到其他在语法、词汇和文法上差异很大的阿拉伯语方言。此外，尽管所使用的数据集复杂且规模大，但对于其他领域和SQL变体，其规模和覆盖范围可能仍然不足。其他局限性或潜在的有效性威胁也应予以承认。首先，存在模型可能已预先接触过BIRD训练集（其被翻译为Dialect2SQL）的风险。如果是这样，这些模型可能已经“见过”测试集的英文版本，这可能影响结果的有效性。其次，参与数据集翻译过程的标注者仅限于三人，这可能会因其语言偏好、思维模式或特定地区背景引入偏差，导致用词和问题表述的多样性降低。
结论与未来工作
大语言模型（LLMs）极大地受益于各种跨领域、大规模的文本到SQL数据集的引入，使其能够持续在该任务的排行榜上名列前茅。这些模型现在可以轻松地将复杂问题映射到多种高资源语言（如英语、中文、法语、阿拉伯语等）的相应SQL查询。然而，低资源语言和方言在这一领域仍然代表性不足。
本文首次对阿拉伯语方言（特别是摩洛哥方言Darija）的文本到SQL任务进行了全面研究。它考察了提示和微调策略的效果、该任务中英语与阿拉伯方言之间的差距、多语言训练的影响，并比较了微调方法与翻译工作流。
尽管这项工作代表了重要的前进一步，但它也为未来的研究铺平了道路。未来的目标包括将Dialect2SQL扩展到涵盖阿拉伯世界的其他方言，引入新的领域，并在SQL示例中融入更大的复杂性。另一个有前景的领域是开发领域特定的文本到SQL数据集和模型，使其能够处理单一领域（如金融、医疗保健或其他专业领域）内的问题。这种方法将极大简化集成文本到SQL的应用程序或聊天机器人的实现，使其更适应特定用例。
