《ARTIFICIAL INTELLIGENCE REVIEW》：LegalAi research in LLM Era: data, modeling and evaluation
编辑推荐：
本文旨在探讨大语言模型如何系统性重塑法律人工智能的研究范式。面对LLM技术在LegalAI中应用分散、影响机制不明确的问题，研究人员对现有文献进行了全面综述，提出了一个基于数据、建模、评估三个维度的角色分类框架，并以此系统分析了在法律分类、检索和生成三大任务中的研究。研究发现，LLMs的效果不仅因任务而异，更与其在框架中被赋予的角色密切相关，这为理解与优化LLM在LegalAI中的应用提供了清晰的指导。
随着人工智能技术日益渗透到各行各业，法律领域也迎来了深刻的变革。法律人工智能旨在运用AI技术自动化处理各类法律任务，从繁杂的文书审阅到专业的法律咨询，其应用前景广阔。然而，传统法律AI系统往往依赖精心设计的规则或针对特定任务训练的小规模模型，其泛化能力和适应性有限。近年来，以GPT系列为代表的大语言模型横空出世，展现出强大的语言理解和生成能力，为法律AI的发展注入了前所未有的活力。但机遇与挑战并存：LLM在法律场景下的应用方式多种多样，其影响机制尚不明晰，研究者们亟需一个系统性的框架来梳理现状、评估成效并指引未来方向。正是为了回应这一需求，这篇题为“LegalAI research in LLM Era: data, modeling and evaluation”的研究应运而生，并发表于《ARTIFICIAL INTELLIGENCE REVIEW》。该研究致力于厘清大语言模型是如何从根本层面重塑法律人工智能的研究范式的。
为了开展这项综述性研究，研究人员主要采用了系统性文献综述与定量荟萃分析相结合的方法。首先，研究者广泛搜集了聚焦于LLM在法律人工智能领域应用的现有学术文献。随后，他们创新性地提出了一个基于角色的分类框架，从数据、建模、评估三个核心研究视角，对LLM在各项研究中的参与角色进行系统化归类。基于此框架，研究团队对法律人工智能领域的三大核心任务——法律分类、法律检索和法律生成——的相关研究进行了梳理与归纳。最后，他们还对各研究中LLM在不同角色和任务上的表现效果进行了详细的定量比较与分析，以揭示其中的规律。
研究结果
- •
提出了一个角色分类框架：研究者构建了一个系统性的框架，将LLM在法律AI研究中的参与方式划分为三大角色，分别是数据角色、建模角色和评估角色。这一框架为理解和比较纷繁复杂的LLM应用研究提供了清晰的坐标。
- •
系统回顾了三大法律任务的研究：运用上述框架，论文对法律分类、法律检索和法律生成任务中的现有研究进行了系统性评述。分析发现，LLM在这些任务中的应用已超越了单纯提升性能，而是深度融入了从数据准备、模型构建到效果评估的全链条。
- •
进行了跨角色与任务的定量比较：研究者对收集到的研究进行了定量分析，对比了LLM在不同角色和不同任务上所展现出的效能。这是该综述的一个核心实证发现。
- •
揭示了角色与任务对LLM效果的影响：定量比较的结果表明，大语言模型在法律人工智能领域的影响力并非均质的。其效果受到双重因素的塑造：一是LLM在具体研究中所承担的角色，二是其所应用的法律任务本身的性质。这意味着，在特定法律问题上，为LLM分配合适的角色，与研究采用何种LLM模型同等重要。
结论与讨论
本研究的核心结论在于，大语言模型已经将法律人工智能的发展推进到了一个新阶段，其贡献远不止于提升各项任务的性能指标。更为根本的是，LLM正在作为一种基础设施性组件，重塑着LegalAI在数据、建模与评估三个维度上的研究范式。通过提出的角色框架，本研究为梳理和评估该领域的庞杂工作提供了有价值的工具。而最重要的研究发现是，LLM的效能高度依赖于其在研究设计中扮演的角色以及目标法律任务的具体类型。这一发现强调了未来研究需要更具策略性地设计LLM的参与方式，而非将其视为一个通用的“黑箱”。这项工作不仅系统总结了LLM时代法律人工智能的研究现状，更为未来的技术路径选择和应用方案设计提供了重要的理论依据和实践指导，对推动人工智能与法学的深度融合具有显著意义。
