《IEEE Access》：A Reusable Prompting Framework for Applying Large Language Models to Legal Tasks
编辑推荐：
为解决大语言模型在法律任务中输出不一致、难以验证且对提示措辞敏感的问题，研究人员开展了一项关于“可复用提示框架”的研究。该框架通过任务特定模板、角色指令、示例引导、思维链和上下文分层推理构建提示，在法规解释、合同审查等五个核心法律任务上系统评估了其性能。结果表明，该框架显著提升了模型准确性和稳定性，尤其在推理密集型任务中效果最佳，并有效降低了法律幻觉率，为法律AI的可靠应用提供了实用指南。
随着人工智能技术的飞速发展，大型语言模型（Large Language Models, LLMs）已深度融入知识工作的各个层面，在法律这一高度专业化且要求精确的领域也不例外。法律文本具有结构严谨、引用规范、数量庞大等特点，为LLMs的应用提供了丰富的土壤。然而，将通用的LLMs直接应用于法律研究和实践时，面临着严峻的挑战：模型的输出可能前后不一致，难以验证其正确性，并且对提示（Prompt）的微小改动极为敏感，更严重的是，它们时常会产生“幻觉”（Hallucination），即虚构不存在的法律事实、判例或错误引用，这给法律工作的严谨性和可靠性带来了潜在风险。
为了应对这些挑战，由Suthir Sriram、Nivethitha Vijayaraj、G. Rajiv Krishna等人组成的研究团队在《IEEE Access》上发表了一项重要研究，提出并系统评估了一个名为“可复用提示框架”（Reusable Prompting Framework）的结构化方法，旨在提升LLMs在法律任务中的表现。该研究聚焦于五大核心法律任务：法规解释（Statutory Interpretation）、合同审查（Contract Review）、案例摘要（Case Summarization）、法律问答（Legal Q&A）和条款提取（Clause Extraction）。研究人员设计并比较了五种不同的提示策略：零样本提示（Zero-shot）、少样本提示（Few-shot）、思维链提示（Chain-of-Thought, CoT）、角色扮演提示（Role-based）和上下文分层提示（Context-layered）。为了客观评估框架效果，研究还实现了一个检索增强生成（Retrieval-Augmented Generation, RAG）系统作为基线模型进行对比。
在技术方法上，本研究的关键环节包括：首先，对来自CUAD v1、LegalBench、LexGLUE和Legal Case Document Summarization等多个数据集的法律文本进行了统一的数据预处理，将其转换为标准化的JSONL格式，确保了数据的一致性和可处理性。其次，构建了RAG基线系统，该系统使用GTE-Qwen2-1.5B模型进行密集检索（Dense Retrieval），并利用FAISS向量数据库进行高效相似性搜索，生成部分则由Qwen-2.5-72B模型负责。最后，核心的提示框架通过算法化的方式，根据指定的法律任务类型和提示策略，动态生成并利用LLM自身优化提示模板，使其更具针对性和有效性。评估指标全面，包括精确匹配（Exact Match）、F1分数、ROUGE-L、宏平均F1（Macro F1），并特别定义了一套严格的规则来量化法律幻觉率。
研究结果部分通过详尽的图表和数据展示了不同模型和提示策略在不同法律任务上的性能。
- •
不同提示策略的效果比较：研究结果显示，结构化的提示策略（尤其是思维链和上下文分层提示）在几乎所有法律任务和评估指标上均显著优于简单的零样本提示和少样本提示，也优于作为基线的RAG系统。例如，在法律问答任务中，GPT-5模型在思维链提示下的精确匹配得分高达0.96，而零样本提示下各模型得分普遍较低。这表明明确的推理步骤和丰富的上下文信息能极大提升LLMs的法律分析能力。
- •
法律幻觉率的显著降低：一个关键的发现是，结构化的提示策略能有效降低模型产生幻觉的概率。评估数据显示，在合同审查等复杂任务中，零样本提示下的幻觉率可高达30%-40%，而采用思维链或上下文分层提示后，幻觉率可降至10%以下。这证明了该框架在提升输出可靠性方面的巨大价值。
- •
任务特异性与模型选择：研究还发现，最佳模型和提示策略的组合因任务而异。例如，对于需要强推理能力的法规解释任务，GPT-5配合上下文分层提示表现最佳；而对于合同审查任务，Grok 4在上下文分层提示下则略胜一筹。这为法律从业者针对不同任务选择合适工具提供了具体指导。
- •
统计稳定性分析：通过对多次运行结果的统计分析（包括均值、标准差、方差和95%置信区间），研究证实了最佳模型-提示组合不仅性能强劲，而且输出稳定，波动性小，进一步增强了其在实际应用中的可信度。
在讨论与结论部分，作者强调了本研究的理论与实践意义。他们系统地回答了关于LLMs在法律领域应用的现状、有效提示工程技术、与RAG的比较、主要局限性以及标准化框架可行性等核心研究问题。本研究的主要贡献在于提出了一个可复用、可扩展的提示框架，该框架能够有效引导LLMs进行更准确、更稳定、更少幻觉的法律分析。相比于需要复杂工程和大量数据的RAG系统或模型微调（Fine-tuning），提示工程提供了一种相对轻量且灵活的解决方案，尤其适合资源有限或对数据隐私有高要求的法律机构。尽管存在模型依赖第三方服务可能带来的数据安全顾虑，以及本地化部署模型性能可能受限等挑战，但这项工作无疑为法律AI的可靠落地奠定了重要基础，指明了通过智能提示设计来释放大模型在法律领域潜力的可行路径。未来的研究方向包括探索结合本地化模型、微调嵌入模型（Embedding Model）以提升RAG性能，以及将该框架适配到更广泛的法律子领域和跨司法管辖区任务中。
