DSAD：一种用于检测大型语言模型（LLM）生成考试答案的双流对齐检测框架

AI生成文本检测方法及教育场景应用研究。提出双流特征提取框架DSAD，结合生成概率签名和深层语义指纹，利用词级对齐和CNN-Transformer融合实现短文本精准识别，在多学科多语言数据集DSAD-Bench上达到97.8%宏F1值。

　　

Jialiang Wang|Yongjun Li|Tao You|Linxin Liu|Pengyu Wang

中国西安西北工业大学计算机科学学院，710129

摘要

随着生成式AI的快速发展，利用大型语言模型（LLMs）进行考试答案作弊已成为教育领域的一个严峻挑战。现有方法在处理简短考试答案时表现不佳，并且忽视了问题题干中的关键上下文信息，而这些信息对于理解回答逻辑和识别内容来源至关重要。为了解决这些问题，我们提出了DSAD（用于检测LLM生成的考试答案的双流对齐检测框架）。不同的LLMs和人类在回答相同问题时表现出不同的生成特征。基于此，DSAD通过双流编码器提取答案文本的概率特征（生成可能性）和语义特征（语义模式），为区分答案来源提供了核心线索。此外，为了实现对短文本的准确检测，DSAD将所有提取的特征对齐到单词级别，从而实现细粒度的身份识别和LLM的可追溯性。在多学科、多语言的DSAD-Bench数据集上，DSAD在区分人类生成的内容和特定LLM生成的内容方面取得了优异的性能：在区分人类生成的内容和混合LLM生成的内容时的Macro-F1分数分别为97.8%和95.8%，在LLM可追溯性任务中的Macro-F1分数为92.4%。

引言

随着人工智能技术的快速发展，人们对与机器进行自然和深入交流的需求持续增长，这促使许多制造商开发出具有强大语言处理能力的对话型大型语言模型。代表性模型包括ChatGPT（OpenAI，2022年）、GPT4（Achiam等人，2023年）、Claude3（Anthropic，2024年）、Gemini（Gemini团队，2023年）、Llama3.1（Dubey等人，2024年）等。凭借其先进的算法和海量数据支持，这些对话型大型语言模型在理解上下文、保持连贯对话以及提供个性化服务方面具有独特优势。它们能够处理复杂的语言结构，提供更接近人类的交互体验。

虽然对话型大型语言模型的应用带来了许多优势，但也伴随着一系列挑战。在提供专业建议（如医疗和法律咨询）时，这些模型可能会基于不准确的数据提供误导性信息（Dahl, Magesh, Suzgun, & Ho, 2024）；在处理隐私和数据安全方面也存在风险，因为它们依赖于大量数据进行训练，这可能导致个人隐私或受版权保护的数据被未经授权使用，从而引发法律和伦理问题（Frikha等人，2025）；在教育领域，这些模型可能被用来帮助学生完成考试答案，从而导致作弊行为和其他学术不当行为，如抄袭答案和伪造解题过程（Nguyen & Goto, 2024）。因此，加强对话型大型语言模型的监督和监管，以确保其合理、安全和合法的应用是非常重要的。在教育领域，学生过度依赖这些模型来完成作业和项目可能会削弱他们的独立思考和解决问题的能力，影响他们的长期学习和发展。本文重点关注学生在教育领域滥用AI生成文本（AIGT）来回答考试问题，尤其是主观问题。明确学生是否使用大型语言模型来回答问题，并准确追踪生成这些模型的来源，不仅可以确保检测的公平性和有效性，还可以促使大型语言模型的开发者和制造商更加负责任地设计和推广产品，避免其被滥用，并促进行业的自律和标准化发展。

目前，上述问题已经引起了许多研究人员的关注。大多数AIGT检测策略主要集中在长文本领域。例如，XSum数据集（Narayan, Cohen, & Lapata, 2018）被DetectLLM（Su, Zhuo, Wang, & Nakov, 2023）使用，收集了BBC的在线新闻文章；SQuAD数据集（Rajpurkar, Zhang, Lopyrev, & Liang, 2016）包含维基百科文章的段落；WritingPrompts数据集（Fan, Lewis, & Dauphin, 2018）汇集了创意写作和虚构内容。然而，教育场景中的考试答案通常是短文本，这导致现有检测方法的性能显著下降。此外，大多数研究仅关注学生的答案内容本身，而忽略了问题题干提供的关键上下文线索。实际上，问题题干和答案之间的逻辑关联包含丰富的特征信息，这对于区分人类答案和AI生成的内容具有很大价值。例如，在数学证明问题中，人类学生可能会表现出独特的思维飞跃，而AI生成的内容往往呈现更线性的推理过程。我们观察到，学生回答问题的过程本质上类似于人类与问题之间的对话。在这种情况下，检测学生的答案内容实际上转化为验证对话中一方的身份。

为了解决上述问题，我们提出了一种双流特征检测算法，该算法整合了问题题干信息，从两个维度融合特征：生成可能性特征（GLS）通过量化标记级别的生成概率来捕捉不同LLMs的词汇选择偏好，而深度语义特征（DSF）通过分析隐藏层状态来识别语义层面的生成模式。随后，我们使用卷积神经网络提取GLS的局部统计特征，将提取的局部特征与DSF连接起来，并使用Transformer架构对连接后的特征序列依赖性进行建模。最后，使用细粒度分类器完成对短文本的检测任务。

我们的贡献主要体现在以下几个方面：

1. 提出了一种双流特征检测算法DSAD，该算法整合了问题题干信息，分别提取生成可能性特征和深度语义特征，从两个维度捕捉文本特征：词汇选择偏好和语义生成模式；

2. 设计了一种多层次特征融合架构，使用卷积层提取局部概率特征，将其与语义特征连接起来，然后将结果输入Transformer模型以捕捉长距离依赖性，最后通过分类器完成回答者身份识别；

3. 通过将特征映射到单词级别，实现了细粒度的LLM可追溯性，这更适合短文本检测，并为教育工作者提供了可解释和可追溯的决策依据；

4. 构建了一个多学科和多语言的领域特定数据集DSAD-Bench，涵盖了传统的一题一答格式和更具挑战性的多题多答格式；

本文的结构如下：在第二部分，我们回顾了相关工作并指出了这些方法在教育领域应用中的局限性。第三部分详细介绍了我们构建的DSAD-Bench数据集。第四部分将定义具体的研究任务，并讨论如何准确表示考试文本、充分利用问题-答案对之间的上下文关系以及实现细粒度分类和可追溯性。第五部分，我们将展示实验结果以验证所提出方法的有效性和优越性。最后，我们总结了全文并讨论了其在实际应用中的潜力以及未来的工作。

相关研究

AI生成文本的检测方法大致可以分为两类：预防性检测器和响应性检测器。预防性检测器在文本生成过程中进行干预。而响应性检测器则在文本生成后通过分析其特征、模式等来确定文本是否为AI生成。

基本数据集选择

对于学生的考试答案，一个简单的想法是将它们的答案视为一个文本段落进行检测。然而，在考试答案评估的情境中，我们不仅需要关注答案内容本身，还需要充分考虑问题题干信息。对于同一个问题，人类和大型语言模型之间的思维存在差异。这种思维差异是区分人类和大型语言模型的关键因素，也是

任务定义

定义1 句子：

一个句子由几个单词组成，即$s=[w_1,w_2,,\; \dots ,w_n$，其中w表示一个单词，n表示句子中的单词数量。

与英语不同，中文没有明确的分词符来区分单词。因此，对于中文数据，一个汉字被视为一个w。

定义2 子问题和子答案：

每个子问题由几个句子组成，定义为$q=[s_1,s_2,,\; \dots ,s_m$，其中m≥1表示子问题中的句子数量。一个子问题对应一个子答案，子答案也是

方法

DSAD的结构如图3所示，包括四个部分：双流特征提取、单词级对齐、特征处理和融合以及分类和预测。

双流特征提取：代理模型组$P$用于从考试问题数据中提取标记级别的生成可能性特征和深度语义特征，形成原始特征集。

单词级对齐：根据对话模板和分词策略，进行标记级别的

实验设置

数据集：我们构建了一个考试简答题数据集，基于两个基础数据集：GSM8K，其中包含1,319个美国小学数学简答题及其详细的解题步骤；以及GAOKAO-Bench，其中包含250个中国高考（Gaokao）的多学科简答题数据。我们将这两个数据集合并，形成了初始的DSAD-Basic数据集，包含1,569个问题-答案对。在这个数据集中，短文本是

结论

本文提出了一种双流特征检测算法DSAD，该算法整合了问题题干信息。它通过双流架构提取标记级别的生成可能性特征（GLS）和标记级别的深度语义特征（DSF），并通过结合卷积神经网络和Transformer模型实现了多层次特征融合。这种设计使模型能够有效捕捉词汇选择和语义模式的细微差异

CRediT作者贡献声明

Jialiang Wang：概念化、方法论、软件编写——原始草稿、写作——审阅与编辑、调查。Yongjun Li：写作——审阅与编辑、监督、项目管理、资金获取。Tao You：形式分析、数据管理、写作——审阅与编辑、验证、资源。Linxin Liu：资源管理、数据管理、可视化。Pengyu Wang：资源管理、数据管理、可视化、项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。