编辑推荐:
本文系统比较了教师反馈与AI反馈(Zero-shot vs. 链式思维提示)对议论文修订的影响,揭示了CoT提示可生成更优反馈但学生修订效果无显著差异,为智能教育工具设计提供了关键实证依据。
引言:反馈在写作教育中的关键作用
写作能力是学术与职业成功的核心素养,而议论文作为高等教育常见任务,对批判性思维培养至关重要。然而,学生常面临论证结构松散、论据不足等难题,亟需高质量反馈。传统教师反馈受限于班级规模与工作量,而生成式AI(GenAI)的出现为规模化反馈提供了新可能。
研究方法:三组随机对照实验
研究采用定量实验设计,招募70名波斯语母语研究生,随机分为三组:教师反馈组、ChatGPT Zero-shot提示组、ChatGPT链式思维提示(CoT)组。所有学生需完成“教育中AI工具应用”议论文的撰写与修订,反馈质量基于Toulmin论证模型(含引言、立场、论据、反驳、结论等7维度)评估。
结果分析:反馈质量与修订效果
- 1.
反馈质量对比:CoT提示生成的反馈显著优于Zero-shot提示与教师反馈(F=6.09, p=0.004),尤其在论证结构完整性上表现突出。
- 2.
修订效果:尽管CoT反馈质量更高,三组学生修订后论文质量提升无统计学差异(F=1.19, p=0.30),表明高质量反馈未直接转化为修订成效。
- 3.
关键发现:初始论文质量显著影响修订效果(ηp2=0.35),且GenAI反馈质量与初始论文质量呈中度相关(r=0.42-0.53),而教师反馈相关性较弱(r=0.21)。
讨论:AI反馈的潜力与局限
CoT提示通过分步推理机制(如“先评估论点逻辑,再检查论据相关性”)显著提升反馈精准度,但其优势未体现在学生修订中,原因可能包括:①学生反馈解读能力不足;②AI反馈缺乏情感互动;③修订时间有限。研究同时发现,GPT-4o在多语言(波斯语)场景下表现稳健,为非英语教育提供了新思路。
结论与展望
研究证实CoT提示可优化AI反馈质量,但需结合“教师-AI”混合模式(如教师指导反馈解读)以提升实际效果。未来应探索多模态反馈、跨文化语言适配等方向,推动智能教育工具从“技术可行”向“教育有效”转型。