《Computers and Education: Artificial Intelligence》：Directive, metacognitive, or a blend of both? A comparison of AI-generated feedback types on student engagement, confidence, and outcomes
编辑推荐：
为探究AI生成反馈的优化设计，本研究在真实的大学设计编程课程中开展了一项为期一学期的随机对照试验。研究比较了引导式、元认知式和混合式三种AI反馈对学生互动行为、自信心及资源质量的影响。结果发现，混合反馈能最有效地促使学生进行修改，而学生信心和工作成果质量在不同条件下无显著差异。研究表明，将明确指导与反思提示相结合的AI生成反馈，是平衡效率与深度学习支持的有效策略。
在当今的教育环境中，有效的反馈被视为推动学生学习和取得成就的最强大力量之一。然而，提供既及时又个性化的反馈一直是一个巨大挑战，尤其是在大班教学或在线环境中，教师难以对每位学生给出详细的指导。这种困境催生了人们对人工智能生成反馈的浓厚兴趣，它有望成为教师工作的补充，提供可扩展且一致的支持，同时减轻教师的工作量。但问题来了，什么样的AI反馈最有效呢？是直接告诉学生哪里错了、怎么改的“引导式反馈”，还是启发学生自己思考、培养其自我管理学习技能的“元认知反馈”，抑或是将两者优势结合的“混合式反馈”？尽管这两种方式在理论上各有优势，但它们对学生的参与度、自信心以及最终工作质量的实际影响究竟有何不同，尚未得到充分探索。为此，研究人员开展了一项研究，旨在深入比较这三种不同的AI生成反馈策略，看看谁能更好地激发学生的主动性，并真正提升学习效果。
为了解答这些疑问，研究人员利用名为“RiPPLE”的自适应教育平台，在一门大学设计编程课程中，对329名学生进行了一个学期的随机对照试验。该平台支持学生创建、评估和练习学习资源。学生们被随机分配到三种AI反馈条件中的一种：引导式、元认知式或混合式。所有反馈都遵循“总结、优点、改进建议”的三段式结构，其中只有“改进建议”部分根据分组进行了定制化设计。研究通过分析平台记录的交互日志、学生自我报告的置信度评分以及资源质量的客观评分，来系统评估不同反馈类型的效果。
3.1. RQ1. 语言和结构特征
分析显示，三种反馈条件在语言和结构上存在显著且系统的差异。在文本长度上，混合式反馈最长（平均134.14词），元认知式次之（97.10词），引导式最短（83.25词）。在功能性标记上，引导式反馈包含最高的指令性语句频率（每100词2.91个），元认知式则完全不含；相反，元认知式反馈的反思性提示频率最高（每100词4.45个），引导式几乎不含，混合式反馈则介于两者之间（每100词指令1.34个，反思2.20个）。这些结果证实了研究成功构建了三种在语言学上和功能上均具有显著差异的反馈类型。
3.2. RQ2：对AI生成反馈的参与和行动
在参与时间上，三种反馈条件之间没有统计学上的显著差异。然而，在“对反馈采取行动”（即收到反馈后是否修改资源）方面，差异显著。元认知组学生的修改率最低（12.1%），显著低于引导式组（21.1%）和混合式组（27.5%）。混合式组的修改率最高。进一步的任务流程转换分析也支持了这一发现，混合式组的学生在收到反馈后，更多地返回到编辑界面进行修改。这表明，混合式反馈最能激发学生的修订行为。
3.3. RQ3：信心
信心水平（采用1-5点量表自我评估）在所有反馈组中均保持较高水平，且组间无显著差异。这表明，无论收到哪种类型的反馈，学生对其工作质量的信心都没有受到负面影响。
3.4. RQ4：资源成果质量
在最终资源成果的质量评分（0-5分）上，三种反馈条件之间也未发现统计学上的显著差异。尽管混合式组的平均分略高（3.75），但与引导式组（3.62）和元认知组（3.72）的差异并不显著。
在讨论和结论部分，作者对上述结果进行了深入解读。研究证实，精心设计的提示可以产生在功能上有明显区别的AI反馈。引导式反馈的高指令性符合认知负荷理论，旨在降低新手决策负担；而元认知和混合式反馈中的反思性措辞则支持元认知和自我调节学习理论，强调自我监控和调节。虽然元认知反馈组的修改率最低，但这可能反映了学生进行了更深层次的认知处理，或是因为认知负荷较高而暂缓行动。混合式反馈则展示了结合明确指导和反思提示的优势，既能有效促使修订行为，又不牺牲对深度认知处理的鼓励。所有反馈都维持了学生较高的自信心，这得益于反馈设计中包含了肯定优点的部分。尽管在最终成果质量上未观察到显著差异，这可能是因为学生提交的初始作品质量已较高，存在“天花板效应”，反馈的作用更多地体现在精细化修改、验证和自我调节能力的发展上，而非大幅提升分数。
本研究的意义在于，它通过严格的实证比较，为AI生成反馈的设计提供了重要依据。特别是在大规模在线教育中，混合式反馈提供了一种平衡清晰度与反思性的实用策略，能够适应不同学习准备度的学生，无需教师深入了解每个学生的元认知发展水平。研究强调了将AI反馈有效整合到教学中，不仅需要技术采纳，还需要对教师进行相关专业发展，并培养学生的反馈素养，以帮助他们更好地解读和利用反馈。该研究论文发表在《Computers and Education: Artificial Intelligence》期刊上，为人工智能教育领域的理论与实践发展贡献了宝贵的证据。
