通过数据增强改善资源匮乏环境下导师培训的自动化反馈系统

《IEEE Transactions on Learning Technologies》：Improving Automated Feedback Systems for Tutor Training in Low-Resource Scenarios through Data Augmentation

本研究利用GPT-4o生成合成数据增强导师培训数据集，并微调GPT-3.5模型。实验表明，该方法使努力型、成果型表扬识别准确率分别提升20.5%和17.3%，同时有效泛化至个人型表扬，相关指标分别提升16.5%、19.9%和21.6%。

　　

摘要：

辅导是一种有效的教学方法，能够提升学生的学习效果，但其成功与否取决于辅导教师的技能和经验。这种依赖性给辅导的广泛推广带来了挑战，尤其是在培训新手辅导教师方面。为了支持辅导教师的培训项目，实时自动化反馈系统对于高效培训大量辅导教师至关重要。最近的一项研究使用了生成预训练Transformer（GPT）进行序列标注，以识别辅导教师培训数据集中的恰当和不恰当的表扬成分，并提供解释性反馈。然而，这种方法需要大量的标注数据来进行微调，这既耗费人力，又依赖于专家的输入。为了解决大量数据标注所带来的挑战，本研究探讨了使用更高级的GPT模型（如GPT-4o）生成合成数据集来补充标注响应数据，然后再对GPT-3.5模型进行微调的方法。我们的结果显示，在基于GPT-4o生成的包含520个实例的增强数据集上对GPT-3.5进行微调后，识别表扬成分的能力在统计上有了显著提升。具体而言，与未使用数据增强的相同模型相比，基于努力的表扬评分提高了20.5%，基于结果的表扬评分提高了17.3%。此外，所提出的数据增强方法在识别其他表扬类别（尤其是基于个人的表扬）方面也表现出良好的泛化能力。当在包含520个实例的增强数据集上进行微调时，该模型在基于个人的表扬评分上提高了16.5%，同时在M-IoU和IoU指标上也分别提高了19.9%和21.6%。这些发现表明，对于数据密集型任务而言，通过GPT模型生成合成数据可以显著提升经过微调的模型在资源有限环境下的表现...

显示更多