基于深度学习的智能诊断与自适应训练系统，用于提升大学英语口语水平

《Scientific Reports》：Deep learning-based intelligent diagnosis and adaptive training system for university english oral proficiency

　　

摘要

大学生口语能力的发展仍然受到传统评估方法的局限性和个性化培训资源匮乏的制约。本研究提出了一种智能诊断与自适应培训系统，该系统将深度学习技术与多维度口语能力评估理论相结合。诊断部分采用多任务学习框架，结合CNN-LSTM架构和基于注意力的多模态融合技术，从连续语音样本中同时评估发音准确性、流利度、词汇-语法复杂度以及内容连贯性。自适应培训部分利用强化学习根据动态跟踪的学习者能力状态来优化个性化练习推荐序列。通过对486名大学生的4,374条录音数据进行实验验证（采用严格的语音独立数据划分协议），结果显示，诊断模型在四个评估维度上的相关系数分别为0.887、0.862、0.824和0.793（与人类专家评分相比）。为期八周的对照培训实验表明，接受强化学习优化内容排序的学习者的学习收益约为遵循固定教学大纲的学习者的2.2倍（Cohen’s d = 1.34，95%置信区间[0.87, 1.81]），并且在整个培训期间保持了更强的学习积极性。这些发现初步证明了所提出框架在高等教育环境中实现可扩展、个性化口语教学的潜力，尽管仍需在更广泛的人群和更长的时间范围内进行进一步验证。