《Computers and Composition》：Chinese EFL learners’ engagement with ChatGPT feedback on academic writing: A case study in Malaysia
编辑推荐：
本文探讨了在EFL学术写作中，ChatGPT生成的反馈如何被学习者主动地、批判性地接受。通过案例研究，揭示了四名中国研究生在马来西亚大学修订研究计划时，在行为、情感和认知三个维度上与ChatGPT反馈的互动。研究发现学习者展现出多元的参与策略，并未被动接受反馈，而是进行能动和批判性的互动。研究强调了评估生成式AI反馈的教学潜力时，个体差异和三者间相互作用的重要性。
在国际高等教育环境中，英语作为外语（EFL）的研究生，特别是来自中国的国际学生，在学术写作上面临着持续而严峻的挑战。他们不仅要应对词汇、语法和语体等句子层面的问题，还要处理语篇层面的连贯性、衔接和方法论述等复杂任务。这些困难，加上教师反馈的稀缺，促使学生转向数字工具寻求支持。近年来，以ChatGPT为代表的生成式人工智能（GenAI）工具以其能够提供即时、个性化反馈的能力，迅速融入EFL学术写作领域。然而，现有研究大多关注于评估这类AI反馈的语言质量和准确性，却鲜有深入探究学习者在实际写作任务中，是如何与这些AI生成的反馈进行互动、阐释和应对的。学习者对AI反馈的“参与”是一个多维度的过程，但相关的行为、情感和认知方面的证据仍然有限。为了填补这一研究空白，理解学习者如何能动地、批判性地与AI反馈互动，对于充分发挥其在教学中的潜力至关重要。
为了回答这些问题，研究人员开展了一项针对在马来西亚一所公立大学就读的四名中国EFL研究生的定性案例研究。该研究旨在探究他们在修订学术研究计划时，如何在行为、情感和认知三个维度上与ChatGPT生成的反馈进行互动。研究得出的主要结论是，学习者并未被动地接收ChatGPT的反馈，而是展现出了能动和批判性的互动方式。在行为上，他们表现出从高参与到选择性使用的差异，策略包括接受、质疑、拒绝建议、视觉标注和寻求外部验证。在情感上，他们的反应从欣赏、好奇到怀疑、沮丧不等，尤其是在反馈出现矛盾或不精确时。在认知上，他们运用了评估、比较、协商和调控反馈使用等多种策略。研究结果揭示了这三个维度参与之间的相互作用，并强调了在评估生成式AI反馈的教学潜力时，个体差异和写作意图的重要性。该研究不仅丰富了关于AI中介反馈的理论讨论，也为在全球化大学环境中设计更公平、更具文化敏感性的反馈系统提供了启示。论文发表在《Computers and Composition》期刊。
为开展此项研究，研究人员运用了三种主要关键技术方法进行数据收集与三角验证，以确保对学习者参与过程进行全面深入的探究。首先，研究者收集了参与者与ChatGPT互动及修订过程的屏幕录制数据，用于捕捉实时行为。其次，研究者获取了每位参与者在互动前后的研究计划草案，通过对比分析文本变化，考察反馈采纳情况。最后，研究者在数据收集的第二周，通过腾讯会议在线进行了刺激回忆访谈，访谈时长约20-30分钟，并使用录制功能获取视频音频资料。访谈前，参与者被要求自行回看其屏幕录制并比较修订前后文稿，访谈中研究者针对录像中的特定行为提问，旨在引发参与者对当时行为、想法和感受的反思。所有访谈均以中文进行，并使用Whisper Web进行转录。
研究发现部分从行为、情感和认知三个维度，以及个体差异方面，系统呈现了四名中国EFL研究生与ChatGPT反馈的互动模式。
行为参与方面，研究发现参与者的行为参与度存在差异，但整体表现出对语法准确性和词汇精炼的高度优先关注。他们采用了一种“拼凑式”的修订过程，有选择地整合AI反馈，并通过与其他来源（如谷歌学术）或先前草稿进行比对来交叉验证信息。常见的修订策略包括将ChatGPT的建议直接复制粘贴到原稿中进行并排比较，或选择性手动整合建议。此外，一些参与者还运用了视觉标注（如彩色高亮）来标记建议的修改。在时间投入上，参与者F1耗时最长（78分16秒），因其进行了细致的逐句对比和标注；而M2耗时最短（约48分钟），但通过频繁出声阅读反馈，表现出了高效的认知参与。总体而言，在收到的196条反馈中，参与者接受了175条（89.3%），拒绝了17条（8.7%），并对4条（2.0%）提出了质疑，显示出他们具备区分有用和瑕疵建议的能力。
情感参与方面，研究揭示了学习者对ChatGPT反馈复杂的情感反应。满意度主要源于对工具在提升语言准确性、学术语体、结构连贯性和清晰度方面的即时帮助的欣赏。然而，当ChatGPT提供内容层面的建议，或反馈冗长、不连贯、未能满足预期时，参与者会表现出犹豫、怀疑、沮丧甚至愤怒。例如，F2在反馈未能正确插入其文章时，发出了“插入！快点！”等沮丧的评论。尽管如此，参与者的情感轨迹总体上趋向于信心和欣赏，他们普遍认为使用ChatGPT增强了他们对学术写作的信心，并将其视为一个方便、低压力的写作伴侣，但同时也强调教师反馈在学科相关性上不可替代。
认知参与方面，研究发现学习者运用了多种认知策略来处理和评估ChatGPT的反馈。这包括多模态聚焦与自我对话（如M2边读边用鼠标高亮文本）、批判性评估与澄清（如M2在ChatGPT反馈超出其请求范围时发出澄清提示），以及微观分析与横向验证（如F1将ChatGPT建议的短语“global permanence of English”输入谷歌学术验证其学术性）。这些策略体现了学习者的元认知调控能力，如对反馈进行排序、并排显示以进行比较，以及利用外部资源进行交叉验证。然而，研究也发现，当ChatGPT的反馈内容过长时，可能会导致学习者认知超载，从而限制其进行深度批判性互动的能力。
个体差异方面，研究详细比较了四名参与者在行为、情感和认知参与上的不同表现。M2表现出最高的行为活跃度，频繁出声阅读反馈（14次）并伴有鼠标跟随动作，情感上总体积极，认知上主动澄清反馈范围。F2的情感反应最为强烈，在遭遇挫折时会发出明确的抱怨和叹息，行为上表现为快速接受或拒绝建议，认知上能注意到反馈遗漏（如摘要）。F1的参与方式最为审慎和策略性，她会低声评论、进行详细的视觉对比，并积极利用外部数据库验证反馈，情感上表现为谨慎的欣赏，认知操作深入。相比之下，M1的参与最为内敛和顺从，他很少出声，默默接受了大部分建议，在访谈中承认因反馈内容过长而未能完全理解就直接采用，表现出较低的批判性认知投入。
研究结论和讨论部分，本研究通过细致的案例剖析，揭示了在真实学术写作任务中，中国EFL研究生与ChatGPT反馈互动是一个复杂的、多维度的动态过程。学习者并非被动接收者，而是展现出显著的能动性和批判性。他们能根据自身对写作任务的理解、目标及对AI工具的认知，采取不同的行为策略、经历复杂的情感波动，并运用多元的认知操作来协商、评估乃至重塑AI生成的建议。研究强调了行为、情感和认知三个维度的参与是相互交织、彼此影响的。例如，F2强烈的情感反应（沮丧）直接影响了她的行为（快速决策），而F1深入的认知分析（外部验证）则支撑了她审慎的行为策略（选择性采纳）和相对平稳的情感状态。
本研究的重要理论意义在于，它将学习者参与的概念框架成功应用于新兴的生成式AI反馈语境，证实了其在理解人机互动复杂性方面的解释力。实践上，研究结果对教学具有重要启示：教育者应认识到学生与AI互动方式的个体差异性，并设计教学干预来培养学习者的“AI反馈素养”，包括如何有效地提示、批判性地评估、策略性地整合以及负责任地使用AI工具。同时，研究也指出了当前AI反馈的局限性，如可能产生的冗长、不精确或超出请求范围的反馈，这提示工具开发者和教育者需要共同努力，优化AI的反馈生成机制，并将其与教师指导相结合，构建“混合反馈”模型，以最大程度地发挥AI在支持学术写作发展中的潜力。未来的研究可以扩大样本规模，探索不同文化、学科背景的学习者与AI的互动模式，并纵向追踪这种互动如何影响其长期的写作能力发展。
