《International Journal of Management Education》：Towards appreciative assessment: integrating direct and indirect assessments for better learning outcomes
编辑推荐：
学习成果保证需整合直接与间接评估方法，混合方法研究显示间接措施能弥补直接评估盲区，战略整合比单纯数据收集更重要，提出“欣赏性评估”概念以促进持续教学改进。
Lilia Mantai|Angelito Calma|Anthony Devine
悉尼大学商学院，澳大利亚新南威尔士州悉尼市Abercrombie大楼5154室（H70），邮编2006
摘要
商业和管理教育采用直接和间接的方法来衡量项目学习成果，以监控教育质量并推动项目的持续改进。由于学习过程复杂、多方面且往往是隐性的，因此需要多种方法来确保学生达到了学习目标。虽然直接评估能够“展示”学习成果，通常被认为具有可靠性，但间接评估主要捕捉的是对学习成果的“感知”，在确保学习效果方面往往被忽视。我们通过一项混合方法研究（包括161份调查问卷和13次访谈，涉及39个国家）来探讨学习成果保证（AoL）从业者如何使用和评估间接测量方法。研究结果表明，间接测量方法大大补充了直接评估，提供了直接评估可能遗漏的关键学习成果信息。研究发现，真正的潜力不在于收集直接和间接测量数据本身，而在于将它们战略性地整合起来。通过评估过程中的反思性探究，教育工作者可以超越单纯遵守规定，成为利用评估整合作为持续改进教学方法的实践者。我们提倡在教学成果保证中战略性地整合评估方法，并提出了一种新的“反思性评估”概念。
引言
商学院和整个高等教育机构都致力于持续改进项目，以保持相关性和竞争力，利用各种证据来满足内部和外部认证、监管以及质量保证标准的要求（Alajoutsij?rvi等人，2018；Lakhal & Sévigny，2015；作者因同行评审被移除）。对于商学院而言，学习成果数据（在本文中与“目标”同义）有助于未来的改进和课程开发，例如通过学习成果保证（AoL）过程生成的数据。据称，学习成果保证能够提升商学院的学习效果、学生招生成功率以及品牌声誉（Attree等人，2025；MacKenzie等人，2020）。有人认为，学习成果保证在进一步提高商业项目的质量和毕业生质量方面发挥着关键作用（Wray等人，2020；Zhao & Ferran，2016）。AACSB商业标准（2020）指出，“学习成果保证是指系统性的过程和评估计划，这些过程和计划共同证明学习者掌握了他们所参与项目中的学习能力（涵盖知识、技能和能力）”（AACSB，2020，第44页）。此外，关于质量保证，该标准还规定：“学习成果保证还包括识别能力差距以及设计和实施课程及学习体验的改进措施，以确保学习能力得到满足。”
在商业认证的背景下，明确我们在学习成果保证中所说的“评估”和“测量”是什么意思非常重要。测量工具是用于收集学习证据的工具或手段，而评估则是指通过这些测量手段收集的证据来系统地评估学习成果是否达到预期目标的过程。解释测量数据、识别学习差距并采取改进措施以“闭环”这一过程构成了学习成果保证的实践（AACSB，2020）。商业认证中的学习成果保证区分了两种主要类型的学习测量方法：直接测量和间接测量。直接测量通常涉及课程中嵌入的成果，如作业、演示文稿、考试、作品集和项目，这些方法可以评估“可展示且可观察”的学习成果（Biggs等人，2022），并使用评估标准或类似工具（Fortino，2022；作者因同行评审被移除；Martell，2007）。直接测量通常在项目结束时进行，用于评估学生通过各种评估方式展示的实际知识和技能。相比之下，间接测量方法（如焦点小组或针对雇主和学生成果的调查，例如毕业调查、课程评估）反映的是学生或其他利益相关者对学生学习成果的“感知”。然而，也有一些间接测量方法并不基于感知，而是基于可计数数据，这些数据通常用于机构基准评估或支持改进，较少关注学习成果本身，例如毕业所需时间数据、毕业率、学生的课外活动等。虽然直接和间接测量的收集和记录是管理和商业教育中定期项目评估的组成部分，这也是质量保证和认证的要求，但在短期（如年度课程修订和更新）中，间接测量方法受到的关注较少。与直接测量相比，间接测量方法通常被边缘化，因为它们被认为是主观的、不太可靠的或代表性不足的，或者在难以对大规模群体实施直接评估时作为替代手段使用（Luce & Kirnan，2016；Nonaka & Krogh，2009；Price & Randall，2010）。例如，在每5-7年的项目评估或认证审查中，会参考行业和校友对课程有效性和相关性的意见，而直接测量则可以每学期进行一次。鉴于技术的快速发展以及其他对商业和工作场所的重大影响，建议加强行业与教育之间的定期对齐（WEF，2020）。
在学习评估中整合直接和间接测量方法非常重要。教育理论和实践告诉我们，学习过程是复杂的、多方面的，并且是随着时间积累的，其中大量学习内容是隐性的（Nonaka & Krogh，2009；Sadler，2010）。此外，评估和判断学生的学习成果同样复杂（Biggs等人，2022；Davis & Sumara，2014；Sadler，2010）。为了真实全面地了解学生的学习情况，并确保评估的公正性，需要多样化的评估方法。这一点在当前尤为重要，因为学生正在使用各种人工智能（AI）工具来进行学习评估。随着AI技术的不断进步，展示学习过程（例如学生是如何得出某个结论、结果或成果的）变得比评估中的学习成果本身更为重要（Houston & Thompson，2017；Tai等人，2023）。学习过程往往较为隐性和无形，需要适当的评估形式才能使其变得可见。
我们以商学院的学习成果保证实践为视角，探讨间接测量方法在项目层面评估学生学习成果中的作用和价值。在质量教育监管机构和认证机构推动使用多样化评估方法的背景下，商业教育工作者和管理人员现在更加重视将间接测量方法与直接测量方法相结合。这种整合带来了挑战，涉及学习成果保证从业者对评估和学习成果保证的理解和方式（Charlton & Newsham-West，2023；Emil & Cress，2013；Nordin，2013），以及他们如何区分那些有助于改进特定项目学习成果的间接测量方法，以及那些能够全面改进项目的间接测量方法。多样化的评估和测量方法的战略组合应该能够提供更全面的学生学习图景。在我们的研究中，我们探讨了学习成果保证从业者如何看待和使用间接测量方法来确保项目学习成果，他们的观点和实践揭示了哪些关于评估实践的信息。
接下来，我们首先阐述直接和间接测量的概念框架，然后描述我们用于解决研究问题的混合方法。我们展示了定量和定性结果，证明了间接评估和测量方法的互补性，以及学习成果保证从业者在整合这些方法时的反思性探究方法。我们的提议基于反思性评估方法，这种方法强调识别和利用各种评估方法的优点，而不仅仅是关注不足之处。同样，反思性评估鼓励我们认识到并利用每种评估方法的优势：直接测量提供了学生实际表现的证据，而间接测量则提供了对学生感知和自我报告的学习情况的洞察。我们详细阐述了反思性评估的教学原理和操作方面，并提出了实施反思性评估的实际建议。
部分摘录
概念化直接和间接评估
表面上看，评估讨论似乎充满了二元对立，例如形成性和总结性评估（Houston & Thompson，2017）、针对学习的评估和为学习服务的评估（Tai等人，2023；Boud & Falchikov，2006）、真实性评估和传统评估（Boud & Falchikov，2016；Charlton & Newsham-West，2023），但实际上不同类型的评估方法是相互交织和互补的。在这里，我们将直接和间接测量的概念纳入到这一评估讨论中。
方法论、数据收集与分析
我们研究了参与教学和项目管理的学习成果保证从业者如何看待和使用间接测量方法来评估学生的学习成果。由于学习评估是一个全球性问题，我们通过不同的平台向世界各地从事学习成果保证工作的专业人士网络发布了调查问卷（例如AACSB论坛和博客、AACSB认证会议和研讨会参与者，以及澳大利亚-新西兰AACSB电子邮件小组）。
调查结果
我们收到了161份调查问卷的回复。受访者表示具有丰富的学习成果保证经验，其中近一半的受访者拥有超过五年的经验。这些调查样本代表了来自39个国家和世界各地不同规模商学院的数据。虽然为了保护匿名性和提高回复率，没有收集学校的详细信息，但每份回复都代表一个独立的机构。大多数受访者的机构已经获得认证超过五年（69.2%）。
访谈结果
我们采访了14位来自三个地区的学习成果保证从业者，他们代表13所不同的学校（亚洲3所、欧洲6所、北美5所），这些学校是通过调查表达兴趣的24所学校中的部分。其余的受访者来自其他地区，但他们要么无法联系上，要么没有回复我们的电子邮件。样本包括不同的职位，如副院长、学习成果保证协调员、项目主管和课程协调员。
讨论
我们的研究探讨了商学院工作人员如何看待和使用间接测量方法来确保学习成果并促进项目改进。我们获得了两个方面的宝贵见解：首先，间接测量方法通过提供额外的数据和背景信息，为学习成果和项目表现提供了补充价值；其次，在项目和机构层面实施和整合间接测量方法能够使教学人员参与到评估实践中，突显了其重要性。
结论与贡献
确保学生充分发展大学学位所要求的学习成果是高等教育的道德责任。在认证背景下，强有力的学习成果保证也向各种利益相关者展示了价值和质量（Attree等人，2025；MacKenzie等人，2020；Zhao & Ferran，2016）。越来越多的机构依赖多样化的数据来改进课程、提供学生支持等，以保持项目的相关性、质量和可持续性。
CRediT作者贡献声明
Lilia Mantai：撰写——审稿与编辑、初稿撰写、可视化、验证、监督、软件使用、资源管理、方法论设计、调查实施、资金获取、数据分析、概念化。Angelito Calma：撰写——审稿与编辑、初稿撰写、方法论设计、数据分析、概念化。Anthony Devine：撰写——审稿与编辑、初稿撰写、验证、调查实施、数据管理，
