以证据为中心的设计方法：用于开发与验证基于计算机的数学创造性问题解决评估工具

《Thinking Skills and Creativity》：An Evidence-Centered Design Approach to Developing and Validating a Computer-Based Assessment of Mathematical Creative Problem Solving

　　

谭玉婷|曾吉莉|杨涛

香港教育大学心理学系，香港

摘要

作为“21世纪技能”，创造力和解决问题的能力已成为个人发展中的核心竞争力，这意味着培养学生的创造性问题解决能力是数学教育的关键组成部分。为了提供有针对性和个性化的教学以增强这些能力，了解学生在这一领域的发展情况至关重要。然而，在计算机科学和人工智能技术快速发展的时代，如何有效测量这些高阶思维能力仍然是教育评估中的一个关键挑战，利用这些技术来解决这一问题具有极其重要的意义。为了有效评估中学生的数学创造性问题解决能力（MCPSA），本研究开发了一个包含三个主要维度和七个次要维度的MCPSA评估框架，并基于证据中心设计（ECD）理论开发了一种基于计算机的交互式评估工具，确保其有效性和可靠性。该研究还使用778名参与者的数据，应用经典测试理论和项目反应理论（即广义部分评分模型）对该工具的心理测量属性进行了评估。最终的评估工具显示出较强的可靠性、内容有效性、结构有效性、标准有效性以及区分学生能力的能力，使其适用于各种教育环境。本研究通过利用计算机来评估数学中的创造性问题解决能力，提供了一个可复制的模型，将理论构建与教育评估中的实际应用联系起来。

引言

在全球教育框架中，创造力和问题解决能力已成为学生发展的关键竞争力（Thornhill-Miller等人，2023年）。创造性问题解决（CPS）涉及针对复杂且定义不明确的问题生成新颖有效的解决方案，整合了发散思维、聚合思维、元认知调节和适应性推理等技能（Treffinger等人，2023年；Urban & Urban，2023年）。在数学教育中，这些技能融合为数学创造性问题解决（MCPS），要求学生在数学背景下运用创造性思维，生成并批判性地评估数学问题的创新解决方案（Schoevers等人，2020年）。通过创造性方法处理复杂且定义不明确的数学问题，可以培养学生的深度理解能力、适应能力和创新能力，为他们学术上的成功和应对现实世界的挑战做好准备（Meier等人，2024年；Thahir等人，2024年）。

尽管其重要性显而易见，但评估MCPS仍然是一个关键挑战。传统的评估工具往往将创造力视为普遍存在的技能，忽视了创造性过程，缺乏真实的问题情境，并且心理测量属性较弱（Myszkowski等人，2024年；Van Hooijdonk等人，2022年）。在数学教育中，这种局限性尤为突出，因为问题解决的情境性和领域特定性需要更细致的测量方法。

基于计算机的评估（CBA）的最新进展提供了有希望的替代方案。CBA可以模拟真实情境，捕捉丰富的过程数据，并实现超越静态、脱离情境的任务格式（Chen等人，2024年；Stadler等人，2023年）。这类方法已成功应用于大规模评估中，如国际学生评估项目（PISA；OECD，2019年），用于测量计算思维、协作问题解决和创造性思维。然而，很少有CBA是专门为MCPS系统开发和验证的，能够在统一的评估框架中整合内容和过程指标。

为解决这一空白，本研究采用证据中心设计（ECD）方法（Mislevy等人，2003年）来开发和验证针对初中生的数学创造性问题解决评估工具。具体而言，我们的目标是：（1）构建一个基于理论的MCPS评估框架；（2）设计交互式的、基于现实世界的模拟问题解决任务；（3）从内容、反应过程、内部结构以及其他变量的关系中收集有效性证据。通过这些努力，本研究为评估MCPS提供了一种可靠、情境相关且创新的方法，有助于教育工作者诊断学生的能力，并根据当代数字学习环境调整教学。

节选

数学创造性问题解决的定义

创造性问题解决指的是涉及创造性过程、创造性思维和创造性解决方案的问题解决，特别是针对定义不明确的问题（Runco & Sakamoto，1998年）。随着创造力研究的深入，领域特定知识的重要性变得更加明显（Myszkowski等人，2024年），强调了MCPS和数学创造力的存在（Haylock，1987年）。Kim等人（2004年）将MCPS定义为使用现有知识生成新解决方案的能力。

程序

根据ECD理论，MCPSA评估框架和工具的开发可以分为以下几个步骤，前六步主要关注每种ECD模型：

• a)
  学生模型——评估框架的开发。此步骤首先进行了相关理论的文献分析，以确定关键认知要素。然后采用了德尔菲方法（Hsu & Sandford，2007年）——一种通过多轮匿名专家反馈达成共识的结构化过程

MCPSA评估框架

基于CPS、数学问题解决和MCPS理论的文献分析，本研究开发了一个MCPSA评估框架，并通过德尔菲过程进行了完善。最终框架包含三个主要维度和七个次要维度（见表2）。问题发现是MCPS的初始阶段，涉及识别、表示和表述定义不明确的问题（Abdulla等人，2020年）。这一维度包括三个子维度：

讨论

为了系统地测量中学生的MCPSA，本研究开发了一种评估工具，为有针对性的教学干预提供了诊断性见解。

结论

尽管存在一些局限性，该研究谨慎地支持基于计算机的评估在可靠测量中学生MCPSA方面的潜力，但仍需进一步研究。除了提供一个MCPSA评估工具外，它还展示了数字平台如何评估高阶思维能力，为开发类似工具以测量复杂认知能力提供了一种模型。

数据可用性

本研究的数据和分析代码可通过联系相应人员获得

作者声明

谭玉婷：概念化；数据收集与分析；方法论；项目行政管理；验证；初稿撰写；审稿与编辑。

曾吉莉：评估工具的开发。

杨涛：资金获取；方法论；初稿撰写。

Cropley, 2000, Lin, 2017, Meier et al., 2021, Rafner et al., 2023, Rohde et al., 2020, Sriraman, 2005, Teseo, 2019, Treffinger et al., 2008

谭玉婷：审稿与编辑；初稿撰写；验证；项目行政管理；方法论；调查；资金获取；正式分析；数据管理；概念化。曾吉莉：软件开发。杨涛：审稿与编辑；监督。

利益冲突声明

作者声明没有利益冲突。

致谢

作者感谢所有为开发该工具和收集数据提供宝贵帮助的研究学者、学生和软件开发人员。

谭玉婷