《Clinical Simulation in Nursing》：Testing the reliability of the Creighton Competency Evaluation Instrument 2.0 for evaluating student learning with immersive virtual reality
编辑推荐：
沉浸式虚拟现实（IVR）教学在护理教育中的应用日益增多，但评价工具的信度研究有限。本研究通过72名预科护士参与IVR模拟场景评估，使用CCEI 2.0工具发现组间信度系数为0.74，Gwet’s AC为0.86，证实其在IVR环境中的有效性和可靠性。
莎拉·J·鲍尔（Sarah J. Ball）| 玛莎·J·托德（Martha J. Todd）| 卢卡斯·曼宁（Lucas Manning）| 朱莉·A·曼兹（Julie A. Manz）| 林赛·艾弗森（Lindsay Iverson）| 杰克·H·泰勒（Jack H. Taylor）
美国内布拉斯加州奥马哈市克雷顿大学护理学院，邮编68178
摘要
背景
在护理教育中，沉浸式虚拟现实（IVR）作为教学模拟工具的使用正在增加，但用于评估这种学习环境中能力的可靠工具仍然有限。本研究评估了在使用克雷顿能力评估工具2.0（CCEI 2.0）进行IVR模拟场景评估时，不同评估者之间的评分一致性。
方法
72名护理学士学位（BSN）学生参与了这项研究，他们在一个IVR场景中接受了评估，评估使用了包含25个二分项的CCEI 2.0工具。
结果
总体而言，CCEI 2.0的评分者间一致性很高，平均Phi/Pearson相关系数为0.74，Gwet的AC值为0.86，表明一致性良好至优秀。绝对一致性平均为91.72%，大多数单项的评分者间一致性也很高（Gwet的AC值大于0.7）。这两个指标都支持CCEI 2.0的评分者间可靠性。
结论
CCEI 2.0显示出较强的评分者间一致性，证明了其作为IVR模拟环境中有效且可行的评估工具的可靠性。
引言
沉浸式虚拟现实（IVR）是一种新兴的医疗高等教育模拟教学方法，通过提供真实的临床环境复制来增强学习效果（Lie等人，2022；Rourke，2020；Shorey & Ng，2021）。IVR通过将用户带入高度交互式的三维数字环境中，创造出完整的360度体验。虚拟现实头戴设备和追踪控制器使用户能够在模拟情境中以真实的方式互动。在IVR的实时环境中，学生通过移动、感知和触觉与物体互动，从而练习各种行为和技能。这不仅有助于技术技能的发展，还能培养非技术性和认知能力，如沟通、安全和专业素养（Koukourikos等人，2021；Kyaw等人，2019；Lie等人，2023；Shorey & Ng，2021）。通过练习这些行为，学生可以在进入专业实践之前增强他们的临床实践和决策能力。
与传统教育或其他类型的技术驱动教育相比，IVR能够促进知识和技能的提升（Kyaw等人，2019）。然而，IVR教育的评估和评价方法并不一致且总体上缺乏（Bradley等人，2024；Lie等人，2023；Liu等人，2023；Shorey & Ng，2021）。随着越来越多的学校采用新的IVR教学方法，确认评估方法的有效性和可靠性至关重要。克雷顿能力评估工具?（CCEI）是一种已被证明在护理学生的临床和模拟体验评估中具有有效性和可靠性的工具（Manz等人，2023）。
根据基于能力的教育原则，CCEI已更新为CCEI 2.0（Manz等人，2025），该版本整合了美国国家护理委员会（NCSBN）的临床判断测量模型，并扩展了该工具的适用范围，既适用于准护士也适用于高级实践护士。新修订的CCEI 2.0在评估使用高保真模拟人模型的准护士的能力时显示出了有效性和可靠性（Manz等人，2025）。尽管先前的研究报道了使用CCEI评估准护士在IVR中的教育能力，但目前尚未有发表的研究描述新修订的CCEI 2.0的应用情况。
本研究的目的是评估CCEI 2.0在沉浸式虚拟现实（IVR）环境中的可靠性。
研究部分
研究目的
- 评估在不同评估者使用CCEI 2.0工具进行IVR评估时的评分一致性。
- 确定两位教师评估者是否能够实时（直播）有效评估准护士在IVR模拟中的表现。
文献综述
有研究表明，虚拟现实对护理教育具有积极影响，有助于培养具备实践能力的护士。一项对12项随机研究的系统评价表明，与传统教学方法相比，IVR技术能够更有效地促进临床技能和全面理论知识的掌握，但在学生的批判性思维方面没有显著差异。
研究设计
本研究采用了评估者间可靠性测试的原则和技术。咨询了一位统计专家来协助制定研究设计和确定适当的分析方法。为了测试使用CCEI 2.0在IVR模拟中的评分者一致性，选择了一门已经在使用IVR进行模拟临床体验的传统四年制准护士课程作为实施对象。
结果
共有72名准护士专业的大三学生和五位教师评估者自愿参与了这项研究。五位评估者中，所有者的注册护士资格均超过五年（其中一位为5-10年；一位为10-15年；三位超过15年），并且他们都具备母婴临床经验（一位教师少于2年；两位教师为5-10年；两位教师超过15年）。所有参与评估的教师均符合至少有一年护理工作经验的纳入标准。
讨论
随着IVR在护理课程中的不断发展，需要标准化和全面的评估工具来衡量学习成果（Bradley等人，2024；Parong & Mayer，2021；Rourke，2020；Shorey & Ng，2021）。CCEI 2.0这种包含25个二分项的工具专为测量模拟和临床环境中的具体绩效指标而设计。已知CCEI 2.0在高保真模拟环境中是一种有效且可靠的工具（Manz等人，2023；Manz等人，2025）。
局限性
虽然本研究的结果支持了CCEI 2.0在IVR技术使用下的评分者间一致性，但仍需注意几个局限性。首先，本研究仅涉及一所大学的大三准护士学生，这限制了结果的普遍性。每位学生只有一位教师进行评估，如果每位学生有更多位教师参与评估，将能更准确地了解评分者间的一致性。
未来展望
未来的研究需要验证CCEI 2.0在涉及不同场景、临床专业和涵盖工具中所有项目的IVR环境中的评分者可靠性。建议开展涉及更多样化教师和学生群体的重复研究。此外，应按照Voselsang等人（2024）和INACSL标准委员会（2021）的要求，进行改进和标准化的研究。
结论
本研究结果表明，CCEI 2.0在IVR环境中的评分者间一致性很强，因此其可靠性得到了证实。此外，CCEI 2.0能够有效地实时（直播）评估准护士在IVR环境中的表现。随着越来越多的护理课程将IVR技术纳入其中，这些发现具有重要的现实意义。这些发现进一步证实了CCEI 2.0的心理测量特性。
资金支持
本项目的部分资金由克雷顿大学的Hadix Grant提供。
作者贡献声明
莎拉·J·鲍尔（Sarah J. Ball）：撰写——审稿与编辑、初稿撰写、可视化、验证、监督、软件使用、资源协调、项目管理、方法论设计、研究实施、资金筹集、数据分析、概念构思。玛莎·J·托德（Martha J. Todd）：撰写——审稿与编辑、验证、监督、资源协调、方法论设计、研究实施、资金筹集、数据管理、概念构思。卢卡斯·曼宁（Lucas Manning）：撰写——审稿与编辑、可视化、验证、监督
