《Sleep Medicine》：Evaluation of an automated sleep apnea scoring algorithm via the Wesper Lab home sleep apnea test
编辑推荐：
本研究验证了Wesper Lab家睡眠监测测试（HSAT）的AI自动评分算法在实验室和真实场景中的性能，通过三层次分析（算法与PSG比较、盲法人工评分一致性、多中心临床HSAT验证）发现算法与专家评分高度一致（AHI相关系数达0.98），证实其可靠性和临床适用性。
切尔西·罗尔斯海布（Chelsie Rohrscheib）|安东尼奥·阿图尔·莫拉（Antonio Artur Moura）|贾娜·拉斐尔森（Janna Raphelson）|杰里米·E·奥尔（Jeremy E. Orr）|鲁奇尔·P·帕特尔（Ruchir P. Patel）|阿图尔·马尔霍特拉（Atul Malhotra）
Wesper公司，美国纽约州纽约市第五大道234号，邮编10001
摘要
本研究评估了Wesper实验室家庭睡眠呼吸暂停测试（HSAT）人工智能（AI）自动评分算法在实验室环境和现实世界条件下的性能。我们使用了两个数据集和三种分析方法进行了多层次验证。主要分析将Wesper实验室HSAT的呼吸暂停-低通气指数（AHI）和中枢性呼吸暂停指数（CAI）与由盲法技术人员评分的多导睡眠图（PSG）结果进行了比较（n = 44）。次要分析评估了同一44名患者的Wesper实验室原始信号的盲法评分：首先由一名评分员评分，然后由另外两名评分员评分，以评估评分者间的一致性。第三级分析检查了临床HSAT数据（n = 139），其中算法得出的AHI结果与11个独立诊所的专家重新评分结果进行了比较。一致性指标包括皮尔逊相关性、布兰德-阿尔特曼（Bland-Altman）分析和混淆矩阵。主要分析显示，算法与PSG在AHI（r = 0.90）和CAI（r = 0.82）方面具有强相关性，并且布兰德-阿尔特曼分析中的偏差最小。次要分析显示相关性为r ≥ 0.95，偏差也很小。在三名评分员之间，相关性始终≥0.93。第三级分析显示相关性为r = 0.98，偏差最小。这些发现表明Wesper实验室的自动评分算法是检测阻塞性睡眠呼吸暂停和中枢性呼吸暂停事件的可靠工具，支持其作为提高睡眠呼吸暂停诊断可及性的HSAT平台的作用。
引言
阻塞性睡眠呼吸暂停（OSA）是一种常见的与睡眠相关的呼吸障碍，其特征是在睡眠期间反复出现上呼吸道阻塞，导致间歇性缺氧和睡眠片段化[1]。如果不加以治疗，OSA会导致一系列严重的并发症，包括心血管疾病、2型糖尿病、认知障碍和抑郁症[2]。尽管其患病率很高，但由于传统实验室多导睡眠图（PSG）的种种限制（如成本、获取难度和患者不适[3],[4],[5]），OSA仍然被低估。
为了克服传统睡眠呼吸暂停诊断方法的局限性，人们越来越关注使用人工智能（AI）来提高睡眠测试的准确性和效率，特别是通过家庭测试方法[6],[7]。如今，基于AI的算法已广泛应用于家庭睡眠呼吸暂停测试（HSAT）中，这些算法可以自动化呼吸事件的评分，减少评分者间的差异，并支持对睡眠数据的多夜解读[8],[9]。Wesper实验室就是这样一种系统，它获得了FDA的批准，属于III类HSAT设备，使用AI驱动的评分方法根据美国睡眠医学学会（AASM）的3%和4%低氧饱和度标准来检测阻塞性或中枢性呼吸暂停和低通气[10],[11]。Wesper实验室系统记录胸腔和腹部的呼吸努力，并利用类似于呼吸传导容积描记法的总和呼吸信号来计算气流，从而提供区分阻塞性事件（保留呼吸努力）和中枢性事件（无呼吸努力）的生理信息。
本研究的目的是在受控的实验室环境和现实世界的家庭测试中评估Wesper实验室自动评分算法的诊断性能，通过专注于算法在不同环境下的表现来扩展之前的设备级验证工作。为此，我们进行了三项互补的分析：（1）将实验室专家评分的PSG结果与同时进行的Wesper实验室HSAT自动评分结果进行比较；（2）将盲法专家重新评分的实验室Wesper实验室原始信号与自动评分结果进行比较；（3）将自动评分结果与现实世界临床Wesper实验室HSAT的专家重新评分结果进行比较。这些分析共同提供了对算法在多种测试环境中的诊断准确性、可靠性和临床适用性的多层次评估。
分析概述
为了评估Wesper实验室自动评分算法的性能，我们使用了两个数据集和三种不同的分析方法，每种方法都旨在评估算法相对于人工评分的不同方面。数据集包括：（1）同时进行的Wesper实验室HSAT和实验室多导睡眠图（PSG）研究；（2）现实世界的临床Wesper实验室HSAT。在所有分析中，呼吸事件的检测和分类都是通过……
主要分析
在Wesper实验室算法评分与实验室PSG数据的盲法人工评分比较中，算法的AHI皮尔逊相关性为r = 0.90（95%置信区间：[0.83, 0.95]；p = 0.0001）。布兰德-阿尔特曼分析显示平均偏差为0.59（95%置信区间：[?1.24, 2.41]），95%的一致性范围为?11.17（95%置信区间：[?14.31, ?8.03]至12.35（95%置信区间：[9.21, 15.49]），表明总体偏差很小（图1A和1B）。混淆矩阵显示对正常和轻度OSA的分类效果良好，但……
讨论
本研究证明，Wesper实验室自动评分算法在多种验证设置中能够可靠地检测呼吸暂停事件。在主要分析中，使用同时进行的PSG数据时，算法保持了高相关性和诊断性能。在次要分析中，当盲法技术人员重新评分Wesper实验室原始信号时，算法在不同评分者之间表现出强烈的一致性，证实了其性能与专家评分结果一致。
结论
Wesper实验室自动评分算法在实验室PSG和现实世界诊断HSAT中都与专家评分结果高度一致，证明了其作为可靠且可扩展的OSA检测和中枢性呼吸暂停事件分类工具的地位。通过解决评分者间差异问题并在常规临床实践中保持高准确性，Wesper实验室代表了一个经过验证的AI驱动平台，可以提升睡眠医学领域的可及性、标准化和效率。
作者贡献声明
切尔西·罗尔斯海布（Chelsie Rohrscheib）：撰写 – 审稿与编辑、撰写 – 原稿撰写、可视化、验证、项目监督、方法论设计、研究实施、数据分析、数据整理、概念构思。安东尼奥·阿图尔·莫拉（Antonio Artur Moura）：撰写 – 审稿与编辑、撰写 – 原稿撰写、可视化、验证、方法论设计、研究实施、数据分析、数据整理、概念构思。贾娜·拉斐尔森（Janna Raphelson）：撰写 – 审稿与编辑、撰写 – 原稿撰写、数据分析。杰里米·E·奥尔（Jeremy E. Orr）：
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：阿图尔·马尔霍特拉（Atul Malhotra）表示获得了Wesper公司的财务支持；鲁奇尔·P·帕特尔（Ruchir P Patel）是Wesper公司资助的一项无关临床试验的首席研究员（PI）。如果还有其他作者，他们声明自己没有已知的财务利益冲突。
致谢
本研究由Wesper公司资助。作者感谢Kyle Schwab博士对已完成的手稿提供的反馈。我们还要感谢Raphelson等人（2023年，《临床睡眠医学杂志》）的原始临床试验，他们的研究数据为本验证研究提供了支持。此外，我们还要感谢Colleen Kelly博士在统计分析方面的协助。
