在数字认知评估中澄清比较性声明：关于多模态检测认知障碍和淀粉样蛋白阳性结果的相关问题

《Alzheimer's Research & Therapy》：Clarifying comparative claims in digital cognitive assessment: a matters arising on multimodal detection of cognitive impairment and amyloid positivity

　　

摘要

数字认知评估是一种重要且发展迅速的方法，用于检测认知障碍和与阿尔茨海默病相关的病理变化。Jannati等人报告了使用多模态数字时钟和回忆评估来识别认知障碍和淀粉样蛋白阳性的有希望的发现。尽管这一贡献受到欢迎，但关于Cognivue^?的几项比较性陈述依赖于历史上的监管数据，并没有反映在手稿准备时现有的同期同行评审证据。这篇《Matters Arising》文章阐明了跨研究性能比较的局限性，指出了对早期Cognivue出版物的选择性引用，并总结了后续的同行评审发现，这些发现证明了Cognivue的心理测量有效性、生物标志物关联以及在不同人群中的普遍性。这些考虑突显了在断言数字认知评估工具之间的相对性能时进行协调、同期比较的重要性。

背景与范围

我们赞赏Jannati等人描述了由Linus Health开发的数字时钟和回忆（DCR）测试的工作，该测试使用多模态机器学习模型报告了检测认知障碍和淀粉样蛋白阳性的令人鼓舞的结果。这项研究为可扩展的、基于技术的认知筛查文献做出了有意义的贡献。Bio-Hermes-001临床研究提供了一种新的方法，用于评估几种数字认知评估的有效性、敏感性、特异性和预测值，这些评估与专家临床诊断、血浆生物标志物和淀粉样蛋白PET扫描相结合。虽然报告强调了DCR的发现，但它同时也将DCR的性能与Bio-Hermes-001中收集的一些但并非所有指标进行了比较，包括Cognivue Clarity^?_,这是一种获得FDA批准的计算机化认知筛查测试 [1]。我们想借此机会澄清Jannati等人的一些发现，并将其与其他使用Bio-Hermes-001数据的研究进行对比。

方法、分析和解释的局限性

在Jannati等人的手稿中，DCR与Cognivue Clarity和基于血液的生物标志物进行了比较，以使用随机森林模型根据“每个测试的最具预测性的变量结合参与者的年龄”来确定认知障碍的分类。虽然这种方法可能适用于基于血液的生物标志物，但我们认为这可能导致Cognivue Clarity模型的过拟合，因为其总体分数已经进行了年龄标准化。此外，在图1中的非劣效性分析中，B面板显示Cognivue Clarity与DCR处于等效区域内，因此数据并不支持其中一个优于另一个的结论。同样不清楚为什么分析将DCR与基于血液的生物标志物检测认知障碍的能力进行比较，因为这并不是这些生物标志物的设计目的，也不是它们的任何声明所声称的。

图1

此图像的替代文本可能是使用AI生成的。

全尺寸图像

A 曲线下面积（AUC）值（y轴）是通过对模型训练迭代平均得出的，用于预测队列分类（认知未受损 [CU] 与MCI或pAD），分别对应于各种认知评估（橙色条形）和基于血液的生物标志物（BBMs，紫色条形）。较高的值表示更好的性能。请注意，MMSE和RAVLT（红色边框条形）的AUC值是队列确定的标准之一，因此它们的性能存在偏差。DCR的表现优于所有其他认知测试和生物标志物，除了RAVLT，包括MMSE的偏差性能。所有BBMs在分类认知障碍方面表现不佳。B 非劣效性分析的结果，比较了DCR与其他认知测试和B8Ms的分类性能。比较结果列在y轴上，而AUC的差异绘制在x轴上。中位数AUC值（蓝色点）和95%置信区间（蓝色条形）是通过5000次自助法迭代计算得出的。垂直虚线表示用于确定一个模型的准确性是否优于另一个模型的0.1阈值。DCR在统计上优于所有BBMs，除了p-tau217，在分类认知障碍方面；并且在一定程度上也优于Cognitive。尽管MMSE和RAVLT的表现存在偏差，但DCR在分类认知障碍方面的表现与这些测试相当。

了解每种数字认知评估实际测量的是什么以及如何最好地解释其结果以用于研究和临床实践也是非常重要的。数字认知评估是否最适合筛查全因认知障碍？它能否用于轻度认知障碍或痴呆的诊断？这些分数随时间变化如何以跟踪病情进展？数字认知评估是否对治疗干预敏感？理解这些问题可以最好地定位这些评估，使其在最有效、最高效和最适当的方式中使用。Jannati等人的手稿中没有讨论这些问题，而是试图与Cognivue Clarity和基于血液的生物标志物进行比较。然而，Cognivue Clarity可能扮演的角色与DCR不同，而基于血液的生物标志物从未被开发用于筛查认知障碍。

Cognivue Clarity的当代证据

Cognivue Clarity在Bio-Hermes-001研究中得到了应用，有三篇论文报告了相关发现。这些论文都没有在Jannati等人的手稿中被引用。关于Cognivue Clarity的具体比较性声明需要澄清，以反映其价值。这也适用于Bio-Hermes-001中包含的其他数字认知评估，但这些评估在Jannati等人的论文中并未被研究。我们已经证明，Cognivue Clarity可以在Bio-Hermes-001样本中区分有认知障碍和没有认知障碍的个体，效应量很大，在生物标志物确认的组中，其阳性似然比为2.17，阴性似然比为0.29，诊断比值比为7.48 [2]。Cognivue Clarity还能够区分真正的对照组（认知正常/淀粉样蛋白阴性）和临床前AD（认知正常/淀粉样蛋白阳性），其中三个子测试对PET定义的淀粉样蛋白的存在特别敏感 [3。最后，在同一Bio-Hermes样本中，我们利用Cognivue Clarity的三个淀粉样蛋白敏感测试创建了一个Cognivue淀粉样蛋白风险测量（CARM），利用机器学习为临床医生或研究人员提供额外的价值 [4》。未能引用使用相同队列的当代文献是全面解释Jannati等人报告发现的局限性。当没有提供或讨论使用相同队列的其他论文的发现时，很难完全评估DCR独特为基于血液的生物标志物增加预测价值的主张。

结论

对数字认知评估进行严格、透明的评估是必不可少的。这包括在多样化的、具有代表性的群体中测试这些评估，并包括纵向访问，以了解它们在整个疾病谱系中的价值 [5]。虽然“正面交锋”比较似乎提供了有用的信息，但它们本质上是有偏的，因为选择进行比较的方法通常偏向于作者所在的团队。这种最透明的两个测试之间的比较将使用临床医生和研究人员容易获得的测试的总体分数。尽管如此，Jannati等人的说法是正确的，即数字认知评估为在初级保健环境中早期检测认知障碍提供了巨大的机会，并能迅速将患者转诊给专家进行正式诊断和治疗，使用当前和新兴的疗法。