《Scientific Reports》：Screenathon 2.0: human–AI collaborative screening applied to patient-generated health data
编辑推荐：
本研究针对传统证据整合过程中人工筛选耗时费力、一致性差，而全自动大语言模型方法又缺乏上下文判断的问题，提出了“Screenathon 2.0”这一融合群体智慧与自适应机器学习的新方法。在针对11个疾病主题共5842篇患者生成健康数据相关文献的筛查中，该方法在2天内成功识别出487篇相关文献，并通过后处理流程保障了数据质量。这项研究为人机协作进行高效、可靠的系统性综述提供了可行的范式。
在当今信息爆炸的时代，医学研究和临床实践对高质量证据的需求与日俱增。系统性综述，作为整合现有研究证据的“金标准”，是循证医学决策的基石。然而，构建一份高质量的系统性综述，第一步——文献筛选，就往往让研究者们头疼不已。想象一下，面对成千上万篇可能相关的文献，研究团队需要逐篇阅读标题和摘要，判断其是否符合纳入标准。这个过程不仅极其耗时，动辄数月，而且高度依赖人工判断，不同审阅者之间难免存在标准不一、主观偏差的问题。随着人工智能，特别是大型语言模型(LLM)的崛起，人们似乎看到了“救星”，期待自动化工具能接管这项繁琐的工作。但现实是，完全依赖AI进行复杂的科学文献筛选，其判断往往缺乏对研究背景、方法和细微差异的深度理解，可靠性存疑。那么，有没有一种两全其美的方法，既能发挥人类的专业判断力，又能借助机器的计算效率，让文献筛查既快又准呢？
近期发表在《Scientific Reports》上的一项研究，为我们展示了一种新颖而高效的解决方案。这项由多国团队开展的研究，旨在解决系统性综述中传统人工筛查效率低下与全自动AI筛查可靠性不足之间的矛盾。为此，研究人员设计并组织实施了一场名为“Screenathon 2.0”的大规模协作实验。这项研究的核心思路是“人机协同，群体智慧”，将来自27个合作机构的专家组织起来，与自适应机器学习模型合作，共同完成一项艰巨的筛查任务。
为开展这项研究，研究人员主要采用了以下几种关键技术方法：首先，建立了基于群体智慧的人机协同筛查框架，将人类专家与自适应机器学习模型整合到同一工作流中。其次，应用了大规模分布式协作的组织模式，在短时间内协调了来自多个机构的众多参与者。第三，设计并实施了一套核心的后处理与数据质量保障流程，包括主题重分配、定向全文验证以及噪声标签过滤，这些是确保最终结果可靠性的关键。研究的样本来源是一个大型欧盟项目所关注的、与11种疾病主题相关的患者生成健康数据(PGHD)研究文献池，共计5842条记录。
研究结果
大规模协作筛查的实施与产出
研究团队在短短2天内，成功组织了一个由多国专家组成的“筛查马拉松”。总计有5842篇涉及患者生成健康数据(PGHD)的文献记录被分派给参与者进行筛查，这些文献涵盖了十一个不同的疾病主题。最终，通过这个人机协作系统，共标记出487篇相关文献和6463篇不相关文献。筛查效率呈现出个体差异，每位参与者筛查的文献数量从3篇到2496篇不等，平均每位筛查者处理了216.4篇文献（标准误SE = 95.19）。这一结果直接证明了该方法在极短时间内处理海量文献的可行性。
后处理流程对数据质量的关键作用
研究明确指出，深思熟虑的后处理是保障筛查结果质量的核心安全网。具体措施包括：1) 主题重分配：对筛查过程中可能被错误分类或归属不明的文献进行主题纠正与再分配。2) 定向全文验证：针对筛选结果中存在疑问或边界情况的文献，进行针对性的全文阅读和复核，以修正仅基于摘要可能产生的误判。3) 噪声标签过滤：利用算法识别并处理由于参与者理解偏差、操作失误等引入的不一致或错误标签，从而净化最终的数据集。这些步骤共同作用，提升了最终纳入文献集合的准确性。
参与者反馈与系统评估
通过事后调查进行的探索性分析揭示了参与者的体验与态度变化。分析表明，在参与此次“Screenathon”活动后，专家们对于人工智能辅助进行系统性综述的信任度有所提升。同时，参与者对本次协作筛查方法的可用性也给予了普遍积极的评价。这从用户接受度的角度，为人机协同模式在专业领域的推广应用提供了积极的信号。
研究结论与讨论
本研究通过“Screenathon 2.0”实践，成功验证了一种融合群体智慧与自适应机器学习的人机协同文献筛查方法。该方法能够在极短时间内（2天）高效处理大规模文献（5842篇），并最终产出经过质量控制的筛查结果（识别出487篇相关文献）。研究结果表明，纯粹的人工筛查存在效率瓶颈和一致性问题，而完全自动化的LLM方案则受限于复杂决策所需的语境判断力。人机协同的路径提供了一种有效的折中与增强方案。
这项研究的重要意义在于，它不仅仅是展示了一项技术的应用，更提供了一套关于如何有效组织人机协作的系统性方法论。它强调，成功的协同并非简单地将人与机器并列，而是需要深思熟虑的训练与校准，以及强有力的后处理保障措施。具体而言，需要对参与者进行充分的培训以确保对筛查标准的一致理解，需要校准人机之间的任务分配与交互逻辑，更需要通过严谨的后处理流程来弥补协同过程中可能产生的任何数据质量问题。这项工作为未来在医学、公共卫生及其他依赖证据综述的领域开展大规模、快速、可靠的证据整合提供了宝贵的实践蓝图和理论框架，推动了循证研究向更高效、更智能的方向发展。
