RESPECT：一个用于知情同意的对话式AI系统，具备高准确性、安全性，并以利益相关者为评估核心

《npj Digital Medicine》：RESPECT: a conversational AI system for informed consent with accuracy, safety, and stakeholder-centered evaluation

　　

摘要

知情同意（Informed Consent, IC）是临床研究的基石。知情同意通常包括书面材料，尤其是在临床试验中，还包括研究者和参与者之间的口头讨论。实际上，这两部分内容往往都是固定模板化的，这限制了进行有意义、个性化对话的机会。尽管大型语言模型（Large Language Models, LLMs）为提高知情同意的可用性提供了可能性，但要实现这一潜力，需要在研究应用之前确保模型的回答准确、安全且恰当。我们开发了RESPECT（RESearch Participant Engagement and Consent Tool）这一基于LLM的知情同意辅助工具，该工具利用检索增强生成（Retrieval-Augmented Generation, RAG）技术将回答内容基于知情同意的原始文档。通过留一法交叉验证（leave-one-out cross-validation）和问题重述分析（question rephrasing analysis），我们验证了该系统的信息检索能力，结果表明其具有较高的准确性。我们引入了一个新的安全评估框架，该框架衡量两个维度：恰当的拒绝行为（系统拒绝应不回答的问题的频率）和实用性（系统回答应回答的问题的频率）。这种方法通过绘制拒绝-实用性曲线（Refusal–Utility Curve, RUC）来概括简单的拒绝率，这种曲线类似于接收者操作特征曲线（Receiver Operating Characteristic, ROC-AUC曲线）。与GPT-4相比，RESPECT在恰当拒绝行为方面表现显著更好，但代价是在回答合法问题时的实用性有所下降。我们通过与研究人员的评估，对RESPECT的准确性、全面性和用户满意度进行了评估。RESPECT是首个针对研究场景开发的基于RAG技术的LLM知情同意辅助工具，通过更高的恰当拒绝率显著提升了安全性。这种新的RUC评估框架为研究人员提供了评估LLM系统安全性与实用性之间权衡的工具，有助于他们在医疗研究中做出明智的决策。