《Expert Systems with Applications》：The technological and societal co-evolution landscape of AI medical conversational agents: An LLM-enhanced quantitative textual review
编辑推荐：
AI医疗对话代理的协同进化研究：基于大语言模型的混合文献计量框架
作者：Bo Xiang, Zhaoping Yan, Hongcheng Wei, Jin Shi
单位：南京大学信息管理学院，中国南京 210023
摘要
作为人工智能（AI）、医学信息学和人机交互的跨学科产物，AI医疗对话代理整合了大型语言模型（LLMs）和智能代理等尖端技术。因此，它们的应用引发了许多复杂的社会伦理挑战。本研究基于社会技术系统理论，构建了一个结合了LLM、主题建模和社会网络分析的混合计量学框架，用于探索AI医疗对话代理领域中技术和社会的共进化格局。具体而言，从Web of Science和Engineering Village收集了4,649条与该领域相关的文献记录。随后，采用基于LLM的代理与人类验证相结合的混合架构进行数据清洗和对齐。利用LLMs的语言理解能力，将相关文献映射到社会和技术维度，与社会技术系统理论保持一致。评估结果表明，少样本方法在准确性、精确度、召回率和F1分数方面优于零样本方法。结构化主题模型被用来构建一个包含5个主要领域和14个关键研究主题的知识图谱。根据文献的社会和技术分类，这些主题被划分为技术型、社会型和中立型。主题关联网络显示了类别内部的密集联系，而社会和技术主题之间的直接联系较为稀少，主要依赖于中间主题进行衔接。通过结合基于关键词的分析和文献的学科分类，本研究揭示了社会技术共进化格局的内在机制。值得注意的是，围绕交互体验和临床实用性的主题成为了连接社会和技术子系统的主要桥梁。总体而言，本研究提出了一种结合LLM进行计量学分析的方法论框架，为AI医疗对话代理这一关键领域提供了新的见解。
引言
随着人工智能（AI）的不断进步，尤其是大型语言模型（LLMs）技术的发展，AI医疗对话代理逐渐成为医学信息学和信息管理领域的重要研究方向。从定义角度来看，这种研究对象被定义为利用自然语言处理和机器学习等AI技术的交互式虚拟实体，旨在通过对话互动模拟和扩展医学知识和判断（Laranjo等人，2018；Kramer等人，2020；Huynh等人，2025）。与广义的AI健康系统不同，其核心特征在于交互性和拟人化。
基于社会技术系统理论的核心假设，该领域的发展是社会需求和技术进步共同作用的结果（Wesley等人，2019）。一方面，算法精度的提高和技术子系统中多模态交互的发展为社会子系统带来了新的服务形式，例如个性化诊断建议和实时决策支持（Laranjo等人，2018；Zou和Topol，2025）。另一方面，社会子系统中的复杂变量，包括利益相关者信任、伦理标准和公众情感接受度（Philip等人，2020；Liu和Tao，2022；Wang和Wang，2024；Tam等人，2024），构成了技术存在的选择性环境。这些因素不仅仅是被动的接受者，而是通过反馈循环推动技术修改和伦理边界重塑的积极主体。因此，理解这一领域需要捕捉这两个子系统之间的关联。
面对这一挑战，计量学分析提供了一个全面的视角来审视这一领域的知识格局。这种系统方法不仅有助于勾勒出该领域的发展轨迹和新兴热点，还为理解其未来方向提供了理论和数据支持（Kastrin和Hristovski，2021；Yu和Xiang，2023b）。基于此，学者们回顾了相关文献，但大多数研究要么从纯粹的技术角度进行性能评估，要么从纯粹的社会科学角度进行伦理探索（Laranjo等人，2018；Kramer等人，2020）。尽管社会技术系统理论强调整体性，但这些研究往往陷入二元分离的困境。造成这种差距的根本原因在于传统计量学方法在面对大量复杂文献时无法实现精确分类。然而，LLMs的出现标志着一个转折点。LLMs以其卓越的上下文意识和语义泛化能力而著称，展现出类似人类的文本理解能力。因此，研究人员越来越将它们视为强大的文本分类工具（Guo和Sarker，2025；Wu等人，2025）。基于此，本研究利用LLMs来解决将文献分类为社会和技术子系统的难题。
然而，构建基于社会技术系统理论的系统计量学框架仍需克服若干方法论挑战。一方面，跨数据库数据对齐是确保计量学分析准确性的前提，但这仍然是一个长期存在的问题（Diez-Junguitu和Pe?a-Cerezo，2026）。特别是像Web of Science（WoS）和Engineering Village（EV）这样的平台，由于关注点和纳入标准的不同，其数据具有多源和异构的特点。这导致了结构不一致、领域划分不清和数据不对齐等问题，从而使得语义模糊。虽然LLMs有助于数据清洗、实体规范化、领域扩展和语义补全等关键预处理任务（Scherbakov等人，2025；Wu等人，2025），但如何协调这些任务并整合人类参与式的架构仍待解决。解决这一问题对于抵消计量学数据中的幻觉风险和减少偏见至关重要。另一方面，尽管二元分类可以区分社会和技术文献，但它无法捕捉到大量非结构化文本中所隐藏的深层结构，而这些结构恰恰反映了推动这两个子系统相互演进的机制。因此，本文提出了以下研究问题：
•结合LLM与人类参与式验证的混合架构如何有效执行数据清洗任务，以克服多源计量学数据的固有结构异质性？
•如何利用LLMs的语义理解能力来界定研究内容的边界，从而将大量文献分类为技术和社会子系统？
•当前定义AI医疗对话代理领域的主要知识结构是什么？
•基于社会技术系统理论，社会和技术子系统之间表现出哪些共进化特征？它们相互作用的主要关联机制是什么？
为了解决上述问题，本研究构建了一个结合LLM、主题建模和社会网络分析的系统计量学框架，旨在从多维度角度探讨AI医疗对话代理领域中社会和技术子系统的共进化。首先，针对数据异质性的挑战（回应RQ1），本研究设计了一个基于LLM和专家验证的预处理流程。该流程包括四个核心模块：信息提取、唯一列表生成、数据对齐和验证与补充。其次，本研究使用LLM作为分类器，将文献分类为社会技术框架中的技术子系统或社会子系统，从而为后续分析建立理论基础（回应RQ2）。第三，针对深度知识挖掘（回应RQ3），本研究采用结构化主题建模（STM）来挖掘非结构化文本，旨在识别该领域的核心研究主题，并定量揭示技术和社会方面在特定主题上的内容贡献差异。最后，针对社会技术系统的深入分析（回应RQ4），本研究将学科计量学指标与通过快速自动关键词提取（RAKE）算法提取的关键词相结合。通过研究技术子系统和社会子系统之间的关联模式，本研究旨在揭示AI医疗对话代理领域的特征机制。总体而言，本研究提出了一种利用LLM映射社会技术系统共进化的新型计量学框架，特别关注AI医疗对话代理，阐明其技术结构、对医疗系统的影响以及社会认知。
本文的结构如下：第2节回顾相关概念和方法；第3节介绍提出的研究框架；第4节讨论数据收集和结果分析；第5节进行深入讨论，总结主要发现和局限性。
研究背景
本节从两个角度回顾了相关文献：AI医疗对话代理和基于文献的知识发现。一方面，详细阐述了AI医疗对话代理的概念框架，以及它们在LLMs时代所呈现的技术-社会交互的复杂性；另一方面，探讨了基于文献的知识发现的技术基础，并对其优势进行了批判性评估。
方法论
本节旨在介绍本研究中提出的整体框架，如图1所示。该框架主要包括数据收集和预处理、知识挖掘以及知识演化分析。具体内容将在后续章节中详细阐述。
结果与分析
为了验证所提出的方法论框架并回顾我们的研究主题，本节展示了关于AI医疗对话代理的结果和分析。
技术和社会的共进化机制
AI医疗对话代理呈现出许多不同的方面，从不同角度对这些研究主题进行探讨时存在显著差异。基于此，本研究采用短语提取和主题建模的混合方法来揭示相关文献中的隐含科学知识。此外，结合LLMs，进一步探讨了社会和技术内容的共进化格局。总体而言，研究结果揭示了...生成式AI披露
本手稿使用了ChatGPT和Google Gemini进行校对，以提高语法、清晰度和整体可读性。作者审阅并编辑了内容，并对最终版本的出版物负全责。
未引用的参考文献
Chen等人，2025；Liu等人，2025；Liu等人，2025；Su等人，2025；Tudor Car等人，2020。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
致谢
本项工作得到了江苏省前沿技术研发计划“中医药垂直领域的大型语言模型关键技术研究与发展”（项目编号：BF2025076）以及南京大学与中国移动的联合研究项目“数据要素流通领域的隐私保护与安全技术研究”（项目编号：NJ20250043）的支持。
