《Sociology of Health & Illness》:At the Crossroads of Data Justice and Data Capitalism: How Generative AI in Healthcare Mobilises Its Assemblages
生成式AI在医疗健康领域的十字路口:数据正义与数据资本主义角力下的技术聚合体动员
1 引言
算法技术如机器学习、生成式人工智能(GenAI)和自动化决策已成为当代医疗健康领域科技创新的前沿。然而,这些技术从未脱离其嵌入的网络而孤立存在。它们不仅编织进由人类与非人类实体(如工具、对象和其他技术)构成的情境化社会技术聚合体(Sociotechnical Assemblages, STA)中,其纠缠更延伸至监管机构和市场。本文将在快速变化的监管、市场和医疗交付三大领域的交叉点上,概念化“形成中”的医疗健康GenAI。本研究与两个非政府社会正义组织合作,探讨了这一交叉点当前如何一方面被数据正义关切所驱动,另一方面又被数据资本主义目标所驱动。文章旨在引起健康社会学家对AI承诺与实施背后的技术政治和市场利益的关注,并促进集体思考如何引导这一动态走向公民社会的赋权、动态监管和公共价值的推动,而非少数人的财富积累。
以爱尔兰计划于2026年开业的新儿童医院为例,它被宣布为该国首家“数字化医院”,其“数字优先”战略涵盖了从自动化后台流程到电子健康记录等一系列技术,其中许多技术将以各种方式由人工智能(AI)驱动,并由包括跨国数字转型专家Telefonica Tech在内的几家大型私营公司拥有和监督。AI技术在医疗领域的应用伴随着变革的承诺:克服医疗可及性的瓶颈、增强决策、改善护理整合和资源分配。然而,这些承诺背后是广泛的商业纠缠和政治塑造,亟需审视。
2 GenAI与医疗交付、市场及监管的纠缠
算法技术已成为当代社会技术创新的默认模式,医疗交付实践日益依赖大型科技公司的计算能力、系统、基础设施、数据存储库和市场生态系统。许多这些技术要么直接由大型科技公司拥有,要么依赖于其基础模型。一旦部署,这些技术不仅塑造患者和医生的生活,还可能对整个医疗系统施加权威。
为了平衡强大科技公司与公民需求之间的利益,欧盟近年来推出了多项法规。例如,2024年欧盟人工智能法案(EU AI Act)限制了执法部门使用生物识别系统,禁止社会评分和利用AI操纵或利用用户弱点。该法案还承认某些类型的AI威胁到隐私权和个人数据保护。然而,评论者指出该法案对医疗健康领域存在显著缺陷。例如,虽然将作为医疗器械使用的医疗健康GenAI系统归类为“高风险”,但并非所有技术提供商都需要完成基本评估或注册到欧盟AI系统公共数据库,许多GenAI系统将逃脱旨在最小化其风险的规定。另一项影响GenAI在实践中如何展开的法规是2025年欧洲健康数据空间(EHDS),它旨在赋予个人权力并促进研究、创新和政策制定,但同样可能侵蚀而非增加通过健康数据共享产生的公共价值。
大型科技公司迅速动用其经济和政治力量影响这些监管进程。尽管欧洲常被视为遏制大型科技公司权力的前沿,但并非所有法规都同样成功。例如,许多科技公司通过欺骗性设计规避了GDPR的“合法利益”条款。尽管GDPR执法力度正在加大,但处以罚款的政治意愿仍然薄弱,且罚款金额与大型科技公司的利润相比微不足道。像ChatGPT这样的GenAI系统已被发现违反GDPR,但短期内不太可能产生重大后果。
3 将GenAI框架化为社会技术聚合体
鉴于上述技术和监管权力动态,更彻底地审视GenAI在医疗交付背景下的技术政治至关重要。先前研究假设,随着GenAI等数字技术在医疗领域的日益普及,三个独立的行动“领域”——市场、监管和医疗交付——被带入越来越紧密的接触中,这种接触可能引发社会正义问题。然而,大型科技公司向医疗健康的扩张并非简单地通过强加议程(如“技术解决方案主义”和科技寡头的私人利益)导致领域越界。数字技术,如AI,以不同的方式连接这些领域:在物质层面——在一个领域构思,在另一个领域部署,由又一个领域监管——并且通过这种纠缠的物质性,关键地也在实践层面。因此,数字技术像是“渗透整个社会、跨越领域的覆盖层(或底层)”,而非从一个领域越界到另一个领域。暴露这一底层的政治至关重要,因为AI的STA具有基础设施特性,像其他基础设施一样,往往对用户变得“不可见”,即使它们塑造用户行动并与任务融为一体。
源自行动者网络理论(Actor-Network Theory, ANT)不同流派的概念,如社会物质或社会技术聚合体(STA),已被证明有助于凸显算法技术所创造的基础设施连通性。ANT方法将社会、物质和技术的构建块视为内在相连,并强调行动能力不在于个体“节点”,而在于网络本身。从这个视角看,STA被聚集和塑造以完成特定任务,通常由那些有力量形成并维持它们的人所主导。将这一视角应用于市场环境,卡龙认为市场STA被塑造以实现经济交易。类似地,监管STA(由政策制定者、文本、数据库、统计数据、法律代码等构成)构成并执行监管行动。医疗交付STA(通常也称为治疗聚合体)包括众多专业人员、监测系统、药典、手册和机器,共同演绎“医院”。如果GenAI作为数字底层创造了跨越(或更确切地说,在下方连接)“领域”的STA,那么这对跨这些领域的行动和能力具有重要影响。
遵循这一逻辑,如果一个医院站点变得“数字优先”,这意味着算法技术在构成医疗交付STA中扮演核心角色。重要的是,作为医疗交付STA的一部分,算法技术不仅解锁行动能力——它们也塑造这种能力。例如,通过让医疗专业人员参与围绕疾病诊断的互动,GenAI模型不仅变得对诊断过程更为核心,而且也塑造了全新的“行医”方式,随后这些实践无法脱离(私有、市售的)技术而进行——实践与技术已融合于同一个STA中。此外,与本文直接相关的是,算法STA不仅作为医疗交付聚合体行动——它还通过持续的数据交换、训练材料的反馈循环和进一步的商业化,从市场领域辐射进来并反馈出去。并且,与任何医疗技术聚合体一样,它也深深纠缠于监管领域,不断演变的法规常常实时塑造这些STA。因此,如果算法STA在任何一个领域中被塑造,相邻领域也会感受到涟漪效应,其实践也会相应调整。
转向以STA看待世界不仅需要承诺一种关系本体论,其中行动能力存在于关系中而非行动者自身,也是承诺将一种实用的正义概念带入围绕GenAI的政治和道德反思:行动能力总是也意味着行动的力量——以及相应地,塑造他人行动的力量。与其将AI中的医疗交付、监管和市场视为可能相互“污染”的分离“领域”,跟随STA跨越领域提出了它们如何塑造和转变跨这些领域的实践和行动能力的问题——并且关键的是,为了谁的利益。
4 AI驱动的数据资本主义与数据正义关切
受行动者网络影响的聚合体思维的一个核心原则是STA处于持续变动中,而这种运动既可以被那些设法影响聚合体运动方向的行动者引导,也可以被其利用。这种流动性在GenAI案例中尤为显著,这是一项多样化且“持续临时性”的技术——其所参与的聚合体正在持续经历重新配置。作为高度不稳定但常常“不可见”的行动者,GenAI STA在其触及的三个焦点领域——医疗交付、监管和科技市场——产生持续的涟漪效应,从而 destabilise 并推动其他行动者。这为强大的行动者影响这种运动的方向性提供了充足的可能性。
过去20年间,许多医疗健康STA运动的方向之一便是朝向数据资本主义配置。如前所述,大型科技巨头已建立了深远的数据生态系统,使其能够在许多市场上主张专有权。这些公司积极获取个人、行为和生物识别数据,将其转化为产生经常性收益的资产。它们还聚集了强大的研发能力,包括在AI领域,形成了“知识垄断”,用于积极扩张进入医疗健康等焦点行业。大型科技公司的数据资本主义霸权具有明确的伦理、社会和政治影响:例如,监控对社会中已处于边缘地位的人群影响最大,因为他们容易成为目标、通常代表性不足、缺乏数字素养技能或 access,并且已被现有结构和边界剥夺权力。泰勒等人谈到了一种“基础设施权力和主导的新水平,正在塑造技术的全球格局”,包括在医疗健康领域。
尽管数据资本主义者可能将医疗健康STA拉向一个方向,但一些监管、医疗和公民社会行动者寻求提供制衡,并向另一个方向提供动力:数据正义。数据正义是“思考如何按照社会正义治理数据”的努力。数据正义在概念上超越了传统上对数据效率和技术安全与隐私和数据保护的二元关注。数据正义关注“民主程序、不平等的固化和引入、某些群体的歧视和排斥、工作条件的恶化,或围绕敏感问题的决策和互动的去人性化”。相应地,泰勒的数据正义框架聚焦于三个轴心:可见性(代表性和隐私);与技术的公平互动;以及非歧视。为了考虑AI的进展,泰勒等人敦促“公正的”AI治理包括四个标志:保护和加强公共基础设施和公共产品;包容性;可争议性和问责制;以及全球责任。数据正义在医疗交付中尤为重要,后者常常已卷入不平等系统。需要发展新规范以纳入结构性边缘化社区,解决社区面临的压迫,并影响负责治理参与的机构。
总之,我们认为,通过其在医疗交付中日益核心的作用,GenAI不仅使三个焦点领域——市场、监管和医疗交付——接触更紧密,而且还在行动层面带来持续的交叉“污染”。此外,它带来了跨这些领域的更高程度的动力,其涟漪效应并非完全可预测。从文献中,我们识别了这种运动的两个潜在“驱动者”:数据资本主义和数据正义。在本文剩余部分,我们试图确立公民社会、学术界和监管机构如何共同努力,将AI的运动导向社会正义和共同利益,而非少数人的致富。
5 分析路径
寻求通过关系本体论实践理解GenAI STA涉及三个主要经验挑战。首先,如哈里森等人强调,勾勒聚合体边界涉及持续追踪这些网络内行动者运动的工作。追求这种本体论的经验困难之一在于,尽管分离的市场和非市场领域可以在逻辑和价值层面被勾勒,但STA并没有现成的边界——研究这些STA没有自然“停止”的地方。因此,我们意识到任何对STA的追踪——尤其是那些持续运动中的——必然是局部的。
其次,在追踪AI的聚合体时,加剧这一认识论困难的是一个经验性困难:很可能难以辨别行动者AI“位于何处”。如前所述,这个行动者不仅不断变形,而且深藏在许多普通健康技术基础设施中。尽管我们试图通过多种来源和多个角度接近和“捕捉”我们的兴趣对象——医疗健康GenAI,但我们承认我们努力的必要不完整性,希望其他探究能补充我们的工作,形成关于算法技术(如GenAI)如何在医疗环境中行动和被 enact 的经验马赛克。
第三,承诺关系本体论也意味着追踪“形成中”的STA不能从中立的观察者立场进行。相反,我们的研究者角色成为我们所研究聚合体的一部分。相应地,我们公开了我们自身站在关注加强数据正义“驱动者”一方的立场性。由此产生的“响应能力”以新的方式促成了我们的研究:通过与几个活跃于医疗健康和社会正义领域的非政府组织合作。其中之一,国际健康行动组织,是健康公平和药物可及性的长期倡导者;另一个(我们的主要研究伙伴)都柏林市社区合作社,是一个由12个爱尔兰基层社区发展组织组成的联盟,在弱势地区运营并向边缘化社区提供社会、经济和文化服务。在与合作社的合作下,我们通过爱尔兰研究理事会的新基金会计划获得了资金,并获得了爱尔兰国立学院的全面伦理批准。
考虑到这些注意事项,我们将对GenAI STA的调查定位于欧盟当前的监管和技术背景。虽然欧盟层面的法规是追踪监管STA的重要背景,但我们也将“聚焦”到一个特定国家,以分析对立的数据正义和数据资本主义驱动者如何在实践中塑造政治:爱尔兰。爱尔兰拥有吸引主要科技公司的亲科技政策、宽松的数据隐私执法,并且作为欧洲用户数据的控制者,爱尔兰对AI和隐私监管执法的方法被视为其他国家监管机构的风向标。支持数据正义驱动者的利益相关者倾向于将爱尔兰视为其斗争的地理“关键点”。
我们的数据收集依赖于四个来源。首先,我们进行了文献综述,使用学术期刊、灰色文献和政策文件。关键词如“人工智能”、“AI”或“GenAI”在“健康”或“医疗健康”中,以及如“数据正义”、“数字正义”、“AI伦理”、“数据/数字资本主义”、“资产化”和“监控”等关键词帮助我们缩小研究范围。其次,我们进行了18次利益相关者访谈。我们的利益相关者因其对当地社会正义问题的深入了解;对欧洲层面政策制定的洞察;数字和公民权利方面的专业知识;和/或GenAI知识(特别是在医学领域)而被选中。所有利益相关者均通过电子邮件受邀参加访谈,收到详细的信息表,并在签署知情同意书后,在线访谈35-60分钟。所有访谈均被录音和转录。第三,我们作为参与式观察者参加了9场与我们兴趣领域相关的活动,所有在现场所做的笔记也被转录。第四,我们参与分析了五个知名生成式AI工具的条款与条件和隐私政策。
我们的分析方法集中于探索GenAI的聚合体、它们的交叉点及其“运动本体论”。实际上,我们将所有去标识化的访谈数据和活动转录文本上传至QSR Nvivo 14软件,反复阅读,试图理解焦点STA中不同齿轮如何协同工作,以及它们如何被我们预先理论化的两个“驱动者”所驱动。我们经常彼此并与他人讨论我们 emergent 的见解,并在整个数据分析过程中持续阅读技术更新和关于我们兴趣点的新闻。最后,我们将发现与学术文献联系起来,以获得关于医疗健康AI如何动员其聚合体的可信和可靠的见解。
6 数据正义与数据资本主义十字路口的GenAI聚合体
以下各节结合前面阐述的理论背景讨论我们 emergent 的发现:GenAI承诺跨STA的述行性;GenAI的不可见和不稳定性质及其对数据正义问题的影响;以及数据资本主义驱动者的强大性质。然后我们阐述关切的行动者可以做些什么来创造稳定性并缓冲数据正义。
6.1 GenAI承诺跨STA的述行性
大型科技公司关于“健康数字转型”或“启动颠覆”的想象是行业活动中经常遇到的比喻。健康的数字化、数据化和AI化是一个有据可查的过程,欧洲的数字战略——一项2500亿欧元的投资,目标是在2030年前实现所有公共服务和健康记录的数字化——定将加速这一进程。GenAI的承诺已深深渗透到医疗交付和监管STA中。我们的参与者同意“大型科技公司已经进入健康领域……这是现实”,并且GenAI技术允许大型科技公司“一点点地”进一步嵌入公共健康。这些纠缠得到了欧盟委员会和议会“明确亲商业视角”的大力支持,由此“商业策略被推广并以一种看似合理的方式爆发”。欧洲的数字战略也拓宽了这些联系,欧洲健康数据空间也是如此,它促进了健康数据在欧洲范围内的流动,尽管这些数据常常被商业利益所捕获。然而,由GenAI的STA创造的交叉点也不容易监管,正如最近关于欧盟AI法案的讨论所显示的那样。GenAI还被宣扬将在人口层面改变医疗健康,因为可以从多个来源收集人口健康情报并进行分析以监测流行病学、常见健康状况和风险因素。最后,GenAI还承诺控制慢性病和引导公共教育运动。
受这些承诺吸引,欧盟和国家创新指令以及健康交付政策已为创建具有广泛影响的数字基础设施打开了大门,这些影响几乎涵盖医疗健康的所有领域。我们开篇举例的爱尔兰国家儿童医院将使用GenAI用于诸如文档记录、与患者的定制化沟通、图表摘要和自动化行动等应用。GenAI还在爱尔兰的专业领域进行试验,例如放射学和心脏病学,以协助临床医生实时解读数据并提供决策支持。事实上,公司目前为医疗健康中的生成式AI宣传多种用例,包括处理和提取复杂医疗数据、做出客观诊断、提取疾病因素之间不可见的关系、提高效率、减少错误和成本、允许更以患者为中心的护理,并使临床决策更符合伦理。显然,承诺已创造了朝向医疗健康中全面AI基础设施的切实运动。
6.2 作为引发数据正义问题的不可见且不稳定行动者的GenAI
在GenAI变革性承诺的背景下,现实是大型科技公司“已经向(医疗健康)市场推出了未经监管且存在问题的(GenAI)产品”。尽管这些技术承诺“超级赋能”医疗健康等领域,但它们也是一个不稳定的行动者,因为“即使是最先进的AI仍然有许多不可预测、未被广泛认知、不易修复、无法解释且可能导致意外后果的故障模式”。我们的研究参与者担忧GenAI在偏见和幻觉方面的问题、同意和数据隐私方面的问题,以及削弱可见性和自主性的能力。例如,GenAI系统被怀疑“数字化和自动化种族主义”、排斥残疾人、并蕴含性别偏见:“几乎没有任何监督AI是如何训练的”。尽管GenAI系统、算法和反馈环路以极高的速度和加速度变化,但它们如何变化对外部行动者来说仍然 largely 不透明,由受商业秘密保护的算法驱动。
我们的一位受访者GRO2讲述了她亲身经历的性别偏见:她女儿的“症状被输入一个AI工具”,然后得出了“一个(错误的)焦虑诊断”,主要是因为她是一名年轻女性。另一位受访者(NGO2),一位残疾人和残疾倡导者,告诉我们像他这样的人被AI视为“异常值”。许多人将在文化、社会、种族或宗教上被进一步排除在AI系统之外,因为“AI对边缘化社区存在偏见”。这对医疗交付STA尤其成问题,因为“我们拥有大量有偏见的数据,并基于它们做出决策,这意味着对人权的更多威胁”。尽管“外面有很多垃圾和错误信息……但它有实际效果”,因为在医疗健康中,“错误的建议可能会害死人”。然而,大型科技公司“倾向于隐藏技术的风险”。
此外,人们常常别无选择,只能与技术互动——“我们有时没有被提供替代方案——我们无法选择”。Cookie、条款与条件、服务协议或隐私政策也常常“无法反对”。显然,GenAI是不可见的且几乎不可避免,但它仍然充满数据正义问题。有一种感觉是,如果这些数据正义关切在相对“简单”的GenAI应用中没有得到纠正,那么向更复杂应用的快速迈进,加上该技术行动者的不可见性,将使日后纠正它们变得不可能。
6.3 数据资本主义作为强大而持久的驱动者
数据资本主义驱动者驱动着GenAI与医疗交付、市场和监管STA的纠缠,为运动提供方向性,并在所有STA中产生持续的涟漪效应。监控资本主义的批评者和数据正义的倡导者长期指出,AI系统定将从人们那里提取更多数据。GenAI系统允许科技公司从“策划的监控资本主义”转向“创造的监控资本主义”,这意味着没有用户能真正免受这些技术的监控或影响。
我们对ChatGPT、Google Gemini、Meta AI、Grok和Copilot的条款与条件、隐私政策和其他文件的分析表明,数据资本主义驱动者确实有多么强大。这些文件揭示,所有个人数据、使用数据、跟踪数据、cookies和设备数据将被用于“行为再营销”、“个性化您的体验和广告”以及“开发和营销新的和当前的产品和服务”。数据也将被转移给“供应商和服务提供商”或“关联公司”用于“业务转移”。显然,“GenAI旨在追求商业利益而非公共利益”,随着更多AI技术被采用并整合到医疗交付领域,大型科技公司的市场逻辑和价值提取实践定将进一步扩张。鉴于此,医疗健康作为公共产品的概念正日益从关切的利益相关者(患者、公民、医疗专业人员或倡导团体)的掌握中滑落。
随着数据资本主义驱动者 feeding 一个强大的动态,问题出现了:监管举措能否驯服或控制这种运动。评论者理解“这些巨头公司垄断市场,因此竞争减少,它们可以随意定价,并且能够决定一切如何运作”。市场规模赋予大型科技公司权力和政治影响力:“那些公司的GDP比欧洲一些国家还要大”。欧洲现在被认为处于这样一种境地:“大公司可以访问庞大的数据集,以我们不知道的方式使用这些算法,而且它们不必展示如何使用它们”,这进一步削弱了数据正义驱动者。大型科技公司不仅控制着如电子健康记录(EHRs)之类的基本医疗基础设施,而且“它们在影响欧盟层面或国家层面的立法方面拥有巨大权力——我们在EU AI Act和DSA中已经看到了这一点”。大型科技公司直接游说欧洲议会议员,但据报道也针对中小企业以帮助淡化EU AI Act。即使法规到位,科技参与者似乎擅长逾越这些规定。一个倡导团体回忆起一位行业参与者在一次GDPR会议上声称:“我们不在乎,我们每天都在规避那个”。尽管我们的一些受访者相信“如果(监控资本主义)走得太远,市场会叫停”,但其他人明确指出“权力是问题所在”,需要进一步的市场监管。然而,尽管“有很多尝试来监管和驯服大型科技公司的越轨行为”,但仍然存在许多对“结社自由和言论自由,以及伴随GenAI而来的所有隐私问题”的侵犯,以及与“可持续性、隐私、自主性和公平性”相关的问题。
最近的法规,如EU AI Act、DSA和EHDS,指向欧洲试图平衡“国家权力与企业权力”并改变医疗交付和市场STA相互互动的方式。然而,只要“新自由主义资本主义政策”仍占主导地位,评论者就怀疑权力能否从市场参与者手中被剥夺。因此,医疗交付STA仍然高度脆弱,容易受到GenAI逻辑和权力进一步侵入医疗健康领域——用一份OECD报告的话说,它们蕴含着“巨大潜力,巨大风险”。
因此,当前GenAI应用的部署,加上力度不够的监管尝试,创造了维持这些技术底层数据资本主义商业模式不受争议的基础设施既成事实。掌握在强大行动者(如大型科技公司)手中的变革性和快速演进的GenAI技术加速了一种动态,这种动态甚至进一步打破了公共产品和私人产品之间的