《Information Fusion》：From Privacy to Trust in the Agentic Era: A Taxonomy of Challenges in Trustworthy Federated Learning Through the Lens of Trust Report 2.0
编辑推荐：
可信联邦学习需从系统层面应对代理式AI、动态环境及多利益相关者治理挑战，提出基于Trust Report 2.0的需求驱动挑战分类与协调蓝图。医疗领域验证其通过隐私保护与信任证据结合实现动态可信。
Nuria Rodríguez-Barroso | Mario García-Márquez | M. Victoria Luzón | Francisco Herrera
西班牙格拉纳达大学安达卢西亚数据科学与计算智能研究所（DaSCI）计算机科学与人工智能系
摘要
联邦学习（FL）实现了保护隐私的协作学习，但越来越多的实践表明，仅凭隐私保障并不足以在高风险环境中建立信任。随着FL系统向具有自主决策能力的语言模型（LLM）和动态适应架构发展，可信度成为一个系统级问题，这一问题受到自主决策、非静态环境以及多方利益相关者治理的影响。我们提出了“可信联邦学习”（TFL）的概念，将信任视为一种需要持续维护的运行状态，而不仅仅是静态的模型属性。
基于《信任报告2.0》（Trust Report 2.0），我们提出了一种基于需求驱动的挑战分类法，该方法充分考虑了跨联邦生命周期的控制平面决策、自主性以及系统动态性。在此基础上，我们构建了一个协调蓝图，用于处理不同需求之间的权衡、决策合理性以及治理方面的协调问题。为了实现这种保障，《信任报告2.0》被设计成一个轻量级的、保护隐私的工具，能够在不集中原始数据的情况下呈现以决策为中心的信任证据。我们以医疗保健领域为例进行说明，重点探讨了在监管压力和临床风险背景下的联邦学习应用。
章节摘录
引言：从隐私保障到信任证据
人工智能（AI）系统在医疗保健、金融和执法等敏感领域的日益广泛应用，加剧了对确保其符合伦理、法律和技术规范的需求。为此，“可信AI”（TAI）的概念应运而生，成为AI开发和应用的基础原则。这一概念得到了欧盟委员会等机构的支持。
联邦学习背景
本节介绍了联邦学习（FL）的背景、其动机、训练协议及基本形式化框架。
数据量的增加和多样性的需求带来了数据隐私和处理大规模数据集的挑战。联邦学习作为一种解决方案，特别关注隐私保护、数据通信和数据可访问性等问题。
为什么呢？
- •
数据隐私：在传统的集中式机器学习（ML）中，用户数据被汇总并存储在中央服务器上，这增加了数据泄露的风险
基于需求的联邦学习中关键信任挑战的分类法
鉴于确保AI系统在伦理、法律和技术上的可靠性日益受到重视，将联邦学习（FL）与可信AI（TAI）的要求对齐至关重要。这些要求为评估FL系统在现实应用中的可靠性和责任感提供了结构化的框架。因此，在接下来的章节中，我们将介绍FL与TAI要求对齐的主要挑战，并根据TAI的关键要求对其进行分类。
具有自主决策能力的AI与动态联邦学习中的可信度
FL系统越来越多地融入到具有自主决策能力的AI架构中，其中自主组件能够在本地模型训练之外做出决策，而大型语言模型（LLM）则充当推理、协调或控制角色。此外，动态环境的特点是时间上的非稳定性，包括概念漂移、客户群体的变化以及运营条件的变化，这些都与静态的非独立同分布（non-IID）数据分布有本质区别。
基于《信任报告2.0》的可信联邦学习系统协调蓝图
第3节中发现的挑战以及第4节讨论的自主性和动态性因素表明，仅通过满足单个TAI要求无法实现可信联邦学习（TFL）。相反，可信度源于这些要求之间的相互作用、权衡以及在整个FL生命周期中的共同治理。因此，本节提出了一个协调蓝图，其目的不是引入新的学习机制，而是规范技术、组织和治理方面的协同工作。
医疗保健作为可信联邦学习的压力测试领域
医疗保健领域提供了一个独特的环境，用于检验TFL是否能够在实践中超越抽象原则，成为一个可管理的系统。临床应用涉及高度敏感的数据、严格的监管要求、动态的运营条件以及多元化的机构责任，这使得协调、问责和信任方面容易出现问题。因此，医疗保健领域不仅是一个示例性案例，更是验证TFL实际效果的关键场景。
从隐私到可信联邦学习中的信任
近期关于AI信任的研究表明，信任不能简单地归结为技术性能，而是与关系、风险以及脆弱性和依赖性密切相关。实际上，信任和可信度可能会存在差异：一个系统可能满足形式上的标准，但却无法赢得利益相关者的信任[16],[207]。这些分析将信任置于更广泛的规范预期之中，促使我们重新审视TFL的概念。
结论：迈向具有自主决策能力的可信联邦学习时代
本文旨在从信任的角度重新审视联邦学习（FL），而不仅仅是关注隐私保护。虽然隐私保护仍然是必要的基础，但在存在自主行为、动态环境和多方利益相关者治理的情况下，仅靠隐私保障已不足以确保系统的可信度。在这种环境下，可信度不能仅通过孤立的技术保障来衡量，而必须被视为一个系统级的、依赖于整个生命周期的运行状态。
为了支持这一观点，我们……
CRediT作者贡献声明
Nuria Rodríguez-Barroso：撰写初稿、方法论设计、研究工作、概念框架构建。
Mario García-Márquez：撰写初稿、研究工作、形式化分析。
M. Victoria Luzón：审稿与编辑工作、监督指导、概念框架构建。
Francisco Herrera：审稿与编辑工作、项目管理工作、资金筹集、概念框架构建。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
