《PLOS Computational Biology》：Towards FAIR and federated data ecosystems for interdisciplinary research
编辑推荐：
本文提出并系统阐述了FAIR与联邦化数据生态系统（FFDE）这一新型架构模式，旨在解决科学数据管理中由数据量指数增长、跨领域依赖增强以及可重复性危机所带来的挑战。该模式通过整合数据空间（Data Spaces）、数据网格（Data Mesh）与数据公地（Data Commons）等现有架构的优势，构建了一个分层的联邦化系统，以在尊重各领域数据主权与专业知识的同时，实现安全、可互操作的跨领域数据集成与协作，为未来的研究基础设施提供了兼具自治性与互操作性的可行路径。
引言：科学数据管理的时代挑战
当代科学研究正面临数据管理的严峻挑战。一方面，以新一代测序技术为代表的技术进步催生了数据的指数级增长；另一方面，不同研究领域之间的相互依赖性日益增强。然而，传统的集中式数据管理方法，如数据仓库、数据湖和领域特定存储库，不仅难以应对海量数据，更无法有效处理跨领域研究成果的碎片化问题。这不仅阻碍了科学的可重复性与跨领域合作，也加剧了人们对数据主权和治理的担忧。此背景下，整合了FAIR（可发现、可访问、可互操作、可重用）原则的联邦化数据生态系统（FFDE）被提出，作为一种改进的未来研究数据生态系统架构模式。
借鉴现有架构模式：优势与局限
当前，三种主要的架构模式为现代研究数据管理提供了思路：数据公地（Data Commons）、数据网格（Data Mesh）和数据空间（Data Spaces）。
数据公地模式（如NIH Data Commons）建立了一个集中式的协作平台，通过统一标准和共享资源促进数据访问、集成与分析，有利于提升数据发现效率和质量一致性。但其集中式架构面临两大挑战：一是处理海量异构数据时，中心基础设施可能不堪重负；二是新组织的加入门槛高，且参与组织可能丧失对自身数据管理实践的控制权。
数据网格模式则将数据视为由特定领域团队负责的产品，强调去中心化的数据所有权和联邦治理，以管理跨组织的大规模数据。这提高了互操作性和可扩展性，但也带来了不同领域数据产品之间协调与集成的复杂性。尽管其领域导向思维对数据管理有益，但数据网格主要为企业环境设计，而研究环境存在异构系统和政策差异，这阻碍了其直接应用。
数据空间模式提供了一个去中心化框架，通过信任框架和细粒度访问控制，使独立组织之间能够进行安全、主权的数据共享。这带来了增强的数据主权和标准化互操作性等好处，但也伴随着实施成本高、复杂的多方治理困难以及因网络效应导致的早期采用者激励不足等挑战。
FFDE旨在有选择地整合这些模式的互补优势：从数据公地中采纳标准化的元数据模式以实现跨领域互操作性；从数据网格中借鉴领域所有权基本原则和联邦治理机制；从数据空间中引入关键的主权保障机制、策略执行系统和信任框架。
FAIR与联邦化数据生态系统（FFDE）的核心架构
FFDE的核心理念是结合分布式系统的优势与现有研究基础设施的现实，创建一个支持跨领域灵活集成、同时保护领域专业知识和数据主权的环境。其成功实施需满足一系列关键技术与实践可用性要求，这些要求在文档的表1中有详细列举。
为实现最大化的自治性，FFDE建议采用完全去中心化的点对点（P2P）网络作为数据和元数据交换的基础。现代P2P技术（如基于IPFS和libp2p库）能够实现研究机构间的直接连接，自动处理网络地址转换（NAT）穿越和防火墙限制，并提供弹性数据访问。分布式哈希表（如Kademlia）则用于对等节点和数据集的去中心化发现。
建立参与者之间的信任至关重要。FFDE可借鉴数据空间的信任框架理念，通过密码学证书和签名链来证明参与者身份。利用现有的联邦化基础设施（如连接全球数千所研究机构的eduGAIN）来扩展信任关系，覆盖用户、机构和计算服务。
数据发现与访问治理通过联邦化目录实现。标准化协议如开放数字权利语言（ODRL）或数据使用条件（Data Use Conditions）用于传达治理策略和访问条款。基于数据目录词汇表（DCAT）的语义描述则支持对可用数据集、服务和条件的自动化发现。每个参与者保持对其数据模型和质量标准的主权，仅通过标准化接口公开最小化的技术元数据。
以上述数据平面（Data Plane）为基础，FFDE生态系统进一步构建了三个附加的架构平面（如图1所示）：
- 1.
治理与访问控制平面：通过社区集群和联邦身份管理实现去中心化治理。
- 2.
服务平面：通过自动化流程和语义丰富化，将分布式数据源转化为集成的二级资源，提供对现有数据的转换视图。
- 3.
应用平面：构建面向用户的接口，抽象分布式架构的复杂性，让研究人员专注于科学问题。该平面也可包含传统的存储库和其他用户端应用。
这四个平面的详细架构组件及其示例技术在文档的表2中进行了系统阐述。重要的是，这些平面可以利用现有技术实现，挑战不在于技术创新，而在于组织协调和建立允许各机构将其现有基础设施连接到联邦研究生态系统的治理框架。
研究者的视角：一个跨领域研究案例
设想一项研究植物开花对温度变化响应的工作，需要整合来自不同机构的气候记录和基因组学数据。在当前模式下，查找和收集必要数据是主要依靠手动的、劳动密集型过程。而在FFDE广泛采用后，这一过程将变得高效得多。
研究者的起点将是发现合适的数据及其访问要求。跨领域发现通过联邦化目录运行，这些目录聚合参与机构的元数据，同时保持分布式控制。目录建立在广泛采用的元数据标准（如Schema.org或都柏林核心）之上，并可扩展以包含领域特定的元数据方案（如气候数据的CF标准或基因组学数据的BioSchemas）。元数据中包含机器可读的权利和义务表述（如使用ODRL），让研究者能立即了解所需的权限、使用限制和访问义务。
定位分布式数据依赖于内容寻址存储系统（如BitTorrent等成熟技术），确保数据完整性并实现高效分发。通过统一的点对点网络协议，研究者可以访问不同机构网络中的数据，各机构可通过适配器提供符合其领域规范（如GA4GH标准）的专业接口。
处理数据则通过便携式工作流程（如通用工作流程语言定义）在联邦化计算资源上执行，避免了大规模数据移动。研究者甚至可以用自己的计算资源直接加入网络。整个过程的合规性与审计追踪通过现有的学术联邦系统实现，研究者使用机构凭证认证，细粒度策略引擎强制执行数据使用协议，不可变的审计日志则确保了透明问责与可重复性。
讨论与结论：机遇与挑战并存
本文概述的架构组件表明，FFDE的技术基础已经存在。生产系统已在处理PB级别的分布式数据，身份联邦连接着成千上万的机构，现有倡议的治理框架提供了联邦控制的可行模板。将这些成熟技术与新的人工智能能力、知识图谱和自动推理相结合，跨领域科学发现的机遇将迅速增长。
这种架构的潜在益处超越技术效率。它通过在促进协作的同时维护机构主权，解决了数据控制与数据共享之间的根本矛盾，并有望通过资源共享降低基础设施成本，通过语义丰富化提升数据质量，通过跨领域集成加速发现。
然而，实现这一愿景需要应对重大的非技术性挑战。建立联邦治理结构需要协调不同的机构政策、监管框架和数据共享文化。法律复杂性源于不同司法管辖区的数据保护法规、知识产权问题以及合作研究中的责任问题。现有系统的异构性带来了超越技术兼容性的集成挑战。此外，在已建立标准的领域进行元数据协调、有效沟通联邦化生态系统对不同利益相关者的价值，以及建立社区信任，都是成功的关键。
从孤立的存储库向联邦化生态系统的转变，既是技术演进，也是科学社群对待数据方式的的文化转变。技术已准备就绪，但成功最终将取决于建立信任、展示价值以及创建平衡开放与控制的治理框架。应对全球性挑战的日益紧迫性，更突显了这一转变的重要性。
