《Array》：CLOP-DiT: Structured-metadata-conditioned single-cell latent generation via contrastive language-omics pretraining and Diffusion Transformers
编辑推荐：
本研究提出了一种名为CLOP-DiT的创新框架，旨在通过结构化生物元数据生成真实的单细胞转录组谱。该方法首先利用对比语言组学预训练（Contrastive Language-Omics Pretraining, CLOP）模块，将生物学文本描述与单细胞生成预训
本研究提出了一种名为CLOP-DiT的创新框架，旨在通过结构化生物元数据生成真实的单细胞转录组谱。该方法首先利用对比语言组学预训练（Contrastive Language-Omics Pretraining, CLOP）模块，将生物学文本描述与单细胞生成预训练Transformer（single-cell Generative Pre-trained Transformer, scGPT）的细胞嵌入（embedding）对齐于一个共享的512维潜在空间。随后，研究采用带条件流匹配（Conditional Flow Matching）的一维扩散Transformer（Diffusion Transformer, DiT）在该空间内进行采样。最终，生成的潜在向量通过冻结的scGPT解码器映射回基因表达谱。
为了验证该框架的有效性，研究人员从基因表达综合数据库（Gene Expression Omnibus, GEO）中严格筛选了涵盖癌症与发育生物学的80个数据集，涉及220,304个细胞。评估体系不仅包含了分布层面的指标，还引入了引导准确率（Steering Accuracy）和多样性比率（Diversity Ratio, DivR）等条件特异性指标。研究结果表明，CLOP-DiT能够生成具有高类型特异性且具备可控性的细胞潜在表征。此外，消融实验证实了标记基因（Marker Genes）等语义信息对条件控制信号的因果贡献。尽管解码后的基因表达在均值层面表现出极高的保真度，但在方差恢复上存在一定的局限性。总体而言，该研究证明了结构化元数据能够有效驱动非平凡的单细胞潜在生成，为计算生物学提供了一种可扩展的新范式。
研究背景与意义
随着单细胞RNA测序（scRNA-seq）技术的飞速发展，生物医学领域积累了海量的细胞图谱数据。然而，传统的单细胞数据分析往往受限于样本量不足、批次效应以及技术噪音等问题。如何在没有大量真实观测数据的情况下，通过计算机模拟生成高质量、符合生物学逻辑的虚拟单细胞数据，成为了当前计算生物学亟待解决的关键挑战。现有的生成模型在处理高维稀疏的基因表达数据时，往往难以兼顾细胞类型的准确性和细胞内部复杂的异质性。
针对这一痛点，本研究提出了一种全新的深度学习框架——CLOP-DiT。这项研究巧妙地结合了自然语言处理中的对比学习机制与计算机视觉中的扩散生成模型，首次实现了基于结构化生物学文本描述来精准生成特定类型的单细胞转录组谱。该成果发表在《Array》期刊上，不仅突破了现有生成模型的性能瓶颈，更为后续的虚拟细胞构建、罕见细胞类型增强以及药物靶点预测提供了强大的理论支撑与技术工具。
关键技术方法
为了实现上述目标，研究人员采用了极具创新性的三阶段级联架构，并基于大规模公开数据集进行了严格的验证。
在数据处理方面，研究团队从GEO数据库中精心筛选了80个高质量的人类和小鼠单细胞数据集，涵盖了肺癌、胃癌、皮肤癌等多种肿瘤微环境及发育生物学背景，总计包含超过22万个细胞。所有数据均经过严格的质量控制和高变基因筛选。
在技术实现上，第一阶段是对比语言组学预训练（CLOP）。研究人员设计了包含细胞类型、组织来源、物种、标记基因和疾病背景的结构化文本模板，利用冻结参数的BioMedBERT编码器提取文本特征，同时利用冻结参数的scGPT编码器提取细胞特征，并通过双多层感知机投影头将两者映射到同一512维空间中进行对比学习。
第二阶段是条件扩散Transformer（DiT）。研究人员将512维的细胞嵌入重塑为伪令牌序列，输入到带有自适应层归一化零模块的Transformer骨干网络中，结合CLOP生成的条件向量，通过流匹配目标函数进行条件采样，从而生成符合特定文本描述的细胞潜在向量。
第三阶段是解码映射。生成的潜在向量被输入回冻结的scGPT解码器中，还原为高维度的基因表达矩阵，完成从文本到生物学实体的闭环生成。
研究结果
训练动态与嵌入空间分析
通过对两个训练阶段的收敛情况进行监测，研究人员发现CLOP模块能够迅速降低对齐损失并提高原型分离度，证明了白化编码嵌入和基于层归一化的投影头能够构建稳定的条件空间。同时，DiT的训练也表现出良好的行为，验证集速度余弦相似度在早期急剧上升。在嵌入可视化分析中，文本嵌入与细胞嵌入在共享空间中按细胞类型形成了共定位聚类，且生成的细胞与真实细胞群体高度重叠，这表明条件流匹配成功捕捉到了类型特异性的结构，并保留了来自噪声初始化的随机变异。
核心评估指标表现
在核心生成质量评估中，CLOP-DiT展现出了卓越的类型特异性。在强引导机制下，模型生成的细胞在69类去重细胞类型上的K近邻分类准确度达到了36.9%，是随机基线水平的25倍以上。引导准确率高达81.0%，证明了文本提示对生成方向的精确控制力。虽然无条件对照组完全退化为随机水平，但CLOP-DiT成功生成了具有明确类型特征的细胞。此外，多种子重复实验验证了模型在不同随机初始化下的稳定性，核心指标的组间标准差极小，证明了该框架具有极强的鲁棒性。
基因水平保真度验证
为了确保生成的细胞具有真实的生物学意义，研究人员深入分析了基因层面的表达特征。结果显示，生成细胞与真实细胞在标记基因表达强度上保持了极高的一致性。在基因水平均值相关性分析中，皮尔逊相关系数超过了0.999。然而，研究也指出了当前的局限性，即模型在恢复基因水平方差结构时表现较弱，中位数标准差比率为1.33，这表明模型更倾向于回归均值，而在重现细胞群体内复杂的异质性波动方面仍有提升空间。
条件景观与多样性权衡
生成模型常常面临类型准确性与多样性之间的权衡难题。研究发现，增加无分类器引导尺度会单调地压缩细胞类型内部的分布范围，导致多样性下降。但通过引入特定的条件噪声模式，可以在不破坏聚类质心对齐的前提下，部分恢复丢失的多样性。因此，研究人员定义了两种最佳操作机制：一种是强引导搭配欧拉求解器，侧重于类型保真度；另一种是弱引导搭配中点求解器，侧重于保留表达水平的多样性，为不同应用场景提供了灵活的选择。
基准测试与下游验证
在与高斯采样、scGen等传统及深度生成模型的横向对比中，CLOP-DiT在条件敏感指标上占据了绝对优势。在下游生物学验证中，将真实细胞与生成细胞混合进行联合聚类分析，调整兰德指数和调整互信息得分均显示两者能够较好融合。差异表达分析进一步证实，生成细胞与真实细胞在关键细胞类型对比中的对数折叠变化具有显著的相关性，证明了生成数据可用于标准的单细胞分析流程。
严格分布外泛化能力
为了测试模型的泛化极限，研究人员选取了训练中未见过的肾脏、小脑和胎儿性腺组织进行零样本测试。结果表明，对于具有相似转录调控程序的细胞类型，模型表现出了良好的迁移能力，例如肾上皮细胞的识别准确率达到了46.0%。但对于结构迥异的小脑神经元等类型，由于缺乏神经类类比知识，生成效果则降到了随机水平。这明确了当前模型的学习边界在于训练语料库的覆盖范围。
消融实验与因果归因
通过系统的消融研究，研究人员确认了CLOP模块中各组件的重要性。特别值得注意的是，当移除标记基因字段或将其随机打乱时，生成细胞的质心余弦相似度和引导准确率均出现显著下降。而当使用来自独立数据库的外部标记基因替换训练标记基因时，模型依然能保持较高的语义响应。这一关键的交换标签排列测试有力地证明了，模型并非简单地记忆训练标签，而是真正理解了标记基因与细胞身份之间的因果语义联系，从而实现了可控生成。
讨论与总结
讨论
研究人员在讨论中指出，尽管CLOP-DiT在细胞类型特异性上取得了突破，但其主要局限在于潜在阶段对细胞群体内异质性的欠采样。这种“均值回归偏差”主要归因于上游scGPT编码器固有的表示几何结构，而非解码器的塌陷。此外，物种分层分析表明，模型在人类和小鼠细胞上的表现无统计学差异，排除了物种偏倚的干扰。未来的改进方向将集中在强化生成器的方差协方差感知目标、微调解码适配器以及扩展训练数据的组织覆盖范围。
结论
综上所述，本研究的成功开展证明了结构化生物学元数据在驱动单细胞潜在生成方面的巨大潜力。CLOP-DiT作为一个模块化、可扩展的概念验证框架，不仅打通了从文本描述到基因表达的端到端生成路径，更确立了条件控制生成在计算生物学领域的可行性。尽管在恢复复杂异质性方面仍存在挑战，但这项工作无疑为下一代虚拟细胞模拟技术的发展奠定了坚实的基础。
