《Cell Genomics》：ChromBERT: A foundation model for learning interpretable representations for context-specific transcriptional regulatory networks
编辑推荐：
为系统解码转录调控网络（TRN）的复杂互作语法，研究人员开发了ChromBERT基础模型。该模型通过预训练学习6,391个cistrome的组合结合模式，并利用提示微调技术实现细胞类型特异性cistrome插补。研究证实ChromBERT能准确预测增强子活性和eQTL因果性，并成功识别细胞状态转换中的关键调控因子。该模型为理解细胞特异性转录调控机制提供了新范式。
在基因组学研究中，解析转录调控网络（TRN）的组织原理和细胞特异性动态变化一直是核心挑战。尽管ENCODE等计划积累了海量染色质免疫沉淀测序（ChIP-seq）数据，但大多数细胞类型中转录调控因子的结合图谱仍不完整，且调控因子间的组合互作规律难以系统解码。传统计算方法多依赖于DNA序列特征或染色质可及性，但缺乏对转录调控因子在基因组范围内协同作用语法的深入理解。
为此，同济大学张勇团队在《Cell Genomics》发表了题为“ChromBERT: A foundation model for learning the syntax of transcriptional regulatory networks”的研究论文，开发了基于Transformer架构的基因组调控基础模型ChromBERT。该模型通过预训练学习6,391个人类cistrome的组合结合模式，生成可解释的转录调控网络嵌入，并通过提示微调技术实现在未见细胞类型中的精准预测。
研究团队首先构建了Cistrome-Human-6K数据集，包含来自991个转录调控因子的6,391个高质量cistrome。ChromBERT采用类似BERT的掩码学习策略，将每个1kb基因组区间编码为调控因子结合状态向量，通过8层Transformer模块学习调控因子间的相互作用语法。预训练后的模型能生成表征局部转录调控网络结构的嵌入表示。
关键技术方法包括：基于Cistrome Data Browser收集大规模ChIP-seq/ATAC-seq数据并质量控制；使用FlashAttention-2优化长序列处理；采用提示微调策略整合DNase-seq或单细胞转录组数据；通过嵌入相似性分析识别关键调控因子。
ChromBERT提升未见细胞类型中的cistrome插补性能
通过DNase-seq提示微调，ChromBERT-D在241个测试cistrome上的平均AUPRC达到0.554，显著优于基线方法（0.271）。模型能准确预测细胞类型特异性结合位点，即使在染色质可及性相似的区域也能区分不同细胞类型的调控因子结合模式。与Avocado相比，ChromBERT在57个cistrome上表现出更优性能（AUPRC: 0.659 vs 0.514）。
ChromBERT揭示细胞类型特异性调控中的关键因子
在精细定位表达数量性状位点（eQTL）任务中，微调后的ChromBERT在49个组织中的平均AUROC为0.828，优于Enformer（0.770）和DNABERT-2（0.788）。通过分析调控因子嵌入在因果与非因果eQTL间的差异，研究发现染色质可及性（DNase-seq）变化最为显著，且鉴定出YY1等调控因子在特定eQTL中起关键作用。
解析细胞状态转换的调控动力学
在单细胞多组学数据中，ChromBERT成功识别出37个已知细胞类型特异性调控因子，如B细胞中的PAX5、BCL6，T细胞中的FOXP3、TBX21，以及单核细胞中的CEBPA、SPI1等。在转分化过程分析中，模型准确识别出五个转化过程中的关键驱动因子，GO富集分析显示这些因子显著富集于靶细胞命运决定相关通路。
研究还发现EZH2在经典（H3K27me3依赖）和非经典功能中与不同调控因子模块协作：经典功能与抑制性复合物相关，而非经典功能则与E2F1、STAT3等激活因子相关，这与EZH2在基因表达调控中的双重角色一致。
该研究开发的ChromBERT模型首次实现了从全基因组尺度系统解码转录调控网络的组合语法，其提示微调框架能有效适应多种下游任务，为理解细胞特异性转录调控机制提供了强大工具。这项工作为解析复杂生物学过程中的调控网络动态变化奠定了基础，对疾病机制研究和细胞重编程应用具有重要价值。
