《Nature Communications》：Multi-to-uni modal knowledge transfer pre-training for molecular representation learning
编辑推荐：
为解决现有分子表示学习( MRL )方法在预训练阶段通常要求多模态数据完整，且难以适用于真实世界（如仅可获得2D拓扑图模态）场景的问题，研究人员开展了面向分子的多对单模态(Multi-to-uni)知识迁移预训练研究。他们提出了M2UMol框架，通过将2D模态与其他模态分别匹配并与模态分类器联合预训练，将多模态知识优雅地迁移至2D模态编码器。实验证明该方法在下游任务中仅凭2D模态即可实现精准的分子多模态信息模拟，性能优越且预训练效率更高。这项工作开发了集成分子表示学习、关键官能团分析等功能的易用软件包，有望促进药物研发进程。
在计算机辅助药物发现的浪潮中，分子表示学习（Molecular Representation Learning, MRL）已成为一个充满潜力的前沿领域。它的核心目标是将分子结构转化为计算机能够理解和处理的数字化表示，从而预测分子的各种性质，为药物筛选、优化和设计提供强有力的工具。近年来，研究者们发现，融合分子多种模态的数据（例如二维拓扑图、三维构象、分子指纹等）进行预训练，能够显著提升模型在下游任务（如活性预测、毒性评估）中的预测准确性。因此，多模态预训练MRL方法如雨后春笋般涌现。
然而，理想很丰满，现实却很骨感。当前大多数先进方法在构建“学霸”模型时，都有一个不切实际的“完美学生”假设：它们要求预训练阶段所使用的每一个分子样本，都必须具备完整无缺的多模态数据。这就像要求一位厨师在学做一道菜时，必须同时拥有来自全球所有顶级市场的全部食材。在实际的药物研发场景中，这种假设往往难以成立。由于技术限制、数据获取成本或隐私保护等原因，许多分子除了最基本的二维拓扑结构图（即2D modality，描绘原子与化学键的连接方式）之外，其他模态的数据（如精确的三维空间构象、特定的光谱数据等）常常是缺失或难以获得的。这种模态不完整性，使得那些依赖完整模态的预训练模型在真实世界应用中“水土不服”，甚至无法启动。更棘手的是，在最终的应用端——下游预测任务中，最常见的输入恰恰又是单一的2D分子图。这就产生了一个核心矛盾：如何让一个仅能“看到”2D图形的模型，具备理解并模拟分子更丰富、更深层多模态信息的能力？为了解决这个阻碍技术落地的关键瓶颈，一项创新性的研究应运而生，并发表在《自然-通讯》（Nature Communications）期刊上。
为了攻克上述难题，研究团队并未选择简单粗暴地填补缺失数据，而是另辟蹊径，设计了一种名为M2UMol（Multi-to-uni modal knowledge transfer for Molecular representation learning）的预训练框架。该研究的核心思路是“知识转移”，而非“数据补全”。具体而言，M2UMol不再强制要求所有模态同时在场，而是允许在预训练阶段输入不完整的模态组合。它通过一个精巧的设计，分别将2D模态编码器与每一种其他模态（如3D、指纹等）的表示进行匹配学习，就像一个2D“学生”分别向多位各有所长的“多模态老师”请教。同时，框架引入了一个模态分类器，协同参与预训练过程，帮助模型更好地理解和区分不同模态的知识来源。通过这种“分而治之”的联合学习策略，M2UMol优雅地将来自多个模态的、关于分子结构-性质关系的深层知识，融合并“蒸馏”进了单一的2D模态编码器中。这意味着，经过预训练后，这个2D编码器已经内化了多模态的知识精华。因此，在那些仅提供2D分子图作为输入的下游任务中，M2UMol能够凭借这个强大的编码器，精准地模拟出分子本该具有的多模态信息，从而做出更准确的预测。这种方法巧妙地绕开了对完整模态数据的依赖，极大地提升了模型的实用性和泛化能力。
本研究主要采用了以下几项关键技术方法：首先，构建了包含多种分子模态（如SMILES字符串、2D拓扑图、3D构象、分子指纹等）的大规模数据集用于预训练。其次，设计了基于Transformer或图神经网络（Graph Neural Network, GNN）的编码器架构，分别用于处理2D模态和其他模态数据。核心创新在于引入了跨模态匹配损失函数，迫使2D编码器的输出与各目标模态的表示在特征空间中对齐。同时，结合模态分类器的辅助任务，共同优化模型参数。实验部分在多个公开的分子性质预测基准数据集（如MoleculeNet）上进行了广泛的验证与比较。
研究结果
- •
M2UMol在多种下游任务中表现卓越
通过在多个分子性质预测基准任务（如分类与回归任务）上的系统评估，研究人员发现，仅使用预训练好的2D编码器，M2UMol在绝大多数任务上的预测性能都超越了此前需要完整多模态数据输入的先进预训练模型。这不仅证明了其有效性，更突显了其高效性——因为它在应用时仅需计算最简单的2D图。
- •
实现了高效的多模态知识迁移
通过设计消融实验和分析模型中间表示，研究证实了所提出的跨模态匹配机制和模态分类器能够有效地将多模态知识转移并固化到2D编码器中。可视化分析显示，经过M2UMol预训练的2D编码器，其产生的分子表示在特征空间里能更好地根据分子的功能或性质进行聚类，说明它学到了更具判别性的特征。
- •
在模态缺失的预训练场景下具强大鲁棒性
实验模拟了真实世界中不同模态随机缺失的预训练条件。结果显示，M2UMol即使在预训练阶段面临严重的模态不完整问题时，其最终在下游任务中的性能下降也远小于其他对比方法，展现出优异的鲁棒性和对不完美数据的适应能力。
- •
拓展应用：赋能分子功能分析与检索
基于预训练的M2UMol模型，研究团队进一步开发了一个用户友好的软件工具包。该工具包不仅能够进行分子表示学习与性质预测，还集成了关键官能团分析、基于多模态语义的分子检索等实用功能。这展示了M2UMol框架在直接辅助药物化学家进行分子设计、筛选和优化方面的潜在应用价值。
结论与讨论
本研究提出的M2UMol框架，成功解决了多模态分子表示学习在预训练阶段对数据完整性要求过高、难以应用于现实场景的核心痛点。通过创新的多对单模态知识迁移预训练策略，该工作将丰富的多模态分子知识有效地压缩并迁移到了仅需2D分子图输入的单一编码器中。这不仅在理论上为处理模态不完整数据提供了一种新颖的范式，也在实践中显著提升了分子表示学习模型的实用性和部署便利性。
综合实验表明，M2UMol在广泛的分子预测任务中实现了优越的性能，同时保持了更高的预训练与推理效率。更重要的是，它打通了从数据受限的预训练到资源有限的下游应用之间的桥梁，使得高性能的分子AI模型能够更普惠地服务于药物研发的早期阶段。研究团队开源了代码、预训练模型及集成化软件包，这一举措有望加速该技术在计算机辅助药物设计（Computer-Aided Drug Design, CADD）、化学生物学等相关领域的采纳与应用。这项工作强调了在人工智能驱动科学发现中，设计适应现实数据约束的模型架构与学习范式，与技术本身的前沿性同等重要，为后续研究指明了向实用化、鲁棒化方向发展的道路。
