《Digital Chemical Engineering》：Transfer learning of data-driven crystallisation processes via constrained Neural Ordinary Differential Equations
编辑推荐：
本文聚焦于数据稀缺条件下蛋白质结晶过程建模的难题。研究人员通过引入物理约束的神经常微分方程（NODE）框架，并评估层冻结、参数偏差惩罚和系统嵌入等迁移学习策略，成功提升了模型在低数据、高噪声条件下的预测准确性与物理一致性。该研究为复杂生物制造过程的可靠数据驱动建模提供了高效、可迁移的稳健框架。
在生物制药等高端制造领域，蛋白质结晶是一个关键但充满挑战的单元操作。这个过程就像让无序的蛋白质分子在溶液中整齐排列成规则的晶体，其动力学复杂且难以捉摸。传统的基于物理原理的机理模型虽然可解释性强，但往往需要大量的简化假设，并且构建过程费时费力，在面对真实世界的复杂系统行为时，其预测精度常常不尽如人意。另一方面，随着过程分析技术（Process Analytical Technology, PAT）的发展，我们能够获取更丰富的在线数据，这促使了机器学习等数据驱动建模方法的兴起。这些“黑箱”模型灵活性高，理论上可以更精准地逼近系统动态，但它们通常需要大量高质量的训练数据，并且在数据稀缺或测量噪声大的情况下，其泛化能力会急剧下降，甚至可能产生违反物理常识的预测结果。
这就构成了一个核心矛盾：许多新兴的、有潜力的工艺（例如使用特定纳米模板诱导的蛋白质结晶）往往缺乏足够的历史数据来训练可靠的模型，而数据丰富的成熟工艺（如均相结晶）的知识又难以直接迁移。如何利用有限的数据，构建出既准确又可靠的模型，成为工艺开发与优化中的“卡脖子”难题。针对这一问题，一篇发表在《Digital Chemical Engineering》上的研究提出了一种创新的解决方案：将物理知识嵌入到灵活的神经网络架构中，并借助迁移学习的力量，实现数据高效、可迁移的结晶过程建模。
为了攻克上述难题，研究人员主要运用了以下关键技术方法：首先，他们采用神经常微分方程（Neural Ordinary Differential Equations, NODEs）作为核心建模框架，将神经网络嵌入可微分的常微分方程求解器中，用以近似系统的导数动态。其次，他们引入了物理约束机制，通过软加（softplus）函数和符号向量，强制模型的浓度预测单调递减、颗粒尺寸预测单调递增，从而确保预测的物理一致性。第三，他们系统评估了多种迁移学习策略，包括层冻结（固定源模型的部分网络参数）、参数偏差惩罚（在损失函数中添加源模型与目标模型参数的差异惩罚项）以及系统嵌入（在模型输入中引入表征不同结晶系统的嵌入向量）。最后，研究以计算机模拟生成的、基于群体平衡模型的溶菌酶模板诱导结晶数据作为案例，验证了不同策略在数据稀缺和高噪声条件下的有效性。
研究结果
1. 源系统NODE建模与约束效果
研究人员首先在数据相对丰富的均相结晶源系统上训练了NODE。结果表明，未经约束的NODE能够较好地捕捉溶质消耗和平均粒径动态，但在测试集的最低初始浓度条件下，出现了浓度不降反增的非物理行为。这揭示了模型在训练数据覆盖范围之外区域的不稳定外推问题。引入物理约束后，虽然纠正了非物理行为，但对某个测试实验的粒径预测精度有所下降，显示了约束条件与模型灵活性之间的权衡。
2. 目标系统从头训练的局限性
当仅在数据稀缺（仅有两个初始浓度实验）的目标模板结晶系统上从头训练NODE时，模型表现出有限的泛化能力。特别是对于动力学行为更复杂的系统（如T1，羟基功能化模板），模型完全无法准确预测测试集的浓度和粒径轨迹。对于其他系统（如T2，T3），模型能较好地预测粒径趋势，但对浓度曲线的预测仍不准确，普遍低估了结晶诱导期。这凸显了在低方差数据集上训练模型的风险。
3. 迁移学习策略的性能评估
通过将源系统上训练好的NODE知识迁移到目标系统，研究评估了多种策略的有效性。对于未经约束的NODE，误差热图分析显示，系统嵌入方法在浓度预测上表现最优，因为它能利用所有四个系统的信息。而层冻结和参数偏差惩罚方法则在浓度和粒径预测的平衡上表现更佳，均能显著提升预测精度。具体到预测曲线，采用层冻结（冻结最后一层L4）的迁移NODE成功捕捉到了目标系统T1的结晶动力学，包括之前缺失的诱导期，并能复现其竞争性的结晶动力学导致的粒径变化趋势。
4. 物理约束在迁移学习中的作用
当使用带有物理约束的NODE进行迁移学习时，结果显示，约束虽然能完全消除粒径预测中的非单调性等非物理行为，确保预测的物理一致性，但往往以牺牲部分浓度预测精度为代价。这表明物理约束改变了NODE所学习到的ODE流形，在数据稀缺条件下，可能限制了模型拟合目标系统特异动力学的灵活性。
5. 对噪声与数据稀疏性的鲁棒性分析
研究进一步考察了不同噪声水平和测量时间点数量对迁移学习效果的影响。更高的测量噪声和更稀疏的数据集均会导致测试误差上升，其中噪声的影响更为显著。在高噪声条件下，目标训练数据间的细微差异被掩盖，严重阻碍了知识的有效迁移，甚至可能导致整个迁移后的NODE变得不稳定。
结论与意义
本研究系统探讨了结合物理约束神经常微分方程与多种迁移学习策略，在数据稀缺条件下对蛋白质结晶过程进行建模的可行性与有效性。研究得出以下核心结论：首先，在充足数据上训练的NODE能有效捕捉结晶动力学，但在数据边界外可能产生非物理预测，而施加物理约束能强制模型输出符合基本物理规律。其次，在数据极度稀缺的目标系统上从头训练NODE泛化能力有限，尤其难以捕捉复杂动力学行为。第三，迁移学习是解决数据稀缺问题的有效途径，其中层冻结和参数偏差惩罚策略能可靠地实现知识从数据丰富的源系统向数据稀疏的目标系统转移，显著提升预测精度。系统嵌入方法在利用多系统信息进行浓度预测方面展现出潜力，但当前的简单嵌入架构在粒径预测上尚有改进空间。第四，引入物理约束的NODE在进行迁移学习时，能确保预测的物理一致性，尤其是在高噪声或数据稀疏情况下提供稳定性保障，但需要与模型灵活性进行权衡。
这项研究的重要意义在于，它为复杂结晶过程，乃至更广泛的、受限于数据可用性与质量的生物制造过程，提供了一个强大而实用的建模框架。通过将物理先验知识以“软约束”形式融入灵活的数据驱动模型，并利用迁移学习打通不同但相关系统间的知识壁垒，该框架实现了在低数据区域仍能保持准确且物理可靠的预测。这不仅能够加速新工艺的开发与优化周期，减少对昂贵、耗时实验的依赖，也为实现更智能化、自适应性的过程控制奠定了模型基础。未来，探索更高级的系统嵌入架构（如编码器-解码器）以及自适应约束策略，有望进一步释放该混合建模框架在复杂工业场景中的应用潜力。
