编辑推荐：
物理信息Transformer模型用于加速碳纳米管森林生长模拟与结构预测，通过引入粘附接触、固定根和曲率惩罚约束，在保证96.8%接触保留率和<2%力学性能误差前提下，实现500倍仿真速度提升与38倍内存优化。
安德鲁·莱因哈德（Andrew Reinhard）|申俊勇（Junyong Shin）|马歇尔·林赛（Marshall Lindsay）|斯科特·科瓦莱斯基（Scott Kovaleski）|菲利兹·布尼亚克·埃尔索伊（Filiz Bunyak Ersoy）|马修·R·马斯奇曼（Matthew R. Maschmann）
密苏里大学机械与航空航天工程系，哥伦比亚，密苏里州65211，美国
摘要
我们开发了一个基于物理知识的Transformer框架，该框架能够预测垂直排列的碳纳米管（CNT）森林的时间分辨生长和集体组装动态。该模型通过在模型训练过程中引入物理知识相关的术语，来处理粘附接触、静止（夹持）的CNT根部和曲率惩罚。真实数据是通过机械有限元模型（FEM）仿真生成的。网络从前两个时间帧中获取CNT集合的节点坐标，并通过单次前向传递生成后续的节点配置。在500次预测步骤后，Transformer模型的点位移误差保持在200纳米以下，这远低于CNT森林内部的固有曲率。Transformer还保留了96.8±0.4%的CNT-CNT接触，并生成的CNT森林形态的屈曲载荷与真实仿真结果相差不到2%。该模型的推理速度比FEM仿真快500多倍，同时仅需约1GB的内存（而FEM需要约38GB内存），从而能够快速迭代实验仿真过程。
引言
由于碳纳米管（CNT）森林具有低质量密度、大比表面积以及相对较高的热导率和电导率，它们在能量存储、过滤、热接口和生物电子学等领域具有广泛应用潜力[[1], [2], [3]]。由于其机械响应与森林形态以及CNT本身的属性和特性相关，因此过程-结构-属性之间的关系仍然知之甚少。例如，虽然森林的机械性能与其形态有关[4], [5], [6]，但CNT森林的高度、密度、直径、迂曲度和缠结程度之间的直接相关性尚不确定[7]。虽然存在CNT森林生长和自组装的机械仿真，但这些仿真速度太慢且计算资源消耗太大，无法模拟大量长（>100微米）的CNT森林或数千种生长参数组合[8]。这种计算限制促使人们使用基于物理知识的替代仿真器，这些仿真器通过直接机械仿真进行训练，以大幅加速对过程-结构-属性关系的探索，并确定能够实现所需属性集的CNT森林特性[9], [10], [11]。
近年来，基于机器学习的替代仿真器（通常称为仿真器）已被用来以较低的成本复制复杂物理仿真的输出[12]。数据驱动的仿真器运行速度快，且计算资源需求较低，因为它们避免了显式求解控制物理现象的微分方程[13], [14], [15]。标准的循环架构，包括循环神经网络（RNN）（通过维护隐藏状态逐步处理序列）和长短期记忆（LSTM）网络（一种利用门控记忆单元更好地捕捉长距离依赖性的RNN），已经成功再现了纤维纺丝[16]和聚合物结晶[17], [18]的序列动态，而图神经网络则被用于模拟冲击波的传播[19]。然而，将这些模型应用于CNT森林自组装并不简单。首先，对于仿真器来说，长预测范围稳定性仍然难以实现，因为自回归展开过程中会累积小的数值误差，导致传统的RNN和LSTM在几十步后就会发散[20]。其次，控制仿真器的统计目标（如均方误差（MSE）缺乏对基本物理原理（如梁力学）的理解，从而无法防止CNT自交叉或不现实的CNT曲率等非物理现象[21]。第三，尽管基于注意力的模型有潜力解决误差漂移问题，但它们主要针对的是较短序列（长度小于16或32的序列）开发，无法满足预测生长中CNT森林形态所需的长时间跟踪要求，因此模型的可扩展性仍然是一个重大挑战[5]。
基于物理知识的神经网络（PINNs）作为一种机制，可以直接将物理约束纳入训练目标中。在这种方法中，与平衡定律、本构关系和运动学兼容性相关的残差被作为损失函数中的惩罚项，从而在整个训练过程中强制产生物理上可接受的解[23]。这种公式非常适合于表现出复杂应力、机械相互作用和涌现集体行为的系统，在这些系统中，机械约束的缺失可能导致不稳定的或非物理的结果。PINNs已成功应用于固体力学和多物理问题中，以强制平衡和兼容性，并提高训练域之外的泛化能力[24]。相关的操作学习方法进一步扩展了基于物理知识的学习，使得可以在不同控制方程族和变化的边界条件下进行泛化[[25], [26]]。在材料和结构力学领域，基于物理知识的机器学习在捕捉集体响应、推断有效本构行为以及预测架构化和相互作用系统中的不稳定性驱动现象方面显示出实用性[[27], [28]]。因此，基于物理的惩罚项为约束相互作用和生长纳米结构的神经网络模型提供了一种自然且可扩展的机制，其中接触、应力积累和集体不稳定性决定了最终的机械响应。
在这里，我们介绍了一个基于物理知识的Transformer替代模型，用于模拟CNT森林的生长和相互作用，该模型既考虑了机械特性，又利用GPU进行了加速。这项工作的动机是：i) 生成一个快速、稳定的替代模型，能够预测至少一百步预测范围内的CNT森林生长和组装；ii) 证明这样的模型能够保留下游机械属性计算所需的机械特征。该模型使用有限元方法（FEM）CNT森林机械仿真作为真实数据，模拟了200根CNT的时间分辨二维节点位移。编码器采用了保持CNT-CNT接触的粘附接触项和抑制CNT形态中非物理弯曲的曲率平滑函数。我们证明，该仿真器产生的CNT森林形态（使用赫尔曼定向因子量化）和机械响应与FEM仿真相似。仿真器的平均仿真时间减少了2-3个数量级，内存使用量减少了38倍，使得仿真可以在资源较低的环境（如笔记本电脑）上运行。
方法部分
所有训练和验证数据都是使用机械FEM模型生成的，该模型模拟了CNT森林的时间分辨生长和组装过程[[29], [30], [31], [32], [33]]。简而言之，每根CNT由相互连接的框架元素组成，每个元素的末端都有一个节点点。所有CNT都从y=0的垂直位置开始，代表CNT-基底界面。此外，CNT在水平方向上均匀分布，以填充25微米的仿真域。
损失贡献
图2所示的训练损失表明，最初的几个时期主要受到Lmse、Lstick和Lcurve的快速下降的影响。所有这些项在前十个时期都减少了大约三个数量级。虽然MSE和曲率损失项在最后40个时期减少了大约一个数量级或更少，但粘附损失项在整个训练过程中持续减少，并在50个时期结束时成为最小的损失成分。
讨论
在仅基于回归损失进行训练时，引入轻量级的物理惩罚对于抑制长期漂移至关重要。补充信息中提供的消融研究证实，没有物理知识损失项的模型会迅速出现CNT之间的重叠和高频曲率不稳定性，而完整的三个术语公式则独特地保持了长期稳定性。尽管两个术语的模型
结论
这项工作表明，一个紧凑的、基于物理知识的Transformer能够模拟CNT森林的生长，同时保留了关键的形态特征和准确的机械压缩属性。Transformer的速度比显式的FEM仿真快几个数量级，同时保持了结构保真度。具有贝叶斯调优权重的物理感知损失保留了大约96.8±0.4%的帧间接触，再现的临界屈曲载荷与有限元结果的偏差在1.7%以内。
CRediT作者贡献声明
安德鲁·莱因哈德（Andrew Reinhard）：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，方法论，调查，形式分析，数据管理，概念化。申俊勇（Junyong Shin）：撰写——审阅与编辑，撰写——初稿，概念化。马歇尔·林赛（Marshall Lindsay）：撰写——审阅与编辑，撰写——初稿，可视化，方法论。斯科特·科瓦莱斯基（Scott Kovaleski）：监督，概念化。菲利兹·布尼亚克·埃尔索伊（Filiz Bunyak Ersoy）：撰写——审阅与编辑，撰写——
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
安德鲁·莱因哈德报告称得到了国家科学基金会的财务支持。马修·马斯奇曼（Matt Maschmann）的报告得到了国家科学基金会和美国能源部，高能物理办公室的支持。斯科特·科瓦莱斯基（Scott Kovaleski）的报告得到了美国能源部的支持。
致谢
A.R.和M.R.M.感谢国家科学基金会的资助（奖项编号：0072844）。M.R.M和S.K.感谢美国能源部，高能物理办公室的资助（奖项编号：DE-SC0022145。
