基于A3C的神经成本模型预测控制在SE(3)空间中的应用：用于自主航天器的交会与对接

《Aerospace Science and Technology》：A3C-based Neural-Cost Model Predictive Control on SE(3) for Autonomous Spacecraft Rendezvous and Docking

本文提出基于A3C框架的神经成本模型预测控制算法，结合SE(3)耦合动力学模型，实现航天器rendezvous与docking任务中的轨道-姿态跟踪控制，动态调整MPC成本函数权重，提升控制精度与计算效率，仿真验证其鲁棒性和快速收敛特性。

　　
该研究针对深空探测任务中航天器接近与对接（RV&D）的复杂控制需求，提出了一种基于SE(3)耦合动力学模型与异步优势演员-批评者（A3C）训练框架的神经成本模型预测控制（NCMPC）算法。该方法通过融合强化学习与模型预测控制技术，实现了轨道-姿态联合跟踪控制的高效解决方案，在控制精度、收敛速度和系统鲁棒性方面展现出显著优势。

在航天器接近与对接任务中，高精度位置与姿态控制是确保任务成功的关键。传统控制方法存在两大局限性：其一，采用分离式建模策略（如SICDM和DQ-CDM），导致耦合效应未被充分考量，特别是在接近阶段（<100米）非线性项（科里奥利力、离心力等）引起的误差难以消除；其二，模型自由方法（如MLP）存在泛化能力不足、依赖人工经验等问题。针对上述缺陷，该研究创新性地构建了基于SE(3)的耦合动力学模型框架，该模型采用方向余弦矩阵与位置向量统一表征六自由度运动，有效避免了奇异点问题，且在空间任务中展现出更好的扩展性。

NCMPC算法的核心突破在于将神经网络的动态学习能力与MPC的优化优势相结合。具体而言，通过异步优势演员-批评者算法对神经网络进行训练，使系统能够在线自适应调整MPC成本函数的权重参数。这种设计使得控制算法既能保持传统MPC对约束条件的显式处理能力（如状态限制、控制输入饱和等），又能通过神经网络学习动态权重配置，从而实现复杂非线性系统的精准控制。

算法实现包含三个关键环节：首先，构建SE(3)域内的航天器相对动力学模型，该模型同时描述了目标航天器与跟踪航天器的轨道运动与姿态运动耦合关系；其次，设计具有物理意义的多目标成本函数，将轨道误差、姿态偏差、能量消耗等关键指标有机整合；最后，采用A3C框架对神经网络进行训练，通过优势函数量化控制效果，利用演员网络生成控制策略，结合批评网络评估策略价值，形成闭环优化机制。

仿真实验部分采用典型RV&D场景进行验证，对比了传统MPC、模型自由神经网络（MLP）以及NCMPC三种方法的性能表现。实验数据显示，NCMPC在以下方面具有明显优势：1）控制精度提升约15%-20%，尤其在非合作目标跟踪时仍能保持高精度；2）系统响应速度加快30%以上，动态过程收敛时间缩短；3）对初始条件的鲁棒性显著增强，在50%偏离初始轨道的情况下仍能稳定跟踪；4）控制输入的平滑性提升，高频振荡现象减少约40%，这对降低推进器能耗和延长器件寿命具有重要意义。

该研究还特别设计了分层训练机制，将A3C算法分为离线预训练与在线微调两个阶段。预训练阶段通过大量模拟数据学习基础控制策略，在线阶段则根据实时动力学模型更新权重参数，这种混合训练方式既保证了训练效率，又增强了算法的适应性。实验证明，这种架构在任务中后期面对突发的轨道扰动时，仍能保持稳定的控制性能。

在工程应用层面，该算法展现出显著的成本效益优势。以某型载人飞船对接任务为例，NCMPC方案相比传统方法减少推进剂消耗约12%，控制周期缩短至0.8秒（原为1.5秒），同时满足对接误差≤2厘米、姿态角偏差≤0.5度的严苛指标。特别值得关注的是，在非合作目标突然改变轨道参数（如Δv突增）的极端情况下，NCMPC仍能保持系统稳定，而传统MPC需要依赖人工调整控制参数。

该研究对后续空间控制技术的发展具有重要启示：1）建立统一的SE(3)动力学建模框架，为多任务协同控制奠定基础；2）开发轻量化神经控制算法，以适应航天器计算资源受限的特点；3）构建数字孪生验证平台，实现控制算法的快速迭代与验证。未来研究可进一步探索该框架在深空采样返回、在轨服务维修等复杂任务中的应用，同时优化神经网络架构以降低计算负载。

这项工作不仅为空间智能控制提供了新的理论方法，更在工程实践中展现出显著价值。通过将深度强化学习的在线学习能力与MPC的约束优化优势相结合，有效解决了传统方法在复杂动态环境下面临的适应性难题。特别是在处理非合作目标、突发扰动等不可预测因素时，NCMPC展现出更强的环境适应能力和容错性能，为下一代自主空间探测任务奠定了关键技术基础。