考虑电池衰减和热效应的混合动力电动汽车能量管理的自适应熵软演员-评论家算法

《Journal of Energy Storage》：Adaptive entropy soft actor–critic for hybrid electric vehicle energy management with battery degradation and thermal considerations

混合动力汽车能量管理中提出基于Kolmogorov-Arnold网络与自适应熵的软演员 critic算法，有效解决传统强化学习收敛不稳定、探索不足及未充分考虑电池退化与热效应问题，实验显示燃油消耗降低5.2%，终端温度下降3.45%，且系统稳定性提升12.8%。

　　

曾全红|王春|卢家欢

四川科技工程大学机械工程学院，中国四川省宜宾市644000

摘要

基于深度强化学习的能量管理策略因其在动态驾驶条件下的适应性而受到重视。然而，仍存在一些挑战，包括训练不稳定、在运行边界附近的鲁棒性有限，以及电池退化和热效应在长期优化中的整合不足。为了解决这些问题，我们提出了一种改进的软Actor-Critic算法，该算法结合了Kolmogorov-Arnold网络和自适应目标熵（KAN_SAC_ATE）机制。Kolmogorov-Arnold评论家通过低维函数分解增强了收敛稳定性，而自适应熵机制以状态依赖的方式调节探索行为。此外，奖励设计明确考虑了电池健康状况和热因素，指导策略在燃油效率、耐用性和安全性之间取得平衡。与SAC相比，所提出的方法将训练标准差降低了12.8%，并实现了更平稳的收敛。它还减少了5.2%的燃油消耗，降低了3.45%的终端平均温度，同时提高了电池健康的可持续性。总体而言，所提出的框架在稳定性、效率、热管理和耐用性方面提供了协调的改进，为混合动力电动汽车的多目标能量管理提供了一个稳健的解决方案。

引言

交通运输领域的能源消耗和排放持续增加，这对汽车行业的电气化和智能化提出了迫切需求[1]、[2]、[3]。混合动力电动汽车（HEVs）结合了内燃机和电动驱动系统，被广泛认为是提高效率和减少排放的有希望的途径。与传统车辆相比，HEVs实现了更低的燃油消耗和更好的排放控制，同时保持了比纯电动汽车更长的行驶里程和更快的充电速度[4]。随着硬件改进达到极限，进一步的性能提升越来越依赖于先进的控制策略[5]、[6]。因此，系统级优化的能量管理策略（EMS）已成为HEV研究和应用中的核心问题[7]。

EMS的核心目标是在发动机、电机和电池之间协调功率流[8]、[9]。虽然传统上强调燃油经济性，但电池寿命和热管理也同样重要。锂离子电池会逐渐失去容量和功率，这直接限制了车辆的可靠性和成本效益[10]、[11]。温度对电池行为有显著影响：高温会加速副反应和老化，增加安全事故的风险，而低温则会增加电阻并降低功率输出[12]、[13]。因此，EMS必须平衡短期能量分配与长期电池健康和热管理。这种权衡非常复杂，使用基于规则的策略或静态优化方法难以解决。

基于学习的方法，特别是深度强化学习（DRL），因其能够在动态环境中自动获取策略而受到关注。DRL凭借其强大的表示能力，在机器人技术、能源调度和自动驾驶领域取得了成功[14]、[15]。在DRL算法中，软Actor-Critic（SAC）因其熵正则化而特别吸引人，这增强了探索能力并提高了训练稳定性[16]、[17]。然而，传统的SAC采用固定的熵目标，在运行约束下会遇到问题。在充电状态（SOC）和温度限制等边界附近，过度探索可能导致违反约束，而在安全区域内，固定的熵目标则过于保守，阻碍了更优策略的发现[18]、[19]、[20]。

最近的研究从几个互补的方向试图解决这些问题。在算法方面，Liu等人[21]提出了一个用于协作多目标优化的多智能体SAC框架，Qin等人[22]将电池和电机的热动态嵌入到基于DDPG的EMS中，并通过自适应权重调整进行优化，Yazar等人[23]通过强化激励改进了探索-利用平衡，Wan等人[24]开发了一种连续学习策略以在不确定条件下提高鲁棒性。尽管这些方法有效，但它们通常依赖于复杂的架构或启发式的权重调整，这限制了适应性和可扩展性。同时，最近的研究强调了将驾驶行为纳入速度-能量协同优化的好处。Tao等人[25]将驾驶风格识别与GA优化的速度-能量协同优化和自适应ECMS相结合，减少了11-16%的氢消耗，而Fu等人[26]在MPC框架中使用行为识别和基于LSTM的速度预测来降低速度波动并减少等效燃油和退化成本。在建模方面，Yang等人[27]建立了一个考虑退化的电热耦合模型，而Wang等人[28]和Zhang等人[29]引入了高精度的安全状态和健康状态估计方法。这些模型为电池行为提供了宝贵的见解，但它们很少被整合到基于强化学习的EMS框架中。从更广泛的系统角度来看，能量管理也在单一车辆层面之外进行了研究。系统级和层次化的集成车辆-电网-能量管理越来越受到关注，其中跨多个层次和时间尺度的协调被用来共同优化交通和电力系统目标[30]。这种系统级协调通过将决策分解为规划级调度和实时控制层来补充车辆级EMS。我们的工作针对车辆级层面，并且可以与层次化框架中的轻量级实时控制器一起使用。尽管取得了这些进展，大多数方法仍然缺乏对状态约束边际的动态适应性，在这种情况下，安全和高效的探索至关重要。

为了克服基于传统SAC的EMS的两个实际限制：（i）当MLP评论家近似高度非线性和强耦合的Q(s, a)时，价值估计不稳定；（ii）在使用固定熵目标时，在运行约束下探索行为次优，本文提出了一种基于SAC的EMS，该EMS通过Kolmogorov-Arnold网络（KAN）和自适应目标熵（ATE）机制进行了改进。我们特别选择KAN作为评论家网络，因为它在结构上优于标准MLP。基于KAN的评论家可以更有效地表示Q(s, a)中的非线性，并提供更稳定的价值估计，从而提高Actor-Critic训练的鲁棒性。同时，ATE引入了状态依赖的熵调整，以动态平衡安全性和探索行为。主要贡献如下：

(1) 为了解决MLP的有限逼近能力，我们提出了在基于SAC的EMS中首次应用KAN，用非线性函数分解替代了传统的MLP评论家。这种设计显著提高了逼近精度，并在强耦合的车辆动态下稳定了收敛，弥合了理论强化学习进展与实际EMS需求之间的差距。

(2) 由于固定目标熵缺乏适应不同运行条件的灵活性，引入了自适应目标熵方案，根据系统状态调节探索强度。与固定熵SAC不同，所提出的机制在运行边界附近实现了更安全和更稳健的策略学习，同时仅增加了最小的额外计算成本。

(3) 认识到传统的单一目标优化无法平衡多维性能指标，奖励函数明确考虑了燃油经济性、电池退化和热管理。这使得在单一框架内同时优化效率、耐用性和安全性成为可能，克服了传统EMS方法的单一目标偏见。

本文的其余部分组织如下。第2节描述了HEV系统模型并建立了电池老化和热模型。第3节介绍了KAN-SAC能量管理策略和ATE机制。第4节报告了在多种驾驶条件下的仿真研究，以验证所提出方法的有效性。最后，第5节总结了工作并讨论了未来研究的方向。详见附录A中的缩写列表。

部分摘录

车辆配置

本研究考虑了一种动力分割的HEV架构。动力总成包括内燃机（ICE）、锂离子电池组、牵引电机和发电机。这些来源的动力通过行星齿轮组耦合和分配，行星齿轮组作为关键的协调机制。混合能源存储系统的整体结构如图1所示，车辆和组件的主要参数总结在表1中[31]。

SAC算法和ATE

软Actor-Critic（SAC）算法源自最大熵强化学习框架。与传统策略优化不同，SAC通过熵正则化项增强了回报，鼓励策略同时最大化预期奖励和熵。这种公式促进了探索行为，并提高了对提前收敛的鲁棒性，从而在高维连续动作空间中实现了更稳定的学习[39]。

训练过程分析

图6显示了在UDDS循环中四种不同策略下的奖励性能比较。所有模拟的初始SOC设置为0.65。初始SOH为1.0，环境温度保持在25°C。基线SAC获得了中等平均奖励，但表现出明显的波动性。收敛相对较早（大约在第36个剧集，?319），显示出探索效率，但奖励轨迹不稳定。

结论

本研究表明，将KAN集成到软Actor-Critic框架中，并结合自适应目标熵机制，显著提高了混合动力电动汽车的能量管理效果。主要结论如下：

(1) 用KAN替换传统的MLP评论家提高了表示能力和函数逼近能力。在可比的奖励水平下，它将训练标准差降低了大约12.8%，并实现了更平稳的收敛。敏感性分析

CRediT作者贡献声明

曾全红：撰写——原始草稿、软件、方法论、调查。王春：撰写——审阅与编辑、验证、监督、资源获取。卢家欢：撰写——审阅与编辑、验证、监督、概念化。

利益冲突声明

我们声明与任何可能不恰当地影响我们工作的个人或组织没有财务和个人关系。我们对任何产品、服务或公司没有专业或其他形式的个人利益，这些产品、服务或公司可能会影响本文所述的内容或对手稿“带有电池退化和热考虑的混合动力电动汽车能量管理的自适应熵软Actor-Critic”的审查。

致谢

本研究得到了国家自然科学基金（项目编号：52407246）、四川省自然科学基金（项目编号：2024NSFSC0145）、四川省过程装备与控制重点实验室（项目编号：GK202405）、四川科技工程大学研究生创新基金（项目编号：Y2025034）、四川科技工程大学科学研究与创新团队计划（项目编号：SUSE652A004）和四川省的资助。