基于强化学习的优化跟踪控制：适用于具有维纳噪声和泊松噪声的随机非线性严格反馈系统

《IEEE Transactions on Industrial Informatics》：Reinforcement Learning-Based Optimized Tracking Control for Stochastic Nonlinear Strict-Feedback Systems With Wiener and Poisson Noises

研究存在维纳噪声和泊松噪声的随机非线性严格反馈系统的最优控制问题，提出结合强化学习策略的优化后退控制方法，通过改进的RL架构减少算法复杂度，并利用自适应神经网络识别未知非线性项，最后通过车辆跟踪控制实例验证方法有效性。

　　

摘要：

本文研究了一个受到维纳噪声和泊松噪声共同影响的随机非线性严格反馈系统的最优控制问题。由于该严格反馈系统不满足匹配条件，并且在建模中涉及未知的非线性项和不可测量的随机噪声，因此采用基于强化学习（RL）策略的优化反步（OB）技术来设计控制器，该控制器基于识别器-评论家-执行器（IDC）架构。然而，OB技术需要将所有虚拟控制器和实际控制器构建为各自子系统的最优解，这不可避免地增加了算法的复杂性。为了解决这一问题，提出了一种新的RL方法，使得优化控制不受维纳噪声和泊松噪声干扰的影响。此外，还在RL框架中加入了自适应神经网络识别器，以确保所提出的控制方案能够顺利应用于未知的非线性动态系统。最后，通过一个车辆跟踪控制示例来验证所提方法的有效性。

引言

跟踪控制是确保机器人稳定运行和提高工业机床性能的关键课题[1]、[2]、[3]、[4]、[5]。为了增强工业系统应对动态非线性、参数不确定性、传感器退化以及执行器故障等常见挑战的能力，研究人员在最优跟踪控制和容错控制领域进行了大量研究，取得了重要的成果[6]、[7]、[8]、[9]、[10]、[11]。然而，现实中的工业系统经常受到复杂的随机干扰，这些干扰可能对实际应用中的系统性能产生不利影响。在这种背景下，对随机非线性系统的研究变得越来越重要。特别是随机非线性严格反馈系统（SNSFSs）在相关研究中发挥了重要作用，因为它们在处理复杂动态方面具有很强的适应性[12]、[13]、[14]、[15]。值得注意的是，现有的关于SNSFSs的研究并未考虑泊松噪声。此外，上述研究仅考虑了维纳噪声。然而，在实际的工业场景中，经常会遇到设备故障和突发环境变化等跳跃随机现象，这些现象通常需要用泊松过程来描述。正如[16]、[17]和[18]中所展示的，泊松噪声在电力系统和工业红外光谱恢复等工业应用中具有重要意义。因此，研究同时受到维纳噪声和泊松噪声影响的SNSFSs对于提高受此类复杂噪声环境影响的工业设备的运行稳定性至关重要。