线性随机系统状态协方差的可达性与可控性分析

《Automatica》：Reachability and controllability analysis of the state covariance for linear stochastic systems

　　刘凤娇|帕纳约蒂斯·齐奥特拉斯
佛罗里达农业机械大学-佛罗里达州立大学工程学院电气与计算机工程系，美国塔拉哈西，FL 32310

**摘要**
本文研究了在有限时间范围内，从给定的初始状态协方差出发，线性随机系统在加性噪声影响下能够达到的终端状态协方差集合。对于离散时间系统，给出了可达状态协方差集合的完整表征；对于连续时间系统，则提出了可达状态协方差集合的上界。此外，对于线性的离散时间和连续时间系统，还提供了状态协方差在有限时间范围内可控性的必要和充分条件。

**引言**
在过去的四十年中，协方差控制理论作为一种工具，逐渐被用来解决动态系统中不确定性的量化与控制问题。协方差控制理论的研究最初关注的是无限时间范围内的状态协方差分配问题（Collins和Skelton，1987年；Hotz和Skelton，1987年），其目标是找到在加性噪声影响下线性随机系统的所有允许的状态-状态协方差集合。在同一研究中，还提出了实现可分配状态协方差的所有状态反馈控制器的参数化方法。Grigoriadis和Skelton（1997年）以封闭形式提供了实现最小控制能量的允许稳态协方差的最优控制律。

近年来，协方差引导理论在各种控制和运动规划问题中变得流行起来，该理论旨在将状态协方差从给定的初始协方差引导至期望的终端协方差（Knaup等人，2023年；Okamoto和Tsiotras，2019年；Riderhof和Tsiotras，2018年；Yin等人，2022年；Zheng等人，2024年）。基于这些应用，人们研究了连续时间和离散时间随机系统的几个最优协方差引导问题。对于具有二次成本的连续时间线性随机系统，当噪声系数矩阵与控制系数矩阵相同时，可以以封闭形式推导出最优控制律（Chen等人，2016a；Chen等人，2018年；Ciccone等人，2020年）。当噪声系数矩阵与控制系数矩阵不同时，可以通过将最优协方差引导问题转化为半定规划来计算最优控制律（Chen等人，2016b；Liu和Tsiotras，2024a；Liu和Tsiotras，2024b）。除了讨论了一阶和二阶矩之外，还研究了如何以最小控制能量最优地将随机系统的整个状态密度从一个预设的终点密度引导至另一个终点密度的问题（Caluya和Halder，2022年；Chen等人，2017年）。在基本的离散时间版本中，已经推导出了适用于不同噪声模型和目标函数（Balci和Bakolas，2022年；Balci和Bakolas，2023年；Liu等人，2025年）或不同类型约束（例如，机会约束）（Bakolas，2018年；Okamoto等人，2018年；Rapanakoulias和Tsiotras，2023年；Renganathan等人，2023年）的离散时间线性随机系统的最优控制策略。此外，系统矩阵可能包含未知参数（Knaup和Tsiotras，2023年），或者完全未知（Pilipovsky和Tsiotras，2023年）。离散时间中的一般分布引导问题通过特征函数或功率矩来解决（Sivaramakrishnan等人，2022年；Wu和Lindquist，2023年；Wu和Lindquist，2025年）。Saravanos等人（2021年）和Terpin等人（2024年）也探讨了多智能体协方差和分布引导问题。

尽管对最优协方差引导理论进行了大量研究，但关于通过适当控制律可以从给定的初始状态协方差达到哪些终端状态协方差这一更基本的问题仍然大部分未得到解答，除了一些特殊情况。

一个有完整分析的特殊情况是连续时间状态协方差的可控性。Brockett（2012年）指出，对于连续时间确定性线性时不变系统x?(t)=Ax(t)+Bu(t)，如果矩阵对(A,B)是可控的，则其状态协方差在有限时间间隔内是可控的。即使该系统受到加性噪声的影响，这一结果仍然成立（Mahmudov和Denker，2000年）。同样，对于线性时变随机系统dx(t)=(A(t)x(t)+B(t)u(t))dt+D(t)dw(t)，如果对所有s∈[0,T)，矩阵对(A(t),B(t))在[s,T]上是可控的，则其状态协方差在时间间隔[0,T]内是可控的（Mahmudov，2001年）。有趣的是，Chen等人（2015年；Velho等人，2024年）表明，输入延迟或输出反馈会导致终端状态协方差的下界。另一方面，当线性时变系统x?(t)=A(t)x(t)+B(t)u(t)且矩阵对(A(t),B(t))在[0,T]的所有子区间上都是可控的时，Chen等人（2017年）通过最优传输论证证明了任何初始连续分布（即无点质量的分布）都可以被引导至任何目标连续分布。如Brockett（2012年）所指出的，可以通过状态转移矩阵ΦA+BF的可控性/可达性来研究线性系统(A,B)的状态协方差的可控性/可达性，其中状态反馈增益矩阵F(t)作为控制输入。Abdelgalil和Georgiou（2025年）的最新工作指出了Brockett（2012年）可控性证明中的一个错误，并表明在任何终端时间T>0时，如果(A,B)是可控的，那么ΦA+BF(t,0)可以从时间t=0时的单位矩阵被引导至时间t=T时具有正行列式的任何矩阵。

另一个经过彻底分析的特殊情况是无噪声的离散时间随机系统的可控性。对于一维线性系统xk+1=akxk+uk，其中ak是一个随机变量，Wu和Lindquist（2025年）证明了在控制输入与状态独立的情况下，状态协方差（以及更高阶的功率矩）可以在有限时间内被控制。对于多维的、可能是非线性的系统xk+1=fk(xk,uk)，只要系统在紧凑的控制集下是可控的，就可以以与最优传输成本相同的成本将初始分布引导至目标分布（Wu和Rantzer，2026年）。不出所料，对于线性时不变系统，计算可达集通常比一般情况更容易处理。当添加加性噪声时，可以通过半定规划（SDP）高效计算在状态和控制输入的机会约束下，由一阶和二阶矩参数化的最大向后可达模糊集（Aggarwal和How，2025年）。

在本文中，我们研究了线性随机系统的终端状态协方差的可达性这一更一般的问题，并提供了状态协方差在有限时间范围内可控性的必要和充分条件。

**贡献**：首先，我们给出了有加性噪声和无加性噪声的离散时间线性随机系统的可达状态协方差集合的完整表征（定理1、2和3）。其次，我们提出了受加性噪声影响的连续时间线性随机系统的可达终端状态协方差集合的上界（定理5）。第三，我们为存在加性噪声的离散时间和连续时间线性随机系统的状态协方差的有限时间范围内的可控性建立了必要和充分条件（定理4、定理7）。在我们的分析过程中，我们还推导出了Riccati微分方程在给定时间间隔内具有唯一解的必要和充分条件（定理6），这可能具有独立的兴趣。据我们所知，这是第一项研究有限时间范围内状态协方差可达性的工作，它补充了Collins和Skelton（1987年）以及Hotz和Skelton（1987年）关于无限时间范围内的结果。

**论文结构**
其余部分安排如下：第2节阐述了相关问题。第3节和第4节分别给出了离散时间和连续时间的结果。第5节给出了一个数值示例来验证理论。为了便于阐述，一些用于证明主要结果的辅助引理被放在附录中。

**问题表述**
考虑离散时间线性随机系统xk+1=Akxk+Bkuk+Dkwk，k=0,1,2,…，其中xk∈Rn是状态，uk∈Rp是控制输入，{wk}k≥0是一系列独立的、平方可积的q维随机噪声向量，Ewk=0且EwkwkT=Iq，初始状态x0与噪声序列{wk}k≥0无关，Ak∈Rn×n，Bk∈Rn×p，Dk∈Rn×q是已知系数矩阵。假设初始状态x0具有有限的半正定协方差矩阵Σ0?0。在任何给定的时间k=1，

**离散时间情况**
在本节中，我们首先展示了只需考虑系统（1）的随机化状态反馈控制类即可。然后，我们刻画了当（1）无噪声（即Dk≡0）时所有可达状态协方差的集合。接下来，我们将结果扩展到Dk≠0的一般情况。最后，从状态协方的可达性出发，我们推导出了（1）在有限时间范围内状态协方差可控性的必要和充分条件。

**连续时间情况**
在本节中，我们推导了关于连续时间协方差方程可控性的结果。首先，我们展示了只需考虑系统（2）的状态反馈控制类即可。然后，我们给出了所有可达状态协方差集合的上界。最后，我们推导出了（2）在有限时间范围内状态协方差可控性的必要和充分条件。

**数值示例**
在本节中，我们首先总结了Liu和Tsiotras（2024b）以及Liu等人（2025）提出的半定规划（SDP）方法，用于找到将系统（2）或系统（1）的状态协方差从给定的初始协方差引导至期望的可达状态协方差的控制。然后，给出了一个数值示例来说明我们的理论结果。下面描述了连续时间系统（2）的SDP方法。

**结论性评论**
本文刻画了受加性噪声影响的离散时间和连续时间线性随机系统的可达终端状态协方差集合，从给定的初始状态协方差开始。具体来说，为离散时间系统提供了可达终端状态协方差集合的完整表征，而为连续时间系统提供了可达终端状态协方差集合的上界。我们建立了必要和充分条件。

刘凤娇是佛罗里达农业机械大学-佛罗里达州立大学工程学院电气与计算机工程系的助理教授。她于2012年获得江南理工大学学士学位，2020年获得耶鲁大学博士学位。她的研究兴趣包括随机控制、复杂系统和网络、分布式决策与协调、网络博弈以及机器人动力学与控制。