跳跃马尔可夫线性系统的递归参数估计

《Automatica》：Recursive parameter estimation for jump Markov linear systems

　　**Mehmet ?etinkaya | Emre ?zkan**
**电气与电子工程系，中东技术大学，安卡拉，土耳其**

**摘要**
在本文中，我们提出了一种用于识别跳跃马尔可夫线性系统（JMLSs）的在线方法。状态推断采用了一个计算上可行的多模型滤波器，同时推导出了一种递归期望最大化（EM）算法来获得未知参数的最大似然估计（MLEs）。与依赖粒子滤波器的现有在线EM方法不同，我们的方法利用了分析表达式来利用JMLSs的条件线性结构，从而能够识别更高维度的模型。我们通过在模拟系统中识别传递函数、噪声参数和转移概率矩阵来评估该方法的性能，并将其与最先进的基于批处理和粒子滤波器的在线EM方法进行比较。仿真结果表明，与基于批处理的EM方法和基于粒子滤波器的在线EM方法相比，所提出的方法所需的计算资源显著较少。与批处理方法相比，该方法适用于在各种实时应用中常见的在线系统识别问题。

**引言**
跳跃马尔可夫线性系统（JMLSs）用于建模那些随时间特征可能突然变化的动态系统。这些跳跃通常是由于系统模式切换引起的，可能是由外部条件或内部动态驱动的（例如，机动目标在不同运动模式之间切换）。由于系统的模式无法直接观察，这些转换被建模为随机的。JMLSs已在通信、计量经济学、信号处理、故障检测、机动目标跟踪和机器人技术中得到广泛应用（Balenzuela等，2022年；Doucet等，2001年；Orguner和Demirekler，2006年）。因此，JMLSs的状态和参数推断在理解和预测动态系统的行为方面起着关键作用，这成为科学界一个非常感兴趣的研究课题。即使模型参数已知，由于真实后验分布的组成数量随时间呈指数级增长，对这些系统的最优滤波也是不可行的。为了解决这个问题，已经提出了一些近似状态推断算法。二阶广义伪贝叶斯（GPB2）滤波器通过在整个时间步长内保持固定数量K个分量来减缓后验分量的指数增长，适用于具有K种模式的系统。类似地，交互式多模型（IMM）滤波器使用K个分量来近似后验分布，同时保持了比GPB2方法更低的计算复杂度。另一方面，粒子滤波器使用一组加权粒子来表示离散状态的后验分布，并用高斯分量来表示连续状态的条件分布（Bar-Shalom等，2004年；Doucet等，2001年；Sch?n等，2005年）。所有这些方法都假设系统参数是已知的。

当状态空间模型的参数未知时，JMLSs中的多模型滤波问题变得更加具有挑战性，从而导致了状态和系统参数的联合估计问题。多项研究已经解决了在参数未知的情况下对JMLSs进行状态估计的问题。这些研究（Cheng和Tourneret，2021年；Orguner和Demirekler，2006年；Orguner和Demirekler，2008年；Wang，2010年；Wang，2023年）考虑了模型的转移概率矩阵（TPM）未知的情况。在解决联合估计问题时，通常使用批处理（即离线）期望最大化（EM）算法（Dempster等，1977年）来找到未知参数的最大似然估计（MLEs），而粒子滤波器用于获得相关分布的近似值。Sch?n等（2011年）提出了一种基于粒子平滑器的EM（PSEM）方法，用于非线性系统的参数识别。在Lindsten（2013年）中，使用随机近似步骤来提高PSEM的效率，并通过祖先采样改进了采样策略。这些方法的主要缺点是由粒子滤波器近似引起的计算负担，此外还受到维数灾难的影响，因为在高维状态空间模型中粒子表示变得过于稀疏而失去意义（Gustafsson，2010年）。在Svensson等（2014年）中，提出了一种使用Rao-Blackwellized粒子平滑器的批处理EM算法。Rao-Blackwellization，也称为边际化（Sch?n等，2005年），尽可能在后验分布中使用分析表达式而不是随机样本，从而更有效地使用粒子。PSEM与祖先采样和Rao-Blackwell化的组合也被用于跳跃马尔可夫非线性系统（JMNLSs）的识别（Li等，2022年；Pape?，2018年）。另一项研究（Balenzuela等，2022年）使用批处理EM来识别JMLSs，其中使用高斯混合而不是粒子近似。

**存在其他不假设马尔可夫模式转换的混合系统识别框架**（Breschi等，2016年；Juloski等，2005年；Paoletti等，2007年；Piga等，2020年）。然而，这些方法的一个主要挑战是它们依赖于确定性数据聚类（或分割）。一旦一个数据点被分配到一个簇中，系统的相应模式就被确定性地设置了。相比之下，通过使用JMLSs，我们避免了显式分割，而是采用了模式的概率表示。这特别适合于外部驱动的模式变化——例如随机故障、意外事件、不受控制的配置变化（Bolzern等，2010年；Bolzern等，2013年），或机动目标场景（Bar-Shalom等，2004年；Rong Li和Jilkov，2005年）——在这些情况下，确切的切换时间本质上是不确定的。

**基于EM的方法的主要局限性是它们的离线性质**。为了克服批处理EM中的离线识别限制，提出了几种方法，从而产生了在线EM框架。在Elliott和Krishnamurthy（1999年）的工作中，作者引入了用于线性高斯状态空间模型参数估计的在线EM。另一项研究提出了一种用于隐马尔可夫模型的在线EM算法，其中测量值可以取有限的数量（Mongillo & Deneve，2008年）。这种方法进一步扩展到了具有连续测量的系统（Cappé，2011年）。Cappé（2009年）、Moral等（2009年）提出了基于粒子滤波器（PF）的在线EM算法的变体，用于一般状态空间模型。Yildirim等（2013年）使用在线EM来估计变点模型的未知参数。Fritsche等（2012年）将在线EM方法扩展到估计未知的多模型高斯测量噪声分布，而?zkan等（2012年）的工作使得可以通过指数族密度混合来表示多个模型。在?zkan等（2015年）中，提出了一种用于在线识别JMNLSs的Rao-Blackwellized粒子滤波器（RBPF）。为了应对粒子滤波器固有的维数灾难，Finke和Singh（2017年）引入了一种仅限前向的阻塞平滑技术。此外，几项研究专注于开发计算效率高的仿真技术，以提高在线EM算法在粒子滤波框架内的性能（Gloaguen等，2022年；Olsson和Westerborn，2017年；Westerborn和Olsson，2014年）。

**在本文中，我们提出了一种基于在线EM方法的JMLSs递归系统识别新方法**。我们不依赖于基于PF的近似，而提出了一种确定性和计算效率高的近似方法。我们的方法利用了问题的条件线性特征，因此适用于高维系统。我们通过从文献中改编的仿真展示了所提出算法的有效性，并证明其性能与最先进的离线EM和基于PF的在线EM算法相当，同时显著减少了计算时间。此外，批处理EM需要处理所有可用的测量数据，因此随着测量数量的增加，复杂性和存储需求也会增加。所提出的在线EM算法仅通过处理新可用的测量数据一次来更新参数估计，使其适用于在线系统识别问题。

**本文的结构如下：**第2节提供了JMLSs和EM算法的背景，第3节介绍了将EM算法应用于JMLSs进行系统识别的内容。然后，在第4节中我们提供了我们的在线EM解决方案，第5节展示了在两个不同示例案例中的仿真结果。第6节总结了本文。

**部分摘录**
**跳跃马尔可夫线性系统**
考虑一个离散时间的跳跃马尔可夫线性系统（Bar-Shalom等，2004年），其控制方程为：
$$
xt = Frt(x_{t-1} + Grtu_{t-1} + wtr_t, \quad yt = Hrt(x_t) + vtr_t,
$$
其中 $xt \in \mathbb{R}^n$ 是连续状态向量，$ut \in \mathbb{R}^{nu}$ 是输入向量，$yt \in \mathbb{R}^n$ 是测量向量，$rt \in \{1, 2, \ldots, K\}$ 是离散状态。离散状态 $rt$ 通过状态转移矩阵 $Frt \in \mathbb{R}^n \times \mathbb{R}^n$、输入矩阵 $Grt \in \mathbb{R}^n \times \nu$ 以及高斯噪声项 $wtr_t \sim N(0, Qrt)$ 来控制状态空间动态。$rt$ 还指定了...

**JMLSs的EM算法**
在介绍了JMLSs和EM算法之后，我们现在将使用EM算法进行JMLSs的参数估计。接下来，我们将首先介绍批处理EM方法，然后推导出在线形式。

**利用状态空间模型的马尔可夫性质**
根据状态空间模型（1b），完整的数据似然可以分解为：
$$
p(y_0:t, z_0:t; \theta) = \prod_{i=0}^{t} p(y_i, x_i, r_i|x_{i-1}, r_{i-1}; \theta) = \prod_{i=0}^{t} p(y_i, x_i|x_{i-1}, r_i; \theta) p(r_i|r_{i-1}; \theta)
$$
在每个模式 $rt = k$（$k = 1, \ldots, K$）的高斯性假设下，...

**JMLSs的在线EM**
在本节中，我们将展示如何通过使用中间函数来实现（11）中辅助函数的递归计算。

**仿真结果**
在本节中，我们通过在文献（Balenzuela等，2022年；Svensson等，2014年；?zkan等，2015年；Jilkov和Li，2004年）中改编的两个仿真示例来评估所提出的在线EM算法的性能。我们首先研究了一个具有未知TPM的一阶系统的传递函数识别问题，并将所提出的算法与最先进的离线EM算法（Balenzuela等，2022年）和基于PF的在线EM方法（Cappé等，2012年）进行了比较。

**结论**
在本文中，我们提出了一种用于识别JMLSs的在线EM算法，该算法利用问题的条件线性特征，采用了确定性和计算效率高的近似方法。在从文献中改编的仿真场景中，我们证明了所提出的算法在准确性与最先进的离线EM算法相当，同时显著提高了计算效率。此外，所提出的方法能够处理实时数据...

**Mehmet ?etinkaya**
Mehmet ?etinkaya于2014年获得电气与电子工程学士学位，2018年获得硕士学位，2025年获得博士学位，所有学位均来自土耳其安卡拉的中东技术大学。2015年至2025年期间，他在中东技术大学的电气与电子工程系担任教学和研究助理。他的研究兴趣包括随机信号处理、估计理论和目标跟踪。