黎曼动量跟踪：在紧致子流形上的分布式优化与动量算法

《IEEE Transactions on Control of Network Systems》：Riemannian Momentum Tracking: Distributed Optimization with Momentum on Compact Submanifolds

基于动量跟踪的紧流形分布式优化算法研究，提出Riemannian Momentum Tracking（RMTracking）方法，在常数步长下实现分布式优化，其收敛速度较现有算法快1/(1-β)倍，并通过特征值问题验证了理论分析。

　　

摘要：

带动量的梯度下降方法在各种信号处理和机器学习任务中得到了广泛应用，与标准梯度下降相比具有显著的经验优势。然而，基于动量的分布式黎曼算法却鲜有研究。在本文中，我们提出了黎曼动量跟踪（RMTracking）算法，这是一种在紧致子流形上使用动量的去中心化优化算法。由于紧致子流形的非凸性质，目标函数由有限个平滑（可能非凸的）局部函数组成，并在无向且连通的网络图中由各个代理节点共同最小化。在固定步长的情况下，我们证明了黎曼梯度平均值的收敛速率为O(1?β^K)，其中β ∈ [0, 1)。特别是当步长足够小时，RMTracking能够以O(1?β^K)的收敛速率达到稳定状态。据我们所知，RMTracking是首个实现精确收敛的去中心化算法，其收敛速度比其他相关算法快1?β^K倍。最后，我们通过特征值问题的数值实验验证了这些理论结论。