在贪婪稀疏学习中的步长衰减与结构停滞 Pablo M. Berná

贪婪算法在稀疏学习中的应用及收敛性问题分析，探讨步长衰减系数α>1时算法不收敛的根源，建立残差范数显式下界，揭示过快衰减导致结构停滞现象，并通过数值实验验证特征相关性对收敛的影响。

　　

摘要

贪心算法在稀疏逼近和分阶段学习方法（如匹配追踪和提升算法）中起着核心作用。众所周知，当步长为?????时，Power-Relaxed 贪心算法可能无法收敛。在一般的希尔伯特空间中，当?? >1时，该算法更容易出现收敛问题。在这项研究中，我们从稀疏学习的角度重新审视了这一现象。我们研究了具有可控特征一致性的可实现回归问题，并推导出了残差范数的显式下界，表明即使在高维稀疏环境中，过快的步长衰减也会导致算法结构停滞。数值实验验证了理论预测，并阐明了特征一致性在贪心稀疏学习中的作用。我们的研究结果为贪心稀疏学习中的步长设计提供了有益的见解。