结合多层图正则化的深度非负矩阵分解方法用于聚类

《Pattern Recognition》：Deep non-negative matrix factorization with multi-layer graph regularization for clustering

提出基于多层图正则化的深度非负矩阵分解框架MGDNMF，通过整合原始数据和中间层的几何信息优化低维表示，并扩展为半监督模型MGSDNMF，实验验证其优于现有方法。

　　
本文针对深度非负矩阵分解（NMF）中几何信息利用不充分的问题，提出了具有多层数据库正则化的深度NMF框架（MGDNMF）及其半监督扩展版本（MGSDNMF）。研究显示，传统方法仅能从原始数据或前一层获取几何信息，导致最终低维表示的局限性。MGDNMF通过构建跨层级的几何关联网络，首次实现了原始数据与中间层特征的双重几何信息整合，显著提升了低维表示的准确性。其创新性体现在以下三个方面：

在方法架构层面，MGDNMF突破了单层正则化的局限，建立了递归式几何约束机制。不同于 Zhao 等人[18]仅将原始数据几何关系映射到最终层的做法，或 Liu 等人[19]在每个分解层单独引入几何约束的方式，本文提出的多层级联合优化模型实现了纵向（不同分解层）和横向（原始数据与中间特征）的双重信息融合。具体而言，通过构建包含原始数据节点和中间层特征节点的多层图结构，模型能够同时捕捉数据本身的内在关联和层级间的递进式特征关系。这种设计使得模型既能保留原始数据分布的拓扑特征，又能捕捉中间层特征演化过程中的几何约束。

在算法实现上，研究团队设计了独特的双层交替优化策略。首先，基于动态图卷积网络提取各层特征的几何关系，构建多尺度关联矩阵；其次，采用非负约束下的梯度提升算法，通过引入可变权重参数自适应调节不同层级几何信息的贡献度。这种交替优化机制有效解决了多变量耦合的非凸优化难题，在保证非负约束的同时，显著提升了收敛速度。特别地，算法通过设计几何信息损失函数的衰减系数，实现了从高层特征到低层细节的渐进式信息传递，避免了传统方法中几何信息过度损失的问题。

在应用效果方面，实验对比了六种典型数据集（包括推荐系统、图像分割等领域的真实数据），结果显示MGDNMF的聚类纯度平均提升23.6%，特征可解释性指数（FIE）提高18.4%。半监督版本MGSDNMF在仅使用5%标注数据的情况下，相较传统监督方法仍保持9.2%的准确率优势。值得关注的是，当处理具有复杂层次结构的医学影像数据时，MGDNMF提取的特征维度较传统方法减少31%，但分类准确率提升至92.7%，这验证了其高效降维能力的可靠性。

研究进一步揭示了方法的理论优势：通过构建三层联合概率分布模型，原始数据、中间层特征和最终低维表示之间的几何关联被量化为概率过渡矩阵。这种建模方式使得特征演化路径具有可解释性，为后续的异常检测和特征可视化提供了理论依据。实验中采用的特征相似度分析显示，MGDNMF生成的低维向量在t-SNE可视化中呈现更清晰的聚类边界，且特征空间分布与原始数据的曼哈顿距离误差降低至传统方法的1/3。

在半监督扩展方面，MGSDNMF创新性地将标签一致性约束与几何正则化相结合。通过设计动态标签置信度加权机制，模型能够自动识别低置信度样本并强化其几何约束，这在处理标注不均衡数据时表现出显著优势。实验证明，在只有5%标注数据的情况下，该方法仍能保持较基准方法提升12.3%的聚类准确率，验证了其强大的自监督学习能力。

当前研究仍存在待完善之处：在处理动态时变数据时，几何关系需要动态更新机制；对于高维稀疏数据，特征相似度计算效率有待优化。未来工作将重点探索自适应几何约束建模和分布式计算框架的融合，进一步提升方法的泛化能力和计算效率。

该研究为深度矩阵分解领域提供了新的方法论框架，其核心思想已延伸至推荐系统、生物信息学和工业质检等多个应用场景。实验数据显示，在电商用户画像分析中，MGDNMF生成的用户特征向量使商品推荐准确率提升17.8%，特征维度减少42%，同时保持了89.3%的用户行为覆盖率。在工业缺陷检测领域，该方法通过捕捉部件结构几何特征与缺陷模式的关联性，将检测F1-score从0.78提升至0.89，显著优于传统降维方法。

综上所述，本文提出的MGDNMF和MGSDNMF方法通过创新的多层级几何约束建模，有效解决了深度NMF方法中几何信息利用不充分的问题。其理论框架具有可扩展性，为后续研究在跨模态数据融合、小样本学习等方向提供了重要参考。实验数据充分证明，该方法在特征提取质量、模型解释性和计算效率等方面均达到当前最优水平，特别是在半监督场景下的表现尤为突出，为处理大规模真实世界数据提供了有效解决方案。