利用鲁棒子空间聚类进行运动数据分割，并结合噪声抑制技术

《Knowledge-Based Systems》：Motion Data Segmentation Using Robust Subspace Clustering with Noise Suppression

针对运动分割中混合噪声和非线性数据建模的挑战，提出鲁棒子空间聚类与噪声抑制方法（RSCNS），结合Correntropy-Cauchy混合噪声建模、截断加权核范数正则化及显式块对角约束，有效提升可见光和红外视频的运动分割精度。

　　

王倩|宋红|郝永刚|罗云志|范静凡|杨健

北京工业大学光学与光子学院混合现实与先进显示工程研究中心，中国北京

摘要

许多应用将运动分割视为一个基本且至关重要的过程。已经引入了大量的运动分割技术，其中基于子空间聚类的方法因其无监督特性而尤为突出。然而，这些方法在有效处理具有混合噪声的非线性数据时常常面临挑战。在本研究中，我们提出了一种新颖的鲁棒子空间聚类方法，专门用于解决运动分割任务中固有的复杂性。我们将其称为具有噪声抑制功能的鲁棒子空间聚类（RSCNS），该方法结合了混合噪声重建和数据关系的表示。具体来说，我们通过结合相关熵（Correntropy）和柯西函数（Cauchy function）来提出一种混合噪声建模方法，以抑制噪声和异常值污染。为了恢复受损数据，我们将运动轨迹特征数据矩阵视为近似低秩矩阵，并设计了一个截断的加权核范数正则化约束。同时，我们的模型中加入了块对角正则化器（Block Diagonal Regularizer，BDR），以确保来自同一移动对象的运动轨迹特征能够被聚类在一起。在各种视频数据集上进行的实验评估表明，RSCNS不仅能够在可见光视频中有效处理运动分割任务，也能在不可见光（红外）视频中实现这一目标。

引言

运动分割[1]是指将动态场景划分为连贯区域或组的过程，每个组对应不同的运动模式。其目的是从时空数据中分析和识别运动轨迹，从而基于物体的独立运动进行分离。这一过程是动态场景分析中的核心问题，因为它为对象跟踪、动作识别和场景理解等任务奠定了基础。例如，在捕捉多个个体的视频序列中，运动分割可以识别并分组每个人的轨迹，区分出行走、跑步或坐立等独立运动。在捕捉多个物体的视频序列中，运动分割将轨迹数据聚类到反映独立运动的子空间中。

尽管经过了数十年的研究，但在现实世界场景中，运动分割仍然具有挑战性。主要障碍可以归纳为三个方面：

(1)

混合和复杂的噪声污染：运动轨迹数据通常包含非线性噪声、缺失的条目以及由于跟踪失败或模型不准确而产生的显著异常值。

(2)

有限的低秩建模：现有方法通常假设理想的低秩结构[2]，这限制了它们捕捉细粒度局部变化和处理不完整或受损数据的能力。

(3)

不准确的亲和力表示：许多现有的子空间聚类方法仅依赖于间接公式，如稀疏性或低秩约束，来诱导块对角亲和力结构。然而，这些方法并没有明确强制所需的结构，因此在涉及多种运动的动态场景中会导致脆弱或次优的亲和力表示。

为了解决第一个挑战，已经提出了各种噪声抑制策略。基于稀疏性和范数的约束，如l₁-范数[3]、[4]和l_2,1-范数[5]，有助于重建稀疏噪声或异常值。l₂-范数[6]对小高斯噪声表现出鲁棒性。然而，这些方法通常依赖于噪声分布的先验知识，并且在实践中遇到的混合噪声模式下表现不佳。对于非线性噪声，相关熵诱导的度量（Correntropy-Induced Metric，CIM）[7]、[8]、[9]利用高斯核来量化相似性并改进噪声建模。尽管CIM对非线性干扰具有鲁棒性，但它对大的异常值仍然敏感，在轨迹缺失或损坏的混合噪声环境下性能有限。因此，实现有效的混合噪声建模机制仍然是一个未解决的挑战。

关于低秩建模，低秩表示（Low-Rank Representation，LRR）[5]已成为捕捉全局数据结构的基础框架。扩展变体，如基于LRR的变换Schatten-1模型（TS1-LLRR）[10]、基于LRR的投影距离正则化（PDRLRR）[11]和低秩传输子空间聚类（LRTSC）[12]，提高了鲁棒性和灵活性。这些方法通常采用核范数最小化来近似矩阵秩。然而，标准核范数对所有奇异值进行均匀惩罚，忽略了它们不同的贡献，可能会在复杂场景中扭曲内在数据结构。为了缓解这一限制，加权核范数最小化（Weighted Nuclear Norm Minimization，WNNM）[13]、[14]、[15]对奇异值引入了差异化的惩罚，更有效地保留了主要成分，而截断核范数最小化（Truncated Nuclear Norm Minimization，TNNM）[16]、[17]通过丢弃较小的奇异值来控制秩近似。尽管有这些进展，当前方法往往忽略了先验的秩信息，未能对各个秩成分的异质重要性进行建模。

关于第三个挑战——亲和力结构学习，建立轨迹之间的可靠亲和关系对于有效的子空间聚类至关重要。传统的子空间聚类方法，包括LRR、稀疏子空间聚类（Sparse Subspace Clustering，SSC）[3]及其扩展变体，通过低秩或稀疏约束推断块对角亲和结构。然而，这些间接约束往往产生脆弱的表示，并可能将不同运动模式的轨迹错误地分类到同一子空间中。块对角表示（Block-Diagonal Representation，BDR）[18]、[19]明确强制块对角亲和结构，提高了分割的一致性。然而，在强调结构规则性的同时，BDR常常忽略了内在的低秩关系，限制了其在复杂运动环境中的性能。

为了解决这些限制，我们提出了一种名为具有噪声抑制功能的鲁棒子空间聚类（RSCNS）的新算法。该方法结合了三个紧密耦合的模块，以解决混合噪声污染、改进低秩结构建模，并强制子空间之间的亲和一致性：

(1)

混合噪声建模：一种结合相关熵和柯西函数的机制，用于鲁棒地抑制非线性干扰和大的异常值。

(2)

结构低秩保持：一种截断的加权核范数正则化，保留主要的结构成分，同时尊重奇异值的异质重要性。

(3)

亲和一致性强制：一种明确的块对角约束，强制子空间内的亲和一致性，并抑制子空间间的连接，从而提高轨迹级别的亲和可靠性和运动-子空间的可分离性。

我们在涵盖可见光和红外（不可见光）序列的多个视频数据集上评估了RSCNS。在Hopkins12、MTPV62和KT3DMoSeg等具有显著异常值干扰的挑战性基准测试中，RSCNS取得了最低的分割误差。特别是在Ultrared_carA和Ultrared_carB数据集上，RSCNS将分割误差分别降低到了0.60%和0.39%，显著优于所有竞争方法。这些结果证实，RSCNS能够有效减轻异常值的影响，即使在涉及遮挡、数据损坏或运动模糊的复杂场景中也能确保准确的运动分割。

总结来说，我们的主要贡献如下：

•

为了解决非线性数据中固有的复杂混合噪声，我们提出了一种混合相关熵-柯西噪声建模策略。

•

为了重建受损数据，我们开发了一种截断的加权核范数正则化约束，以保留内在的低秩结构。

•

为了从运动轨迹中获得可靠的亲和关系，我们在非线性特征表示过程中嵌入了明确的块对角约束。

•

为了评估RSCNS的有效性，我们在包括可见光和红外（不可见光）视频数据集在内的多个视频数据集上进行了实验评估。

本文的结构如下：（1）第2节简要回顾了相关文献。（2）第3节详细介绍了RSCNS模型及其优化过程。（3）第4节描述了我们的实验程序和后续分析。（4）第5节总结了我们的发现并概述了未来研究的方向。

相关工作

相关工作

在本节中，我们简要概述了相关文献，包括LRR模型、低秩约束和噪声重建技术。

提出的方法

在本节中，我们首先设计了一种混合噪声重建策略，然后提出了一种用于受污染数据的数据关系表示方法。第三，我们提出了一种基于混合噪声重建和数据关系表示的具有噪声抑制功能的鲁棒子空间聚类算法（RSCNS）。最后，介绍了RSCNS的优化过程。

聚类实验

为了证明RSCNS的优越性，我们在几个典型的开放视频数据集上进行了广泛的实验，如Hopkins155 [3]、UT-Interaction [32]、KT3DMoSeg [33]、MTPV62 [34]和Hopkins12 [35]。此外，我们还在从真实环境中随机收集的不可见光视频数据上进行了测试。实验结果表明，我们的方法不仅在可见光视频数据的分割方面表现出色，而且在

结论

在这项研究中，我们介绍了具有噪声抑制功能的鲁棒子空间聚类（RSCNS），这是一种专为运动分割设计的新型子空间聚类技术。RSCNS相比现有的先进子空间聚类方法具有多项显著优势。主要在于，我们创新地结合了相关熵和柯西函数，设计了一种能够有效抑制噪声和异常值的混合噪声模型。此外，为了更精确地捕捉

未引用的引用

缺失的引用表4

CRediT作者贡献声明

王倩：撰写——原始草稿、软件、方法论、形式分析、概念化。宋红：撰写——审稿与编辑、监督、项目管理、概念化。郝永刚：软件、数据管理、概念化。罗云志：可视化、验证、数据管理。范静凡：验证、监督、形式分析。杨健：撰写——审稿与编辑、监督、项目管理、资金获取。

利益冲突声明

我们声明与可能不恰当地影响我们工作的其他人或组织没有财务和个人关系，并且对任何产品、服务或公司没有任何形式的职业或其他个人利益，这些利益可能会影响本文所述内容或对题为“使用具有噪声抑制功能的鲁棒子空间聚类进行运动分割”的手稿的评审。

致谢

本工作得到了中国国家自然科学基金项目（项目编号62025104）的慷慨支持。我们衷心感谢Chong You和Jianwei Zheng分别提供了SSC-OMP和TLRSC代码。我们还要感谢Canyi Lu慷慨提供BDR-B和BDR-Z的源代码。同时，我们也感谢Lichen Wang提供了TSS和LRTSC代码。最后，我们希望表达