DynStaticNet：一种受生物视觉启发的双分支一体化网络，用于视频中的天气信息去除

《Pattern Recognition》：DynStaticNet: A Biological Vision-Inspired Dual-Branch All-In-One Network for Video Weather Removal

视频天气去除需同时处理雨、雾、雪等多重退化，现有方法依赖独立模型限制通用性。本文提出生物启发式双分支架构DynStaticNet，时空分支协同工作： temporal分支采用3D自适应自注意力模块，通过帧级交互捕捉动态信息； spatial分支设计多梯度聚合卷积，高效提取空间细节。实验表明该方法在统一模型下实现雨、雾、雪等多退化同步修复，性能优于现有单任务模型且计算效率更高。

　　

张倩曦|高涛|陈婷|文远波|李子祺|李晓伟|雷涛

长安大学信息工程学院，中国西安，710064

摘要

恶劣的天气条件，如降雨、雾霾和降雪，会显著降低视频的清晰度和质量。现有的视频修复（VR）方法通常需要为每种特定的退化情况分别训练模型，这限制了它们在具有多种退化情况的现实世界场景中的应用。为了解决这个问题，我们结合了Transformer和卷积神经网络在不同分支中的互补优势，模拟人类视觉细胞的感知机制，并提出了一种名为DynStaticNet的全合一视频去天气方法，该方法通过双分支协调实现了多种退化的协同消除。在时间分支中，我们设计了一个3D自适应注意力（3DASA）模块，该模块创建了第四个注意力权重矩阵来捕捉帧间的二阶时间注意力，并使用任务可学习的查询来适应性地学习全合一VR的任务特定特征。在空间分支中，我们设计了一个多梯度聚合卷积（MGAConv），通过聚合来自多个方向的不同卷积的梯度信息来提高空间细节，同时通过每通道卷积和重新参数化来降低计算成本。广泛的实验表明，我们的模型在计算成本最低的情况下优于现有方法，展示了动态-静态框架在未来的视频处理中的潜力。

引言

降雨、雾霾和降雪等恶劣天气条件会显著降低视频的清晰度和信息质量。这极大地影响了下游计算机视觉任务，如目标检测[1]、跟踪[2]和分割[3]，给自动驾驶[4]、无人机飞行[5]和视频监控[6]等应用带来了挑战。为了提高视觉系统的可靠性，消除视频中的恶劣天气影响至关重要。

早期的去天气方法[7]、[8]侧重于为特定的恶劣天气建模先验条件。显然，不同恶劣天气的先验条件不能统一建模。最近，基于卷积神经网络（CNN）[9]和Transformer[10]的视频修复（VR）方法被广泛用于去雨[11]、[12]、去雾[13]、[14]和去雪[7]、[15]。

尽管这些方法取得了优异的性能，但它们专注于特定任务或需要为多个任务分别进行训练，限制了它们对统一恶劣天气去除问题的泛化能力。此外，为不同的天气条件训练多个模型会复杂化具有多种恶劣退化的现实世界应用，并增加计算成本。此外，使用这些系统的必须在一系列去天气算法之间切换，这对于混合恶劣天气的视频数据来说是不切实际的。因此，开发一个能够恢复由各种天气条件退化的视频的统一全合一模型是一个紧迫的问题。然而，目前还没有一种有效的全合一方法能够适应性地去除视频中的多种退化。全合一方法的主要挑战是：（1）使VR模型能够适应性地处理不同的退化去除任务；（2）从多个相邻帧中提取互补的背景信息以提高恢复帧的质量。这些因素共同构成了一个高度复杂的任务，使得建模和解决全合一视频修复问题变得困难。

为此，我们提出了一个3D自适应注意力（3DASA）模块用于全合一视频去天气。该模块包含任务可学习的查询，使模型能够适应性地学习和理解各种类型的恶劣天气。这使得模型能够动态调整以适应不同的天气条件，从而提高全合一去天气的性能。此外，我们在通道注意力中的查询（$Q$）、键（$K$）和值（$V$）结构中引入了帧（$F$）组件。这种增强使自注意力不仅能够沿着通道维度捕捉和处理特征，还能跨越时间维度进行处理。通过整合时间序列信息，我们的方法在视频修复任务中取得了更好的性能。

为了进一步提高视频修复的性能，我们旨在从生物学角度探索潜在的突破。生物学研究[16]、[17]表明，人类视网膜神经节细胞主要由大细胞（M细胞）和小细胞（P细胞）组成。M细胞负责动态感知和大范围的空间意识，具有较大的感受野和对快速变化的视觉刺激更高的敏感性。相比之下，P细胞专门用于颜色和细节感知，具有较小的感受野，因此在处理静态视觉信息时更有效。单图像修复（SIR）有效地模仿了P细胞的作用，在退化去除方面取得了显著进展[18]。然而，它无法捕捉动态信息，这限制了其在动态视频场景中的有效性。另一方面，VR方法类似于M细胞，利用时间信息来恢复运动细节。然而，这些方法往往不关注单帧内的空间纹理特征，这使得它们在某些工作中不如SIR有效[7]、[19]。因此，一种有前景的VR方法是使用两个不同的分支并行处理动态和静态信息，模仿M细胞和P细胞的互补作用。

受到人类视觉系统[17]结构和功能的启发，我们提出了一种生物驱动的双分支架构，名为DynStaticNet，其在功能上反映了灵长类动物视网膜中M细胞和P细胞的独特处理路径。在时间分支中，类似于专门用于运动检测和动态视觉处理的M细胞，我们使用了一个具有大时空感受野的3D Transformer块来从视频中提取与运动相关的特征[10]。Transformer块的核心是3DASA，它在自注意力机制中引入了帧（F）作为第四个权重矩阵，使得时间转置注意力能够有效捕捉帧间动态。相比之下，空间分支反映了P细胞的作用，P细胞以编码空间细节信息而闻名。为了解决这个问题，我们设计了一个多梯度聚合卷积（MGAConv）来捕捉丰富的空间方向梯度信息。具体来说，MGAConv包括四个并行的深度卷积，包括中心差分深度卷积（CDDC）、水平差分深度卷积（HDDC）和垂直差分深度卷积（VDDC）。与传统的并行卷积方法不同，MGAConv通过重新参数化操作将并行卷积融合到一个卷积核中，从而有效地编码了多样的空间变化。此外，它采用了深度可分离设计，显著降低了计算成本，同时不牺牲空间表示能力。通过以高效和轻量级的方式结合多个方向梯度，MGAConv增强了空间敏感性，并为在复杂退化下保留细粒度结构细节提供了原则性方法。在推理过程中，两个分支协同整合动态和静态线索，类似于M细胞和P细胞路径在人类视觉系统中共同贡献稳定感知的方式。这种生物启发的双路径合作是DynStaticNet在多种天气退化下鲁棒性和适应性的基础。

最后，我们通过整合现有的降雨[20]、雾霾[14]和去雪[7]数据集，合成了一个多天气视频数据集。广泛的实验表明，我们的方法优于之前的VR方法，并取得了最先进的结果。DynStatic框架有潜力成为未来视频处理的有效基石。

本工作的主要贡献如下：

•

我们提出了一种生物启发的全合一视频修复双分支框架，该框架通过单一模型在两个维度上实现了多种退化的协同消除。

•

对于时间分支，我们引入了一个3D自适应注意力（3DASA）模块来捕捉帧间的二阶注意力，并使用任务可学习的查询来适应性地学习全合一VR的任务特定特征。

•

对于空间分支，我们设计了一个多梯度聚合卷积（MGAConv）以较低的计算成本捕捉更丰富的空间细节特征。

•

广泛的实验表明，我们的模型在计算成本最低的情况下优于现有方法，展示了动态-静态框架在未来的视频处理中的潜力。

部分片段

视频修复

关于视频中的恶劣天气去除问题，如去雨、去雾和去雪，在许多研究中都有广泛探讨。

去雨。近年来，Yang等人[11]开发了一个具有双流约束的两阶段循环网络，以改进雨痕和累积运动相关信息的去除。后来，Yan等人[21]通过利用可变形卷积来对齐多帧特征，有效减少了雨水积累。

提出的方法

我们的主要目标是开发一个模仿人类视觉系统的模型，用于全合一视频去天气。首先，我们展示了DynStaticNet架构的整个过程，如图2所示。受到生物视觉[16]的启发，我们在时间分支中使用Transformer来模拟M细胞，M细胞具有较宽的感受野，而在空间分支中使用CNN来模拟P细胞，P细胞具有较窄的感受野但对空间细节更敏感。接下来，我们

实验与分析

在本节中，我们对提出的方法进行了全面的实验评估。首先，我们描述了实验设置。然后，我们与最先进的视频修复方法进行了公平的比较，包括性能指标和计算复杂性分析。最后，我们进行了消融研究，以证明我们方法中引入的关键模块的有效性。

结论

在这项工作中，我们提出了一个生物启发的全合一视频修复网络，旨在使用单一统一模型解决多种恶劣天气退化问题。我们的方法结合了3D自适应注意力（3DASA）模块来捕捉二阶时间注意力，使模型能够有效地学习和适应与每种特定退化相关的独特特征。同时，引入了多梯度聚合卷积（MGAConv）来增强

未引用的引用

缺少引用 图1

CRediT作者贡献声明

张倩曦：写作 – 审稿与编辑，写作 – 原始草稿，项目管理，方法论，概念化。高涛：监督，资金获取，正式分析，概念化。陈婷：监督，资金获取，正式分析，概念化。文远波：监督，方法论。李子祺：资源。李晓伟：资金获取。雷涛：监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了国家自然科学基金（52441205、52172379、52472367）、中国国家研发计划（2023YFB2504703）、陕西省国际科技合作计划项目（2024GH-YBXM-24）、陕西省重点研发计划（2024GX-YBXM-015）和陕西省创新能力支持计划项目（2025RS-CXTD-012）的资助。