用于视频建模的时空光谱保留神经表示方法

绿色学习框架下提出SNeRV+模型，通过神经切核分析（NTK）和三级小波变换实现时空域自适应的视频表征，低频静态场景采用固定参数解码，高频动态细节利用低频参数引导的时变权重重构，有效缓解光谱偏倚问题，实验证明在视频回归、插值、压缩等任务中性能优于现有隐式神经表示方法。

　　

摘要人工智能摘要

要查看此由人工智能生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

绿色学习（Green Learning, GL）通过强调节能解决方案和轻量级模型来促进深度学习的可持续性。用于视频的隐式神经表示（Implicit Neural Representations, INRs）为这种范式提供了一种紧凑且高效的视频表示方法。本研究介绍了SNeRV+，这是一种时空谱保持型神经表示方法，它利用神经切线核（Neural Tangent Kernel, NTK）分析来增强学习效果。为了减轻空间和时间域中的谱偏置，SNeRV+采用了两级处理方法：不同的编码器分支分别处理低频（Low-Frequency, LF）和高频（High-Frequency, HF）成分。三维离散小波变换将每一帧分解为其时间变化，将LF和HF成分编码为逐帧嵌入。LF成分用于捕捉静态场景和稳定运动，其解码参数在所有帧中保持不变，从而减少时间差异并减轻谱偏置。HF成分用于编码时变细节，通过利用LF相关参数作为先验信息来动态重构。这种设计使得时间变化的表示更加高效和紧凑。实验结果表明，SNeRV+在视频回归、插值、外推和压缩方面优于现有的基于INR的方法，在定量和定性评估指标上都取得了更好的性能。

人工智能摘要

人工智能生成的摘要（实验结果）

该摘要是使用自动化工具生成的，并非由文章作者编写或审核。它旨在帮助读者发现研究内容、评估其相关性，并帮助来自相关研究领域的读者理解本文的工作。它是对作者提供的摘要的补充，作者提供的摘要仍是文章的正式摘要。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由人工智能生成的通俗语言摘要，您必须具有高级访问权限。