用于视频阴影检测的双稀疏长短期记忆网络

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Dual Sparse Long-Short Term Transformer for Video Shadow Detection

Video Shadow Detection (VSD)面临阴影边界模糊和非阴影区域干扰的挑战，现有方法因时空建模受限难以有效解决。本文提出DSLSTT-Net框架，通过双流架构同步处理全局时空信息与局部阴影特征优化，结合Sparse LSTAM模块高效传播高置信度阴影特征，以及AFM动态融合机制，显著提升阴影分割性能。实验表明优于SOTA方法。

　　

摘要人工智能摘要

要查看此由人工智能生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

视频阴影检测（VSD）是一项至关重要但具有挑战性的任务，主要原因是阴影边界不明确，以及存在一些难以区分的类似阴影的非阴影区域，现有方法由于时间建模能力有限而难以有效解决这些问题。我们提出了双稀疏长短时变换网络（DSLSTT-Net），这是一个新颖的框架，通过整合强大的时间一致性和详细的局部上下文来增强特征学习。DSLSTT-Net采用双流架构，同时处理全局时间信息和局部阴影特征细化，从而能够有效区分真正的阴影和易混淆的区域。其核心是稀疏长短时注意力模块（Sparse LSTAM），该模块能够从内存中高效地传递高置信度的阴影特征，显著提高了特征的可区分性和计算效率。此外，自适应融合模块（AFM）动态地将净化后的长期特征与短期细节合并，优化最终的分割结果。实验结果表明，DSLSTT-Net在VSD基准测试中的表现显著优于现有方法，验证了我们的双流架构和稀疏时间建模方法的有效性。源代码可在https://github.com/rayyao/DSLSTTNet获取。

人工智能摘要

人工智能生成的摘要（实验结果）

此摘要是使用自动化工具生成的，并非由文章作者编写或审核。它旨在帮助读者发现相关内容、评估文章的重要性，并帮助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍是文章的正式摘要。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由人工智能生成的通俗语言摘要，您必须具有高级访问权限。