通过全局-局部协同扩散实现无需调优的长视频生成

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Tuning-Free Long Video Generation via Global-Local Collaborative Diffusion

提出全局-局部协作去噪方法GLC-Diffusion，通过噪声重初始化和运动一致性优化，有效生成高质量长视频，实验表明其优于先前方法。

　　

摘要AI 摘要

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

创建高保真、连贯的长视频是一个备受追求的目标。尽管最近的视频扩散模型展现出了良好的潜力，但它们仍然存在时空不一致性和高计算资源需求的问题。我们提出了全局-局部协同扩散（GLC-Diffusion）方法，这是一种无需调整即可生成长视频的技术。该方法通过全局-局部协同去噪（GLCD）来建模长视频的去噪过程，以确保整体内容的一致性和帧与帧之间的时间连贯性。此外，我们还引入了一种噪声重初始化策略，该策略结合了局部噪声重排和频率融合，以提高整体内容的一致性和视觉多样性。进一步地，我们提出了视频运动一致性优化（VMCR）模块，该模块计算像素级和频率级的损失梯度，以增强视觉一致性和时间平滑度。广泛的实验表明，包括对不同长度视频（例如，长度为原始视频的 3 倍和 6 倍）的定量和定性评估，我们的方法能够有效地与现有的视频扩散模型结合使用，生成出比以往方法更连贯、更高保真度的長视频。

AI 摘要

AI 生成的摘要（实验性结果）

此摘要是由自动化工具生成的，并非由文章作者编写或审核的。它旨在帮助读者发现研究内容的相关性，并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是论文的官方摘要。完整文章才是权威版本。点击此处了解更多。

点击 此处 对此摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由 AI 生成的通俗语言摘要，您必须具有高级访问权限。