MPGNet：一种多提示引导的扩散网络，用于一体化图像修复

《ACM Transactions on Multimedia Computing, Communications, and Applications》：MPGNet: Multi-Prompt Guided Diffusion Network for All-In-One Image Restoration

提出MPGNet模型，通过图像修复部分和提示生成部分协同工作，利用三种定制提示解决复杂多退化场景下的图像恢复问题，实验表明其性能显著优于现有方法。

　　

摘要 AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

恢复退化的图像一直是图像预处理中的重要研究方向，其目标是从退化的图像中恢复高质量的图像。尽管许多研究针对特定类型的图像退化进行了探讨，但“全能型”方法通过允许单个模型处理各种类型的图像退化而取得了显著的进展，而无需事先了解退化类型。然而，这些方法在复杂和多类型的退化场景中往往无法提供令人满意的性能。为了解决这些挑战，本文提出了一种基于多提示引导的扩散网络（MPGNet）来进行全能型图像恢复。MPGNet由两个关键部分组成：图像恢复部分（IRP）和提示生成部分（PGP）。IRP使用扩散模型来执行图像恢复任务，而PGP生成定制的提示来指导图像恢复过程。通过利用精心设计的提示，MPGNet使扩散网络能够适应复杂的和多类型的退化场景。为了提高对不同退化类型的适应性、内容特异性以及整体性能，我们设计了三种类型的提示：风格提示（Style Prompt）、内容提示（Content Prompt）和可学习提示（Learnable Prompt）。前两种提示是使用预训练的视觉-文本模型CLIP中的图像编码器生成的，并在相应的训练过程中应用了对比学习方法，而可学习提示则是单独定制的。我们还引入了一个提示编码器（Prompt Encoder），将风格提示、内容提示和可学习提示整合到一个统一的表示中，以辅助IRP进行图像恢复。实验结果表明，所提出的方法在单一退化场景和多类型退化场景中的性能均显著优于现有方法。

AI摘要

AI生成的摘要（实验结果）

此摘要是由自动化工具生成的，并非由文章作者编写或审核的。它旨在帮助读者发现相关内容、评估文章的相关性，并协助来自相关研究领域的读者理解本文的工作。它是对作者提供的摘要的补充，作者提供的摘要仍是文章的官方摘要。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。