CRColor：基于循环参考学习的方法，用于基于样本的图像着色

《Neurocomputing》：CRColor: Cycle reference learning for exemplar-based image colorization

颜色保真度不足是现有基于示例的图像着色方法的核心问题，本文提出CRPSNR评估指标和CRColor网络结构，通过循环策略实现参考图像颜色信息的双向校验，在保持图像质量的同时显著提升颜色保真度，实验验证了方法的有效性。

　　

陈思琪|王明道|张贤林|李雪明|张月

北京邮电大学人工智能学院，北京，102206，中国

摘要

基于样本的图像着色技术根据颜色参考图像对灰度图像进行着色。尽管最近的进展显著提高了颜色匹配和生成技术，但关于颜色保真度的研究仍然较少，即着色后的灰度图像是否能够准确保留参考图像中的指导信息。由于每对参考-目标图像都缺乏真实的彩色目标图像，因此模型难以量化或学习颜色保真度。受此启发，本文将循环策略引入基于样本的着色任务中。首先，我们提出了循环参考信噪比（CRPSNR）的概念。通过精心设计，CRPSNR使用着色输出作为指导来重新着色参考图像。以原始颜色参考图像作为真实值，CRPSNR使得颜色保真度得以量化。此外，还提出了基于样本的图像着色的循环参考学习方法（CRColor）。CRColor使用一个主分支对目标图像进行着色，以及一个仅用于训练的循环分支来使结果更接近指导信息，从而使得模型能够学习颜色保真度。实验表明，我们的方法在图像质量上与最新的先进方法相当，同时在颜色保真度方面无论是定量还是定性上都优于这些方法。我们的代码将用于学术研究。

引言

图像着色[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]是一种图像处理任务[17]、[18]、[19]、[20]，其目标是通过学习大规模彩色图像来生成逼真且多样的灰度图像着色效果。由于自然图像中的对象通常具有显著的颜色变化，这本质上是一个病态问题，因此存在多种可能的解决方案。基于样本的图像着色技术在着色过程中提供了参考彩色图像作为指导。在这种情况下，病态着色问题变得更加明显。在某些场景中，目标图像中生成的颜色必须完全遵循参考图像中的指导。例如，在历史图像修复中，物体的颜色通常具有历史依据，目标图像应准确再现参考图像的颜色，以提供真实的颜色背景。

基于样本的图像着色方法[21]、[22]、[23]、[24]、[25]、[26]、[27]主要关注未匹配区域中的颜色匹配和颜色生成研究。当参考图像和目标图像之间存在明显的语义关系时，参考图像中的颜色应准确匹配并转移到目标图像中的语义相关对象上。不匹配会偏离用户的偏好，有时会导致不理想的结果。最近的方法使用额外的语义分割或图像分类模型来显式约束颜色匹配[28]、[29]，从而获得合理的匹配结果。对于目标图像中在参考图像中没有明显指导的像素，网络会为它们生成颜色。生成的颜色不仅应令人愉悦，还应遵循参考图像的颜色风格。不适当的生成会导致颜色区域不一致并降低图像质量。最近的方法使用学习到的训练数据、转移的颜色或参考图像的颜色直方图来生成颜色[30]、[31]、[32]、[33]、[34]、[35]。

然而，关于生成颜色与参考图像的保真度的研究有限。也就是说，这些方法准确保留参考图像中指导信息的能力是基于样本的图像着色的关键特征。一个常见的保真度问题是在结果图像中颜色褪色（如图1所示），这违背了用户的偏好。研究有限的一个原因是缺乏适当的颜色保真度评估指标。在基于样本的着色任务中，我们没有真实值图像，即在不同参考图像指导下目标图像的颜色版本不可用。因此，网络难以量化或学习着色结果的保真度。

在本文中，我们提出了一种类似CycleGAN的想法，通过循环策略构建了颜色损失和评估指标。首先，网络根据颜色参考图像对灰度目标图像进行着色。然后，根据第一次过程中获得的着色目标图像对灰度参考图像进行着色。在这种情况下，可以使用原始参考图像作为真实值来计算CRPSNR。目标图像保留参考图像颜色的程度越高，原始参考图像与重新着色参考图像之间的相似度就越大。考虑到在语义不重叠区域进行颜色传输时可能存在颜色信息丢失，引入了一个重叠掩码来约束CRPSNR。

此外，为了解决网络学习颜色保真度的挑战，本文提出了基于样本的图像着色网络的循环参考学习方法（CRColor）。通过精心设计，CRColor包括两个分支：一个主要着色分支和一个仅用于训练的循环分支。主要分支在参考图像的指导下对目标图像进行着色，它在训练和推理阶段都得到应用，主要关注优化图像质量。相比之下，仅用于训练的循环分支使用主要分支的输出重新着色参考图像。然后可以将重新着色的参考图像与原始参考图像进行比较，以评估颜色损失并提高主要分支输出的颜色保真度。循环分支的引入是CRColor与以往方法的关键区别。值得注意的是，循环分支中的网络权重与主要分支相同。循环分支专门用于提高主要分支的颜色保真度，不参与推理过程。因此，其设计不会增加模型大小或推理期间的计算成本。我们的贡献可以总结为：

•

提出了一种新的CRPSNR，能够量化生成颜色与参考图像的保真度。

•

提出了一种名为CRColor的基于样本的图像着色学习策略。CRColor通过添加仅用于训练的循环分支来提高模型的颜色保真度。

•

实验表明，我们的方法在图像质量上与最新的先进方法相当，同时在颜色保真度方面无论是定量还是定性上都优于这些方法。

相关工作

相关工作

颜色匹配。基于样本的图像着色方法通常通过建立像素级的对应关系来匹配参考图像和目标图像之间的颜色。然后，可以根据这种对应关系转移具体的颜色。He等人[31]使用预训练的分类网络从两幅图像中提取特征向量，并计算余弦相似度来确定颜色对应关系。然而，这种操作存在两个主要限制。首先，当某些

方法

在本节中，我们首先介绍CRPSNR（第3.1节），这是一种可行的颜色保真度量化方法，并阐述其数学基础。然后介绍CRColor（第3.2节），该方法通过采用类似于CRPSNR的循环策略来增强网络在这方面的能力。我们重点阐述CRColor的详细网络组件，并解释CRPSNR和CRColor之间的区别。

实现

数据集。遵循[2]、[3]、[22]、[28]、[30]、[31]、[32]、[33]的设置，我们使用ImageNet ILSVRC 2012数据集[51]进行模型训练。我们使用与[52]相同的策略过滤掉灰度图像、低分辨率图像或单调图像。最终获得了1000个类别的102万张训练图像。对于测试，我们采用遵循[28]的ImageNet 10k[53]数据集。该数据集排除了ImageNet验证集中的灰度图像，并选择了10k张图像。此外，我们还

实验

在本节中，我们首先将CRColor与最新的先进方法进行比较，包括对提出的CRPSNR的比较。然后研究CRPSNR与HIS的有效性。此外，我们讨论了提出的循环参考学习策略和循环分支中的网络设计。最后，我们测试了CRPSNR和CRColor中语义分割模型的选择。

失败案例

尽管CRColor有效地提高了颜色保真度，但仍存在某些失败情况。CRColor的一个主要失败类型是图像中高细节颜色的颜色转换。如图11所示，参考图像包含许多金色线条。我们测试了两种不同CR损失配置的CRColor版本。这两种模型都无法在着色后的目标图像中生成准确的金色颜色。此外，增加CR损失并不能提高性能，

结论

在本文中，我们关注颜色保真度问题。为此，我们提出了CRPSNR，它能够量化生成颜色与参考图像的保真度。此外，我们还提出了CRColor。借助循环分支和循环参考损失，我们的方法能够更好地保留参考指导。此外，我们讨论了我们方法在颜色保真度方面的优势，并将CRPSNR与HIS进行了比较以确认其有效性。最后，我们讨论了重要网络组件的有效性

CRediT作者贡献声明

陈思琪：撰写——原始草案、软件、方法论、概念化。王明道：可视化、软件、调查。张贤林：撰写——审阅与编辑、调查。李雪明：撰写——审阅与编辑、监督。张月：撰写——审阅与编辑、监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了国家重点研发计划“文化科技与现代服务业”关键专项项目（#2021YFF0901700）的支持。

我们衷心感谢CCTV Qiyun（北京）科技有限公司提供宝贵的历史图像数据集，这些数据集支持了本研究。本研究还得到了“中央高校基本科研业务费”（2022RC53）的支持。

陈思琪于2021年获得北京邮电大学通信工程学士学位。他目前正在北京邮电大学人工智能学院攻读博士学位。他的当前研究兴趣包括计算机视觉、深度学习和图像处理。