人类面部会随着时间的推移逐渐发生变化,这些变化不仅受到皮肤老化的影晌,还受到面部轮廓、头发形状和密度以及整体结构变化的影响。面部老化技术旨在模拟与年龄相关的变化,以生成反映特定年龄组视觉特征的图像。这项任务的关键挑战是在保持个体独特身份特征的同时,确保物理变化的自然性。随着生成模型的出现(Ho, Jain, Abbeel, 2020; Karras, Aittala, Laine, H?rk?nen, Hellsten, Lehtinen, Aila, 2021; Karras, Laine, Aila, 2019; Karras, Laine, Aittala, Hellsten, Lehtinen, Aila, 2020; Rombach, Blattmann, Lorenz, Esser, Ommer, 2022),在生成高分辨率和视觉效果令人信服的老年面部图像方面取得了显著进展。然而,仍有一些问题需要解决。
当前的面部老化方法通常涉及将输入图像映射到预训练生成模型的潜在空间中,并操控潜在向量以反映与年龄相关的条件。值得注意的是,基于StyleGAN的编码器(如pSp (Richardson et al., 2021) 和 e4e (Tov, Alaluf, Nitzan, Patashnik, & Cohen-Or, 2021))能够实现高保真的图像重建和细粒度属性编辑,并已在各种应用中得到广泛使用。然而,这些基于反演和编辑的方法仍然存在技术限制。具体来说,它们在老化操控过程中难以保持输入图像的身份特征,因为潜在空间的结构本质上反映了训练数据的分布偏见。因此,生成的输出往往重复呈现特定年龄组的典型视觉特征,无法充分捕捉个体化的老化模式。此外,数据集中的年龄和种族偏见(Huber, Luu, Boutros, Kuijper, & Damer, 2024)可能会降低生成模型的泛化能力,而映射到潜在空间的过程可能会扭曲个人的外貌特征。
为了解决这些限制,本研究提出了一种新的面部老化框架,该框架将基于反事实的外观操控策略整合到预训练的老化模型中。我们方法的核心思想包括两点:(1)将潜在表示分解为结构和风格,以明确区分身份特征和年龄特征;(2)使用语义掩码根据特定区域进行反事实融合。结合基于反演的优化过程,该方法比仅使用编码器的方法实现了更强的身份特征保持能力,并在与预训练老化模型集成时表现出稳定的年龄演变效果。特别是,我们的框架通过根据参考图像的特征调节潜在属性,超越了简单的年龄预测,从而实现了基于因果变化的视觉年龄演变。为此,我们利用预定义的潜在方向灵活组合潜在向量,能够在各种年龄条件下生成高质量的老化图像,并精确控制风格。此外,我们采用了一种混合反演策略,结合了基于优化和基于编码器的方法的优势,并利用预训练的Style-based Age Manipulation(SAM)模型的老化操控能力(Alaluf, Patashnik, & Cohen-Or, 2021),在保持身份特征与高分辨率编辑之间取得了平衡。重要的是,我们的方法不是简单地将分割模型、老化模型和StyleGAN2生成器机械组合起来。每个组件都是实现我们的核心思想——结构-风格分离和反事实融合的基础,通过这种集成,我们实现了精确的区域特定操控和增强的身份特征保持能力——这是现有方法难以实现的。实验结果表明,所提出的框架能够在多种条件下生成高质量且逼真的老化图像,同时保持原始外观。本研究的主要贡献如下:
•我们提出了一种新的面部老化框架,将基于反事实的外观操控策略整合到预训练的老化模型中。
•我们通过结合现有反演技术的优势并整合预训练的老化模型,在保持身份特征与高分辨率编辑之间取得了平衡。
•我们通过实证证明,基于预定义操控方向的多种潜在向量操控可以在各种年龄条件下生成逼真的结果。