通过反事实引导的外观操控实现个性化面部老化效果

《Expert Systems with Applications》:Personalized Face Aging via Counterfactual-guided Appearance Manipulation

【字体: 时间:2026年02月20日 来源:Expert Systems with Applications 7.5

编辑推荐:

  面部衰老模拟技术通过生成对抗网络等模型实现,但存在身份特征失真、个性化不足和数据集偏倚问题。本文提出一种整合反事实指导外观操纵策略的预训练模型框架,通过解耦潜在空间的结构与风格特征,结合语义掩膜进行反事实混合,并融合优化与编码方法,在保持身份特征的同时实现高分辨率编辑。实验证明该方法在多个数据集上能生成高质量且个性化的面部衰老图像。

  
Su Jang Pyeon|Ho Kyung Shin|Woo-Jeoung Nam
庆北国立大学计算机科学与工程学院,大韩民国大邱市大鹤路80号 Buk-gu

摘要

面部老化和年轻化技术能够在保留身份特征的同时,视觉上模拟面部随时间的变化,产生自然且真实的效果。生成模型的最新进展使得合成高分辨率和视觉效果令人信服的老年面部图像成为可能。然而,仍然存在一些显著的限制,如身份特征扭曲、缺乏个性化以及数据集偏见等问题。为了解决这些挑战,本研究提出了一种新的面部老化框架,该框架将基于反事实的外观操控策略整合到预训练的老化模型中。所提出的方法旨在有效分离和重组老化图像与参考图像在潜在空间中的视觉属性,从而生成能够反映多种风格组合的真实输出。此外,通过利用预定义的操控方向进行灵活的潜在向量组合,并结合基于优化和基于学习的反演技术的优势,该框架在保持身份特征与高分辨率编辑之间取得了平衡。实验结果表明,所提出的方法能够在潜在空间中进行精确且可控的风格操控,同时保持输入图像的原始外观,并在各种条件下成功生成逼真的老年面部图像。

引言

人类面部会随着时间的推移逐渐发生变化,这些变化不仅受到皮肤老化的影晌,还受到面部轮廓、头发形状和密度以及整体结构变化的影响。面部老化技术旨在模拟与年龄相关的变化,以生成反映特定年龄组视觉特征的图像。这项任务的关键挑战是在保持个体独特身份特征的同时,确保物理变化的自然性。随着生成模型的出现(Ho, Jain, Abbeel, 2020; Karras, Aittala, Laine, H?rk?nen, Hellsten, Lehtinen, Aila, 2021; Karras, Laine, Aila, 2019; Karras, Laine, Aittala, Hellsten, Lehtinen, Aila, 2020; Rombach, Blattmann, Lorenz, Esser, Ommer, 2022),在生成高分辨率和视觉效果令人信服的老年面部图像方面取得了显著进展。然而,仍有一些问题需要解决。
当前的面部老化方法通常涉及将输入图像映射到预训练生成模型的潜在空间中,并操控潜在向量以反映与年龄相关的条件。值得注意的是,基于StyleGAN的编码器(如pSp (Richardson et al., 2021) 和 e4e (Tov, Alaluf, Nitzan, Patashnik, & Cohen-Or, 2021))能够实现高保真的图像重建和细粒度属性编辑,并已在各种应用中得到广泛使用。然而,这些基于反演和编辑的方法仍然存在技术限制。具体来说,它们在老化操控过程中难以保持输入图像的身份特征,因为潜在空间的结构本质上反映了训练数据的分布偏见。因此,生成的输出往往重复呈现特定年龄组的典型视觉特征,无法充分捕捉个体化的老化模式。此外,数据集中的年龄和种族偏见(Huber, Luu, Boutros, Kuijper, & Damer, 2024)可能会降低生成模型的泛化能力,而映射到潜在空间的过程可能会扭曲个人的外貌特征。
为了解决这些限制,本研究提出了一种新的面部老化框架,该框架将基于反事实的外观操控策略整合到预训练的老化模型中。我们方法的核心思想包括两点:(1)将潜在表示分解为结构和风格,以明确区分身份特征和年龄特征;(2)使用语义掩码根据特定区域进行反事实融合。结合基于反演的优化过程,该方法比仅使用编码器的方法实现了更强的身份特征保持能力,并在与预训练老化模型集成时表现出稳定的年龄演变效果。特别是,我们的框架通过根据参考图像的特征调节潜在属性,超越了简单的年龄预测,从而实现了基于因果变化的视觉年龄演变。为此,我们利用预定义的潜在方向灵活组合潜在向量,能够在各种年龄条件下生成高质量的老化图像,并精确控制风格。此外,我们采用了一种混合反演策略,结合了基于优化和基于编码器的方法的优势,并利用预训练的Style-based Age Manipulation(SAM)模型的老化操控能力(Alaluf, Patashnik, & Cohen-Or, 2021),在保持身份特征与高分辨率编辑之间取得了平衡。重要的是,我们的方法不是简单地将分割模型、老化模型和StyleGAN2生成器机械组合起来。每个组件都是实现我们的核心思想——结构-风格分离和反事实融合的基础,通过这种集成,我们实现了精确的区域特定操控和增强的身份特征保持能力——这是现有方法难以实现的。实验结果表明,所提出的框架能够在多种条件下生成高质量且逼真的老化图像,同时保持原始外观。本研究的主要贡献如下:
  • 我们提出了一种新的面部老化框架,将基于反事实的外观操控策略整合到预训练的老化模型中。
  • 我们通过结合现有反演技术的优势并整合预训练的老化模型,在保持身份特征与高分辨率编辑之间取得了平衡。
  • 我们通过实证证明,基于预定义操控方向的多种潜在向量操控可以在各种年龄条件下生成逼真的结果。
  • 部分摘录

    利用生成模型进行面部老化

    随着深度学习技术的进步,出现了各种生成模型,如变分自编码器(VAE)、生成对抗网络(GAN)和扩散模型,从而在面部老化技术方面取得了显著进展。早期阶段主要提出了基于GAN的方法。GAN由生成器和鉴别器组成,它们在最小-最大游戏环境中进行训练。生成器试图模仿真实图像的分布,而

    方法

    本节描述了基于反事实的外观操控框架的总体架构和处理流程,该框架能够根据给定的年龄条件生成面部图像,同时保持输入面部的身份数字特征并反映参考图像的视觉属性。

    实验

    在本节中,我们进行了一系列实验来验证所提出方法的有效性。评估使用了两个公开的高分辨率面部图像数据集FFHQ和CelebA-HQ。FFHQ数据集包含70,000张分辨率为1024×1024的面部图像,而CelebA-HQ数据集包含30,000张相同分辨率的图像。所有用于实验的图像都未经任何预处理直接输入模型,输出图像

    结论

    本研究提出了一种基于反事实外观操控的新面部老化框架,该框架能够在指定的年龄和外观风格条件下合成老化面部图像,同时保持输入图像的身份特征。与传统主要关注简单年龄演变的面部老化方法不同,所提出的方法旨在通过明确分离与身份相关的结构和与年龄相关的视觉特征,在潜在空间中对个性化老化轨迹进行建模

    未引用的参考文献

    图1,图2。

    CRediT作者贡献声明

    Su Jang Pyeon:概念构思、方法论、软件开发、验证、初稿撰写、审稿与编辑。Ho Kyung Shin:概念构思、初稿撰写、审稿与编辑、指导。Woo-Jeoung Nam:概念构思、初稿撰写、审稿与编辑、指导。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    知名企业招聘

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号