“更快地跟随你的表情符号”：迈向高效、精细可控且富有表现力的自由风格肖像动画

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Follow-Your-Emoji-Faster: Towards Efficient, Fine-Controllable, and Expressive Freestyle Portrait Animation

基于面部地标驱动的自由式肖像动画高效扩散框架，通过增强稳定扩散模型实现身份保留、精准表情传递和长期时间一致性，采用渐进生成策略与泰勒插值缓存提升效率，并构建EmojiBench++基准测试验证性能。

　　

摘要

我们提出了Follow-Your-Emoji-Faster，这是一个基于扩散技术的高效框架，用于通过面部特征点驱动的自由风格肖像动画制作。这项任务的主要挑战在于保持参考肖像的辨识度、准确传递目标表情，以及在确保生成效率的同时维持长期的时间一致性。为了解决这些问题，我们对Stable Diffusion模型进行了两项关键改进：首先，引入了具有表情感知能力的面部特征点作为显式的运动信号，这有助于改善动作对齐效果、支持夸张的表情表现，并减少身份特征的泄露；其次，采用了细粒度的面部损失函数，该函数结合了表情信息和面部掩码，以更好地捕捉细微的表情变化并忠实还原参考肖像的外观。借助这些改进，我们的模型能够支持对各种类型肖像（包括真实人物、卡通形象、雕塑和动物）进行可控且富有表现力的动画制作。然而，基于扩散的框架通常难以高效生成长期稳定的动画结果，这仍然是该领域的核心挑战之一。为了解决这一问题，我们提出了一种渐进式生成策略，并引入了泰勒插值缓存机制，实现了高达2.6倍的无损加速效果。这两种策略共同确保了我们的方法能够高效地产生高质量的结果，使其更加用户友好且易于使用。最后，我们还推出了EmojiBench++这一更为全面的基准测试平台，该平台包含了多种类型的肖像、驱动视频和面部特征点序列。在EmojiBench++上的广泛测试表明，Follow-Your-Emoji-Faster在动画质量和可控性方面均表现出色。相关代码、训练数据集和基准测试工具均可在https://follow-your-emoji.github.io/获取。