|
表情编辑技术在特效和修图场景有着广泛的应用。此前，剪映、醒图等app上的一键变笑脸模板一经上线就立刻成为出圈爆款；在抖音上，这一特效还引发了热烈的话题讨论，「笑得很好下次别笑了」一度登顶抖音话题热榜。近日， 在AI领域的顶级会议AAAI2023上，来自字节跳动智能创作团队的3篇关于表情编辑GAN技术的论文入选，揭示了上述爆款特效背后的技术实现方法。据了解，AAAI2023共收到了 8,777 有效投稿，最终接受了 1,721 篇论文，总体接受率19.6% 。ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing（https://arxiv.org/abs/2301.13402）Semantic 3D-aware Portrait Synthesis and Manipulation based on Compositional Neural Radiance Field（https://arxiv.org/abs/2302.01579）CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation（https://arxiv.org/abs/2302.01608）“一键变笑脸”背后的技术方案：第一阶段，团队利用预训练的3D人脸重建模型，提取3DMM表情系数并注入到StyleGAN的w空间。同时，渲染出3D shape用作约束条件，训练特定人脸表情的生成。第一阶段训练完成就可以生产大量的配对数据，训练服务端或移动端的pix2pix模型，从而实现特定表情的编辑。StyleGAN作为应用最广泛的无条件 GAN 之一，能够实现高保真图像的生成，同时也便于在其隐空间内进行语义编辑。团队借助StyleGAN自研了人像属性编辑框架，可以轻易地实现如人像表情等属性的编辑效果。详细技术方案见：https://arxiv.org/abs/2109.10737然而，基于StyleGAN生成的人脸（假图）和真实人脸图像还是有一定的差异，这体现在用假图训练好的pix2pix模型直接应用于自拍特效或者修图场景会不可避免的产生一些bad case，因此需要借助StyleGAN反演能力，生产真实人脸的配对数据用于模型训练。过去，基于StyleGAN的重建和编辑存在trade-off问题，即提升真实图像的重建效果会影响属性的编辑效果。先前的方法针对性地优化了StyleGAN的重建和编辑任务，但没能从原理上解决上述问题。团队提出了ReGANIE，通过二阶段修复重建的误差的方法，在不影响StyleGAN本身编辑能力的同时，大幅地提升了图像重建的效果，从根本上解决了这个trade-off问题。因此，团队利用ReGANIE和StyleGAN编辑模型可以生产真实人像的表情配对数据，还实验了如卡通肖像，动物肖像等场景扩展。另外，团队探索了将神经辐射场（Nerf）技术和StyleGAN技术进行结合，结合人像分割能力提出了3D一致性的肖像合成与编辑技术Semantic3D，实现了肖像数据的姿态和局部可控性。它借由视角v的输入可以灵活生成不同姿态的肖像图，从而可以扩充训练数据的姿态多样性。同时，基于组合式生成的思想，让StyleGAN的隐空间操纵聚焦于期待编辑的属性，如只编辑面部区域表情而不改变头发或背景。据团队介绍，未来，基于GAN等生成技术对人像表情进行编辑将主要应用于短视频特效、修图拍摄和内容生成等应用场景。目前，相关功能可在抖音，剪影，醒图等APP体验，企业用户可登陆火山引擎官网（https://www.volcengine.com/product/emotion-edit）使用表情编辑服务。智能创作团队是字节跳动AI&多媒体技术中台，通过建设领先的计算机视觉、音视频编辑、特效处理等技术，支持抖音、剪映、头条等公司内众多产品线；同时通过火山引擎为外部ToB合作伙伴提供业界前沿的智能创作能力与行业解决方案。(作者：陈山) |
打印本文 
关闭窗口