您现在的位置: 娱乐新闻网 >> 明星资讯 >> 正文
  高手网神准六肖           ★★★ 【字体:
高手网神准六肖
作者:佚名    明星资讯来源:来自网络    点击数:    更新时间:2023/7/17    
表情编辑技术在特效和修图场景有着广泛的应用。此前,剪映、醒图等app上的一键变笑脸模板一经上线就立刻成为出圈爆款;在抖音上,这一特效还引发了热烈的话题讨论,「笑得很好下次别笑了」一度登顶抖音话题热榜。近日, 在AI领域的顶级会议AAAI2023上,来自字节跳动智能创作团队的3篇关于表情编辑GAN技术的论文入选,揭示了上述爆款特效背后的技术实现方法。据了解,AAAI2023共收到了 8,777 有效投稿,最终接受了 1,721 篇论文,总体接受率19.6% 。ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing(https://arxiv.org/abs/2301.13402)Semantic 3D-aware Portrait Synthesis and Manipulation based on Compositional Neural Radiance Field(https://arxiv.org/abs/2302.01579)CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation(https://arxiv.org/abs/2302.01608)“一键变笑脸”背后的技术方案:第一阶段,团队利用预训练的3D人脸重建模型,提取3DMM表情系数并注入到StyleGAN的w空间。同时,渲染出3D shape用作约束条件,训练特定人脸表情的生成。第一阶段训练完成就可以生产大量的配对数据,训练服务端或移动端的pix2pix模型,从而实现特定表情的编辑。StyleGAN作为应用最广泛的无条件 GAN 之一,能够实现高保真图像的生成,同时也便于在其隐空间内进行语义编辑。团队借助StyleGAN自研了人像属性编辑框架,可以轻易地实现如人像表情等属性的编辑效果。详细技术方案见:https://arxiv.org/abs/2109.10737然而,基于StyleGAN生成的人脸(假图)和真实人脸图像还是有一定的差异,这体现在用假图训练好的pix2pix模型直接应用于自拍特效或者修图场景会不可避免的产生一些bad case,因此需要借助StyleGAN反演能力,生产真实人脸的配对数据用于模型训练。过去,基于StyleGAN的重建和编辑存在trade-off问题,即提升真实图像的重建效果会影响属性的编辑效果。先前的方法针对性地优化了StyleGAN的重建和编辑任务,但没能从原理上解决上述问题。团队提出了ReGANIE,通过二阶段修复重建的误差的方法,在不影响StyleGAN本身编辑能力的同时,大幅地提升了图像重建的效果,从根本上解决了这个trade-off问题。因此,团队利用ReGANIE和StyleGAN编辑模型可以生产真实人像的表情配对数据,还实验了如卡通肖像,动物肖像等场景扩展。另外,团队探索了将神经辐射场(Nerf)技术和StyleGAN技术进行结合,结合人像分割能力提出了3D一致性的肖像合成与编辑技术Semantic3D,实现了肖像数据的姿态和局部可控性。它借由视角v的输入可以灵活生成不同姿态的肖像图,从而可以扩充训练数据的姿态多样性。同时,基于组合式生成的思想,让StyleGAN的隐空间操纵聚焦于期待编辑的属性,如只编辑面部区域表情而不改变头发或背景。据团队介绍,未来,基于GAN等生成技术对人像表情进行编辑将主要应用于短视频特效、修图拍摄和内容生成等应用场景。目前,相关功能可在抖音,剪影,醒图等APP体验,企业用户可登陆火山引擎官网(https://www.volcengine.com/product/emotion-edit)使用表情编辑服务。智能创作团队是字节跳动AI&多媒体技术中台,通过建设领先的计算机视觉、音视频编辑、特效处理等技术,支持抖音、剪映、头条等公司内众多产品线;同时通过火山引擎为外部ToB合作伙伴提供业界前沿的智能创作能力与行业解决方案。(作者:陈山)
明星资讯录入:admin    责任编辑:admin 
  • 上一个明星资讯:

  • 下一个明星资讯:
  • 发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口
    最新热点 最新推荐 相关文章
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
    高手网神准六肖
      网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)
    娱乐新闻网声明:登载内容出于传递信息之目的,绝不意味着赞同其观点或证实其描述,若侵权请来信告知,我们将及时处理! 站长: