|
近期，字节跳动智能创作团队研发了业内首个通用视频转场推荐方案AutoTransition，致力于解决目前视频剪辑中存在的学习成本高，编辑效率低等问题，该项成果目前已入选计算机视觉领域顶会ECCV2022(European Conference on Computer Vision)。随着短视频的迅猛发展和普及，每天都有海量用户通过视频来记录和分享生活。对于缺乏专业剪辑和视频编辑知识的普通用户而言，视频的制作和剪辑却具有很高的门槛。AutoTransition兼顾灵活性与高性能，面向转场这一视频剪辑中最常使用的编辑元素，通过将转场推荐任务建模为多模态匹配和检索问题，从大量视频数据中自动学习转场匹配关系，实现了对任意视频和音频输入推荐高质量的转场效果。借助AutoTransition，用户可以快速一键生成优质转场视频，使剪辑效率得到显著提升。据介绍，相比于基于一系列预定义的策略或随机选取的剪辑方式，AutoTransition能够有效地从海量数据中学习到专业的剪辑知识，并基于对视频和音频的理解推荐高质量转场;相比于人工剪辑，AutoTransition模型能够在极短时间内完成推荐，显著提升编辑效率，并且推荐结果可媲美甚至超越专家剪辑的效果;得益于优秀的扩展性，AutoTransition可以方便地和其他的视频处理技术结合(例如视频高光提取、视频聚类和排序等)，以实现更全面的视频剪辑能力，帮助视频工作者进一步提升视频编辑的效率。目前，AutoTransition的衍生技术已经成功落地于抖音和智能创作ToB工具箱等多项业务场景中。字节跳动智能创作团队表示：首个视频转场数据集和AutoTransition代码均已开源，以期吸引更多同行关注这一新领域，共同推动智能视频剪辑的快速发展。未来，该团队准备将这一方案扩展到更多的视频剪辑元素，包括但不限于视频动画，视频贴纸和裁剪变换等，同时还将尝试和其他视频处理技术结合，以实现更全面的视频剪辑功能。 |
打印本文 
关闭窗口