2023年度  第10期


标题:基于上下文块的隐空间图像动画技术
作者:梁冰1 李宇航1;丁友东1,2;范加新1 涂奕飞1
作者单位:1上海大学上海电影学院,上海 200072;2上海电影特效工程技术研究中心,上海 200072
关键字:图像动画;隐空间;自监督;上下文块
摘要:图像动画方法通常是指将驱动视频的运动“复制”给源图像,使源图像获得与驱动视频相同的运动,让静止图像动起来。然而,以往的图像动画方法通常需要提取标签、光流、语义图等结构信息,如果源图像和驱动视频具有较大的外观变化,就会难以保留源图像的身份信息,生成伪影和错误的运动。基于此,提出了基于上下文块的自监督隐空间图像动画方法,通过隐空间中的线性导航使图像动画,由隐空间编码的线性位移来生成驱动视频的运动。在编码部分引入上下文模块能够更加准确地对源图像和驱动图像进行编码,生成准确真实的图像动画。实验分析表明,该模型在VoxCeleb2、Celeb-V2和Ted-talk谈话数据集上系统地和显著地优于其他方法。