江苏龙网

  1. 首页 > 人文 > >

科技匠|站神曲 damedane：精髓在于换脸，五分钟就能学会，B

内容提要：AI换脸技术层出不穷 ， 但一代更比一代强 。 最近 ， 一个发表在NeurIPs2019的AI换脸模型firstordermotionmodel火了起来 ， 其表情迁移效果胜过同领域其它方法 。 最近 ， 这项技术在B站引起一波新潮流……
原创：HyperAI超神经
关键词：图像动画表情迁移
最近 ， B站上涌现出一波画风过于「生草」（B站黑话 ， 意为魔性搞笑）的视频 ， 播放量动辄上百万 ， 相当火爆 。
技能满分的Up主们 ， 利用「firstordermotion一阶运动模型」的AI换脸项目 ， 生成了各种各样画风清奇的视频 。
比如 ， 竟然让张学友、杜甫、唐僧、熊猫头表情包声情并茂地演唱《damedane》、《unravel》……画面是这个样子的：
不得不说 ， 有点上头……大家可以自行到小破站搜索更多作品观赏 。
这些视频引得无数网友摩拳擦掌跃跃欲试 ， 纷纷留言求教程 。 接下来 ， 我们就来了解一下 ， 实现这些换脸效果的技术（万恶之源）：一阶运动模型（firstordermotionmodel） 。
学习园地B站 ， 多个教程教你对口型迄今为止 ， 类似的换脸、对口型的技术层出不穷 ， 每提出一个 ， 就会引起一波换脸热潮 。
而Firstordermotion模型由于在五官、口型优化上效果比较好 ， 且容易上手、实现效率高 ， 于是大受欢迎 。
比如要文章开头的《damedane》换脸 ， 只需几十秒就能实现 ， 五分钟就可以学会 。
B站上的多数up主选用Google的云端硬盘和Colab来进行教程 。 考虑到翻墙门槛 ， 我们选取了其中一位up主的教程 ， 使用国内的机器学习算力容器服务（） ， 现在还能薅羊毛 ， 每周都赠送vGPU的使用时长 ， 轻松完成该教程 。
不到5分钟就可以完成自己的《damedane》
这个教学视频逐步讲解 ， 即使是小白 ， 也能轻松学会这招换脸大法 。 up主还将notebook上传到了平台 ， 只要一键clone就可以直接使用 。
不过 ， 很多技术Up主表示 ， 娱乐之余 ， 制作视频是为了进行技术交流 ， 所以希望大家不要恶意滥用 。
/console/openbayes/public/containers/BwZQj5wr3Jp
原项目Github地址：
又一个换脸神器 ， 好用在哪里？Firstordermotion模型来自顶会NeurlPS2019上的一篇论文 ， 《FirstOrderMotionModelforImageAnimation》（《用于图像动画的一阶运动模型》） ， 作者来自意大利的特伦托大学以及snap公司 。
由标题就可知 ， 该论文要实现的目标是让静态图片动起来 。 在给定一张源图片和一个驱动视频的情况下 ， 让源图片中的形象 ， 跟着驱动视频中的动作动起来 。 也就是 ， 让万物皆可动起来 。
效果如下图所示 ， 左上角为驱动视频 ， 其余为源静态图：


推荐阅读


上一篇：月光科技|X3发布，打孔比小米10至尊版还小，小米又被自家小弟干翻，POCO

下一篇：充电头网|仅一元硬币大小，AUKEY为iPhone12推出20W迷你PD快充