鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?( 二 )



智能互动视频播放器技术平台极链科技Video++联合创始人董慧智告诉我们 , DeepFake这套算法的弱点就在于 , 脸部边缘的处理 , 尤其是在较为夸张的脸部表情处理上 , 还没有做过深度处理 , 因此每家公司在实际使用中都要自己做一些优化处理 。

他从《三千鸦杀》的换脸效果判断 , “背后的换脸团队应该是在DeepFake开源算法的基础上做了一些优化 , 只是优化得不是特别好 , 在表情和动作 , 尤其是脸部边缘处理上还是存在一些问题 , 因此从用户角度来看效果确实比较僵硬” 。

鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?
文章图片

《三千鸦杀》因角色AI换脸在微博被“群嘲”

此次AI换脸的效果 , 也被众多用户拿来与曾经火爆一时的换脸工具ZAO进行对比 。

2019年8月30日 , “仅需一张照片 , 出演天下好戏”的ZAO App上线 , 它也是基于DeepFake算法演变出的产品之一 。
鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?
文章图片

ZAO App的功能介绍

在瑞莱智慧RealAI产品负责人唐家渝看来 , “其实ZAO的大部分视频脸部边缘处理得也不是很好 , 估计是它的建模过程学习到的特征也不是特别好 。 ”

ZAO的效果虽然看起来略好一些 , 但也不代表技术一定更优 , 因为两者使用场景不同 , 难度不同 。

“AI技术的核心在于训练的过程 , 训练后的模型应用于同一领域 , 很多算法的准确度可以接近100% , 这是AI有优势的地方;但缺点是与人类相比 , AI的联想能力较弱 , 没有训练过的内容几乎不会 。 ”董慧智说 。

众所周知 , ZAO里可供用户换脸的影视剧片段是特定场景 , 也就是说 , 技术难度相对较小 。 董慧智分析 , ZAO背后需要训练的时间比较长 , 需要选定视频库中的片段 , 对其中男女主角的脸部进行长时间的学习和训练 , 不断调参 , 经过线下预处理再上线 , 用户的使用效果自然不错 。

而影视剧中的临时换脸难度更大 , 需要在短时间内 , 对一个未经训练的影视剧进行AI批量换脸 。 董慧智表示 , AI分训练和推理两个阶段 , 前期训练的过程很长 , 可能要一到两周甚至几个月 , 而一次推理过程也就是几百毫秒 。 因此一般情况下 , 提供技术的AI公司受限于成本和时间要求 , 只能用有限的样本来训练模型 , 推理时却面对的是海量多样化的视频 , 效果不是特别理想 。

在董慧智看来 , 两者难度的差异相当于 , ZAO是开卷考试 , 所有题目都已经做过 , 烂熟于胸;而影视剧中的AI换脸属于闭卷考 , 做的题目都是没学过的 , 只是利用原来学过的一些知识和经验去重做一遍 , 效果差距自然很大 。


鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?
文章图片

AI换脸的真实水平与成本难题

据唐家渝介绍 , 影视剧AI换脸的效果与剧中人物的角度正面与否、光照条件有直接关系 。 也就是说 , 如果采用比较前沿的算法 , 上述两个条件较好的情况下 , 数据采集充分 , 最终建模的效果会比较好 , 肉眼基本难以分辨 , 除非场景的复杂度较高 , 比如脸部被一片树叶遮挡 , 这就需要后期的人工修复了 。

“我看剧
(《三千鸦杀》)


推荐阅读