鹿晗都有AI粉了,为什么AI换脸剧的效果还这么渣?( 二 )
智能互动视频播放器技术平台极链科技Video++联合创始人董慧智告诉我们 , DeepFake这套算法的弱点就在于 , 脸部边缘的处理 , 尤其是在较为夸张的脸部表情处理上 , 还没有做过深度处理 , 因此每家公司在实际使用中都要自己做一些优化处理 。
他从《三千鸦杀》的换脸效果判断 , “背后的换脸团队应该是在DeepFake开源算法的基础上做了一些优化 , 只是优化得不是特别好 , 在表情和动作 , 尤其是脸部边缘处理上还是存在一些问题 , 因此从用户角度来看效果确实比较僵硬” 。
文章图片
《三千鸦杀》因角色AI换脸在微博被“群嘲”
此次AI换脸的效果 , 也被众多用户拿来与曾经火爆一时的换脸工具ZAO进行对比 。
2019年8月30日 , “仅需一张照片 , 出演天下好戏”的ZAO App上线 , 它也是基于DeepFake算法演变出的产品之一 。
文章图片
ZAO App的功能介绍
在瑞莱智慧RealAI产品负责人唐家渝看来 , “其实ZAO的大部分视频脸部边缘处理得也不是很好 , 估计是它的建模过程学习到的特征也不是特别好 。 ”
ZAO的效果虽然看起来略好一些 , 但也不代表技术一定更优 , 因为两者使用场景不同 , 难度不同 。
“AI技术的核心在于训练的过程 , 训练后的模型应用于同一领域 , 很多算法的准确度可以接近100% , 这是AI有优势的地方;但缺点是与人类相比 , AI的联想能力较弱 , 没有训练过的内容几乎不会 。 ”董慧智说 。
众所周知 , ZAO里可供用户换脸的影视剧片段是特定场景 , 也就是说 , 技术难度相对较小 。 董慧智分析 , ZAO背后需要训练的时间比较长 , 需要选定视频库中的片段 , 对其中男女主角的脸部进行长时间的学习和训练 , 不断调参 , 经过线下预处理再上线 , 用户的使用效果自然不错 。
而影视剧中的临时换脸难度更大 , 需要在短时间内 , 对一个未经训练的影视剧进行AI批量换脸 。 董慧智表示 , AI分训练和推理两个阶段 , 前期训练的过程很长 , 可能要一到两周甚至几个月 , 而一次推理过程也就是几百毫秒 。 因此一般情况下 , 提供技术的AI公司受限于成本和时间要求 , 只能用有限的样本来训练模型 , 推理时却面对的是海量多样化的视频 , 效果不是特别理想 。
在董慧智看来 , 两者难度的差异相当于 , ZAO是开卷考试 , 所有题目都已经做过 , 烂熟于胸;而影视剧中的AI换脸属于闭卷考 , 做的题目都是没学过的 , 只是利用原来学过的一些知识和经验去重做一遍 , 效果差距自然很大 。
文章图片
AI换脸的真实水平与成本难题
据唐家渝介绍 , 影视剧AI换脸的效果与剧中人物的角度正面与否、光照条件有直接关系 。 也就是说 , 如果采用比较前沿的算法 , 上述两个条件较好的情况下 , 数据采集充分 , 最终建模的效果会比较好 , 肉眼基本难以分辨 , 除非场景的复杂度较高 , 比如脸部被一片树叶遮挡 , 这就需要后期的人工修复了 。
“我看剧
(《三千鸦杀》)
推荐阅读
- 『定居北京的美国人龙安志:在中国,所有生命都有价值』定居北京的美国人龙安志:在中国,所有生命都有价值
- 疫情:定居北京的美国人龙安志:在中国,所有生命都有价值
- 153个号被封,标题党的爱国生意还能做多久
- 「遥感」21世纪地球都有哪些变化?AI“天眼”带您回溯
- 『21世纪地球都有哪些变化?AI“天眼”带您回溯』21世纪地球都有哪些变化?AI“天眼”带您回溯
- #河南经济#“吃喝玩乐”都有了!河南首次鼓励发放多领域消费券促进消费
- 「岛城」4月18日至19日青岛预计6盘入市或加推 城阳、西海岸、即墨、胶州都有
- 瑞幸神话破灭,盘点中国 25 家「神速」上市的公司都有怎样的背景
- 「毕业生」想了解青岛高校毕业生就业创业政策“一本通”里全都有
- 启辰智联4.0系统首发车型!启辰星都有哪些绝活?