技术|原来最强赘婿在二次元长这样，秒穿次元壁的AI特效又双叒火了
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
虽然每天早晨甚至无法从50平米的地铺上醒来 ， 但偶尔刷刷知乎 ， 还是会被这类问题吸引住眼球——
穿越到霸道总裁小说的世界 ， 是一种怎样的体验？
最近 ， 一个能满足这种幻（xia）想的快手AI特效火了 。
不仅老铁们纷纷穿越 ， 许多明星大V也贡献了自己的「言情小说脸」 。
你看这位李雪琴老师 ， 就瞬间女主光环加持 ， 慵懒的眼神里又多了几分灵动的忧郁 。
图片
硬糖少女刘些宁 ， 更是引得网友直呼：这不就是霸道总裁小说封面女主本主吗？ 
图片
还有歪嘴战神本神 ， 到了二次元的世界 ， 还是熟悉的配方 ， 熟悉的味道 。
图片
看到这些 ， 我不禁产生了一个大胆的想法 ， 让老婆们也一起穿越 ， 不也就是举起手机就能搞定的事？ 
图片
△新垣结衣
嗯 ， 新垣结衣是二次元走出来的实锤了！
更妙的是 ， 这样一个AI特效 ， 不仅能实时捕捉每一个表情变化 ， 模仿咆哮帝也能hold得住： 
图片
△明道
细节处理也着实奥利给 ， 描眉画眼线这样的动作也不会让面部出现奇怪的扭曲 。
图片
打破次元壁的技术
所以快手这一堪称「穿越神器」的AI特效 ， 在技术上是如何实现的呢？
快手工程师介绍 ， 相比于此前的一些特效玩法 ， 「手绘」系列最大的不同 ， 是需要兼顾真实感、美感以及卡通效果三方面的要求 。
也就是说 ， 既要最大程度保留用户本人的五官和外形特征 ， 还要具备手绘风格的美学和艺术效果 。
这就对整体风格和局部细节的呈现都提出了高要求 。
为此 ， 快手特效中心团队研发了一个基于GAN（对抗生成网络）的图像翻译和风格迁移学习训练框架 ， 结合此前CycleGAN、U-GAT-IT等技术的主要优点 ， 并根据实际需求进行了定制化的开发和优化 。
CycleGAN
CycleGAN可以说是GAN中的「前辈高人」 ， 由UC伯克利的朱俊彦团队提出 ， 影响了后续一众「换脸」研究 。
图片
其最大的突破 ， 是打破了图像风格转换中 ， 需要成对图片训练集的限制 。
也就是说 ， 在源域和目标域之间 ， 无需建立训练数据间一对一的映射 ， 就可实现风格迁移 。
就像下图中右侧所示 。
图片
基于此 ， 去年香港中文大学贾佳亚教授团队 ， 就曾提出过一个加强版的CycleGAN ， 可以将人脸照片转化成如同手绘图像 ， 甚至还能反向转换 ， 将二次元的卡通图像 ， 转换成现实中可能的样子 。
图片
U-GAT-IT
U-GAT-IT ， 是一种无监督图到图翻译算法 ， 由韩国游戏公司NCSOFT开发 。
同样是打破次元壁的神器： 
图片
具体而言 ， U-GAT-IT由两个GAN组成 。
一个负责把现实世界的自拍照进二次元 ， 即从源领域到目标域的翻译 。
另一个则反过来 ， 能把二次元人物拉回到三次元中 ， 即从目标域到源领域的翻译 。
同样 ， 也不需要成对的训练数据 。
为了生成更加逼真的图像 ， U-GAT-IT还以端到端的方式引入了注意力机制和可学习归一化方法 。
推荐阅读
![[亮剑君]怀才不遇，终被我国赏识，这位美国教授为我国天网贡献巨大！，](https://imgcdn.toutiaoyule.com/20200402/20200402010437473463a_t.jpeg)
- 系列|首发中高端最强芯天玑820，Redmi 10X发布售1599元起
- 北京亦庄|北斗又有新应用！原来带给我们的不只是导航
- 行业互联网|华为 | 车载以太网物理层及TSN发展现状 与技术趋势
- 技术编程|什么是Plesk虚拟主机控制面板？
- 电池技术|法国发明出世界最快的电极：可将锂电池的密度提高3倍
- 网购|网购生鲜冰袋厂家不回收、焚烧有污染，网友：才知道里面原来不是冰
- 放毒|余承东官宣！史上最强华为Mate来了，系统不输苹果
- OPPO手机|再现最强定制！三款英雄联盟S10定制新品齐上阵，颜值狂圈粉
- 技术编程|人工智能在大视频运维中如何实现CDN硬盘故障预测？
- |史上最强，余承东公布华为Mate40系列发布会日期