技术|原来最强赘婿在二次元长这样，秒穿次元壁的AI特效又双叒火了( 二 )
图片
在这一次快手手绘特效的实现上 ， 训练同样以大量非配对数据为基础 ， 并加上了一部分人工修图得到的配对数据作为引导 ， 通过混合训练的方式 ， 既快速又精准地得到整体上较为接近手绘的风格化效果 。
另外 ， 由于手绘数据采集成本较高 ， 所以研究人员还采用了迁移学习的方法进行数据扩增 ， 并根据快手用户日常进行的人像拍摄场景分布规律 ， 进行了适配 。
在细节增强方面 ， 快手则通过加入人脸关键点、人像语义分割等AI技术 ， 精确地定位到对应的关键区域 ， 并在整体的基础上重点加强局部区域的细节调整 ， 以全局与局部的混合训练有效的提升了整体效果的呈现 。
在此基础之上 ， 针对手绘中特殊的线条和高光图案 ， 研发人员也设计了对应的损失函数进行监督学习 。
而针对短视频的形式 ， 快手的手绘特效还要考虑保障实时效果 ， 人怎么动 ， 画面也要跟得上 。
图片
这就涉及到手机计算能力与模型计算量的适配、脸部效果跟背景效果和素材的适配、视频效果流畅性等诸多因素 。
为此 ， 从算法 ， 到工程、特效、涉及等多个环节 ， 研发人员都进行了大量的尝试 ， 以及细致的优化、打磨 。
快手技术实力：不止于AI特效本身
打造这款特效的 ， 是快手的Y-tech技术团队 。
快手Y-tech是快手在人工智能等前沿领域的探索者和先行者 ， 以研发前沿科技、提升用户体验、创造用户价值为使命 ， 致力于在计算机视觉、机器学习 、深度学习和计算机图形学等领域开展技术研究和业务落地 。
图片
【技术|原来最强赘婿在二次元长这样 ， 秒穿次元壁的AI特效又双叒火了】其实 ， 从技术的角度上来说 ， 对于快手的工程师们而言 ， 追求效果上的极致 ， 还不是全部目标……
更重要的一点 ， 是要覆盖高、中、低端各种手机型号 ， 让每一个档次的机型的能力都发挥到最大 。
一方面 ， 是因为每一次的产品落地 ， 都关系到4亿用户的实际体验 ， 牵一发而动全身 。
另一方面 ， 快手的用户特性决定 ， 用户手中的手机型号分布会很广 ， 不同机型算力和内存资源差异很大 。
为了能够让每一位天南地北的老铁都能够无差别地享受AI技术带来的乐趣 ， 在技术的设计方案上 ， 就既要力求让高端机充分发挥计算能力 ， 给用户带来极致体验 ， 同时也要在中低端机上做到逼近高端机的效果 。
也就是说 ， 不管算力高低 ， 在最后的用户体验上 ， 都要实现GAN的「秒变」 。
图片
这事实上涉及了三方面的指标：准确率、能耗、延迟 。 毕竟除了特效的实时性 ， 如果一次使用电量就哗哗掉 ， 手机温度蹭蹭涨 ， 那也非常影响用户体验 。
而要在跨度如此之大、很大一部分算力并无优势的硬件上 ， 兼顾这三个指标 ， 其中挑战不可谓不大 。
以这一次的「手绘」系列为例 ， 工程师们进行了非常细致的方案细分和探索 ， 针对不同的机型 ， 采取差异化的AI模型生成方案 。
这实际上给AI算法和工程团队带来了更大的工作量 。
但对于快手工程师而言 ， 让每一个档次机型的方案都尽可能达到更好的效果 ， 既是一种「使命感」 ， 也是一种刻在企业文化里的「技术特性」 。
近年来 ， 快手已有不少AI产品成功落地、应用 ， 其背后的技术路线 ， 始终是坚持打造自研AI基础引擎、打造普惠AI算法 ， 坚持让用户无差别享受高算力AI技术的Hard模式 。
比如自研YCNN深度学习推理引擎 ， 是快手很多AI功能的强大加速器 ， 是将AI模型迁移到不同场景、不同算力硬件的技术基础 。
推荐阅读
- 系列|首发中高端最强芯天玑820，Redmi 10X发布售1599元起
- 北京亦庄|北斗又有新应用！原来带给我们的不只是导航
- 行业互联网|华为 | 车载以太网物理层及TSN发展现状 与技术趋势
- 技术编程|什么是Plesk虚拟主机控制面板？
- 电池技术|法国发明出世界最快的电极：可将锂电池的密度提高3倍
- 网购|网购生鲜冰袋厂家不回收、焚烧有污染，网友：才知道里面原来不是冰
- 放毒|余承东官宣！史上最强华为Mate来了，系统不输苹果
- OPPO手机|再现最强定制！三款英雄联盟S10定制新品齐上阵，颜值狂圈粉
- 技术编程|人工智能在大视频运维中如何实现CDN硬盘故障预测？
- |史上最强，余承东公布华为Mate40系列发布会日期