《70年,我是主角》H5换脸视频背后的京东云技术 十几秒内处理数( 三 )

  换脸视频是把一个视频先切分成帧 , 对每帧的人脸特征展开3D关键点检测技术 , 来定位人脸区域的5万多个关键点 , 以保证头部在任何角度转动时仍能完成换脸的应用 。 保证了人物在各种环境下换脸视频的成功率 , 最终把每一帧合并成为一个视频 。

  针对处理视频主角在光影和明暗的变化方面 , 则由京东AI采用在纹理图上进行融合处理的手法 , 让纹理的生成独立于头部姿态的变化 , 从而使换脸更加的连贯和自然 。

  以上这些技术应用 , 对京东云的计算资源和整体技术体系提出了极高的要求 。 陈峰解释 , AI换脸项目正在不断进化 , 换脸照片与换脸视频相比 , 难度和计算量是不可同日而语的 。 对视频来说 , 每一帧都是一张图片 , 15秒的视频包含了非常多的图片 , 如何处理以及处理完之后重新合成和拼接 , 需要强大的技术支撑 。

  为了使服务器效率最大化 , 项目技术研发团队特别做了资源分工:GPU服务器负责人脸检测、特征识别和换脸视频 , CPU服务器负责换脸海报 。 “在充分利用GPU计算能力的同时 , 让CPU承担部分渲染和运算的工作 , 是基于京东云渲染类客户的大量业务得到的最佳实践 。 京东云有很多渲染客户 , 包括很多热门电影的渲染工作也是用CPU与GPU混合部署技术实现的 。 ”刘辰说 。

  数据显示 , 在一周的时间里 , H5换脸视频应用承受住了千万级的页面浏览量和百万级的独立访问量 , 最终生成了约200万个换脸视频 。

  针对第二个难题 , 让遍布全国甚至全球的网友都可以便捷地制作自己的定制大片 , 杜绝用户访问时发生网络路径延迟等情况发生 , 京东云提供了完备高效的CDN加速方案 , 实现全网全区域无盲点的加速覆盖 , 为页面访问、文件下载、图片加载以及视频播放和直播带来非常显著的访问速度提升 , 确保了用户制作定制大片的良好体验感 。

  此外 , 技术研发团队从用户使用手机流量获取视频的角度考虑 , 原始的换脸视频大小约有几十兆 , 如果直接使用原始视频交付用户 , 既影响传输的流畅度 , 同时还会对用户使用手机流量体验产生负面的影响 。 因此 , 京东云对原有视频进行压缩和转码的操作 , 将用户最终看到的换脸视频压缩到5兆左右 。

  值得一提的是 , 为了防止用户信息泄露等情况发生 , 京东云在安全性、合规性和隐私保护性上下足功夫 。 采用对用户上传的内容加密、为用户提供随机ID等方式 , 防止非正常访问获取用户数据信息 , 使用户只能看到自己照片所生成的结果 。 同时将换脸视频项目的数据全部归集在一个加密桶内并进行打标 , 保证图像仅用于此项目 。

  诸多的技术和资源保障反映到前端 , 取得了良好成效 。

  “你”获得认可

《70年,我是主角》H5换脸视频背后的京东云技术 十几秒内处理数万个换脸任务。  “打开人民日报APP‘热点’界面中‘70年 , 我是主角’ , 一键上传个人正脸照片、选择性别 , 即可成为主角 。 在这里 , 让人重温祖国的峥嵘岁月 。 以后我的履历上又可以加一项:曾与人民日报合作大片一部 。 哈哈 。 ”

  “希望以这样的身临其境 , 和祖国一路同行 。 通过变成电影主角的方式演绎大片 , 站在主角的角度亲自感受祖国70年的变化 。 ”


推荐阅读