江苏龙网

  1. 首页 > 人文 > >

数字人正走进现实！AI大脑+高颜值，白皮书看懂四大关键技术五大应用 | 智东西内参( 五 )


PBR 是基于真实物理世界的成像规律模拟的一类渲染技术的集合 ， 它的关键在于微表面模型和能量守恒计算 ， 通过更真实的反映模型表面反射光线和折射光线的强弱 ， 使得渲染效果突破了塑料感 。 目前常见的几款 3D 引擎 ， 如UnrealEngine 4, CryEngine 3, Unity 3D 5 ， 均有了各自的 PBR实现 。
重光照技术通过采集模拟多种光照条件的图像数据 ， 测算数字人表面光照反射特性 ， 并合成出数字人模型在新的光照下的渲染结果 ， 使计算机中的虚拟数字人在任意虚拟环境下都可以呈现近乎真实的效果 ， 它彻底改变了传统渲染方式通过模拟皮肤复杂的透射反射来计算渲染总会带来误差的局面 。
该技术在 2000 年初由南加州大学实验室创建LightStage 平台时提出 ， 并开始了相关研究 ， 目前已经经过 7代的迭代发展 ， 已被成功应用到《阿凡达》、《复仇者联盟》等众多经典影片的角色制作中 。 国内清华大学、浙江大学也都建设了重光照系统 ， 可以实现高精度人体光照采集与重建 。
实时渲染技术的突破助力写实类数字人实现实时交互 ， 应用范围快速扩大 。 实时渲染指图形数据的实时计算与输出 ， 其每一帧都是针对当时实际的环境光源、相机位置和材质参数计算出来的图像 。 与离线渲染相比 ， 实时渲染面临较大挑战 。 一是渲染时长短 ， 实时渲染每秒至少要渲染 30 帧 ， 即在 33 毫秒内完成一帧画面渲染 ， 离线渲染则可以花费数小时甚至更长时间渲染一帧画面；二是计算资源有限 ， 实时渲染受限于时效要求 ， 计算资源一般是不能及时调整 ， 而离线渲染受时效限制较低 ， 可临时调配更多的计算资源 。
早期的实时渲染只能选择高度抽象和简化过的渲染算法 ， 牺牲了画面质量 。 随着硬件能力的提升和算法的突破 ， 渲染速度、渲染效果的真实度、渲染画面的分辨率均大幅提升 ， 在虚拟人物实时渲染方面 ， 已经能做到以假乱真 。
2016 年 ， EpicGames 联合 3Lateral、Cubic Motion、Ninja Theory 等公司联合开发的可实时驱动的虚拟人物在当年的 Siggraph（Special Interest Group for Computer GRAPHICS ， 计算机图形图像特别兴趣小组 ， 致力于推广和发展计算机绘图和动画制作的软硬件技术）会议中做了演示 ， 成功在消费级的硬件环境下实时渲染了高质量的虚拟角色 。
2018 年 5 月 ， 腾讯发布虚拟人 Siren ， 也一个支持实时渲染的虚拟人物 。
离线渲染与实时渲染对比
三、虚拟数字人产业应用现状1、虚拟数字人产业视图当前虚拟数字人理论和技术日益成熟 ， 应用范围不断扩大 ， 产业正在逐步形成、不断丰富， 相应的商业模式也在持续演进和多元化 。 虚拟数字人的产业链从上到下可以分为基础层、平台层和应用层 ， 如下图所示 。
数字人正走进现实！AI大脑+高颜值，白皮书看懂四大关键技术五大应用 | 智东西内参文章插图
虚拟数字人产业视图
基础层 。 基础层为虚拟数字人提供基础软硬件支撑 ， 硬件包括显示设备、光学器件、传感器、芯片等 ， 基础软件包括建模软件、渲染引擎 。显示设备是数字人的载体 ， 既包括手机、电视、投影、LED 显示等 2D 显示设备 ， 也包括裸眼立体、AR、VR 等 3D 显示设备 。光学器件用于视觉传感器、用户显示器的制作 。传感器用于数字人原始数据及用户数据的采集 。
芯片用于传感器数据预处理和数字人模型渲染、AI 计算 。建模软件能够对虚拟数字人的人体、衣物进行三维建模 。渲染引擎能够对灯光、毛发、衣物等进行渲染 ， 主流引擎包括 Unity Technologies 公司的 Unity 3D、Epic Games公司的 Unreal Engine 等 。 总体来看 ， 处于基础层的厂商已经深耕行业多年 ， 已经形成了较为深厚的技术壁垒 。
平台层 。 平台层包括软硬件系统、生产技术服务平台、AI 能力平台 ， 为虚拟数字人的制作及开发提供技术能力 。 建模系统和动作捕捉系统通过产业链上游的传感器、光学器件等硬件获取真人/实物的各类信息 ， 利用软件算法实现对人物的建模、动作的重现；渲染平台用于模型的云端渲染 。 解决方案平台基于自身技术能力为广大客户提供数字人解决方案 。 AI 能力平台提供计算机视觉、智能语音、自然语言处理技术能力 。 平台层汇聚的企业较多 ， 腾讯、百度、搜狗、魔珐科技、相芯科技均有提供相应数字人技术服务平台 。


推荐阅读


上一篇：Map的底层实现 & 为什么遍历Map总是乱序的

下一篇：微软为什么从 C/C++ 转向了 Rust？