角色扮演|通过机器学习，自动生成游戏角色！真的太智能了( 二 )
文章图片
文章图片
图：简单说明字符自动创建任务中的参数耦合问题 。尽管（A）和（b）中的字符看起来相似 ， 但它们是由非常不同
【角色扮演|通过机器学习，自动生成游戏角色！真的太智能了】然而 ， 在以往的F2P方法中 ， 生成字符的表达式参数和面部身份参数之间高度耦合 ， 使得对字符的内在面部特征建模变得困难 。在日常的游戏体验中 ， 玩家更容易接受生成的中性面孔的角色（无表情的角色） 。
文章图片
文章图片
图：（a） 对齐输入照片 ， （b）F2P的结果 ， （c）FR-F2P的结果 ， （d）我们的结果（仅标识）（e）本论文的结
到目前为止 ， 在人物自动创作中 ， 面部特征和表情的分离仍然是一个挑战 。例如 ， 对于眼睛很小的玩家和眼睛稍微闭着的玩家 ， 基于F2P的方法无法有效地将两种情况下的表情参数与输入的照片区分开来 。此外 ， 这些方法中基于神经网络的渲染器只针对前视图的绘制而设计 ， 这使得这些方法很难扩展到多视图渲染的情况 。
文章图片
文章图片
图：不同方法自动生成字符的可视化比较 。（a） 对齐输入照片 ， （b）F2P的结果 ， （c）FR-F2P的结果 ， （d）论
本文针对以上问题 ， 提出了一种新的人脸游戏角色自动生成方法 。在多任务自监督学习范式下 ， 提出了中性人脸的生成方法 。我们的方法可以通过最大化渲染字符和输入人脸照片之间的面部相似度来训练 。为了生成无表情字符（“扑克牌脸”字符） ， 作者利用生成性对抗网络（GAN）处理面部身份和表情的分离 。因此 ， 我们将我们的方法命名为“扑克脸GAN” 。为了有效地度量两个人脸之间的跨域相似度 ， 作者设计了一个多任务损失函数 ， 该函数考虑了人脸内容、身份、姿势和面部标志等多个因素 。
文章图片
文章图片
图：请注意 ， 每个人脸总共有261个面部特征参数 ， 为了更好地可视化 ， 该图只绘制其151～170个维度（嘴唇部分
论文作者进一步引入了一种基于注意的神经网络“参数转换器” ， 将上述人脸图像表示转化为三组参数 ， 即表情参数、面部特征参数和姿势参数 。这些参数既可以用于在游戏环境中渲染3D角色 ， 也可以由玩家进一步手动微调 。考虑到在一张单一输入的照片中 ， “表情参数”和“面部特征参数”的分离可能有无限多个可能的解决方案 ， 论文作者引入了一个鉴别器来解决这一分离模糊问题 。鉴别器被训练来判断输入的面部参数是否来自无表情的面部 ， 换句话说 ， 预测的面部特征参数是否与表情耦合 。
文章图片
文章图片
图：用论文的方法分离恒等式和表达式的几个例子 。请注意 ， 每个人脸总共有261个面部特征参数 ， 为了更好地可
除了对抗性训练外 ， 作者还利用可微渲染技术使游戏引擎的渲染过程可微化 ， 从而使论文中的方法易于进行端到端的训练 。不同于以往基于神经渲染器的方法 ， 作者构建了一个基于硬编程的可微渲染器 ， 它更灵活地应用于多视图渲染 。论文中的渲染器综合了F2P和3DMM方法中渲染过程的优点 ， 作者首先用大量物理意义上的参数构建3D面部模型 ， 然后基于三角形重心插值法对绘制过程中的梯度进行近似处理 ， 以保证梯度从渲染后的2D图像平滑地反向传播到输入端 。基于这个改进 ， 作者的渲染器可以像主流游戏引擎一样轻松地处理表达式基础和3D姿势 。相比之下 ， 以前的方法中使用的神经渲染器没有这样的可伸缩性 。
推荐阅读
- 角色扮演|最具暗黑2气质单机，至今仍是ARPG手游巅峰，玩10年都不腻
- 角色扮演|画风特别的《黄泉裂华》成为Fami通一周最高评分
- |Epic喜加2预告：《失忆症猪猡的机器》《王国新大陆》
- 角色扮演|该如何评价《原神》？来自一位任天堂老粉丝的中肯“简答”
- 角色扮演|当玩家谈论「讨厌游戏蹦数字」时，他们在谈论什么
- 回合制游戏|Xbox One《战争机器：战术小队》预下载开放 游戏容量28G
- 超级机器人大战|《超级机器人大战》即将举办系列特别直播活动
- |在海盗游戏《ATLAS》如何获得资源？可通过这4种方法收集
- 角色扮演|迷宫探索RPG《童话森林》将在2021年1月28日推出
- |原神团队出内鬼？调查问卷做手脚，开发者还通过对话内涵高层？