江苏龙网

  1. 首页 > 人文 > >

|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧


|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

作者 | 青暮
艺术创作通常不仅对艺术创造力要求极高 ， 也需要高超的技巧 ， 要磨练出这样的技巧需要花费大量的时间和精力 。
我们对具备高超技巧的艺术作品自然充满敬意 ， 欣赏这类作品也能带来极大满足感 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

但艺术作品的灵魂还是在于创造力 ， 有时候表现手法比绘画技巧更加重要 。 让作品优秀到忽略画风 ， 也是一种伟大的能力 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

然而 ， 如果工具能够更加智能一些 ， 不仅仅是充当工具 ， 更像是扮演着助手的角色 ， 是不是更能让艺术家释放自己的创造天分呢？
今天 ， 谷歌就给我们带来了这样的惊喜 。 他们开放了一个机器学习模型的Demo ， 其功能简单来说就是“你画轮廓 ， 我补细节” 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

正如上图所示 ， 只需要根据部位选择画笔颜色 ， 比如淡紫色代表翅膀、红色代表头部 ， 勾勒出轮廓后 ， 点击一下“转换” ， 就创造出真实的怪兽了 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

看 ， 这只AI生成的怪兽光影细节逼真、立体感满满 ， 只是 ， 看起来不够可怕？
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

没关系 ， 我们再给它添加点棱角 ， 也就是几笔几画的事情 。
【|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧】|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

这样是不是威猛多了？
这款怪兽生成器名为Chimera Painter ， Chimera即奇美拉 ， 是希腊神话中狮首、羊身、蛇尾的神兽 ， 也就是具有不同物种特征的拼接生物 。
拼接是很古老的艺术创作手法 ， 比如先秦奇书《山海经》中的奇珍异兽基本都是各种真实生物的拼接产物 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

山海经版人鱼
谷歌取这名字的暗示是 ， 你可以按照自己的想法自由拼接不同的生物体 ， 打造自己的怪兽 。
但问题在于 ， 手残党可能连基本特征都画不出来...且慢 ， 作者还是很贴心的 ， 他们为用户提供了四种不同的原型 。 即使不能大刀阔斧地从头创造怪兽 ， 也能精雕细琢去“美化”原型 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

Chimera Painter用户界面（地址：https://storage.googleapis.com/chimera-painter/index.html）
用户可以选择一个参考生物 ， 然后调整生物部分的形状、类型或位置 ， 从而可以快速探索并创建大量图像 。 此外 ， 这个Demo还允许上传本地图像 。
Chimera Painter背后的模型架构即我们熟悉的生成对抗网络（GAN） ， 并且是条件GAN ， 用颜色块代表生物体部件的语义 。 从模型效果角度 ， 可以看成是语义分割网络的逆变体 ， 但训练方法不同 。
实际上 ， 英伟达也曾经开发出类似的模型GauGAN（CVPR 2019 oral） ， 它可以将分割图转换为风景图 ， Chimera Painter可以看成是GauGAN的怪兽版本 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

为了训练GAN ， 谷歌创建了全彩色图像的数据集 ， 其中包含了由3D生物模型转换的单一物种生物轮廓 。 生物轮廓线描绘了生物的形状和大小 ， 并提供了个体身体部位的分割图信息 。
模型经过训练后 ， 接下来的任务是根据艺术家提供的轮廓生成多物种的嵌合体 。 最后 ， 将性能最好的模型合并到Chimera Painter中 。
下图展示了使用模型生成的一些示例 ， 包括单物种生物（下排 ， 海马、螃蟹、豪猪）以及更复杂的多物种嵌合体（下排 ， 蚂蚁+豪猪、钝口螈+鲸鱼、飞蛾+螃蟹） 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

游戏卡牌界面的设计充满着童年回忆的气息 ， 但菜鸟小编只能小打小闹一番 ， 有基础的玩家可能已经开始构建自己的数码宝贝世界了 。
通过结构学习创造生物
人类对生物身体解剖结构比如眼睛、手指、耳朵等的感知是很敏感的 ， 但GAN通常很难对生成内容的结构有很好的语义理解 。
在GAN的随机采样图像中 ， 我们经常能看到如下图中所示的混合体 ， 其结构并不鲜明 ， 这样的案例一般认为是失败的 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

由于嵌合体生物的幻想特性 ， 为了美学需要 ， 生成这些生物需要一类全新的数据集 ， 它必须是非摄影的、幻想的风格 ， 还具有其它独特的特征 ， 例如戏剧性的视角、构图和照明 。
于是 ， 谷歌请了艺术家来构建数据集 。 比如对于下图中的鬣狗 ， 艺术家会先使用虚幻引擎构建3D模型 ， 然后分别用彩色纹理（左）和语义分割图（右）叠加到3D模型上 ， 然后 ， 使用虚幻引擎将3D生物模型放置在简单的3D场景中 ， 这样一个数据对就完成了 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

接下来 ， 谷歌使用自动化脚本改变3D生物模型的姿态、视角、缩放尺寸 ， 从而对数据集进行增强 。 使用这种方法 ， 谷歌为每个3D生物模型生成了10000+张图像对 ， 与手动创建（每张图像大约20分钟）相比 ， 节省了数百万小时的时间 。
由于自动生成的图像存在一定程度的失真 ， 谷歌还结合了艺术家的反馈对生成效果进行了改进 。 此外 ， 感知损失也是一个重要因素 ， 下图是使用不同的感知损失权重的GAN生成的示例 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

上图中的某些变化是由于数据集中每种生物包含多种纹理（例如 ， 红色或灰色的蝙蝠）而造成的 。
然而 ， 除颜色以外 ， 还有许多特征的差异与感知损失的变化直接相关 。 尤其是 ， 谷歌发现某些值可以带来更鲜明的表面纹理特征 ， 使生成的生物看起来更真实 。
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

怎么样 ， 心动了吗？祝看官玩的开心~
参考资料：
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图

|谷歌开放AI怪兽制造机，快来打造你的数码宝贝世界吧
本文插图


    推荐阅读


    上一篇：文玩橄榄核雕18罗汉的派别，殷根福是当代核雕的奠基人

    下一篇：丞相给太后介绍了一个太监，太后爱不释手，还给他生了两个孩子