漫画|强烈安利！效果爆炸的漫画变身AI 火到服务器几度挤爆( 二 )
风格迁移+GAN
那么，如此效果的背后，到底是用了什么原理呢？
AnimeGAN是来自武汉大学和湖北工业大学的一项研究，采用的是神经风格迁移 + 生成对抗网络（GAN）的组合 。
文章图片
它其实是基于CartoonGAN的改进，并提出了一个更加轻量级的生成器架构 。
文章图片
AnimeGAN的生成器可以视作一个对称的编码器-解码器网络，由标准卷积、深度可分离卷积、反向残差块、上采样和下采样模块组成 。
为了有效减少生成器的参数数量，AnimeGAN的网络中使用了8个连续且相同的IRB（inverted residual blocks） 。
在生成器中，具有1 x 1卷积核的最后一个卷积层不使用归一化层，跟随其后的是tanh非线性激活函数 。
文章图片
上图中，K为内核大小，C为特征图数量，S为每个卷积层的跨度，H是特征图的高度，W是特征图的宽度，Resize值用于设置特征图大小的插值方法，⊕表示逐元素加法 。
而此次的V2版本，是基于第一代AnimeGAN的升级，主要解决了模型生成的图像中存在高频伪影的问题 。
具体而言，所采取的措施是使用特征的层归一化（layer normalization），来防止网络在生成的图像中产生高频伪影 。
作者认为，层归一化可以使feature map中的不同通道，具有相同的特征属性分布，可以有效地防止局部噪声的产生 。
文章图片
AnimeGANv2的生成器参数大小为8.6MB，而AnimeGAN的生成器参数大小为15.8MB 。
它俩使用的鉴别器大致相同，区别在于AnimeGANv2使用的是层归一化，而不是实例归一化（instance normalization） 。
网友：我变漂亮了
这个AI可算是圈了一众粉丝 。
有些网友“冲进二次元”之后，发现了自己惊人的美貌：
它把我变漂亮了！
文章图片
【漫画|强烈安利！效果爆炸的漫画变身AI 火到服务器几度挤爆】而且非常骄傲的晒出了自己的漫画脸 。
还有网友看完比尔盖茨的效果之后，直呼：
天！盖茨看起来聪明又性感 。
文章图片
文章图片
作者：生成效果更好的AnimeGANv3也快来了
AnimeGAN的原作者一共有3位，分别是湖北工业大学的刘罡副教授，陈颉博士，以及他们的学生Xin Chen 。
这个项目的诞生主要出于团队成员的个人兴趣，也就是对二次元宅文化和对艺术的热爱 。
作者之一陈同学介绍，AnimeGAN和AnimeGANv2分别耗时2-3个月完成，其中遇到了不少困难 。
其中就包括硬件资源的极度匮乏，比如当时做AnimeGAN用到的英伟达单卡服务器还是由该校艺术设计学院的院长饶鉴教授提供，而他负责的研究也曾依赖于向其他同学借机器跑实验 。
到了AnimeGANv2时，就只剩一台单卡2080ti服务器供使用了 。
不过，所有努力都没有白费，如今AnimeGAN已受到非常多人的关注和喜欢，这让陈同学和他的导师团队都非常有成就感 。
要知道，就连新海诚导演都曾转发过AnimeGAN的作品呢 。
文章图片
但，这项以兴趣爱好为驱动的科研项目并不只是“图个好玩” 。
在我们与该团队的交流当中，他们表示：
主要目标还是以学术论文为里程牌，以项目能工程化落地到实际应用中为最大期待 。
而接下来，AnimeGANv3也快来了 。
它到时会采用更小的网络规模，大概缩减到只有4M左右；同时解决AnimeGANv2的一些不足（比如v2保留了原图过多的细节），让生成的动漫效果质量更高 。
这也意味着AnimeGANv3将具备商业化的能力 。
而在AnimeGANv3完成之后，他们还会对人脸到动漫的算法进行不断地优化 。
推荐阅读
- 漫画|32年房贷还清了！蜡笔小新家的房值多少钱？你肯定想不到
- DC漫画|从女招待到天眼局特工
- 台湾|台湾省海域发生4.9级地震：福建震感强烈
- 蝙蝠女|《蝙蝠女》主角战衣首次揭晓 还原漫画造型
- 漫画|一张纸卖出2100万元 《蜘蛛侠》单页漫画创拍卖纪录
- iPhone|iPhone 14 Pro与iPhone 13 Pro同框照曝光：新老外形对比强烈
- 地震|青海门源县发生6.9级地震 震源深度10公里：监控显示震感有多强烈
- 台湾|花莲县海域6.4级地震 福建震感强烈：台积电回应生产作业一切正常
- 地震|花莲县海域6.4级地震 ：福建震感强烈：当地民众尖叫“摇好久”
- 小米|不用连Wi-Fi 小米拍拍4K投屏神器499元预售 卢伟冰：强烈推荐