实习生|字节AI实习生搞出有趣玩意儿:马化腾、雷军变二次元帅哥( 二 )
在此基础上对向量进行变换,再映射回图像,就能产生加减年龄,转换性别的效果 。
文章图片
△图源 GAN Inversion: A Survey
但是AgileGAN团队发现,像StyleGAN2那样寻找最佳的隐空间映射是行不通的,因为适用于真实照片的映射并不一定适用于其他风格 。
AgileGAN以StyleGAN2为基础进行改进,解决办法分为两部分 。
第一个是层级变分自编码器 (hierarchical Variational Eutoencoder,简称hVaE) 。
在确保映射隐空间分布符合原始高斯分布的同时,将原来的一个隐空间分成不同分辨率的多个隐空间,可以更好地编码图像中不同层次的细节 。
文章图片
第二个是从StyleGAN2的预训练权重开始,重新微调出一个属性感知的生成器 。
包括不同属性(如性别、年龄)的多个生成路径和多个判别器,以更好地实现依赖属性的风格迁移 。
文章图片
StyleGAN2生成器和属性感知的生成器这两个训练阶段是独立执行的,可以并行训练 。
文章图片
这样分开操作不仅减少了需要的训练数据集大小,还使风格迁移拥有更大的灵活性 。
不过使用小数据集时判别器容易过拟合 。解决办法是加入一个早期停止策略,一旦风格化效果达到预期,就停止训练 。
这还没完,如果用上一阶运动技术(First Order Motion),AgileGAN还可以完成视频的风格迁移 。
字节跳动实习生一作
另外,AgileGAN还是个“实习生作品”,成型于一作宋果鲜在字节跳动实习期间 。
文章图片
宋果鲜,本科毕业于中科大数学专业,目前正在南洋理工大学攻读计算机科学博士学位 。同时,他也是字节跳动美国AI实验室的实习生 。
他的研究方向主要是计算机视觉和计算机图形学,包括基于图像的3D人脸重建/分析、VR/AR应用等等 。
所以,在AgileGAN眼里,宋同学又是什么样的呢?
文章图片
发量和发质,真的很优秀了 。
说起来,没准以后就能在抖音直接玩上这样的GAN了 。
要是等不及,作者已经放出了试玩版:
http://www.agilegan.com/
推荐阅读
- 医院|网传字节跳动又有员工送医院急救 当事人回应:已回家休息
- 字节跳动|逝者母亲辟谣字节赔2000万传言 双方暂未协商赔偿事宜:我现在很痛苦
- 猝死|28岁的工程师离世在冬夜:网传字节跳动又有员工送医院急救
- 气球|花3年搞出气球的一千种死法 这操作把我看害怕了
- 抖音|字节跳动旗下汽水音乐完成软著登记:抖音“姊妹”音乐App就要来了
- 猝死|字节跳动被传猝死员工已离世 回应:尽力帮助其家人共渡难关
- 猝死|28岁员工猝死?字节跳动辟谣仍在医院抢救中 当事人妻子刚怀孕两个月
- 阿里巴巴|东数西算全面爆火 概念股大面积涨停 阿里、腾讯、字节、快手已大规模部署
- 证券|字节跳动彻底剥离一大业务:2000万出售海豚股票
- 字节跳动|曝字节跳动旗下工作室立项二次元3D开放世界游戏:或将对标《原神》