科技刀▲使用神经风格转移NST得到绚丽惊奇的图片
尽管神经风格转移（NeuralStyleTransfer,NST）在概念上很容易理解 ， 但要生成高质量图像却十分的困难 。 为了获得良好的结果 ， 必须正确应用许多复杂的细节和未提及的技巧 。 在本文中 ， 我们将深入探讨神经风格转换 ， 并详细研究这些技巧 。
文章图片
文章图片
文章图片
如果你不知道什么是NST ， 一个很好的NST入门方法是查看官方的PyTorch教程https://pytorch.org/tutorials/advanced/neural_style_tutorial.html 。 很遗憾 ， 与许多其他入门文章一样 ， NST充其量最终也只能产生中等程度的结果（图1） 。 我们将在接下来的几节中更新教程代码以提高转变质量 。
文章图片
图1：两种不同实现的神经风格转换质量比较 。 （左下）要匹配其内容的图像 。 （左上）我们要匹配其样式的图像 。 （中）使用PyTorch教程实现的样式转换结果 。 （右）使用本文详细介绍的方法实现的样式转移结果 。 生成的图像在视觉上具有较高的质量 ， 并且更加如实匹配样式图像的样式 。
旁白：为什么Gram矩阵会衡量样式？
Gatys等人的介绍神经风格转换的论文大部分是通俗易懂的 。 但是 ， 一个尚未解决的问题是为什么Gram矩阵是一种自然的方式来表示样式（即纹理）？
在较高的层次上 ， Gram矩阵可测量同一层中不同特征图之间的相关性 。 特征图只在卷积层激活后输出 。
例如 ， 如果一个卷积层有64个滤镜 ， 它将输出64个特征图 。 然后 ， Gram矩阵可测量图层中每个特征图与每个其他特征图之间的相关性（相似性） ， 而不需关心像素的确切位置 。 为了说明为什么这是对纹理进行合理衡量的原因 ， 让我们假设有两个过滤器 ， 一个滤波器检测蓝色物体 ， 另一个检测螺旋体 。 我们可以将这些滤波器应用于输入图像 ， 以生成2个图并测量其相关性 。 如果滤波图高度相关 ， 则图像中存在的任何螺旋几乎可以肯定是蓝色的 。 这意味着图像的纹理由蓝色螺旋组成 ， 而不是红色、绿色或黄色螺旋 。
尽管这种解释仍不足以完全说服我 ， 但本文解释的Gram矩阵与样式相对应的方法 ， 似乎为纹理合成社区广为接受 。 此外 ， 我们不能否认使用Gram矩阵获得的结果非常有效 。
修复PyTorch实现
改善转移质量的第一步是修复PyTorch教程实施 。 本教程尽量忠实于Gatys等人的论文内容 ， 但在借鉴中也遗漏了部分内容 。 一方面 ， 论文的作者发现用AvgPool2d代替MaxPool2d可以产生更高质量的结果 。 另一个细节是本教程在卷积的输出上计算了ContentLoss和StyleLoss ， 而不是ReLU激活 。 这更像是一种挑剔 ， 因为在我们的实验中 ， 我并未发现使用卷积与ReLU之间有很大的差异 。
文章图片
教程和论文之间最令人震惊的区别是 ， ContentLoss和StyleLoss分别使用了“错误”的层 。 可能我引用称呼不当 ， 因为层的选择在很大程度上是主观的 ， 并且取决于产生有效的样式的方式 。 话虽如此 ， 我们仍可以借用一些经验来指导我们的决定 。 当测量内容相似度时 ， content_img与生成的input_img之间存在像素完美匹配时 ， 较低层往往会激活得最高 。 我们进入网络的深度越深 ， 各层对精确匹配的关注就越少 ， 而当特征通常位于正确的位置时 ， 它们就会激活得更多 。 为了可视化每个图层最关注的内容 ， 我们可以设置style_weight=0并使用不同的图层作为content_layer在随机的input_img上运行训练过程 。
推荐阅读
- 「定焦爱科技」3拯救低电量焦虑症，超大电池搭配超快闪充，续航出色的iQOO
- #科技小李#小屏爱好者嗨起来，4.7寸新iPhone确认四月发布，价格是大亮点！，原创
- [笔记本电脑]乙辰科技正式发布首款WiFi6新品：北斗II号分布式无线路由器
- 快科技@苹果提供维修补贴福利但中国区除外
- 天宇科技趣谈@郭台铭今想带富士康“回家”，但国产巨头已升起，离开容易归来难
- 科技八叔■苹果这次真的是拼了，为了不让果粉失望
- 『零壹财经』在于金融，融慧金科王劲：金融科技的基石不在科技
- 「电商科技馆」3能带来超越游戏手机的体验？这些细节就是关键，为什么iQOO
- 天宇科技趣谈：为武汉捐款2亿元，昔日二十几岁赚千万后收购奔驰，他来自农村
- #快科技#余额宝收益创历史新低