AI智能绘图 ai科研绘图教程

杜南新闻采访人员冯群星将手绘草图输入到人工智能中以生成逼真的人脸图像?日前,中国科学院计算研究所和香港城市大学的研究团队发表了介绍相关研究进展的论文 。
随着深度学习技术的发展,计算机视觉领域中的“图像到图像的翻译”越来越丰富,如将黑白照片转换成彩色照片,将白天照片转换成夜晚照片,将低像素照片转换成高像素照片等 。这也是将手绘草图转换成像照片一样栩栩如生的图像的方法之一 。
中国科学院计算研究所和香港城市大学的研究团队的最新论文题为“深度脸部肖像:从草图中深度生成脸部图像” 。该论文已被计算机视觉顶级学术会议SIGGRAPH接受,并将在今年7月的会议上展出 。
研究人员在论文中说,大多数基于深度学习的草图到图像的翻译任务仍然是数据驱动的,需要高质量的输入草图,即草图的质量接近边缘图像的质量 。
所谓边缘图像是通过原始图像的边缘提取获得的图像 。边缘是图像信息最集中、不确定性最大的地方 。边缘提取对于计算机视觉系统的任务处理非常重要 。没有受过专业绘画训练的人所画的草图显然很难满足这些要求 。
用计算机算法提取原始图像和边缘图像 。图摘自论文《图像边缘提取方法及展望》 。
为了解决这个问题,研究人员开发了一个新的深度学习系统,它可以基于粗糙和不完整的草图生成人脸图像 。该网络使用较少的人脸数据,可以更好地控制图像的形状细节 。
简而言之,研究人员使用了“从部分到整体”的概念 。整个系统由三个主要模块组成,即组件嵌入模块、特征映射模块和图像合成模块 。组件嵌入模块负责分别从人脸草图数据中学习左眼、右眼、鼻子、嘴巴等面部组件的特征 。特征映射和图像合成模块可以融合这些特征,并将它们映射成分辨率为512×512像素的高质量人脸图像 。
深度学习系统生成图像的过程 。
在培训过程中,研究人员使用了17000对素描和照片数据,并邀请了10名志愿者参加测试(其中4人画小白,4人有一定的绘画基础,2人是专业人士) 。每个志愿者必须画至少三幅草图 。结果表明,尽管志愿者给出的草图质量不同,但系统生成的人脸图像总是相对稳定的 。与现有的其他算法系统(如pix2pixHD、Lines2FacePhoto、iSketchNFill等)相比 。),系统生成的人脸图像也更加自然
由10名志愿者绘制的不同草图和系统生成的相应人脸 。
不同的系统基于草图生成图像比较 。
当然,该系统仍有其局限性 。研究人员表示,单独学习面部组件的特征可能会导致组件不兼容 。例如,如果草图中左眼和右眼之间的差异很大,则在最终生成的面部图像中,左眼和右眼的形状和颜色将不一致 。
在系统生成的人脸图像中,左眼和右眼是不一致的 。
研究者认为,基于草图生成人脸图像在刑事侦查、绘画设计、教育培训等方面有着广阔的应用前景 。
人工智能前哨注意到,早在几年前,就有人提出了通过人工智能技术实现智能模拟人像的想法 。
模拟人像是一种刑事侦查手段,许多重大案件都是在人像艺术家的帮助下解决的 。然而,传统的模拟人像对目击者的描述能力有很高的依赖性 。一些画家在接受媒体采访时表示,直接使用模拟人像破案的成功率只有20%左右 。
中国科学院计算研究所和香港城市大学的新研究无疑为肖像的智能模拟提供了可能性 。但是人工智能有多准确和可靠呢?它会带来不公正和其他道德问题吗?在技术进步的过程中,这些问题也需要引起重视 。
【AI智能绘图 ai科研绘图教程】

AI智能绘图 ai科研绘图教程

文章插图


    推荐阅读