江苏龙网

  1. 首页 > 资讯 > 科技 > >

『作者』抠图专家要失业了：CV技术加持AR 实现隔空抠图复制粘贴

传说中有一种电脑高手可以在一台电脑上按下Ctrl+C ， 在另一台电脑上按下Ctrl+V就能进行跨设备粘贴复制 。
虽然只是传说 ， 但有无数的电脑极客为这个目标而努力 。而现在利用机器学习+AR技术攻克了这个难题 。
『作者』抠图专家要失业了：CV技术加持AR 实现隔空抠图复制粘贴
文章图片

文章图片

利用这个技术只用一部手机就能将书上的图片直接复制到电脑上 ， 全程用不到10秒钟 。
『作者』抠图专家要失业了：CV技术加持AR 实现隔空抠图复制粘贴
文章图片

文章图片

手写框架图自然也不在话下~
这个项目是一位自称艺术家的法国人创造 ， 据在reddit提供的github地址 ， 发现作者名为CyrilDiagne ， 此外其还是一家AI公司的联合创始人 。
项目地址：https://github.com/cyrildiagne/ar-cutpaste
虽然目前仅能用于Photoshop ， 但作者相信未来可以处理更加不同类型的输出 。从粘贴到复制 ， 完成整个过程需要三个模块：移动APP、本地服务器、背景移除 。
其中 ， 移动APP使用了Expo这个通用的React应用架构和平台搭建 ， 本地服务器使用了ScreenPoint超早摄像头在屏幕上所指向的位置 ， 背景移除使用的技术是基于被Pattern Recognition 2020 收录的论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》 。目前此论文尚找到下载版本 ， 不过论文代码已经放出 。
代码地址：
https://github.com/NathanUA/U-2-Net
部署步骤
根据作者Github ， 整个部署可以分为四步：Photoshop配置、设置外部显著对象检测服务器、配置和运行本地服务、配置和运行移动APP 。
Photoshop配置：1.进入“Preferences>Plug-ins” ， 启用“远程连接” ， 并设置稍后需要的密码 。2.确保PS文档设置与server/src/ps.py中的设置匹配 ， 否则会粘贴空白 。3.确保文档有背景 ， 如果背景空白SIFT可能无法进行正确的匹配 。
设置外部显著对象检测服务器：1.需要使用 BASNet-HTTP作为外部HTTP服务部署BASNet模型；2.将需要部署的服务URL来配置本地服务器 。3.如果在与本地服务相同的计算机上运行Basnet ， 请务必配置不同的端口 。
『作者』抠图专家要失业了：CV技术加持AR 实现隔空抠图复制粘贴
文章图片

文章图片

配置并运行本地服务器的时候 ， 按照上面的代码和说明 。
『作者』抠图专家要失业了：CV技术加持AR 实现隔空抠图复制粘贴
文章图片

文章图片

配置和运行APP则需要按照上面的设置 。
另外 ， 作者也提到直接在APP中使用像DeepLap此类的技术可能会简单的多 ， 但是作者还没有尝试 。
技术细节
该工具使用U2-Net (Qin et Al, Pattern Recognition 2020) 执行显著目标检测和背景移除 。
然后 ， 利用 OpenCV SIFT 找出手机在电脑屏幕上对准的位置 。只需要一张手机照片和截图 ， 就可以得到准确的 x, y 屏幕坐标系 。
『作者』抠图专家要失业了：CV技术加持AR 实现隔空抠图复制粘贴
文章图片

文章图片

U^2-Net架构
据论文作者介绍 ， U^2-Net与当前20余种SOTA方法进行对比实验后 ， 无论是在模型尺寸还是结构测度等指标都获得了比较不错的成绩 。
U^2-Net工作是对其BASNet (Qin et al, CVPR 2019)工作的更新 ， 论文暂时未放出 ， 不过根据BASNet ， 我们可以知道在边界的显著性检测方面 ， 其对损失函数的设计进行了创新 ， 使其不再像以前那样只关注区域精度 。


推荐阅读


上一篇：蓝色■实地考察加州最佳观测蓝色眼泪荧光海的海滩

下一篇：性能@电热汇分享熔喷布性能的4大影响因素