一部手机,万物皆可复制粘贴,这位兼职写代码设计师将AR玩出新高度

机器之心报道
参与：蛋酱、魔王、杜伟
看到什么就复制什么，这是魔法还是孙悟空的神通？都不是。这是 AR 的魔力。

本文插图
如何将一件物品的图像导入 Photoshop？首先你要拍摄照片，然后将这张照片通过网络或者存储卡传输到电脑上，再导入 Photoshop 界面。所以，这些流程能不能一步到位？
现在， AR 能做到。
在一款名为 AR Cut & Paste 的工具中，用户只需要在手机上预装这款工具，然后对着目标物体拍摄，即可将图像复制粘贴进 Photoshop ，倒是有点「隔空移物」的意思。
先来看看效果：

本文插图
盆栽。

本文插图
衣服。

本文插图
书本。
如上面几张动图所示，不管是盆栽、衣服还是书本，可见即可拷，一键挪进 Photoshop 变为图像素材，完全是平面设计师的福音了。
据介绍，目前该工具的剪切延迟大约为 2.5 秒，粘贴延迟大约为 4 秒，流程还可以进一步加速。此外，作者还预告，下周将会发布另一个 AI+UX 原型！
项目简介
AR Cut & Paste 工具是一个 AR+ML 原型（prototype），借助它你可以从周围环境中拷贝固定对象，并粘贴在图像编辑软件中（Photoshop）。需要特别注意的是，这款工具只适用于 Adobe Photoshop 软件，未来可能支持处理不同的输出。
项目地址：https://github.com/cyrildiagne/ar-cutpaste
该原型拥有 3 个独立的模块，分别是手机端 APP、本地服务器和目标检测及背景移除服务。
首先，用户需要在手机上预装 AR Cut & Paste 。
npm install
其次，作为手机端 APP 和 Photoshop 之间的 interface ，用户需要事先配置本地服务器。
virtualenv venvsource venv/bin/activatepip install -r requirements.txt
最后，显著目标检测和背景移除交由外部服务执行（应用 BASNet 技术）。用户需要用自己的 Photoshop 远程连接密码替换以下代码中的 123456 。
python src/main.py--basnet_service_ip=''http://X.X.X.X''--basnet_service_host=''basnet-http.default.example.com''--photoshop_password 123456
技术细节
该工具使用 BASNet (Qin et al, CVPR 2019) 执行显著目标检测和背景移除。
然后，利用 OpenCV SIFT 找出手机在电脑屏幕上对准的位置。只需要一张手机照片和截图，就可以得到准确的 x, y 屏幕坐标系。
显著目标检测和背景移除
项目作者使用 BASNet 执行显著目标检测和背景移除。
BASNet 出自一篇 CVPR 2019 论文《BASNet: Boundary-Aware Salient Object Detection》，关于边界的显著性检测。其主要创新点在于损失函数的设计，使用了交叉熵、结构相似性损失、IoU 损失的混合损失，使网络更关注边界质量，而不是像以前那样只关注区域精度。在单个 GPU 上能跑 25 fps ，在六种公开数据集上能达到 SOTA 效果。
BASNet 的架构如下图所示：

本文插图
为方便使用，项目作者制作了一个 BASNet HTTP 服务包装器。
GitHub 地址：https://github.com/cyrildiagne/basnet-http

一部手机,万物皆可复制粘贴,这位兼职写代码设计师将AR玩出新高度

推荐阅读

父母将小孩送人抚养犯法

「不养儿不知累」20年后团聚差距太明显，不像姐妹却更像母女，双胞胎姐妹意外走失

明星穿搭|郭敬明到底有多高？衬衫也穿出大衣效果，造型色调倒是很有看点

李嫣摆摊义卖|人美心善颜值佳!李嫣摆摊义卖网友吐槽李嫣像不良少女？

夏天感冒■夏天感冒吃什么药

适合泡红茶的音乐,泡普洱茶的背景音乐

ins什么意思？

居民用电一档二档三档是什么意思

#民政厅#陕西省民政厅：为儿童筑牢健康防线

冬季多吃三种猪肉馅饺子

股份|A股降温，“国家队”对4家公司抛百亿减持

天健美食坊|原创想吃芋头糕别出去买了，教你正宗广式芋头糕做法，咸香可口超好吃

香港|香港需要什么样的立法会？

爆笑社|搞笑gif-吃货吃东西时是不需要掩饰的,女汉子一枚

本泽马■皇马王牌做离谱举动，6场20分钟揭齐祖老问题，8000万双星成鸡肋

[专题]丰台王佐接诉即办专题会开进村

有料健康驿站@养肝血，疏肝气的4种中药材，女性懂得用，或能预防妇科病

东方财富网|美国航空集团涨17%，美股航空股上扬

夏天喝水多会胖吗

英雄联盟|英雄联盟九周年庆典明星表演赛有周杰伦！猜猜神秘嘉宾还有谁？