一部手机,万物皆可复制粘贴,这位兼职写代码设计师将AR玩出新高度
机器之心报道
参与：蛋酱、魔王、杜伟
看到什么就复制什么 ， 这是魔法还是孙悟空的神通？都不是 。 这是 AR 的魔力 。
本文插图
如何将一件物品的图像导入 Photoshop？首先你要拍摄照片 ， 然后将这张照片通过网络或者存储卡传输到电脑上 ， 再导入 Photoshop 界面 。 所以 ， 这些流程能不能一步到位？
现在 ， AR 能做到 。
在一款名为 AR Cut & Paste 的工具中 ， 用户只需要在手机上预装这款工具 ， 然后对着目标物体拍摄 ， 即可将图像复制粘贴进 Photoshop ， 倒是有点「隔空移物」的意思 。
先来看看效果：
本文插图
盆栽 。
本文插图
衣服 。
本文插图
书本 。
如上面几张动图所示 ， 不管是盆栽、衣服还是书本 ， 可见即可拷 ， 一键挪进 Photoshop 变为图像素材 ， 完全是平面设计师的福音了 。
据介绍 ， 目前该工具的剪切延迟大约为 2.5 秒 ， 粘贴延迟大约为 4 秒 ， 流程还可以进一步加速 。 此外 ， 作者还预告 ， 下周将会发布另一个 AI+UX 原型！
项目简介
AR Cut & Paste 工具是一个 AR+ML 原型（prototype） ， 借助它你可以从周围环境中拷贝固定对象 ， 并粘贴在图像编辑软件中（Photoshop） 。 需要特别注意的是 ， 这款工具只适用于 Adobe Photoshop 软件 ， 未来可能支持处理不同的输出 。
项目地址：https://github.com/cyrildiagne/ar-cutpaste
该原型拥有 3 个独立的模块 ， 分别是手机端 APP、本地服务器和目标检测及背景移除服务 。
首先 ， 用户需要在手机上预装 AR Cut & Paste 。
npm install
其次 ， 作为手机端 APP 和 Photoshop 之间的 interface ， 用户需要事先配置本地服务器 。
virtualenv venvsource venv/bin/activatepip install -r requirements.txt
最后 ， 显著目标检测和背景移除交由外部服务执行（应用 BASNet 技术） 。 用户需要用自己的 Photoshop 远程连接密码替换以下代码中的 123456 。
python src/main.py--basnet_service_ip=''http://X.X.X.X''--basnet_service_host=''basnet-http.default.example.com''--photoshop_password 123456
技术细节
该工具使用 BASNet (Qin et al, CVPR 2019) 执行显著目标检测和背景移除 。
然后 ， 利用 OpenCV SIFT 找出手机在电脑屏幕上对准的位置 。 只需要一张手机照片和截图 ， 就可以得到准确的 x, y 屏幕坐标系 。
显著目标检测和背景移除
项目作者使用 BASNet 执行显著目标检测和背景移除 。
BASNet 出自一篇 CVPR 2019 论文《BASNet: Boundary-Aware Salient Object Detection》 ， 关于边界的显著性检测 。 其主要创新点在于损失函数的设计 ， 使用了交叉熵、结构相似性损失、IoU 损失的混合损失 ， 使网络更关注边界质量 ， 而不是像以前那样只关注区域精度 。 在单个 GPU 上 能跑 25 fps ， 在六种公开数据集上能达到 SOTA 效果 。
BASNet 的架构如下图所示：
本文插图
为方便使用 ， 项目作者制作了一个 BASNet HTTP 服务包装器 。
GitHub 地址：https://github.com/cyrildiagne/basnet-http
推荐阅读
- 「iphone11」苹果手机中的销量冠军，打败小米和三星，登上全球第一的宝座
- 11还记得母亲节？送一台千元以下的手机真暖心，百善孝为先
- 一片唱衰的魅族17系列，还有希望吗？
- 企业与观察华为如果上市估值将达13000亿美元！揭秘国民手机为何不上市？
- 长旭数码华为三款值得买的5G手机，不同价位，入手正当时
- 军军说娱乐MP3被手机淘汰了？其实它们比你想象中，更受人欢迎
- [旗舰机]三星的千元机M30s手机值得买吗？
- 华为荣耀：0-1999元手机性价比排名出炉，可能对你有用！
- 『手机游戏』最新手游收入榜单，看看有没有你的贡献？
- 阿冰说手机考虑了好久，换什么手机（4k左右）？