手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究


十三 白交 发自 凹非寺量子位 报道 | 公众号 QbitAI
魔法变现实 , 酷炫又实用 。
还记得两年前 , Zach King(男巫)的爆红魔术吗?
不仅从纸直接蹦出一个手机 , 还直接扔进了电脑里形成虚拟的天猫页面 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图

现在 , 不用去羡慕男巫了 , 人人都可以把身边的东西“扔到”电脑里 , 而且一部手机就能搞定!
这就是来自34岁法国设计师Cyril Diagne的最新AR黑科技——AR Cut & Paste , 将身边的事物“一键”复制粘贴到电脑上 , 整个完成时间不到10s 。
比Ctrl+C和Ctrl+V还要爽快!
比如 , 拿手机扫一扫书上的模型图片 , 再把手机对准电脑屏幕 , 模型瞬间就复制到了电脑 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图

书上的人物也不在话下 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图

就有网友说道:连这个黑发小哥的头发都能识别出来 , 太神奇了 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图

当然 , 手写的笔记 , 也可以复制粘贴到电脑中 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图

他在Github上分享了他的AR新技术 , 已经狂揽7K颗小星星;而且在Reddit上分享不到14小时 , 就获得了近4K的点赞量 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图

即使Cyril表示目前仅仅能在Photoshop中实现 , 但未来——肯定会有更多不同的输出方式 。
只是现在 , 这项AR黑科技——魔法一样的新技术 , 只要你想 , 也能复刻 。
简单四步 , 开启“复制粘贴”新世界
小哥非常热心地在GitHub中 , 描述了AR Cut & Paste的“上手指南” 。
首先要强调的是 , 这是一个研究原型 , 而不是针对消费者或者Photoshop用户的工具 。
AR Cut & Paste原型包含3个独立的模块 。
移动应用 (The mobile app)

  • 可以查看GitHub中/app文件夹 , 了解如何将App部署到手机中 。
本地服务器 (The local server)
  • 手机APP与Photoshop的接口 。
  • 使用屏幕点(screenpoint)找到摄像机在屏幕上指向的位置 。
  • 可查看/server文件夹 , 了解关于本地服务器的配置说明 。
目标检测 / 背景移除服务 (The object detection / background removal service)
  • 目前 , 显著性检测和背景移除 , 是委托给一个外部服务来完成 。
  • 如果直接在移动应用中使用类似DeepLap这样的技术会简单很多 。 但这还没有在这个repo中实现 。
第一步:配置Photoshop
在Photoshop软件首选项 (Preferences)中 , 找到增效工具 (Plug-ins) 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图
【手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究】

点击启用远程连接 (Remote Connection) , 并设置密码 。
手机扫一扫,现实物体隔空「复制粘贴」进电脑!北大校友AI新研究
本文插图

这里需要确保一点 , PS文档中的设置要与server/src/ps.py中的设置一致 , 否则只会粘贴一个空层 。
此外 , 文档需要一些背景 , 如果只是白色背景 , SIFT可能没有足够能力来做一个正确的匹配 。


推荐阅读