一部手機，萬物皆可復制粘貼，這位兼職寫代碼的設計師將AR玩出了新高度
看到什么就復制什么，這是魔法還是孫悟空的神通？都不是。這是 AR 的魔力。
如何將一件物品的圖像導入 Photoshop？首先你要拍攝照片，然后將這張照片通過網絡或者存儲卡傳輸到電腦上，再導入 Photoshop 界面。所以，這些流程能不能一步到位？
現在，AR 能做到。
在一款名為 AR Cut & Paste 的工具中，用戶只需要在手機上預裝這款工具，然后對著目標物體拍攝，即可將圖像復制粘貼進 Photoshop，倒是有點「隔空移物」的意思。
先來看看效果：
盆栽。
書本。
如上面幾張動圖所示，不管是盆栽、衣服還是書本，可見即可拷，一鍵挪進 Photoshop 變為圖像素材，完全是平面設計師的福音了。
據介紹，目前該工具的剪切延遲大約為 2.5 秒，粘貼延遲大約為 4 秒，流程還可以進一步加速。此外，作者還預告，下周將會發布另一個 AI+UX 原型！
項目簡介
AR Cut & Paste 工具是一個 AR+ML 原型（prototype），借助它你可以從周圍環境中拷貝固定對象，并粘貼在圖像編輯軟件中（Photoshop）。需要特別注意的是，這款工具只適用于 Adobe Photoshop 軟件，未來可能支持處理不同的輸出。
項目地址：https://github.com/cyrildiagne/ar-cutpaste
該原型擁有 3 個獨立的模塊，分別是手機端 APP、本地服務器和目標檢測及背景移除服務。
首先，用戶需要在手機上預裝 AR Cut & Paste。
- npm install
其次，作為手機端 APP 和 Photoshop 之間的 interface，用戶需要事先配置本地服務器。
- virtualenv venvsource venv/bin/activate
- pip install -r requirements.txt
最后，顯著目標檢測和背景移除交由外部服務執行（應用 BASNet 技術）。用戶需要用自己的 Photoshop 遠程連接密碼替換以下代碼中的 123456。
- python src/main.py \
- --basnet_service_ip="http://X.X.X.X" \
- --basnet_service_host="basnet-http.default.example.com" \
- --photoshop_password 123456
技術細節
該工具使用 BASNet (Qin et al, CVPR 2019) 執行顯著目標檢測和背景移除。
然后，利用 OpenCV SIFT 找出手機在電腦屏幕上對準的位置。只需要一張手機照片和截圖，就可以得到準確的 x, y 屏幕坐標系。
顯著目標檢測和背景移除
項目作者使用 BASNet 執行顯著目標檢測和背景移除。
BASNet 出自一篇 CVPR 2019 論文《BASNet: Boundary-Aware Salient Object Detection》，關于邊界的顯著性檢測。其主要創新點在于損失函數的設計，使用了交叉熵、結構相似性損失、IoU 損失的混合損失，使網絡更關注邊界質量，而不是像以前那樣只關注區域精度。在單個 GPU 上 能跑 25 fps，在六種公開數據集上能達到 SOTA 效果。
BASNet 的架構如下圖所示：
為方便使用，項目作者制作了一個 BASNet HTTP 服務包裝器。
GitHub 地址：https://github.com/cyrildiagne/basnet-http
定位
SIFT（Scale-invariant feature transform，尺度不變的特征變換）是一種用于關鍵點檢測的算法，SIFT 算法檢測到的關鍵點通常對光線、視角等變化相當穩健，甚至受視線遮蔽的影響也不大。SIFT 算法的另外一個優點就是計算速度非常快，基本可以滿足實時運算。
SIFT 算法示例。圖源：維基百科 URL：https://en.wikipedia.org/wiki/Scale-invariant_feature_transform
該工具使用 OpenCV SIFT 找出手機在電腦屏幕上對準的位置。
項目作者將其封裝成一個小型 python 包，參見：
GitHub 地址：https://github.com/cyrildiagne/screenpoint
作者簡介
這款工具的發明者 Cyril Diagne 現居住于法國巴黎，集藝術家、設計師、程序員三種職業身份于一身，是真正的斜杠中年。
2008 年從巴黎的 Les Gobelins 影像學校畢業后，Cyril Diagne 與其他五位同學創立了藝術機構 LAB212。
同時，他也是谷歌文化研究實驗室駐巴黎藝術家和瑞士洛桑藝術設計大學媒體與交互設計的主管。
十幾年來，Cyril Diagne 一直沉迷于將新奇的數字技術與藝術設計相結合，創造奇妙的互動體驗。與此同時，他也認為這種結合會讓計算機技術更加人性化。
比如，他曾經研究出一種人臉涂鴉工具，借助 Tensorflow.js、FaceMesh 和 Three.js 即可在網頁瀏覽器上使用 AR 對臉部進行涂鴉。
還有一款可在 Instagram 個人主頁圖像上添加 3D 效果的 chrome 擴展程序，效果生成類似于 Facebook 3D 照片功能，讓 2D 照片也能呈現多角度的景象。
如果你對這樣的藝術 or 技術設計感興趣，可以在 Cyril Diagne 的 GitHub 主頁找到更多有趣的作品。
個人主頁：https://github.com/cyrildiagne
