這只螞蟻能拍照！普林斯頓造出微米級相機，個頭縮小到50萬分之一
近日，普林斯頓的研究人員提出了世界上第一個高質量的微米級光學成像裝置「Neural Nano-Optics」，并登上Nature Communications。成像效果和體積大50萬倍的相機鏡頭相比，在不少場景下可以做到旗鼓相當！
快看，一朵湛藍色的花朵正在緩緩綻放，層層花瓣像是海洋的波浪。
另一朵紫色的花綻放的瞬間，也美不勝收。
但是，這些畫面真正的驚艷之處卻并不在于花朵，而在于拍攝它們的相機鏡頭。
那鏡頭放在手上，是這樣的。
一個極小極小的正方形小薄片，邊長大概也就是幾條指紋的寬度！
還有更夸張的。
傳統的光學鏡頭，比如蘋果的iPhone X，后置鏡頭是長這樣的。
拉近點看，一個后置鏡頭之中，其實疊放了好幾層透鏡。
所以這種大尺寸的光學元件必然會很重，而且還會擠占不少面積。
要不，用這個正方形小薄片和搭載大體積復合折射透鏡的傳統相機比上一比？
結果非常amazing啊！
在微觀拍攝上，這個小小的薄片對物體的還原度居然不遜于一堆透鏡疊在一起，甚至畫面還要更明亮一些。
在廣角的拍攝上，這個小薄片最終還是沒能敵過大尺寸的傳統相機，不過建筑的輪廓倒也還原得七七八八。
這個小薄片名叫「Neural Nano-Optics」，學名「metasurface optics」，意為超構表面光學器件。
有沒有看到中間拿一圈白色的部分，沒錯，這個就是成像裝置。
只有一粒粗鹽的大小哦！
成像效果的話，研究人員表示，「Neural Nano-Optics」和體積大50萬倍的Edmund Optics 50mm F2.0鏡頭在不少場景下可以做到旗鼓相當（不是我說的，是原文說的on par with）。
小小相機有多神？
近幾十年來，感光元件的小型化使得相機得以被應用于非常多的領域，包括醫療成像、智能手機、機器人和自動駕駛。
然而，如果光學成像器可以比現在再小一個數量級的話，那么它就可以在納米機器人、體內成像、增強現實/虛擬現實和健康監測方面開辟許多新的應用。
近日，普林斯頓的研究人員提出了世界第一個高質量的超小型光學成像裝置「Neural Nano-Optics」，并發表在了Nature Communications上。
這個相機擁有全色（400至700納米）覆蓋、40度的寬視野成像，以及F2.0的光圈。
論文地址：https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf
項目地址：https://github.com/princeton-computational-imaging/Neural_Nano-Optics
「Neural Nano-Optics」優于現有的所有最先進的超構表面透鏡設計，并且是世界第一個實現高質量、寬視野彩色成像的超構表面光學成像器。
超構表面（metasurface）是一種厚度小于波長的超薄人工結構，它可實現對電磁波偏振、振幅、相位、極化方式、傳播模式等特性的靈活有效調控。
通常，傳統光學元件的物理尺寸很大。
這是因為傳統鏡頭是通過使光波發生彎曲來工作的。當光波穿過鏡頭時，它在鏡頭的不同部分會以不同的角度發生折射。
一般來講，工程師會將多個單獨的鏡頭堆疊在一起（稱為復合鏡頭），以特定的方式引導和控制光線。
典型的凸（會聚）鏡頭使光波彎曲以在焦點處匯合（來源：Mini Physics）
由于傳統的成像系統必須由一系列矯正像差的折射元件組成，這些笨重的鏡頭必然使得相機的限制較大。
傳統成像另一個大的障礙是難以減小焦距，因為這會導致更大的色差。
而超構表面光學器件通過其不同的自身結構與光相互作用，用一層極薄的平面結構就可以達到同等的效果。
鏡頭縮小的問題是解決了，那傳感器呢？
其實，亞微米像素的光學傳感器早已存在，但是其成像效果卻被傳統光學的理論所限制。
所以，單單把傳感器做小并不能完全解決問題。由于受到孔徑和光圈的限制，現有的亞微米像素的傳感器取得的圖像質量遠不如大型的光學相機。
那普林斯頓的研究人員是怎么攻破這一難點的呢？
答案還得是AI！
在這項工作中，作者提出的Neural Nano-Optics，表面只是一個小成像裝置，但其背后卻有一個完全可微的深度學習框架，結合基于神經特征的圖像重建算法，進而學習超構表面的物理結構，實現了比SOTA低一個數量級的重建誤差。
超構表面代理模型
作者通過使用一個高效的可微分代理函數進行學習，該函數將相位值映射到空間變化的PSF（PSF是point spread function的簡稱，即點擴散函數）。
文章所提出的可微分超構表面圖像形成模型（圖e）是由可微分張量運算的三個連續階段組成：超表面相位確定、PSF模擬并進行卷積以及傳感器噪聲。
在他們的模型中，決定超表面相位的多項式系數是可優化的變量。
可優化的超表面相位函數ϕ，以距光軸的距離r作為自變量，寫成函數如下：
其中{a0，…an}為可優化系數，R為相位掩膜半徑，n為多項式項數。
在這個相位函數的基礎上優化超表面，而不是以逐像素的方式來優化，其目的是避免局部極小值出現。
這種可微分方法Neural Nano-Optics與可選的前向模擬方法（如時域有限差分模擬）進行比較時，兩者精度是近似的，但可微分方法Neural Nano-Optics比FTDT等全波模擬方法的效率高3000倍，并且更節省內存。
除這些之外，可微分框架Neural Nano-Optics還有幾個技術亮點。
基于特征的反卷積
為了從測量數據中恢復圖像，作者提出了一種基于特征的神經反卷積方法，它結合了已學習的先驗知識，可以推廣到沒見過的測試數據。
具體來說，該方法采用了一個可微分逆濾波器和神經網絡進行特征提取和細化。這種方法能夠學習有效的特征，從而利用功率譜的知識來提升基于物理的反卷積能力，從而提高泛化能力。
在形式上，特征傳播反卷積網絡執行以下操作:
從結果看，特征傳播反卷積網絡的重建能力相對之前的方法有了質的飛躍。
端到端學習
有了超表面代理和神經反卷積模型，以及一個完全可微的成像管道，就可以用端到端的方式設計納米相機了。
可微分框架Neural Nano-Optics的學習方法和相應的優化流程
Neural Nano-Optics的端到端訓練優化過程是這樣的。
訓練優化示意圖
訓練好之后，使用Neural Nano-Optics系統，可以得到高質量的全色圖像。
與現有的最先進的設計相比，Neural Nano-Optics可以生成高質量的寬FOV重建圖像
色差消除(DLAC)
以前的超構光學透鏡沒有一個能同時集齊大孔徑、寬視場、小f-number和大帶寬四個特性。
經過優化的超光學設計，讓這個超小型相機達到了前所未有的水平，能夠在寬闊的視野上捕捉全色圖像，并且實現了最大500微米的孔徑，也是目前最大的超構光學透鏡，可以增加光收集量。
為了正式量化設計規格，研究人員提出了一種新的度量標準，稱為衍射透鏡色差消除能力（DLAC）。
Neural Nano-Optics再次取得了一騎絕塵的好成績，以250 DLAC的成績排名第一。
Neural Nano-Optics應用
Neural Nano-Optics的出現有可能會使相機、顯示器以及其他光學設備發生革命性改變。
一些令人興奮的潛在應用包括：
- AR/VR/MR—XR系統開發人員目前仍在努力解決將大型硬件系統集成到頭戴式設備中的挑戰。Neural Nano-Optics讓我們看到了將微型光學元件集成到小型高性能輕質頭戴式設備和智能眼鏡中的希望。
- 醫學—Neural Nano-Optics的增強光學功能可以實現比以往更精確的診斷成像、也可以搭載在更高分辨率的成像工具（比如內窺鏡）和新的顯微鏡上，從而使放射科醫生、內科醫生和實驗室技術人員能夠看到以前不可見的細節。
