Github大盤點！2021年最驚艷的38篇AI論文
2021年是人工智能繼續突飛猛進的一年。近日，Github上有人總結出了今年最有趣、最驚艷的38篇關于AI和機器學習論文，值得收藏。
1、Zero-Shot Text-to-Image Generation
??https://arxiv.org/pdf/2102.12092.pdf??
文本到圖像的生成傳統上側重于為固定數據集的訓練尋找更好的建模假設。本文描述了一種基于Transformer的簡單方法來完成此任務，將文本和圖像標記自回歸建模為單個數據流。憑借足夠的數據和規模，當以零樣本方式進行評估時，我們的方法與以前的特定領域模型相比具有競爭力。
2、VOGUE: Try-On by StyleGAN Interpolation Optimization
??https://vogue-try-on.github.io/static_files/resources/VOGUE-virtual-try-on.pdf??
給定目標人物的圖像和穿著服裝的另一個人的圖像，我們會自動生成給定服裝中的目標人物。我們方法的核心是姿勢條件 StyleGAN2 潛在空間插值，它無縫地結合了每個圖像的興趣區域，即體型、頭發和膚色來自目標人物，而帶有褶皺的服裝 、材料屬性和形狀來自服裝圖像。
3、Taming Transformers for High-Resolution Image Synthesis
??https://compvis.github.io/taming-transformers/??
本文將 GAN 和卷積方法的效率與Transformer的表達能力相結合，為語義引導的高質量圖像合成提供了一種強大且省時的方法。
4、Thinking Fast And Slow in AI
??https://arxiv.org/abs/2010.06002??
本文從人類能力中汲取靈感，提出了走向更通用和更值得信賴的人工智能（AGI）和人工智能研究社區的 10 個問題。
5、Automatic detection and quantification of floating marine macro-litter in aerial images
??https://doi.org/10.1016/j.envpol.2021.116490??
來自巴塞羅那大學的研究人員開發了一種基于深度學習的算法，能夠從航拍圖像中檢測和量化漂浮的垃圾。他們還制作了一個面向網絡的應用程序，允許用戶在海面圖像中識別這些垃圾。
6、ShaRF: Shape-conditioned Radiance Fields from a Single View
??https://arxiv.org/abs/2102.08860??
試想一下，如果只拍攝對象的照片并將其以 3D 格式插入到您正在創建的電影或視頻游戲中，或者插入到 3D 場景中進行插圖，那該有多酷。
7、Generative Adversarial Transformers
??https://arxiv.org/pdf/2103.01209.pdf??
本文利用了強大的 StyleGAN2 架構中Transformer的注意力機制，使其更加強大！
8、We Asked Artificial Intelligence to Create Dating Profiles. Would You Swipe Right?
??https://studyonline.unsw.edu.au/blog/ai-generated-dating-profile??
你會在 AI 的個人資料頁面上仔細查看嗎？你能區分真人與機器嗎？這項研究揭示了在約會應用程序上使用AI，會發生什么事情。
9、Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
??https://arxiv.org/abs/2103.14030v1??
Transformers 會取代計算機視覺中的 CNN 嗎？在不到 5 分鐘的時間內，你就可以通過這篇關于 Swin Transformer 的新論文，了解如何將 Transformer 架構應用于計算機視覺任務。
10、IMAGE GANS MEET DIFFERENTIABLE RENDERING FOR INVERSE GRAPHICS AND INTERPRETABLE 3D NEURAL RENDERING
??https://arxiv.org/pdf/2010.09125.pdf??
本文提出了名為 GANverse3D 的模型，只需要一張圖像，就可以創建可以自定義和動畫的 3D 圖像。
11、Deep nets: What have they ever done for vision?
??https://arxiv.org/abs/1805.04025??
本文將公開分享有關用于視覺應用的深度網絡、它的成功之處，以及我們必須解決的局限性等一切內容。
12、Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image
??https://arxiv.org/pdf/2012.09855.pdf??
視圖合成的下一步，就是永久視圖生成，目標是創造出一張能夠飛入其中的圖片，還能在圖像內的美景進行探索！
13、Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control
??https://arxiv.org/abs/2103.13452??
本文提出了一種由人工智能驅動的神經接口，截肢患者可以以栩栩如生的靈巧和直覺來控制神經假肢。
14、Total Relighting: Learning to Relight Portraits for Background Replacement
??https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf??
你有沒有想過改變圖片的背景，但讓它看起來很逼真？這并不簡單。你不能只是在家里拍一張自己的照片，然后換成海灘背景。圖片看起來會很假，任何人都會馬上看出「這是PS的」。本文提出的方法可能會完美解決這個問題。
15、LASR: Learning Articulated Shape Reconstruction from a Monocular Video
本文提出一種方法，可以僅以短視頻作為輸入，生成人類或動物移動的 3D 模型。事實上，模型實際上明白，生成的目標是一個奇怪的形狀，可以移動，但仍然需要和原視頻保持附著，因為這仍然是「一個目標」，而不僅僅是多目標的集合。
16、Enhancing Photorealism Enhancement
??http://vladlen.info/papers/EPE.pdf??
本文中，英特爾的研究人員提出一個 AI模型，可實時應用于視頻游戲，并讓每一幀圖像看起來更自然。
如果你認為這「只是另一個 GAN」，將視頻游戲的圖片作為輸入，并按照自然世界的風格對其進行修改，其實并非如此。你可以在游戲圖形上花費更少的精力，使其穩定和完整，然后使用此模型改進圖形風格。
17、DefakeHop: A Light-Weight High-Performance Deepfake Detector
??https://arxiv.org/abs/2103.06929??
如何在 2021 年準確識別Deepfake假視頻？這篇新論文可能會提供答案。可能是「再次使用人工智能」。以后，「眼見為實」可能很快就會變成「AI說真才是真」。
18、High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network
??https://arxiv.org/pdf/2105.09188.pdf??
本文提出一種基于機器學習的新方法，實時將任何樣式的圖像翻譯成指定風格的 4K 圖像！
19、Barbershop: GAN-based Image Compositing using Segmentation Masks
??https://arxiv.org/pdf/2106.01505.pdf??
這篇文章本身并不是一項新技術，而是關于 GAN 的一個令人興奮的新應用。這個 AI 可以改變你的發型，看看改變前后的對比吧。
20、TextStyleBrush: Transfer of text aesthetics from a single example
??https://arxiv.org/abs/2106.08385??
2021年，在異國旅行的你走進一家餐館，面對看不懂的菜單，你甚至不需要打開谷歌翻譯，只要簡單地使用 Facebook AI 的這篇文章中的新模型，就可以翻譯菜單圖像中的每個文字。
21、Animating Pictures with Eulerian Motion Fields
??https://arxiv.org/abs/2011.15128??
本文中的AI模型拍攝一張照片，了解哪些粒子應該在移動，并將圖片轉換為無限循環的動畫，同時完全保留圖片的其余部分，創建出逼真的視頻。
22、CVPR 2021最佳論文獎: GIRAFFE - Controllable Image Generation
??http://www.cvlibs.net/publications/Niemeyer2021CVPR.pdf??
本文使用修改后的 GAN 架構，可以在不影響背景或其他目標的情況下移動圖像中的目標。
23、GitHub Copilot & Codex: Evaluating Large Language Models Trained on Code
??https://arxiv.org/pdf/2107.03374.pdf??
OpenAI 的這個新模型，可以從單詞生成代碼。
24、Apple: Recognizing People in Photos Through Private On-Device Machine Learning
??https://machinelearning.apple.com/research/recognizing-people-photos??
蘋果使用在您的設備上多種基于機器學習的算法，讓用戶在 iOS 15 上實現準確規劃和組織自己的圖像和視頻。
25、Image Synthesis and Editing with Stochastic Differential Equations
??https://arxiv.org/pdf/2108.01073.pdf??
是時候告別復雜的 GAN 和用于圖像生成的Transformer架構了！來自斯坦福大學和卡內基梅隆大學的研究人員可以從任何基于用戶的輸入中生成新圖像。即使是毫無藝術基礎的人，現在也可以從草圖中生成漂亮的圖像。
26、Sketch Your Own GAN
??https://arxiv.org/abs/2108.02774??
通過按照草圖生成圖像，讓每個人都可以更輕松地進行 GAN 訓練！事實上，借助這種新方法，您可以根據最簡單的知識類型來控制 GAN 的輸出：手繪草圖。
27、Tesla's Autopilot Explained
??https://www.louisbouchard.ai/tesla-autopilot-explained-tesla-ai-day/??
本文中，特斯拉人工智能總監安德烈·卡帕西等人展示了特斯拉的自動駕駛系統是如何通過他們的八個攝像頭采集圖像，實現道路上導航。
28、Styleclip: Text-driven manipulation of StyleGAN imagery
??https://arxiv.org/abs/2103.17249??
AI 可以生成圖像，通過反復試驗，研究人員可以按照特定的樣式控制生成結果。現在，有了這個新模型，只使用文本就能做到這一點！
29、Time Lens: Event-based Video Frame Interpolation
??http://rpg.ifi.uzh.ch/docs/CVPR21_Gehrig.pdf??
TimeLens 模型可以理解視頻幀之間的粒子運動，以人眼無法捕捉的速度重建視頻。事實上，本文中的模型效果達到了目前智能手機都無法達到的效果。
30、Diverse Generation from a Single Video Made Possible
??https://arxiv.org/abs/2109.08591??
你有沒有想過編輯視頻？比如刪除或添加某人、更改背景、更改分辨率以適應特定的縱橫比，無需對原視頻進行壓縮或拉伸它。本文中的這項新研究。可以幫助你在單個視頻中以高清格式完成所有這些工作。
31、Skillful Precipitation Nowcasting using Deep Generative Models of Radar
??https://www.nature.com/articles/s41586-021-03854-z??
DeepMind 剛剛發布了一個生成模型，能夠在 89% 的情況下優于廣泛使用的臨近預報方法，其準確性和實用性通過了 50 多位氣象學家的評估！這個模型專注于預測未來 2 小時內的降水，實現效果出奇地好。
32、The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
??https://arxiv.org/pdf/2110.09958.pdf??
你是否曾在收看視頻或電視節目時完全聽不見演員的聲音，或者音樂太大聲？嗯，這個問題可能永遠不會再發生了。三菱和印第安納大學剛剛發布了一個新模型和一個新數據集，用于識別并處理關于視頻配樂聲音的問題。
33、ADOP: Approximate Differentiable One-Pixel Point Rendering
??https://arxiv.org/pdf/2110.06635.pdf??
想象一下，從拍攝的一堆照片中生成一個 3D 模型或一段簡單流暢的視頻。現在，這個目標可以實現了。
34、(Style)CLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis
??https://arxiv.org/abs/2111.03133??
只需要拍一張你要復制樣式的圖片，再輸入你要生成的文字，本文中的算法就會自動生成一張新的圖片。
35、SwinIR: Image restoration using swin transformer
??https://arxiv.org/abs/2108.10257??
您是否曾經拍下過非常喜歡的圖像，但現在只有一張小圖了？如果能把它的清晰度提高四到八倍該有多好。本文中的方法可以將圖像的分辨率提高4倍，使其看起來更加平滑。而且可以在幾秒鐘內自動完成，幾乎適用于任何圖像。
36、EditGAN: High-Precision Semantic Image Editing
??https://arxiv.org/abs/2111.03186??
本文中的圖像編輯工具可以從草稿中控制任何特征，只會編輯你想要的內容，保持圖像的其余部分不變。這是一款NVIDIA、MIT 和 UofT 提出的基于 GAN 的草圖模型的 SOTA 圖像編輯工具。
37、CityNeRF: Building NeRF at City Scale
??https://arxiv.org/pdf/2112.05504.pdf??
本文中的模型稱為 CityNeRF，是從 NeRF 發展而來的。NeRF 是最早使用輻射場和機器學習從圖像構建 3D 模型的模型之一。但效率不高，而且只適用于單一規模。本文中，CityNeRF可同時應用于衛星和地面圖像，為任何視點生成各種 3D 模型比例。
38、ClipCap: CLIP Prefix for Image Captioning
??https://arxiv.org/abs/2111.09734??
CLIP 是一種將圖像與文本作為指南鏈接的模型。一個非常相似的任務稱為圖像字幕，聽起來很簡單，但實際上也同樣復雜。它體現了機器生成圖像自然描述的能力。簡單標記您在圖像中看到的對象很容易，但理解單個二維圖片則是另一回事，這個新模型做得非常好。
