2020年在緊張的防疫工作中悄然過去。這一年，人工智能卻從來沒有停下前進的腳步。

這一年人工智能行業有哪些新進展？為全球疫情做了哪些貢獻？明年趨勢又將如何？數據科學社區Analytics Vidhya對此進行了總結。

報告認為，2020年是巨大飛躍的一年。從OpenAI的GPT-3，再到AlphaFold，都是令人振奮的成就。與此同時，數據科學在機器學習、自然語言處理（NLP）、計算機視覺等領域中蓬勃發展。

[[373598]]

一起來逐一盤點2020的哪些突破性的技術吧：

自然語言處理（NLP）
最大語言模型GPT-3

今年2月微軟才發布全球最大的深度學習模型，擁有170億參數的Turing NLP，幾個月之后它就被GPT-3遠遠地超越了。

GPT-3是一個具有1750億參數的自然語言深度學習模型，它還收集了Common Crawlhe和Wikipedia的數據集，數據集總量是之前發布的GPT-2的116倍，是迄今為止最大的訓練模型。

[[373599]]

作為GPT-2的升級版，它們功能上有什么異同呢？

雖然都是基于Transformer的，修改初始化、預規范化、可逆標記化性能也都是一樣的。

但是T它們的ransformer類型不同，GPT-3使用了一種類似于稀疏Transformer的東西，在各層中運用了交替密集、局部帶狀的稀疏注意模式。

GPT-3還完美地彌補了BERT的兩個不足之處，它既不用對領域內標記的數據過分依賴，也不會對領域數據分布過擬合。

這個強大的語言模型，不僅能夠答題、翻譯、算數、完成推理任務、替換同義詞等。它還能夠撰寫新聞，寫出來的新聞有理有據，難辨真假。

這么強大的GPT-3，普通的用戶應該怎么使用？

OpenAI以付費的形式開放了API，只要通過一個“文本輸入、文本輸出”的接口，就可以訪問他們的GPT-3模型。

它的相關論文入選了NeurIPS2020最佳論文。

論文地址：
https://arxiv.org/abs/2005.14165
項目地址：
https://github.com/openai/gpt-3
參考鏈接：
https://openai.com/blog/openai-api/

最大聊天機器人BlenderBot

BlenderBot是Facebook開源的94億參數聊天機器人。

Facebook宣稱，BlenderBot比Google的Meena更好，它是Facebook多年研究的成果，具有包括同情心、知識和個性在內的多種會話技巧的組合。

根據人類評估者的看法，BlenderBot在參與度方面優于其他模型，并且感覺更人性化。

這個聊天機器人包含94億個參數，具有改進的解碼技術，新穎的技能融合，是之前最大的聊天機器人系統的3.6倍。

官方博客：

https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/

項目地址：
https://parl.ai/projects/recipes/

計算機視覺
目標檢測模型DETR

DETR是使用Transformer的端到端目標檢測模型。

與傳統的計算機視覺模型不同，DETR將目標檢測問題作為NLP模型中的預測問題來解決。

Facebook聲稱DETR是“一種重要的目標檢測和全景分割新方法”。它包括一個基于集合的全局損失，該損失使用二分匹配以及一個Transformer編碼器-解碼器體系結構來強制進行唯一的預測。

與以前的物體檢測系統相比，DETR的體系結構完全不同。它是第一個成功集成Transformer作為檢測pipeline的中心組建模塊的目標檢測框架。

DETR通過最先進的方法實現性能均衡，同時完全簡化了體系結構。

官方博客：
https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers

源代碼：
https://github.com/facebookresearch/detr

語義分割模型FasterSEG

FasterSEG不僅有著出色的性能，也有著最快的速度。它是一個實時語義分割網絡模型。

眾所周知，語義分割可以精確到對圖像的像素單位進行標注。

但隨著時代發展，圖像的分辨率越來越高。

這里，FasterSeg采用神經架構搜索（NAS）的方式，使之可以被應用到更新穎的、更廣泛的搜索空間，解決不同分辨率的圖像問題。

它還提出了一種解耦和細粒度的延遲正則化的處理方式，這種方法，在提高準確度的同時，也能夠提高速率，從而緩解“架構崩潰”問題。

通過實驗發現，FasterSeg在保持了準確度的同時，運行速度比Cityscapes快了30%多。

關于FasterSeg的論文被發表在ICLR 2020上。

論文地址：
https://arxiv.org/abs/1912.10917
項目地址：
https://github.com/VITA-Group/FasterSeg

EfficientDet-D7

EfficientNet-D7主要用于CV領域上的邊緣設備，使之更加高效便利。

它由谷歌基于AutoML開發，在COCO對象檢測任務上達到了SOTA水平。

它需要的模型參數比同類產品少4-9倍，在GPU上的運行速度則比其他檢測器快5-11倍。

其作者是來自谷歌大腦的工程師Mingxing Tan和首席科學家Quoc V. Le。

它的相關論文被CVPR 2020采用。

論文地址：
https://arxiv.org/abs/1911.09070

項目地址：
https://github.com/google/automl/tree/master/efficientdet

Detectron2

這項超強PyTorch目標檢測庫來自Facebook。

比起初代Detectron，它訓練比之前更快，功能比之前更全，支持的模型也比之前前更豐富，還一度登上GitHub熱榜第一。

實際上，Detectron2是對初代Detectron的完全重寫：初代是在Caffe2里實現的，而為了更快地迭代模型設計和實驗，Detectron2是在PyTorch里從零開始寫成的。

并且，Detectron2實現了模塊化，用戶可以把自己定制的模塊實現，加到一個目標檢測系統的任何部分里去。

這意味著許多的新研究，都能用幾百行代碼寫成，并且可以把新實現的部分，跟核心Detectron2庫完全分開。

Detectron2在一代所有可用模型的基礎上（Faster R-CNN，Mask R-CNN，RetinaNet，DensePose），還加入了了Cascade R-NN，Panoptic FPN，以及TensorMask等新模型。

開源地址：
https://github.com/facebookresearch/detectron2

DeepMind的AlphaFold解決蛋白質折疊問題

谷歌旗下人工智能技術公司 DeepMind 提出的深度學習算法「AlphaFold」，破解了困擾生物學家五十年之久的蛋白質分子折疊問題。

AlphaFold還能夠準確判斷出蛋白質結構中的哪一個部分更重要。

Nature、Science爭先報道這項科技成果，科技大佬們也紛紛發來賀電。

Alphafold實現了在生物學上的重大突破，成為了CV和ML領域的里程碑，被稱作是：“生物界的ImageNet時刻”。

在這個算法中，科學家將蛋白質的折疊形狀看作一個“空間圖”，用殘基（residue）來表示它們之間的節點。由此創建了一個注意神經網絡系統，進行端與端之間的訓練，探索出蛋白質的具體結構。

為了訓練好這個算法，Alphafold采用了具有17萬個蛋白質結構的數據庫，使用約128個 TPUv3 內核（相當于 100-200 個 GPU）運行數周，算法的效率較高。

這項研究成果的影響深遠。哥倫比亞生物學家Mohammed AlQuraishi 在 Nature 文章中說道：

這對蛋白質結構預測領域影響深大，是一流的科學突破，也是我畢生追求的科學成果。

開源代碼：
https://github.com/deepmind/deepmind-research/tree/master/alphafold_casp13
論文地址：
https://www.biorxiv.org/content/10.1101/846279v1.full.pdf

強化學習
Agent57得分高于人類baseline

Agent57是由DeepMind開發的，在Atari測試集中的2600場游戲比賽中，它的成績都高于人類平均水平。

[[373600]]

它還創造了57種不同的Atari視頻游戲的評估機制。由于這些評估機制要求RL智能體要掌握的東西太多了，因此，很少有RL算法能夠實現。

Agent57在其Arcade學習環境中(ALE)環境中采用了RL、模型學習、基于模型的訓練、模仿學習、遷移學習和內推力等一系列方法。

它提供的Atari2600游戲環境接口，使人類玩家能接受更豐富的人機挑戰。

在游戲方面，Agent57毋庸置疑成為最強的RL智能體。

其研究論文發表在了《人工智能研究雜志》上。

論文地址：
https://arxiv.org/abs/1207.4708f

機器學習運維興起
MLOps（Machine learining Operations）是數據科學領域中一個相對較新的概念。類似于DevOps（Development和Operations組合詞），簡單來說，就是機器學習方面的DevOps。

如果說DevOps是為IT開發者服務，解決了開發者將項目交給IT運營部門實施和維護的問題。

那么，MLOps就為數據科學家、ML工程師提供服務，使他們轉向協同工作，提高工作效率。

它擁有一套完整的行為策略方式，用來解決ML和AI在運行周期內遇到的各種問題。

在增長最快的GitHub項目Top-20中有5個是機器學習運維工具。

這表明整個AI行業正在從“如何開發模型”轉向“如何運維模型”的趨勢。

參考鏈接：
https://nealanalytics.com/expertise/mlops/
開源地址：
https://github.com/microsoft/MLOps

AI對抗新冠病毒
世界衛生組織列出了對抗新冠病毒的9大研究方向。

美國白宮邀請Kaggle參與其中，發起NLP挑戰，找到這9大關鍵問題的答案。

在Kaggle上，包含20萬篇學術文章的新冠數據集，免費提供給世界各地的NLP研究和AI研究，希望全世界AI學者，能夠科技手段，促進解決新冠病毒問題。

數據集由白宮科學技術政策辦公室協調策劃，艾倫AI研究所、扎克伯格基金會、喬治城大學安全與新興技術中心、微軟研究院、IBM等多家科技巨頭都有參與貢獻。

Kaggle還發動了一個預測比賽。預測全球不同地區感染新冠肺炎、死亡人數等。并且將預測的數據與實際數據對比，形成一個數據預測模型。

假如預測模型足夠好，就可以緩解新冠肺炎帶來的醫療資源稀缺問題。

新冠病毒九大研究方向：

https://www.who.int/blueprint/priority-diseases/key-action/Global_Research_Forum_FINAL_VERSION_for_web_14_feb_2020.pdf?ua=1
新冠數據集：
https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge/

展望2021年的機器學習
從NLP到計算機視覺，在從強化學習到機器學習運維。所有人見證了AI領域的進步，也期待AI能夠為全球疫情提供力量。

科技仍在進步，2021年又會發生什么樣的變化呢？

Analytics Vidhya預測了一下2021年的一些關鍵趨勢：

1、2021年數據科學領域的工作機會將繼續增加。因為數據爆炸和消費習慣的改變，數據科學將會扮演越來越重要角色。同時，傳統的制造業、采礦業也需要對數據進行分析。

2、Facebook的PyTorch使用率將超過Google的TensorFlow。機器學習框架之戰有兩個主要競爭者：PyTorch和TensorFlow。分析表明，研究人員正在逐漸放棄TensorFlow，大量使用PyTorch。

3、Python在2021年將更加流行。毋庸置疑，Python是當前最受歡迎的語言。為了鞏固它的地位，在10月時候，它推出了Python 3.9，提升性能。目前，Python 3.10現在正在開發中，預計2021年初發布。

4、基于前疫情時代數據的模型有效性將下降。疫情導致全球的消費習慣發生了改變，前疫情時代的數據模型有效性在逐漸下降。在后疫情時代，誰能抓住這些新的消費模式特征，誰就能取得成功。

5、數據市場將持續上升。新冠疫情改變了全球的消費行為和市場游戲規則，這意味著多樣化、全新的數據集正在產生，將創造更大的價值。