OpenAI又迎來一位AI大將。

最近，華人科學家程博文官宣離職特斯拉，即將加入OpenAI專攻多模態模型的研究。

圖片

今天是我在特斯拉自動駕駛部門的最后一天，這一年半的經歷真的很棒：有機會與才華橫溢的同事們共事，學習了如何開發出色的產品等等。但我向通用人工智能（AGI）進發的腳步不會因此而停歇，不久后，我將加入OpenAI的后訓練（post-training）團隊，參與構建多模態模型的工作。

值得一提的是，程博文博士畢業于伊利諾伊大學厄巴納-香檳分校（UIUC），導師就是大名鼎鼎的計算機科學家Thomas Huang。

黃煦濤于2020年4月逝世

OpenAI視頻生成科學家Will Depue、技術人員Farzad Khorasani等人紛紛對他表示歡迎。

圖片

圖片

程博文是誰？

圖片

2022年，程博文正式入職特斯拉，成為自動駕駛團隊的一位資深研究科學家。

在此期間，他的主要工作重心——開發全自動駕駛（FSD）系統，包括特斯拉最新的FSD v12。

圖片

程博文曾在UIUC獲得了電氣與計算機工程（ECE）的博士學位，期間由Alexander Schwing教授和Thomas Huang教授指導（2017-2020年）。

在攻讀研究生學位之前，他于2017年在UIUC完成了電氣與計算機工程的學士學位學習。

圖片

程博文還曾在Facebook AI Research、谷歌研究院、微軟研究院和微軟亞洲研究院實習。

個人主頁中，他提到了自己的研究興趣，覆蓋了計算機視覺和機器學習。

在特斯拉，程博文將自己視為一位「全棧研究員」，不僅將最新研究成果應用于全自動駕駛技術的產品化進程中，還參與了產品開發的全周期工作，包括數據引擎、模型設計與訓練、模型集成等方面。

圖片

最近，他正致力于開發自動駕駛的端到端規劃網絡。

作為一位專注于計算機視覺和機器學習的研究者，程博文對多模態嵌入式智能體很感興趣。

具體來說，他希望打造出能夠（1）理解人類以任何形式發出的命令；（2）根據內置知識或利用工具以期望的方式執行任務并生成結果；（3）通過吸取常識知識和人類反饋進行學習的AI助手，如自動駕駛汽車、聊天機器人等。

過往項目：重點在「分割」

圖片

程博文獲得CVPR 2022 Oral的一篇論文提出了基于點的實例級注釋——是實例分割的一種新的弱監督形式。

圖片

論文地址：https://arxiv.org/abs/2104.06404

它將標準邊界框注釋與每個邊界框內均勻采樣的標記點相結合。

研究表明，為完全掩碼監督而開發的現有實例分割模型（如Mask R-CNN），可以在不做任何重大修改的情況下，通過基于點的注釋進行無縫訓練。

實驗中，在COCO、PASCAL VOC、Cityscapes和LVIS上訓練的Mask R-CNN模型，在每個對象只有10個注釋點的情況下，其完全監督性能達到了94%-98%的水平。

與比對象掩碼相比，這種基于點的注釋收集速度快約5倍，讓高質量的實例分割更容易用于新數據。

圖片

另外，受新注釋形式的啟發，研究人員還對PointRend實例分割模塊提出了修改建議。

對于每個對象，被稱為Implicit PointRend的新架構會為一個函數生成參數，該函數會進行最終的點級掩碼預測。

Implicit PointRend更為簡單明了，只需使用一個點級掩碼損失。

實驗表明，新模塊更適合基于點的監督方式。

圖片

CVPR 2022上另一篇錄用論文，也是關于圖像分割的研究。

是Maskformer算法的進階。

圖片

論文地址：https://arxiv.org/abs/2112.01527

論文中，他提出的Mask2Former在圖像分割，包括語義分割、實例分割、視頻語義分割、視頻實例分割等領域中逐漸變成了一個基礎模型。

Mask2Former的關鍵組件包括掩碼注意力，通過限制預測掩碼區域內的交叉注意力來提取局部特征。

圖片

除了將研究工作量減少至少3倍外，它在四個流行數據集上的表現還大大優于最佳專業架構。

最值得注意的是，Mask2Former在全景分割（COCO上為57.8 PQ）、實例分割（COCO上為50.1 AP）和語義分割（ADE20K上為57.7 mIoU）方面都刷新了SOTA。

而下面這篇就是Mask2Former的前身MaskFormer，被NeurIPS 2021 Spotlight錄用。

圖片

論文地址：https://arxiv.org/abs/2107.06278

在作者看來，傳統的逐像素分類的方法不足以通用。

為此全新提出的MaskFormer，是一種簡單的掩碼分類模型，可預測一組二進制掩碼，每個掩碼都與單個全局類標簽預測相關聯。

圖片

他們所提出的基于掩碼分類的方法，簡化了語義和全景分割任務的有效方法。

特別是，研究人員觀察到，當類別數量較多時，MaskFormer的表現優于按像素分類的基準方法。

具體來說，MaskFormer基于掩碼分類的方法優于最先進的語義分割模型（在ADE20K上為55.6 mIoU）和全景分割模型（在COCO上為52.7 PQ）。

圖片

程博文在CVPR 2020上，拿下的兩篇論文，都得到了黃煦濤的指導。

圖片

論文地址：https://arxiv.org/abs/1911.10194

這篇論文介紹了Panoptic-DeepLab——一個簡單、強大、快速的全景分割系統。

旨在為自下而上的方法建立一個堅實的基線，在獲得快速推理速度的同時，實現與兩階段方法相當的性能。

圖片

還有一篇提出了HigherHRNet，一種全新的自下而上的人體姿勢估計方法，用于使用高分辨率特征金字塔學習尺度感知表示。

圖片

論文地址：https://arxiv.org/abs/1908.10357

圖片

參考資料：

https://twitter.com/bowenc0221/status/1766339742818533636