開源！港中文、MIT、復旦提出首個RNA基石模型

作者：機器之心 2022-07-17 13:07:26

本文中 RNA-FM 模型的出現一定程度上緩解了 RNA 帶標注數據緊張的現狀，為其他研究者提供了訪問大批量無標簽數據的便捷接口。并且，該模型將以 RNA 領域基礎模型的身份，為該領域的各種各樣的研究提供強有力的支援與幫助。

不同于蛋白質領域，RNA 領域的研究往往缺少充足的標注數據，比如 3D 數據只有 1000 多個 RNA。這極大限制了機器學習方法在 RNA 結構功能預測任務中的開發。

為了彌補標注數據的不足，本文展示了一項可為 RNA 各類研究提供豐富結構功能知識的基石模型 ——RNA foundation model (RNA-FM)。作為全球首個基于 23 million 的無標簽 RNA 序列通過無監督方式訓練得到的 RNA 基石模型，RNA-FM 挖掘出了 RNA 序列中蘊含的進化和結構模式。

值得注意的是，RNA-FM 僅需要配比簡單的下游模型，或是僅提供 embedding，就能夠在很多下游任務中獲得遠超 SOTA 的表現，比如在二級結構預測中可以提升 20%，距離圖預測可以提升 30%。大規模的實驗證明，該模型具有極強的泛化性，甚至可以用于 COVID-19 以及 mRNA 的調控片段。

論文預印本：https://arxiv.org/abs/2204.00300
代碼和模型：https://github.com/ml4bio/RNA-FM
Server: https://proj.cse.cuhk.edu.hk/rnafm

引言

近年來，基于深度學習的生物計算方法在蛋白質領域取得了突破性的進展，其中最著名的里程碑當屬谷歌 DeepMind 團隊研發的端到端蛋白質 3D 結構預測框架 AlphaFold2。然而蛋白質只是諸多生物分子的一種，基因（DNA/RNA）作為蛋白質的產生源頭，其相比于后者蘊含了更多的基礎信息，有著更重要的研究價值。

一般而言，蛋白質是由用于編碼（coding）的 RNA，也就是 mRNA，翻譯得到的產物，一段固定的 mRNA 可以翻譯為一段固定的蛋白質序列。而實際上這部分用于編碼的 RNA 只占所有 RNA 序列的 2%，剩下的 98% 是非編碼 RNA（non-coding RNA，ncRNA）。雖然 ncRNA 并不直接 “翻譯” 成蛋白質，但是他們會折疊成具有特定功能的三級結構，在 mRNA 的翻譯過程中或是其他生物機能中起到調控的作用。因此，分析 ncRNA 的結構以及功能是比蛋白質分析更為基礎，也更為復雜的研究。

不過相比于計算方法較為成熟的蛋白質領域，目前基于 RNA 的結構和功能預測還處于初期，而原本適用于蛋白領域的計算方法也很難直接遷移到 RNA 領域。限制這些計算方法的主要是 RNA 數據的標注通常獲取很難，需要耗費很多的實驗資源和時間才能完成少量數據的標注，而計算方法大多又需要大量的標注數據進行監督才能發揮高性能。雖然有標注的數據不多，但 RNA 領域其實也積累了很多的無標注序列數據。本文的方法便是利用這些無標簽的數據為各種下游任務提供額外的有效信息。

基于這種考慮，港中文、MIT、復旦及上海人工智能實驗室團隊提出了一個以無監督方式在 23million 的無標簽純 RNA 序列上訓練的基石模型RNA foundation model (RNA-FM)。雖然數據在訓練過程中沒有提供標注信息，但是 RNA-FM 仍以無監督的方式挖掘出了這些 RNA 序列蘊含著的進化和結構模式。

如果能夠有效地將 RNA-FM 應用于下游的 RNA 結構和功能預測任務中，這些計算方法必將受益于 RNA-FM 歸納得到的知識，進而實現性能表現上的提升。RNA-FM 的上游預訓練以及下游的遷移和應用框架如下圖所示。

研究概覽

為了確認預訓練的 RNA-FM 是否從大量的無標簽數據中學到了 “知識” 以及學到了怎樣的 “知識”，文章對 embedding 進行了一系列的分析。

首先是直接通過 UMAP 對各種特征進行簡單聚類比較，發現來自預訓練 RNA-FM 的 embedding 比其他 embedding 形成了具有更加明顯的 RNA 種類聚落。這意味著 RNA-FM 的 embedding 確實包含了用于區分 RNA 種類的結構或功能信息。

接著，文章還利用軌跡推斷（Trajectory inference）通過 RNA-FM embedding 去預測來自不同物種的 lncRNA 的演化。從下圖 streamplot 上看，預測的物種之間演化的偽時間大致與真實的物種演化信息一致，說明 RNA-FM embedding 還包含一部分進化信息。

值得注意的是，無論是 RNA 種類的群落信息還是 lncRNA 的演化信息，RNA-FM 在訓練中都沒有直接接觸過這些的標簽。RNA-FM 完全是以自監督的方式僅從純序列中發掘出了與結構、功能以及演化相關的模式。

結論

總的來說，該文章以無標簽的 RNA 序列數據預訓練語言模型 RNA-FM，并通過直接或間接的方式，在結構或功能等一系列不同的任務上進行全面的驗證，證明了 RNA-FM 確實可以有效地提升計算方法在下游任務中的表現。

RNA-FM 的出現一定程度上緩解了 RNA 帶標注數據緊張的現狀，為其他研究者提供了便捷的訪問大批量的無標簽數據的接口，其將以 RNA 領域基礎模型的身份，為該領域的各種各樣的研究提供強有力的支援與幫助。

作者簡介

本文有兩個共同第一作者。陳佳陽，香港中文大學研究助理。胡智航，香港中文大學在讀博士生。

本文有兩位通訊作者。孫思琦，復旦大學智能復雜體系實驗室和上海人工智能實驗室青年研究員，主頁 https://intersun.github.io。

李煜，香港中文大學助理教授，MIT James Collins Lab 訪問助理教授，Broad Institute of MIT and Harvard 研究科學家，哈佛大學 Wyss Institute 訪問學者，Forbes 30 Under 30 Asia list–Class of 2022, Healthcare & Science。主頁：https://liyu95.com。

責任編輯：張燕妮來源：機器之心

模型開源

開源！港中文、MIT、復旦提出首個RNA基石模型

引言

研究概覽

更多實驗結果

結論

作者簡介