DeepMind發(fā)布AlphaGenome，1秒內(nèi)完成所有模態(tài)和細(xì)胞類型的變異效應(yīng)預(yù)測 原創(chuàng) 精華
谷歌 DeepMind 的 Alpha 系列再添新成員——AlphaGenome，其能夠更全面、準(zhǔn)確地預(yù)測人類 DNA 序列中單個變異或突變，如何影響一系列調(diào)控基因的生物過程。
AlphaGenome 模型以長達(dá) 100 萬個堿基對的 DNA 序列為輸入，預(yù)測數(shù)千種與其調(diào)控活性相關(guān)的分子屬性，同時還可以通過比較變異與未變異序列的預(yù)測結(jié)果，評估基因變異或突變的影響。該模型建立在 DeepMind 此前的基因組模型 Enformer 的基礎(chǔ)上，與專注于蛋白編碼區(qū)變異分類的 AlphaMissense 模型形成互補(bǔ)。
論文的共同一作 Jun Cheng 在其個人 X 賬號上介紹道，「RNA 剪接錯誤是許多疾病的常見成因，我們首次構(gòu)建了一個統(tǒng)一模型，能夠同時預(yù)測 RNA-seq 覆蓋度、剪接位點(diǎn)、位點(diǎn)的使用情況，以及它們所形成的具體剪接連接點(diǎn)，從而更全面地描繪剪接結(jié)果的全貌」，同時他也指出，AlphaGenome 的重要突破之一便是「能夠直接從序列預(yù)測剪接連接點(diǎn)，并將其用于變異效應(yīng)預(yù)測」。
Memorial Sloan Kettering 癌癥中心 Caleb Lareau 博士也評價道，「這是領(lǐng)域內(nèi)的一個里程碑。我們首次擁有一個能同時兼具長上下文、單堿基精度和頂級性能的模型，并且覆蓋了廣泛基因組任務(wù)」。目前，DeepMind 已通過 AlphaGenome API 向非商業(yè)研究用戶開放 preview 版本，并計劃在未來正式發(fā)布該模型。
* 研究論文鏈接：
基于 100 萬 DNA 序列及物種信息，采用類 U-Net 設(shè)計
如下圖 a 所示，深度學(xué)習(xí)模型 AlphaGenome 以 1 Mb（百萬堿基）DNA 序列及物種信息（人類/小鼠）作為輸入，用于預(yù)測涵蓋不同細(xì)胞類型的 5,930 條人類基因組軌跡或 1,128 條小鼠基因組軌跡，覆蓋 11 種輸出類型，包括：
* 基因表達(dá)（RNA-seq、CAGE、PRO-cap）
* 詳細(xì)的剪接模式（剪接位點(diǎn)、剪接位點(diǎn)使用頻率、剪接連接點(diǎn)）
* 染色質(zhì)狀態(tài)（DNase、ATAC-seq、組蛋白修飾、轉(zhuǎn)錄因子結(jié)合）
* 染色質(zhì)接觸圖
AlphaGenome 模型概覽
在模型架構(gòu)方面，AlphaGenome 采用了類 U-Net 的主干架構(gòu)設(shè)計，如下圖 a 所示，能夠高效地將輸入序列處理為兩種類型的序列表示：
* 一維嵌入（1-dimensional embeddings，分辨率為 1 bp 和 128 bp）：表示線性基因組序列，用于生成基因組軌跡的預(yù)測；
* 二維嵌入（2-dimensional embeddings，分辨率 2048 bp）：表示基因組片段之間的空間相互作用，用于預(yù)測成對的接觸圖。
AlphaGenome 模型總覽
該模型的卷積層用于建模局部序列模式，以支持精細(xì)預(yù)測；而 Transformer 模塊則用于建模更長距離的依賴關(guān)系，比如增強(qiáng)子與啟動子之間的相互作用。模型可以在完整的 1Mb 序列上進(jìn)行以單堿基為單位的訓(xùn)練，這得益于分布式的序列并行技術(shù)，能夠運(yùn)行在 8 個互聯(lián)的 TPUv3 設(shè)備上。
在模型訓(xùn)練方面，研究人員采用了兩階段訓(xùn)練，即預(yù)訓(xùn)練（Pre-training）與蒸餾（Distillation）。其中，在預(yù)訓(xùn)練階段，其使用已有的實(shí)驗(yàn)數(shù)據(jù)來訓(xùn)練兩類模型，如下圖 b 所示：
* 折疊特定模型（fold-specific models）：采用四折交叉驗(yàn)證的方式進(jìn)行訓(xùn)練，即在參考基因組中使用 3/4 的區(qū)段進(jìn)行訓(xùn)練，將剩下的 1/4 留作驗(yàn)證和測試。這些模型用于評估 AlphaGenome 在未見過的參考基因組區(qū)段上預(yù)測基因組軌跡的泛化能力。
* 全折疊模型（all-folds models）：在參考基因組的所有可用區(qū)段上進(jìn)行訓(xùn)練，作為下一蒸餾階段的 Teachers 模型，如下圖 c 所示。
AlphaGenome 訓(xùn)練流程
在蒸餾階段，研究人員訓(xùn)練了一個共享預(yù)訓(xùn)練架構(gòu)的 Student 模型，其目標(biāo)是利用經(jīng)過隨機(jī)增強(qiáng)處理的輸入序列，預(yù)測出多個全折疊教師模型的綜合輸出。以往研究表明，這種蒸餾模型能夠在一個模型實(shí)例中同時實(shí)現(xiàn)更強(qiáng)的魯棒性和更高的變異效應(yīng)預(yù)測（VEP）準(zhǔn)確性。
得益于這一設(shè)計，該 Student 模型可以通過單次設(shè)備調(diào)用完成對所有模態(tài)和細(xì)胞類型的變異效應(yīng)預(yù)測任務(wù)。在 NVIDIA H100 GPU 上，每個變異的預(yù)測用時不到一秒，使其在大規(guī)模變異效應(yīng)預(yù)測中相比傳統(tǒng)多模型集成方法表現(xiàn)出極高的效率。
AlphaGenome 在各類基因組預(yù)測任務(wù)中表現(xiàn)領(lǐng)先
據(jù) DeepMind 介紹，AlphaGenome 相較現(xiàn)有方法具備以下獨(dú)特優(yōu)勢：
長序列上下文 + 單堿基分辨率
AlphaGenome 可分析長達(dá)百萬堿基的 DNA 序列，并在單堿基級別做出預(yù)測。這使其能覆蓋調(diào)控基因的遠(yuǎn)程區(qū)域，同時捕捉精細(xì)的生物學(xué)細(xì)節(jié)。而此前的模型往往在執(zhí)著于序列長度與預(yù)測精度之間平衡，限制了可建模的模態(tài)范圍和準(zhǔn)確度。AlphaGenome 的技術(shù)突破打破了這一局限，其訓(xùn)練僅用原 Enformer 模型一半的計算資源，僅需 4 小時即可完成一次訓(xùn)練。
全面的多模態(tài)預(yù)測能力
高分辨率 + 長輸入序列的組合，使 AlphaGenome 能預(yù)測史無前例的多樣調(diào)控模態(tài)，為研究人員提供更系統(tǒng)的基因調(diào)控信息。
高效的變異打分
AlphaGenome 可在一秒鐘內(nèi)對變異影響進(jìn)行打分，通過比較變異前后序列的預(yù)測差異，并針對不同模態(tài)使用最合適的總結(jié)方法，它能快速、準(zhǔn)確地評估基因變異對分子機(jī)制的潛在影響。
新穎的剪接位點(diǎn)建模
AlphaGenome 創(chuàng)新性地實(shí)現(xiàn)了直接基于序列預(yù)測 RNA 剪接連接點(diǎn)的位置及其表達(dá)水平。許多罕見遺傳病（如脊髓性肌萎縮癥、某些囊性纖維化類型）與剪接錯誤有關(guān)，該能力為相關(guān)病因研究提供了新工具。
基準(zhǔn)測試表現(xiàn)優(yōu)異
AlphaGenome 在各類基因組預(yù)測任務(wù)中表現(xiàn)領(lǐng)先。例如預(yù)測 DNA 結(jié)構(gòu)接近區(qū)域、變異對基因表達(dá)的影響、對剪接模式的改變等。在 24 項(xiàng) DNA 序列預(yù)測評估的 22 項(xiàng)中擊敗現(xiàn)有最佳模型，在 26 項(xiàng)變異效應(yīng)任務(wù)的 24 項(xiàng)中達(dá)到或超過當(dāng)前最優(yōu)模型。更重要的是，其也是唯一一個可對所有評估模態(tài)進(jìn)行聯(lián)合預(yù)測的模型，展示了極強(qiáng)的通用性。
具體而言，為了評估 AlphaGenome 的模型性能，研究人員首先考察了其對未見基因組區(qū)段的泛化能力，這是實(shí)現(xiàn)高質(zhì)量變異效應(yīng)預(yù)測的前提。他們共進(jìn)行了 24 項(xiàng)基因組軌跡預(yù)測評估，涵蓋了模型所預(yù)測的全部 11 種模態(tài)。在交叉驗(yàn)證折外評估（out-of-fold evaluations） 中，研究人員使用了預(yù)訓(xùn)練的折疊特定 AlphaGenome 模型，并將其預(yù)測結(jié)果與每項(xiàng)任務(wù)中當(dāng)前最強(qiáng)的外部模型進(jìn)行比較。
結(jié)果顯示，AlphaGenome 在這 24 項(xiàng)評估中的 22 項(xiàng)上表現(xiàn)優(yōu)于對應(yīng)的外部模型，如下圖 d 所示。值得注意的是，在細(xì)胞類型特異的基因表達(dá)變化（log-fold change, LFC）預(yù)測任務(wù)中，AlphaGenome 相比另一款多模態(tài)序列模型 Borzoi 展現(xiàn)了 +17.4% 的相對性能提升，如下圖 e 所示。
此外，AlphaGenome 也在各任務(wù)上超越了專注于單一模態(tài)的專業(yè)模型。例如：
在染色質(zhì)接觸圖（contact map）預(yù)測中，AlphaGenome 超過了 Orca 模型，表現(xiàn)為接觸圖 Pearson 相關(guān)系數(shù)提升 +6.3%，細(xì)胞類型特異差異提升 +42.3%，如下圖 d 所示；
在轉(zhuǎn)錄起始點(diǎn)軌跡預(yù)測中，AlphaGenome 優(yōu)于 ProCapNet，整體計數(shù) Pearson 相關(guān)系數(shù)提升 +15%；
在染色質(zhì)可及性預(yù)測中，AlphaGenome 優(yōu)于 ChromBPNet，在 ATAC-seq 上提升 +8%，在 DNase-seq 上提升 +19%。
* 左圖 d：AlphaGenome 在不同模態(tài)和分辨率的基因組軌跡預(yù)測任務(wù)中的相對性能提升（以 % 表示），PA 表示多聚腺苷酸化（polyadenylation）。
* 右圖 e：AlphaGenome 在部分變異效應(yīng)預(yù)測任務(wù)中的相對性能提升。
行業(yè)里程碑獲高度評價
AlphaGenome 這一重磅模型的推出，從消息發(fā)布之時就開始持續(xù)在推特上引發(fā)各界熱議。
DeepMind 研究副總裁 Pushmeet Kohli 介紹道，「AlphaGenome 通過預(yù)測 DNA 變異的影響，提供了人類非編碼基因組的全面觀點(diǎn)。它將加深我們對疾病生物學(xué)的理解，并開辟新的研究途徑」。評論區(qū)，除了驚嘆夸贊之外，大家更加關(guān)心如何使用。
一名來自愛丁堡大學(xué)遺傳學(xué)的博士生稱，「這個模型或許可以徹底重新定義我們發(fā)現(xiàn)致病突變和藥物靶點(diǎn)的方式，它意義非凡」。
一位生物科學(xué)領(lǐng)域的評論員稱「AlphaGenome 不僅僅是單個基因，而是整個調(diào)控基因組。如果把 DNA 比作是代碼，而 AlphaGenome 就是由代碼組成的軟件」。
在實(shí)際應(yīng)用方面，AlphaGenome 具有廣泛的科研潛力，例如面向疾病機(jī)制研究，其可更精確地預(yù)測基因變異對調(diào)控過程的影響，識別潛在致病變異，揭示新靶點(diǎn)，尤其適合研究具有顯著效應(yīng)的罕見變異。在合成生物學(xué)領(lǐng)域，其能夠指導(dǎo)特定調(diào)控功能的 DNA 設(shè)計，例如只在神經(jīng)細(xì)胞中激活目標(biāo)基因。在基礎(chǔ)基因組學(xué)研究中，其可以加快關(guān)鍵功能元件的定位與角色定義，幫助識別調(diào)控特定細(xì)胞類型功能所需的「核心指令」。
倫敦大學(xué)學(xué)院 Marc Mansour 教授評價道，「在大規(guī)模識別非編碼變異的作用時，AlphaGenome 提供了關(guān)鍵的拼圖碎片，讓我們能更好地理解癌癥等復(fù)雜疾病」。目前，AlphaGenome 以面向非商業(yè)用途的研究開放，期待學(xué)術(shù)界基于此有更多成果產(chǎn)出。
