隨著機(jī)器學(xué)習(xí)實(shí)驗(yàn)變得越來(lái)越復(fù)雜，它們的碳足跡正在膨脹。現(xiàn)在，研究人員已經(jīng)計(jì)算了在不同地點(diǎn)的云計(jì)算數(shù)據(jù)中心訓(xùn)練一系列模型的碳成本1。他們的發(fā)現(xiàn)可以幫助研究人員減少依賴人工智能 (AI) 的工作所產(chǎn)生的排放。

研究小組發(fā)現(xiàn)，不同地理位置的排放存在顯著差異。華盛頓西雅圖艾倫人工智能研究所(Allen Institute For AI)機(jī)器學(xué)習(xí)研究員、該研究的共同負(fù)責(zé)人杰西·道奇(Jesse Dodge)表示，在同樣的人工智能實(shí)驗(yàn)中，“效率最高的地區(qū)產(chǎn)生的排放約為效率最低的地區(qū)的三分之一”。

賓夕法尼亞州匹茲堡卡內(nèi)基梅隆大學(xué)的機(jī)器學(xué)習(xí)研究員、氣候變化 AI 組織的聯(lián)合創(chuàng)始人 Priya Donti 表示，到目前為止，還沒有任何好的工具可以測(cè)量基于云的人工智能產(chǎn)生的排放量。

“這是偉大的工作，有助于就如何管理機(jī)器學(xué)習(xí)工作負(fù)載以減少排放進(jìn)行重要對(duì)話，”她說(shuō)。

位置很重要

Dodge 和他的合作者(包括來(lái)自微軟的研究人員)在訓(xùn)練 11 種常見 AI 模型的同時(shí)監(jiān)控電力消耗，從支持谷歌翻譯的語(yǔ)言模型到自動(dòng)標(biāo)記圖像的視覺算法。他們將這些數(shù)據(jù)與為 16 臺(tái) Microsoft Azure 云計(jì)算服務(wù)器供電的電網(wǎng)排放量如何隨時(shí)間變化的估計(jì)值結(jié)合在一起，以計(jì)算一系列地點(diǎn)的訓(xùn)練能耗。

由于全球電源的變化以及需求的波動(dòng)，不同地點(diǎn)的設(shè)施具有不同的碳足跡。該團(tuán)隊(duì)發(fā)現(xiàn)，在美國(guó)中部或德國(guó)的數(shù)據(jù)中心訓(xùn)練 BERT(一種常見的機(jī)器學(xué)習(xí)語(yǔ)言模型)會(huì)排放 22-28 公斤的二氧化碳，具體取決于一年中的時(shí)間。這是在挪威進(jìn)行相同實(shí)驗(yàn)產(chǎn)生的排放量的兩倍多，挪威的大部分電力來(lái)自水力發(fā)電，而法國(guó)主要依賴核能。

每天進(jìn)行實(shí)驗(yàn)的時(shí)間也很重要。例如，道奇說(shuō)，在華盛頓的夜間訓(xùn)練人工智能，當(dāng)該州的電力來(lái)自水力發(fā)電時(shí)，比在白天訓(xùn)練人工智能的排放量更低，因?yàn)榘滋斓碾娏σ瞾?lái)自燃?xì)庹?。他上個(gè)月在首爾舉行的公平、問(wèn)責(zé)和透明計(jì)算機(jī)器協(xié)會(huì)會(huì)議上展示了這一結(jié)果。

人工智能模型的排放量也有很大差異。圖像分類器 DenseNet 產(chǎn)生了與給手機(jī)充電相同的 CO 2排放量，同時(shí)訓(xùn)練了一種稱為 Transformer 的中型語(yǔ)言模型(它比研究公司 OpenAI 制造的流行語(yǔ)言模型 GPT-3 小得多)在加利福尼亞州舊金山產(chǎn)生的排放量與典型的美國(guó)家庭一年產(chǎn)生的排放量大致相同。此外，該團(tuán)隊(duì)只進(jìn)行了 Transformer訓(xùn)練過(guò)程的 13%;道奇說(shuō)，完全訓(xùn)練它會(huì)產(chǎn)生“相當(dāng)于燃燒一整輛裝滿煤的軌道車的數(shù)量級(jí)”的排放量。

他補(bǔ)充說(shuō)，排放數(shù)據(jù)也被低估了，因?yàn)樗鼈儾话ㄖT如用于數(shù)據(jù)中心開銷的電力或用于創(chuàng)建必要硬件的排放等因素。Donti 說(shuō)，理想情況下，這些數(shù)字還應(yīng)包括誤差線，以說(shuō)明給定時(shí)間電網(wǎng)排放的重大潛在不確定性。

更環(huán)保的選擇

在其他因素相同的情況下，道奇希望這項(xiàng)研究可以幫助科學(xué)家選擇用于實(shí)驗(yàn)的數(shù)據(jù)中心，以最大限度地減少排放。他說(shuō)，“事實(shí)證明，這個(gè)決定是該學(xué)科中人們可以做的最有影響力的事情之一”。由于這項(xiàng)工作，微軟現(xiàn)在正在向使用其 Azure 服務(wù)的研究人員提供有關(guān)其硬件電力消耗的信息。

英國(guó)布里斯托大學(xué)研究數(shù)字技術(shù)對(duì)環(huán)境可持續(xù)性影響的克里斯·普雷斯特(Chris Preist)表示，減少排放的責(zé)任應(yīng)該由云提供商而不是研究人員承擔(dān)。他說(shuō)，供應(yīng)商可以確保在任何時(shí)候，碳強(qiáng)度最低的數(shù)據(jù)中心使用最多。Donti 補(bǔ)充說(shuō)，他們還可以采用靈活的策略，允許機(jī)器學(xué)習(xí)運(yùn)行在減少排放的時(shí)候啟動(dòng)和停止。

道奇表示，進(jìn)行最大規(guī)模實(shí)驗(yàn)的科技公司應(yīng)該對(duì)排放的透明度以及盡量減少或抵消排放承擔(dān)最大的責(zé)任。他指出，機(jī)器學(xué)習(xí)并不總是對(duì)環(huán)境有害。它可以幫助設(shè)計(jì)高效材料、模擬氣候以及追蹤森林砍伐和瀕危物種。盡管如此，人工智能日益增長(zhǎng)的碳足跡正成為一些科學(xué)家關(guān)注的主要原因。道奇說(shuō)，盡管一些研究小組正在致力于追蹤碳排放量，但透明度“尚未發(fā)展成為社區(qū)規(guī)范”。

“這項(xiàng)工作的重點(diǎn)是試圖讓這個(gè)主題變得透明，因?yàn)楝F(xiàn)在嚴(yán)重缺失，”他說(shuō)。

參考文獻(xiàn)：

1.Dodge, J. et al. Preprint at https://arxiv.org/abs/2206.05229 (2022)。