我認(rèn)為到明年，你就會看到我們沒有足夠的電力來運(yùn)行所有的芯片。
最近，馬斯克在活動上表示，繼之前的芯片短缺后，AI 的發(fā)展接下來將會遇上電力不足的挑戰(zhàn)。
大家似乎都知道訓(xùn)練 AI 發(fā)展 AI 需要大量算力，極為耗電耗水，但我們似乎又不清楚它具體有多耗電。
即便如此，部分地區(qū)已經(jīng)開始感受到由 AI 大潮帶來的用電壓力，而各領(lǐng)域的研究人員也在想方設(shè)法去對能耗進(jìn)行測算。
畢竟，如果我們真要如科技巨頭們所描繪般走入與 AI 緊密共存的未來，那及早計(jì)算它背后的「能源賬」也是一種必要。
好奇生成一張圖，就能為手機(jī)充滿電？
我在用文生圖模型時，常常會不自覺「貪心」。
即便圖片出來質(zhì)量還可以，我也總會忍不住多點(diǎn)幾下，生成幾次，或者添加一些變量，看模型會給我「造」出什么。
輕點(diǎn)一下就有全新演繹，這個誘惑太大了。
然而，我沒想到的是，我的一次好奇點(diǎn)擊下消耗的電量，居然已經(jīng)能把我手機(jī)充滿電。
去年 12 月，開源 AI 平臺 HuggingFace 研究員和卡內(nèi)基梅隆大學(xué)聯(lián)手合作，統(tǒng)計(jì)了 88 個不同 AI 模型在不同任務(wù)下的用電情況。
其論文指出，圖像生成模型推斷 1000 次平均用電 2.907 千瓦時，而平均手機(jī)充電耗電量為 0.012 千瓦時。
不過，論文作者 Sasha Luccioni 強(qiáng)調(diào)，這并不意味著所有圖像生成模型的耗電量都如此，因?yàn)檠芯繙y算中既然只生成 64x64 圖像的小模型，也有生成 4K 高清圖的模型。
相比之下，文本類模型的耗電量會低很多—— 推斷 1000 次平均耗電量介乎于 0.002 千瓦時至 0.047 千瓦時。
值得指出的是，這只是 AI 模型在訓(xùn)練完成之后每次使用時的耗電量，訓(xùn)練模型本身用電量則更可觀。
論文估算，GPT-3 這種體量的模型訓(xùn)練用電量可達(dá) 1300 兆瓦時，約等于 130 個美國家庭一年的用電量。
為什么不去算更新模型的用電量？
因?yàn)?OpenAI 變得越來越不 open，不再像幾年前一樣會公布訓(xùn)練細(xì)節(jié)，如用了什么硬件和耗時。
在白熱化競爭下，各個 AI 公司也不愿公布自己的模型訓(xùn)練信息，一切都在變得越來越不透明。
這也是為什么 Sasha Luccioni 要用更側(cè)面的方式來進(jìn)行估算。
當(dāng)然，這些數(shù)據(jù)沒法代表所有人的使用情況，但至少我們有一點(diǎn)數(shù)據(jù)。
我想把旗子立起來，和大家說「我們就從這里開始吧?！?/p>
同樣不愿被信息壁壘擋住的，還有供職于荷蘭中央銀行的 Alex de Vries。
de Vries 將視野拉得更廣，直接跳過 AI 模型，通過計(jì)算全球被用于 AI 領(lǐng)域的英偉達(dá) GPU 數(shù)量來估算這個領(lǐng)域的用電量。
據(jù) de Vries 估算，到了 2027 年，AI 行業(yè)每年的耗電量將介乎于 85 - 134 太瓦時，相當(dāng)于荷蘭整個國家的用電量。
至于 ChatGPT 本身，de Vries 認(rèn)為它每天處理 2 億個用戶請求會耗電 50 萬千瓦時，這相當(dāng)于一個美國家庭每天用電的量的 1.7 萬倍。
如果 Google 將 AI 結(jié)合到每一次搜索中，那它一年的用電量就會飆升至 210 億千瓦時，高于肯尼亞、克羅地亞等國家的用電量。
而和從前計(jì)算機(jī)發(fā)展不同的是，目前勢態(tài)下 AI 的用電量基本很難降低。
他指出，在 2010 -2018 年期間，全球數(shù)據(jù)中心的用電量其實(shí)相對穩(wěn)定，大概占全球總用電量 1%-2%。
雖然我們的生活和互聯(lián)網(wǎng)更緊密了，用「網(wǎng)」頻率也更高了，但硬件的效率也在提升，能抵消一下。
情況在「AI 模型大戰(zhàn)」下改變了，巨頭們只想把模型越做越大，數(shù)據(jù)越多越好：
真像是一個效率的死亡動力學(xué)。
它自然地創(chuàng)造了一種驅(qū)動力，讓人們不停地增加算力資源，一旦模型或硬件變得更高效了，人們又要讓這些模型變得更加大。
未來的問題，交給未來？
這一切對于 de Vries 來說都很熟悉。
最開始，吸引 de Vries 去做用電統(tǒng)計(jì)的其實(shí)是比特幣。
據(jù) de Vries，比特幣挖礦現(xiàn)在一年仍然消耗 1450 億千瓦時的電量，碳足跡高達(dá) 8100 萬噸，比摩洛哥的年排放量都要高。
挖礦本身的模式也注定了它和「可持續(xù)」在本質(zhì)上的不兼容：
我認(rèn)為政策上唯一可行的做法就是要求披露數(shù)據(jù)。
我們花了那么多年才在加密行業(yè)學(xué)會這個，我真的很失望我們怎么沒能早些在 AI 領(lǐng)域做到這件事。
就像是我們看到了挖幣帶來的影響，然后完全就忘了。
但和加密幣行業(yè)不同的是，在各個大公司的敘事中，AI 將更緊密地融入我們的生活中，巨頭們也不怕說起 AI 的耗電問題，只是解決方案也和 AGI 一樣「未來」。
我們?nèi)耘f不喜歡這項(xiàng)技術(shù)對能源的消耗。
如果沒有大突破，我們沒法達(dá)到目的地。我們需要核聚變，或者極其廉價的太陽能加上存儲設(shè)備，或者某種大規(guī)模的設(shè)備。
Sam Altman 在今年 1 月的達(dá)沃斯活動上如此回應(yīng) AI 的能耗問題。
此前，Altman 和微軟都投資了核聚變發(fā)電初創(chuàng)公司 Helion。這家公司致力于 2028 年以前，建成全球首座核聚變發(fā)電廠。
這段時間引來大量關(guān)注的法國公司 Mistral AI 和美國公司 Inflection AI 則各自拿出訓(xùn)練成本更低的高質(zhì)量模型。
這固然可以減少算力壓力，但它們又是否能走出 de Vries 提及的規(guī)模循環(huán)?
這些都是要等「未來」回答的問題，但「現(xiàn)在」已經(jīng)展露出 AI 對能源的壓力。
據(jù)彭博社，為了應(yīng)對用電量的飆升，美國一些電力公司在考慮解封已經(jīng)封存的化石燃料發(fā)電廠，部分公司已經(jīng)開始提請監(jiān)管機(jī)構(gòu)批準(zhǔn)建造新的天然氣發(fā)電廠。
國際能源署在今年發(fā)布的報(bào)告中預(yù)測，未來三年，全球?qū)?shù)據(jù)中心、加密貨幣和 AI 的電力需求將增加一倍以上，相當(dāng)于一個德國的全部電力需求。
到了 2026 年，全球總體電力需求預(yù)計(jì)將增長 3.4%，但風(fēng)能、太陽能和水能等可再生能源和核能，都無法彌補(bǔ)這一增長。
的確，如果我們想要一個 AI 無處不在的未來，正如 Altman 所言，真的是迫切需要重大突破。
但 de Vries 則認(rèn)為，我們也可以提出一個新問題：
我們真的需要 AI 去做某些特定的任務(wù)嗎？
考慮到 AI 的各種限制，它在很多地方可能都不適用，但我們就得花很長時間和大量能源去用艱難的方式才能明白這個道理。