我認(rèn)為到明年，你就會(huì)看到我們沒有足夠的電力來運(yùn)行所有的芯片。
最近，馬斯克在活動(dòng)上表示，繼之前的芯片短缺后，AI 的發(fā)展接下來將會(huì)遇上電力不足的挑戰(zhàn)。
大家似乎都知道訓(xùn)練 AI 發(fā)展 AI 需要大量算力，極為耗電耗水，但我們似乎又不清楚它具體有多耗電。
即便如此，部分地區(qū)已經(jīng)開始感受到由 AI 大潮帶來的用電壓力，而各領(lǐng)域的研究人員也在想方設(shè)法去對(duì)能耗進(jìn)行測(cè)算。
畢竟，如果我們真要如科技巨頭們所描繪般走入與 AI 緊密共存的未來，那及早計(jì)算它背后的「能源賬」也是一種必要。
好奇生成一張圖，就能為手機(jī)充滿電？
我在用文生圖模型時(shí)，常常會(huì)不自覺「貪心」。
即便圖片出來質(zhì)量還可以，我也總會(huì)忍不住多點(diǎn)幾下，生成幾次，或者添加一些變量，看模型會(huì)給我「造」出什么。
輕點(diǎn)一下就有全新演繹，這個(gè)誘惑太大了。
然而，我沒想到的是，我的一次好奇點(diǎn)擊下消耗的電量，居然已經(jīng)能把我手機(jī)充滿電。
去年 12 月，開源 AI 平臺(tái) HuggingFace 研究員和卡內(nèi)基梅隆大學(xué)聯(lián)手合作，統(tǒng)計(jì)了 88 個(gè)不同 AI 模型在不同任務(wù)下的用電情況。
其論文指出，圖像生成模型推斷 1000 次平均用電 2.907 千瓦時(shí)，而平均手機(jī)充電耗電量為 0.012 千瓦時(shí)。
不過，論文作者 Sasha Luccioni 強(qiáng)調(diào)，這并不意味著所有圖像生成模型的耗電量都如此，因?yàn)檠芯繙y(cè)算中既然只生成 64x64 圖像的小模型，也有生成 4K 高清圖的模型。
相比之下，文本類模型的耗電量會(huì)低很多—— 推斷 1000 次平均耗電量介乎于 0.002 千瓦時(shí)至 0.047 千瓦時(shí)。
值得指出的是，這只是 AI 模型在訓(xùn)練完成之后每次使用時(shí)的耗電量，訓(xùn)練模型本身用電量則更可觀。
論文估算，GPT-3 這種體量的模型訓(xùn)練用電量可達(dá) 1300 兆瓦時(shí)，約等于 130 個(gè)美國(guó)家庭一年的用電量。
為什么不去算更新模型的用電量？
因?yàn)?OpenAI 變得越來越不 open，不再像幾年前一樣會(huì)公布訓(xùn)練細(xì)節(jié)，如用了什么硬件和耗時(shí)。
在白熱化競(jìng)爭(zhēng)下，各個(gè) AI 公司也不愿公布自己的模型訓(xùn)練信息，一切都在變得越來越不透明。
這也是為什么 Sasha Luccioni 要用更側(cè)面的方式來進(jìn)行估算。
當(dāng)然，這些數(shù)據(jù)沒法代表所有人的使用情況，但至少我們有一點(diǎn)數(shù)據(jù)。
我想把旗子立起來，和大家說「我們就從這里開始吧?！?/p>
同樣不愿被信息壁壘擋住的，還有供職于荷蘭中央銀行的 Alex de Vries。
de Vries 將視野拉得更廣，直接跳過 AI 模型，通過計(jì)算全球被用于 AI 領(lǐng)域的英偉達(dá) GPU 數(shù)量來估算這個(gè)領(lǐng)域的用電量。
據(jù) de Vries 估算，到了 2027 年，AI 行業(yè)每年的耗電量將介乎于 85 - 134 太瓦時(shí)，相當(dāng)于荷蘭整個(gè)國(guó)家的用電量。
至于 ChatGPT 本身，de Vries 認(rèn)為它每天處理 2 億個(gè)用戶請(qǐng)求會(huì)耗電 50 萬千瓦時(shí)，這相當(dāng)于一個(gè)美國(guó)家庭每天用電的量的 1.7 萬倍。
如果 Google 將 AI 結(jié)合到每一次搜索中，那它一年的用電量就會(huì)飆升至 210 億千瓦時(shí)，高于肯尼亞、克羅地亞等國(guó)家的用電量。
而和從前計(jì)算機(jī)發(fā)展不同的是，目前勢(shì)態(tài)下 AI 的用電量基本很難降低。
他指出，在 2010 -2018 年期間，全球數(shù)據(jù)中心的用電量其實(shí)相對(duì)穩(wěn)定，大概占全球總用電量 1%-2%。
雖然我們的生活和互聯(lián)網(wǎng)更緊密了，用「網(wǎng)」頻率也更高了，但硬件的效率也在提升，能抵消一下。
情況在「AI 模型大戰(zhàn)」下改變了，巨頭們只想把模型越做越大，數(shù)據(jù)越多越好：
真像是一個(gè)效率的死亡動(dòng)力學(xué)。
它自然地創(chuàng)造了一種驅(qū)動(dòng)力，讓人們不停地增加算力資源，一旦模型或硬件變得更高效了，人們又要讓這些模型變得更加大。
未來的問題，交給未來？
這一切對(duì)于 de Vries 來說都很熟悉。
最開始，吸引 de Vries 去做用電統(tǒng)計(jì)的其實(shí)是比特幣。
據(jù) de Vries，比特幣挖礦現(xiàn)在一年仍然消耗 1450 億千瓦時(shí)的電量，碳足跡高達(dá) 8100 萬噸，比摩洛哥的年排放量都要高。
挖礦本身的模式也注定了它和「可持續(xù)」在本質(zhì)上的不兼容：
我認(rèn)為政策上唯一可行的做法就是要求披露數(shù)據(jù)。
我們花了那么多年才在加密行業(yè)學(xué)會(huì)這個(gè)，我真的很失望我們?cè)趺礇]能早些在 AI 領(lǐng)域做到這件事。
就像是我們看到了挖幣帶來的影響，然后完全就忘了。
但和加密幣行業(yè)不同的是，在各個(gè)大公司的敘事中，AI 將更緊密地融入我們的生活中，巨頭們也不怕說起 AI 的耗電問題，只是解決方案也和 AGI 一樣「未來」。
我們?nèi)耘f不喜歡這項(xiàng)技術(shù)對(duì)能源的消耗。
如果沒有大突破，我們沒法達(dá)到目的地。我們需要核聚變，或者極其廉價(jià)的太陽(yáng)能加上存儲(chǔ)設(shè)備，或者某種大規(guī)模的設(shè)備。
Sam Altman 在今年 1 月的達(dá)沃斯活動(dòng)上如此回應(yīng) AI 的能耗問題。
此前，Altman 和微軟都投資了核聚變發(fā)電初創(chuàng)公司 Helion。這家公司致力于 2028 年以前，建成全球首座核聚變發(fā)電廠。
這段時(shí)間引來大量關(guān)注的法國(guó)公司 Mistral AI 和美國(guó)公司 Inflection AI 則各自拿出訓(xùn)練成本更低的高質(zhì)量模型。
這固然可以減少算力壓力，但它們又是否能走出 de Vries 提及的規(guī)模循環(huán)?
這些都是要等「未來」回答的問題，但「現(xiàn)在」已經(jīng)展露出 AI 對(duì)能源的壓力。
據(jù)彭博社，為了應(yīng)對(duì)用電量的飆升，美國(guó)一些電力公司在考慮解封已經(jīng)封存的化石燃料發(fā)電廠，部分公司已經(jīng)開始提請(qǐng)監(jiān)管機(jī)構(gòu)批準(zhǔn)建造新的天然氣發(fā)電廠。
國(guó)際能源署在今年發(fā)布的報(bào)告中預(yù)測(cè)，未來三年，全球?qū)?shù)據(jù)中心、加密貨幣和 AI 的電力需求將增加一倍以上，相當(dāng)于一個(gè)德國(guó)的全部電力需求。
到了 2026 年，全球總體電力需求預(yù)計(jì)將增長(zhǎng) 3.4%，但風(fēng)能、太陽(yáng)能和水能等可再生能源和核能，都無法彌補(bǔ)這一增長(zhǎng)。
的確，如果我們想要一個(gè) AI 無處不在的未來，正如 Altman 所言，真的是迫切需要重大突破。
但 de Vries 則認(rèn)為，我們也可以提出一個(gè)新問題：
我們真的需要 AI 去做某些特定的任務(wù)嗎？
考慮到 AI 的各種限制，它在很多地方可能都不適用，但我們就得花很長(zhǎng)時(shí)間和大量能源去用艱難的方式才能明白這個(gè)道理。