IT之家 5 月 29 日消息，根據(jù)英偉達在 2023 年臺北電腦展會上的演講，該公司宣稱其 GPU 可以大幅降低訓(xùn)練大型語言模型（LLM）的成本和耗能。
英偉達首席執(zhí)行官黃仁勛在演講中，向 CPU 行業(yè)發(fā)起了挑戰(zhàn)，他認為生成式人工智能和加速計算是未來計算的方向。他宣布傳統(tǒng)的摩爾定律已經(jīng)過時，未來的性能提升將主要來自生成式人工智能和基于加速計算的方法。
英偉達在展會上展示了一份 LLM 的總體擁有成本（Total Cost of Ownership，TCO）分析：首先，他們計算了訓(xùn)練一個 LLM 所需的 960 個 CPU 組成的服務(wù)器集群的完整成本（包括網(wǎng)絡(luò)、機箱、互連等所有設(shè)備），發(fā)現(xiàn)這需要花費約 1000 萬美元（IT之家備注：當(dāng)前約 7070 萬元人民幣），并消耗 11 千兆瓦時的電力。
相比之下，如果保持成本不變，購買一個價值 1000 萬美元的 GPU 集群，可以在同樣的成本和更少的電力消耗（3.2 千兆瓦時）下訓(xùn)練 44 個 LLM。如果轉(zhuǎn)而保持電力消耗不變，那么可以通過 GPU 集群實現(xiàn) 150 倍的加速，以 11 千兆瓦時的電力消耗訓(xùn)練 150 個 LLM，但這需要花費 3400 萬美元，此外這個集群的占地面積比 CPU 集群小得多。最后，如果只想訓(xùn)練一個 LLM，那么只需要一個價值 40 萬美元、消耗 0.13 千兆瓦時電力的 GPU 服務(wù)器就可以了。
英偉達所要表達的意思是，相比 CPU 服務(wù)器，客戶可以以 4% 的成本和 1.2% 的電力消耗來訓(xùn)練一個 LLM，這是一個巨大的成本節(jié)省。