人工智能处理消耗的电力可能与爱尔兰一样多
由于大型语言模型(LLM)和生成式人工智能,最近人们对人工智能的兴趣激增,正在推动该技术在各种应用程序中的采用,导致人们担心所需的处理将导致数据中心电力消耗激增。
阿姆斯特丹自由大学研究员 Alex de Vries在一篇论文中提出了这些担忧。
德弗里斯在论文中指出,人们在研究人工智能的可持续性时,一直关注人工智能模型的训练阶段,因为这通常被认为是资源最密集的阶段,因此也是最消耗能源的阶段。
然而,他认为,人们对推理阶段的关注相对较少,但有迹象表明,推理(操作经过训练的模型)可能会极大地增加人工智能模型的生命周期成本。
为了支持这一点,该论文声称,为了支持 ChatGPT,OpenAI 需要 3,617 台基于 Nvidia HGX A100 平台的服务器,总共配备 28,936 个 GPU,这意味着每天的能源需求为 564 MWh。相比之下,GPT-3 模型训练阶段估计使用的电量为 1,287 MWh。
继微软今年早些时候将聊天机器人驱动的人工智能搜索功能添加到必应搜索引擎之后,互联网巨头谷歌正在将人工智能驱动的搜索功能引入其搜索引擎。该论文引用了 Alphabet 董事长的一句话,称这“可能比标准关键词搜索成本高 10 倍”,表明每个关键词的耗电量约为 3 Wh。
该论文称,如果每次谷歌搜索都成为法学硕士的互动,那么其所需的电力可能相当于爱尔兰等国家每年 29.3 太瓦时的电力。这是基于谷歌2021年的总耗电量为18.3太瓦时,据说当时AI占到了10%到15%。
但该论文承认这是最坏的情况,因为它假设当前的硬件和软件全面采用人工智能,而这“不太可能迅速发生”,尤其是因为 Nvidia 没有生产能力来交付估计的 512,821它需要 A100 HGX 服务器,并且谷歌将花费 1000 亿美元购买。
为了进行更实际的预测,该论文研究了可能收购的基于 Nvidia 的 AI 服务器的预期数量,因为该公司目前估计拥有 95% 的市场份额。
援引分析师估计,英伟达将在 2023 年出货 10 万台 AI 服务器平台,论文计算出基于此的服务器的综合电力需求将达到 650 至 1,020 MW,每年消耗高达 5.7 - 8.9 TWh 的电力。de Vries 表示,与数据中心每年 205 TWh 的历史估计耗电量相比,“这几乎可以忽略不计”。
不要忘记杰文斯悖论
但在大家松一口气之前,Nvidia 的 AI 服务器平台可能会在 2027 年出货 150 万台,消耗 85.4 至 134 TWh 的电力。该论文指出,在现阶段,这些服务器可能对全球数据中心的电力消耗做出重大贡献。不过,这是假设相关 Nvidia 产品的功耗与今天的套件相同。
该论文还考虑了杰文斯悖论的影响,如果模型架构和算法的创新应该减少处理复杂人工智能模型所需的计算能力。当效率的提高刺激更大的需求时,就会出现杰文斯悖论,这意味着在这种情况下,模型效率的提高可能允许单个消费级 GPU 来训练 AI 模型。
该论文认为,与人工智能相关的电力消耗的增长不仅来自 Nvidia A100 等新型高性能 GPU,还来自更通用的 GPU,从而抵消了模型效率的任何提高。
正如论文的结论,人工智能处理的未来电力消耗很难预测。虽然将人工智能融入谷歌搜索等应用程序可以显着增加其功耗,但各种资源因素可能会在短期内限制全球人工智能相关电力消耗的增长。
然而,德弗里斯的研究也警告说,期望效率的提高将完全抵消人工智能相关电力消耗的任何长期变化还过于乐观,并表示在一切事物中使用人工智能的智慧应该受到质疑,因为它“不太可能所有应用程序都会从人工智能中受益,或者收益总是大于成本。”
鉴于目前人们急于将人工智能添加到一切事物中,这似乎是一个徒劳的期望。