基本信息

---

下载

文档摘要

---

AI用电的“困”与“破”

摘要

?随着近些年AI模型竞赛日益激烈，训练最先进人工智能模型所需的数据量和计算量呈指数级增长。训练是一个耗时且耗能的过程，计算在GPU/ASIC等专用芯片上进行。当前，单个GPU的最大额定功耗

可达1000瓦。GPT-4训练时间约95天（2280小时），采用84%的负载因子计算，其训练能耗需求约为38.2GWh，折合训练期间内日均能耗约0.40吉瓦时（40万度电），如果以一个家庭单日电力消耗约为

10度，GPT-4日均能耗约等于4万个家庭单日用电量。

?不同于训练，推理任务的能耗需要考虑因素较多。比如，输入Token量及输出