访问阶段的算力才是真正每天都发生的,这块的成本是衡量chatgpt最主要投入的关键指标。
我们以一天的算力耗损,所需电费来给大家客观描述一下,计算假设:英伟达A100系列GPU性能计算,英伟达DGX A100服务器,单机有8个A100GPU,AI算力性能为5PetaFLOP/s,单机最大功率6.5kw,售价19.9万美元;
标准机柜:19英寸、42U,单个DGXA100服务器尺寸为6U,标准机柜下可放7个DGXA100服务器,单个标准机柜的成本为140万美元、56个A100GPU、算力性能为35PetaFLOP/s、最大功率45.5kw
ChatGPT单日算力成本:
计算假设:1月份当前ChatGPT每天约1亿次咨询,每人提问10个问题,每个问题平均30个字,单个字大约在A100 GPU上消耗350ms。
一天共需要消耗2,916,700个A100GPU小时(单颗英伟达A100系列GPU需要计算292万个小时),则对应每天需要2,916,700/24=121,529个英伟达A100GPU同时计算,才能够满足ChatGPT当前的访问量。
初始投入:以上文中提及的A100标准机柜,共需要121,529/56=2,170个机柜,为满足ChatGPT当前千万用户咨询量的初始投入成本在2,170*140=30.38亿美元。
每日电费:2,170个机柜*45.5kw*24h=2,369,640 kwh/天,按照上海工业工业电均价1.3元计算,每天电费成本2,369,640*1.3=308.1万元,这是目前Chatgpt正常运行每天的成本,还没算折旧摊销(美国电费更高)。