1)GPU:展示机台采用的是PCIE方案,GPU和PCB板互联通过板间PCIE互连,GPU之间通过桥接芯片走NV Link互连。8张GPU插在一张新增的PCB板上。
2)PCB,多出一张GPU板,用的是Ultra Low Loss的CCL,层数16-20+层,价格专家不清楚,但据说很贵。
3)光模块:展示的A800服务器机台只有一张网卡2个光口,可插25G/100G光模块,专家表示GPU之间互连走NVLink或者PCIE不需要光模块,网络架构Super POD只是英伟达的参考架构,实际大家都是自己设计的架构,以叶脊架构为主。光膜块本身和GPU没有必然联系,和网卡有联系。
4)散热:展示机台用的是风冷方案,高端风扇,H800阶段要上液冷,散热片也需要升级。
根据市场预测,A800和A100光模块用量是4块,H100是5块。中信拆机A800发现比预测少一半,或许后续也会有人拆机A100和H100来求证光模块用量是否如机构研报里说的那么多吧!
有人质疑我对算力市场规模的质疑,说什么训练和推理要分开,实际上,目前景气度最高的就是训练算力,说到推理算力,根据某专业机构预测,未来推理算力的75%在边缘侧和端侧,毕竟移动端的用户数是pc端的4-5倍,各大大模型大厂最终决战的战场必定是移动端,复制当年移动互联网的辉煌!
备注:目前全球数据中心算力是过剩的,利用率都不高,统计数据表明,目前全球数据中心资源利用率仅为10%~20%,中国数据中心利用率不足60%,如此低的资源利用率意味着数据中心大量的资源浪费,进而导致目前数据中心的成本效率极低。(此数据仅供参考,不代表智算中心真实利用率)