【中金科技硬件】GPU vs TPU，性能与成本该如何平衡？-韭研公社

异动

关注

社群

产业库

时间轴

公社AI

登录注册

【中金科技硬件】GPU vs TPU，性能与成本该如何平衡？

小蜜蜂

2024-08-01 17:38:42 山西省

事件：苹果采用谷歌TPU作为算力训练先发硬件，引发市场对AI算力底座生态的深度探讨

我们认为：

1）短期看，在大模型持续迭代的背景下，GPU仍然是支持多功能架构和广泛生态的最优硬件解决方案；

2）中长期看，综合互联网厂商对于硬件成本下降的诉求、模型底层架构迭代趋于收敛的背景，产业界均在筹备TPU等多类硬件方案，但推动大规模的部署或将需要“通用世界模型”作为基础；

3）从商业逻辑角度，拥有训练/推理数据的所有权将成为AI商业闭环打通的关键要素之一，或将推动苹果等大型品牌厂商进行全栈式的AI硬件+软件生态部署。

苹果使用TPU作为先行硬件方案，或基于中长期生态及成本考量。

根据此次发布的Apple Foundation Models论文，苹果采用了 8192 颗TPUv4 芯片训练服务器端AFM模型（AFM-server）；同时使用 2048 颗TPUv5p芯片训练，并通过知识蒸馏和结构剪枝优化了设备端AFM模型（AFM-ondevice）。根据谷歌TPUv4 与NVIDIA A100 相比的功耗低 1.3-1.9 倍，在 Bert、ResNet等多类工作模型中，效率高于A100 1.2-1.9 倍；同时其 TPUv5/TPU Trillium产品相比TPUv4，能够进一步提升 2 倍/接近 10 倍的计算性能。我们看到谷歌TPU产品相比英伟达的产品更多在成本与功耗上存在优势。我们认为苹果使用TPU作为先行硬件方案，能够在中长期推动算力硬件部署成本的下降，同时基于苹果具备自研数字芯片的能力以及拥有丰富的闭源生态系统，我们认为远期苹果或致力于推动建设自有的全栈式解决方案。

GPU vs TPU，大模型时代的最终硬件方案将如何演绎？

TPU属于ASIC芯片的一类，我们认为其优势在于出众的能效比与单位成本算力指标，同时试错成本高的劣势也较为明确；而GPU具备最为丰富的多功能架构和广泛生态的支持。在大模型快速迭代的背景下，我们仍然看好GPU作为优质的硬件解决方案，但并不妨碍科技厂商同步筹备ASIC等硬件方案作为远端硬件降本提效的方案，建议积极关注苹果与四大CSP厂商的硬件部署架构。

作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。

声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。

中信证券

工分