本质上是算力大爆发下的强需求驱动，海外大厂订单满满，不断刺激市场正向反馈；

昨天墨芯人工智能发布了夺冠一事，这里面有很多不明白的知识点，有知道的朋友欢迎赐教；感谢！

转载自：   墨芯蝉联MLPerf冠军，稀疏计算释放大模型应用潜力 

请教CPO的朋友们，从行业和服务器部署的角度看，墨芯的产品是不会可以进行产业化应用？

或者说墨芯的产品，只是算力芯片部署的一个点，没有形成一套完善的解决方案，从压制了其产品的大规模应用；单一产品和成熟的解决方案还是有很大的不同；

1：墨芯S40计算卡首次亮相MLPerf，在数据中心的图像任务主流模型ResNet-50上夺得冠军，算力达127,375 FPS。S40计算卡性能达到英伟达H100、A100的1.4倍和2.9倍。

2:墨芯S40计算卡比上届冠军S30计算卡的算力增幅达33%，体现出持续的产品性能提升能力。与上一次MLPerf相比，墨芯产品相较H100和A100的算力优势分别扩大了20%和90%。

3:墨芯30计算卡获得ResNet-50模型“整机4卡”冠军，算力383,520 FPS，达英伟达H100的4卡成绩的1.8倍，并且超过英伟达A100的8卡成绩。

4:墨芯人工智能创始人兼CEO王维在出席活动时透露：在墨芯内测中，在与GPT-3参数相当的开源LLM——1760亿参数的BLOOM上，4张墨芯S30计算卡在仅采用中低倍稀疏率的情况下，就能实现25 tokens/s的内容生成速度，超过8张A100。

请教CPO的朋友们，从行业和服务器部署的角度看，墨芯的产品是不会可以进行产业化应用？

或者说墨芯的产品，只是算力芯片部署的一个点，没有形成一套完善的解决方案，从压制了其产品的大规模应用；单一产品和成熟的解决方案还是有很大的不同；

王维指出，大模型时代的算力痛点主要集中在两点：首先是大算力，大模型参数呈指数级增长，算力需求爆发，产生巨大的算力缺口；另一方面是加快推理速度，由于生成式AI基本都是在线应用，系统对于用户的需求要在毫秒内快速响应。

“微创新是大公司做的事情。大模型参数已经突破万亿、并且持续增大，微创新无法根本解决问题。创业公司要做就做有数量级突破的颠覆式创新。墨芯成立之初，我们就看到了：稀疏计算能够带来数量级的性能增长。因此我们一直笃定，做一家稀疏计算公司。”王维表示。此次墨芯在MLPerf的连续夺冠，正是用实际证明了稀疏计算的巨大应用价值，以“12nm战胜4nm”的成绩打开新的算力增长空间。

墨芯的判断，与业界、学界对稀疏计算的看好是相一致的：大模型浪潮开启后，稀疏计算相关研究活跃度显著提升。学界与业界都积极将稀疏计算作为大模型算力破解的重要方向，例如谷歌对AI的终极愿景——Pathways架构采用稀疏计算原理：执行任务时仅稀疏激活模型的特定部分，计算真正有用的元素，这正是稀疏计算的本质。

王维表示，墨芯AI计算卡发布数月就已实现量产，在互联网等领域成单落地。ChatGPT走红后墨芯也收到大量客户问询，了解稀疏计算在大模型上的算力优势与巨大潜力。