异动
登录注册
ChatGPT宕机,GPU依旧是瓶颈,英伟达特供版将推出,重视英伟达链修复的机会
增的逻辑
长线持有的机构
2023-11-12 12:57:23

前晚一则消息,OpenAI在迎来重大更新之后,竟然宕机了,时间超过100分钟

根据老板“奥特曼”的说法,负载过高,那就是算力不足

显然一旦应用面临升级,算力需求面临大增,除了OpenAI,微软也面临着GPU紧缺的情况

微软已经和自己的老对手合作,使用对方的算力,来满足日益增长的AI需求

这对冤家亦敌亦友,签了一份1年多的协议,微软将其Ai推理工作转移到Oracle超级集群上处理

微软搜索和 AI 营销团队负责人 Divya Kumar 在一份声明中解释说:“我们与 Oracle的合作加上使用 Oracle 云基础设施以及微软 Azure AI 基础设施,将为客户扩大享用资源的机会,并提高我们许多搜索结果的速度。”

这种关系本质上是微软需要更多地计算资源来跟上其AI服务器所谓的“爆炸性增长”,而Oracle刚好有成千上万的A100&H100可用

微软是最早将生成式AI聊天机器人集成到搜索引擎中,今年2月Bing聊天推出,如今已经能实现在线搜索、生成图片等功能

应的份额提高至 9.1%,在平板电脑搜索市场占有 4.6% 的份额

底层支撑该服务的大语言模型不仅需要庞大的 GPU 集群进行训练,还需要大规模运行推理(使模型发挥作用的过程)。而 Oracle 的大批 GPU 恰恰有助于这种推理工作

据 StatCounter 的数据显示,2023年10月,必应在全球所有平台的互联网搜索市场占有 3.1% 的份额,比前一个月的 3%略有上升,相比之下谷歌的份额为 91.6%。

以上总总迹象表明,当前GPU依旧是短缺的,打消了市场对缺乏“爆款应用”的疑虑


国内方面,被禁的英伟达特供版传闻也出来了,不过具体信息暂未获得官方求证

 根据GS计算机组的信息,NV新卡H20约等于50%的A100,计算能力下降但访存能力更强了,值得注意的是HBM达到了6颗跟H100一样,预计售价将和H100/800同一水平

 

  

作者利益披露:原创,不作为证券推荐或投资建议,截至发文时,作者不持有相关标的。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
天孚通信
S
中际旭创
S
新易盛
工分
6.20
转发
收藏
投诉
复制链接
分享到微信
有用 5
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据