前晚一则消息,OpenAI在迎来重大更新之后,竟然宕机了,时间超过100分钟
根据老板“奥特曼”的说法,负载过高,那就是算力不足
显然一旦应用面临升级,算力需求面临大增,除了OpenAI,微软也面临着GPU紧缺的情况
微软已经和自己的老对手合作,使用对方的算力,来满足日益增长的AI需求
这对冤家亦敌亦友,签了一份1年多的协议,微软将其Ai推理工作转移到Oracle超级集群上处理
微软搜索和 AI 营销团队负责人 Divya Kumar 在一份声明中解释说:“我们与 Oracle的合作加上使用 Oracle 云基础设施以及微软 Azure AI 基础设施,将为客户扩大享用资源的机会,并提高我们许多搜索结果的速度。”
这种关系本质上是微软需要更多地计算资源来跟上其AI服务器所谓的“爆炸性增长”,而Oracle刚好有成千上万的A100&H100可用
微软是最早将生成式AI聊天机器人集成到搜索引擎中,今年2月Bing聊天推出,如今已经能实现在线搜索、生成图片等功能
应的份额提高至 9.1%,在平板电脑搜索市场占有 4.6% 的份额
底层支撑该服务的大语言模型不仅需要庞大的 GPU 集群进行训练,还需要大规模运行推理(使模型发挥作用的过程)。而 Oracle 的大批 GPU 恰恰有助于这种推理工作
据 StatCounter 的数据显示,2023年10月,必应在全球所有平台的互联网搜索市场占有 3.1% 的份额,比前一个月的 3%略有上升,相比之下谷歌的份额为 91.6%。
以上总总迹象表明,当前GPU依旧是短缺的,打消了市场对缺乏“爆款应用”的疑虑
国内方面,被禁的英伟达特供版传闻也出来了,不过具体信息暂未获得官方求证
根据GS计算机组的信息,NV新卡H20约等于50%的A100,计算能力下降但访存能力更强了,值得注意的是HBM达到了6颗跟H100一样,预计售价将和H100/800同一水平