写这篇文章,起因是有人引用火山引擎总裁谭待的一句说,“国内大模型领域的数十家企业,超过七成已经在火山引擎云上”,提出质疑,大模型究竟现在是在哪里训练。
媒体让我们看到的,未必是真,尤其是吹自家产品的。很多事情,就怕较真,我来求证一下这句话。
一、7成大模型在火山训练,如何统计得来?
二、大模型公司都在哪里训练?
三、火山引擎上有哪些大模型在训练?
四、如何看待英博的算力训练?
————
一、7成大模型在火山训练,如何统计得来?
这方面,有人找到来源了,感谢。
我的疑问:
1、火山引擎的客户(有大有小)有多少在第三方统计的名单里(基本统计的都是知名公司)?这值得商榷。如果多数是小客户,七成有什么代表性?
2、退一步,即使真的70%在火山。根据公开资料,公有云市场份额前五为阿里云、华为云、中国电信天翼云、腾讯云和AWS,共占72%以上。我们假设,剩下30%全部在这top5里。那谭待意思是说,他比这top5都牛逼了?70%都不选top5,而选top5都进不了的火山?不合理吧。
二、大模型公司都在哪里训练?
谭待说这句话时是4.18,我们以民生证券4.9统计的大模型作为调查样本,看都在哪里训练。(见研报民生证券-计算机行业周报:当大模型不再稀缺,得数据者得天下-230409)
》》互联网巨头
阿里:自有
4月11日的阿里云北京峰会上,阿里云披露其高性能AI训练计算平台“灵骏智算”,可以实现800G全速无拥塞RDMA网络,网络通信时延低至2微秒。在此基础之上,灵骏可支持最大十万卡GPU的单集群规模,可以承载多个万亿参数规模的大模型同时在线训练。
灵骏的底层硬件核心组件由磐久服务器和高性能RDMA网络两部分组成。
底层硬件核心组件磐久服务器用的是倚天710处理器。
这个产品,没提GPU的事?看样子,阿里的方向是主打内存,通过提升内存和内存网络速度达到高性能计算目的。
京东:大概率自有
2020年,京东推出言犀,这是一个智能人机交互平台,主要用在智能对话。
大模型是把原来的言犀升级为大规模预训练语言大模型。大概率用的是自家算力。
腾讯:自有,H800
4月14日,腾讯云正式发布新一代HCC高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。实测显示,腾讯云新一代集群的算力性能较前代提升高达3倍,是当前国内性能最强的大模型计算集群。
网易:浪潮提供支持
网易伏羲大模型参数规模达到百亿,开发过程中对训练算力的需求非常大,并且需要高效管理模型和算力资源,并按需弹性地使用算力。为了应对这些挑战,在“玉言”大模型研发过程中,浪潮信息为其提供 AI 算力支持。通过采用 AI 算力服务模式,解决了超大规模参数大模型所需训练算力需求,同时还获得了高质量中文语言数据集的有力支持,开发效率显著提升。
360:大概率自有
百度:自有,用的是自研昆仑AI芯片
百度百舸 · AI异构计算平台,包含AI计算、AI存储、AI加速、AI容器四大核心套件,具有高性能、高弹性、高速互联、高性价比等特性。充分汲取了百度异构计算平台多年的技术积累,深度融合推荐、无人驾驶、生命科学、NLP等场景的实践经验,能为AI场景提供软硬一体解决方案,加速AI工程化落地。
华为:肯定用自家,鲲鹏和昇腾
》》服务器龙头
浪潮:人家本身就是做服务器,肯定用自家呀。
》》AI公司
云从科技:自有+自建、共建、合作、购买、租用
算力方面,云从科技拥有强大的资源储备,约有数千张卡的规模,可同步满足3组基础大模型和10组行业大模型的训练和调优工作,预计未来将扩展到上万张卡的规模。
云从科技公司与重庆联通签署了战略合作协议,双方将聚焦云计算、人工智能、大数据等新兴领域,努力为数字经济打造“第一算力引擎”。
云从科技投资算力芯片企业奕斯伟计算,打通大模型生态闭环
商汤科技:自有
据介绍,商汤大装置SenseCore以商汤人工智能计算中心(简称“商汤智算中心或商汤AIDC”)为算力基座,包含27,000块GPU,可以输出5000 Petaflops的总算力,拥有行业领先的算力输出能力、超大模型训练及大规模推理能力,是亚洲目前最大的智能计算平台之一。商汤大装置SenseCore当前算力可支持20个千亿参数量的超大模型同时训练,并提供涵盖数据、训练工具、推理部署、性能优化一条龙的大模型基础设施服务体系。
科大讯飞:自有
科大讯飞自建有业界一流的AI数据中心,为大模型训练平台建设奠定了很好的硬件基石。此外,在工程技术方面实现了百亿参数大模型推理效率的近千倍加速,为未来更大更多认知智能大模型技术经济实惠规模化应用提供了可能。
澜舟科技:华为提供
近日,北京澜舟科技有限公司(简称“澜舟科技”)与华为技术有限公司签署框架合作协议,双方将携手为促进自然语言处理及预训练模型等人工智能技术的实施落地,合作开展研究和应用转化。
IDEA研究院:自有
IDEA信息与算力中心以超过上千张全球先进的图形加速卡为计算主体,结合超过上万核心的CPU与大规模并行存储,及高度可伸缩和容错性的集群管理器和作业调度系统构成,中心现已具备680 PetaFLOPS的AI综合算力,支持FP32、FP16、TF32等多种计算精度,是目前粤港澳大湾区为数不多的超大型AI计算集群。
光年之外:摩尔线程提供
光年之外王慧文收购的是一流科技,和摩尔线程进行算力合作。
毫未智行:火山引擎提供
毫末智行与火山引擎联合打造了中国自动驾驶行业最大智算中心MANA OASIS雪湖·绿洲,其浮点算力可达67亿亿次/秒,火山引擎还为其量身定做了2T/秒和800/秒的高性能存储、高性能网络,助力毫末智行训练框架建设并进行持续迭代。
燧原科技:自有算力
云燧T20是基于邃思2.0芯片打造的面向数据中心的第二代人工智能训练加速卡,具有模型覆盖面广、性能强、软件生态开放等特点,可支持多种人工智能训练场景。同时具备灵活的可扩展性,提供业界领先的人工智能算力集群方案。
聆心智能:自有算力
创始人是清华计算机系副教授黄民烈,清华计算机系有NLP实验室,实验室可提供充足的算力(A100等GPU)。
达摩院:不用说,肯定用阿里呗
莫塔社区(应该为魔塔社区):这个是达摩院旗下产品,自然也是用阿里的AI算力
香侬科技:阿里
在过往的研发中,香侬科技与阿里云团队无数次“碰撞”,逐渐找到了解决自然语言处理在开发、部署、交付等环节中对底层云资源的依赖和如何优化调度。
达观数据:燧原提供
达观数据与燧原科技达成战略合作,打造大模型软硬件整体解决方案。
竹间智能:西云算力提供
竹间智能与西云算力科技签署MOU。
minimax:火山引擎
MiniMax与火山引擎合作建立了超大规模实验平台,实现千卡级常态化训练;超大规模推理平台有万卡级算力池,支撑单日过亿次调用。
智源研究院:自有算力
九鼎智算平台正在北京地区扩建1000P算力平台。其中有300P已建成并投用,余下700P预计将在今年三、四季度建设完成。过去一年,九鼎智算平台已经支撑了50多个国内科研团队的AI项目,从建成至今,算力需求十分饱满。
》》科研所
中科院自动化研究所:华为提供
中科院自动化所以全栈国产化基础软硬件昇腾AI平台为基础,依托武汉人工智能计算中心算力支持。
浙江大学杭州国际科创中心:大概率是沐曦
联合创始人杨建是浙江大学博士。沐曦先后与浙江大学、上海清华国际创新中心、上海大学、浪潮等达成战略合作,建立联合实验室。
上海人工智能实验室:华为提供
上海人工智能研究院与华为签署全面合作协议,共同构建昇腾AI产业生态。
复旦大学:电信提供
上海电信携手复旦大学,共建算力网络,深挖科研价值。
西湖星辰(应该是西湖心辰):自有
西湖大学高性能计算中心(简称“计算中心”)成立于2019年6月,是实验室与科研设施部下辖的6个校级公共服务平台之一。计算中心为西湖大学“高起点、小而精、研究型”的办学定位提供坚实的高性能计算基础支持,为全校各研究机构提供高质量、高西湖大学算力服务建设与运营经验可靠性、高定制化的科学计算和数据分析解决方案,满足各学科领域对于大规模数据处理和大规模科学计算的需求。
清华大学:东数西算(贵州)产业有限公司提供
清华大学计算机系高性能计算研究所和东数西算(贵州)产业有限公司通过线上签约,建立全面长期战略合作关系,共同致力于“东数西算”各大枢纽节点间的算力网络与算力调度平台建设。
上面是4月份统计的数据,到5月底,“不完全统计,中国10亿以上参数规模的大模型已经发布了79个”。(科技部新一代人工智能发展研究中心主任赵志耕)
那我再补充几个新的大模型。
中科闻歌:企商在线
企商在线作为中科闻歌算力服务战略合作伙伴,为雅意大模型提供了坚实的智能算力底座支撑。
知乎:面壁智能
知乎与面壁智能合作发布“知海图AI”中文大模型,首个大模型功能“热榜摘要”上线并开启内测。
面壁智能创始团队成员全部来清华大学NLP实验室,有自有算力。
美图:华为提供
通过与华为云合作,改造后的美图核心业务访问时延低至1s,运维效率提升约70%。
三、火山引擎上有哪些大模型在训练?
好了,我们看用火山引擎训练的有几家。
从上面统计结论看,用得最多的是华为。民生证券表格提到的公司,只有2家用了,毫未智行和minimax。
根据搜到的资料,再补充几个。
晶泰科技
晶泰科技联合创始人兼CEO马健表示,火山引擎与晶泰科技联手从“算力”和“算法”双维进行优化,形成应对不同特点业务的差异化策略,共同应对AI药物研发中不同阶段不同环节的差异化需求。
智谱AI、昆仑万维
谭待透露,火山引擎的大模型云平台获得智谱AI、昆仑万维等众多企业的良好反馈。
统共加起来,5个。
当然,凭火山的实力,我绝对相信有很多很多企业在上面训练,但至于能不能叫得出名,那是另外一回事了。
所以,从这里可以看出,出自企业家口中,吹自家的数据,听听就行了。
四、如何看待英博算力训练?
目前实锤的只有3家大模型用英博的算力,百川智能、深言科技和宣亚国际,没有实锤的还在路上。
从数量上看,确实不多。
但你想想几点。
1、英博业务真正起来,打开市场,也就最近几个月。不像上面那些算力公司,都深耕很久了。
2、百川智能和深言科技CEO是什么人,什么团队?是不是傻子。
3、大模型对算力的需求满足了吗?后面,还会不会有新的大模型出来?不说大模型,垂直模型呢?这些新加入者是不是全部用华为、阿里?如果没有,那鸿博就有机会。
4、最最关键一点,上面那么多提供算力的公司,有好多是国产算力,和英伟达差在哪,不用多说了吧。
5、别忘了搏博云。等落地上线,借助贵阳的政策、地理、电力、5G基建优势,提供普惠价格的英伟达高性能AI算力,到那时候,再来谈论打不打得过吧。
感谢阅读!