异动
登录注册
摩尔线程携手,南威软件等多家大模型生态伙伴,发起并成立“尔线程PES-大模型生态联盟
请叫我石锤
互相伤害的半棵韭菜
2024-11-11 13:56:11 山西省

 目前,摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。

基于摩尔线程KUAE千卡集群,70B到130B参数的大模型训练,线性加速比均可达到91%,算力利用率基本保持不变。

以2000亿训练数据量为例,智源研究院700亿参数Aquila2可在33天完成训练;1300亿参数规模的模型可在56天完成训练。

此外,摩尔线程KUAE千卡集群支持长时间连续稳定运行,支持断点续训,异步Checkpoint少于2分钟。

摩尔线程KUAE千卡计算集群凭借高兼容性、高稳定性、高扩展性和高算力利用率等综合优势,将成为大模型训练坚实可靠的先进基础设施。

智算和大模型生态联盟:多方协作,促进生态融合

大模型时代,以GPU为代表的智能算力是基石,也是生成式AI世界的中心。 

作者利益披露:原创,不作为证券推荐或投资建议,截至发文时,作者不持有相关标的。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
南威软件
工分
0.86
转发
收藏
投诉
复制链接
分享到微信
有用 0
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据