超大规模AI大模型的训练一般必须在拥有成百上千加速卡的AI服务器集群上进行，如何在AI计算集群上获得更高的训练算力效率则会直接影响到模型训练时长以及算力消耗成本，这对于提升生成式AI研发创新效率有着非常重要的影响。据公开资料表明，GPT-3大模型在其V100 GPU集群上的训练算力效率为21.3%，而浪潮“源1.0”的训练算力效率则达到了44.8%。
针对AI大模型训练的计算特点，浪潮信息AI团队对淮海智算中心算力系统进行了专业设计，对集群架构、高速互联、算力调度等方面进行全面优化，在系统架构上，采用单节点集成8颗加速器的AI服务器，节点内加速器间实现超高速P2P通信，节点间建立极低延迟、超高带宽的Infiniband通信网络，在大模型训练技术层面，成功运用了中文巨量AI模型“源1.0”的训练优化经验，对分布式训练策略进行了针对性优化，通过合理设计张量并行、流水并行和数据并行，精准调整模型结构和训练过程的超参数，最终实现千亿参数规模AI大模型的训练算力效率达到53.5%。
淮海智算中心由安徽省宿州市与浪潮共同推进建设，目标是建成技术先进、架构开放、应用丰富、生态完善的国内领先智算枢纽。淮海智算中心将依靠领先的算力、算法基础设施，开放的技术架构，成熟丰富的生态应用，面向全国提供智能算力、数据和算法服务，打造良好的智算产业生态。 备注： 从2018年的BERT到2020年的GPT-3，NLP语言模型经历了爆发式的发展过程，其中BERT模型的参数量为3.4亿，而GPT-3的模型参数量达到了1750亿。2021年9月，浪潮发布了“源1.0”，它是目前规模最大的中文AI单体模型，参数规模高达2457亿，训练采用的中文数据集达5TB。“源1.0”在语言智能方面表现优异，获得中文语言理解评测基准CLUE榜单的零样本学习和小样本学习两类总榜冠军。测试结果显示，人群能够准确分辨人与“源1.0”作品差别的成功率低于50%。
- 1