百度2月7日在其微信公众号官宣:大模型新项目文心一言(英文名ERNIE Bot)。
注释:①.百度在人工智能四层架构中,有全栈布局。包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用。文心一言,位于模型层。②.百度在人工智能领域深耕数十年,拥有产业级知识增强文心大模型ERNIE ,具备跨模态、跨语言的深度语义理解与生成能力。
在百度文心官网内可以看到百度文心整体的架构图,最下面NLP大模型,便是此前鹏城实验室与百度联合发布的鹏城-百度·文心。
鹏城-百度·文心基于百度百舸集群初始化,并基于“鹏城云脑II”高性能集群训练。“鹏城云脑Ⅱ”由鹏城实验室联合国内优势科研力量研发,是我国首个国产E级AI算力平台。其系统的AI计算子系统包含 4096 颗昇腾 910AI 处理器,理论上可提供 1EOPS FP16 和 2EOPS INT8 的 AI 运算能力。其通用算力由基于 ARM 架构的 2048 颗 CPU 组成,每个 CPU 提供不少于 0.49T FLOPS 的通用算力。
“鹏城云脑Ⅱ”于去年 11 月和今年 7 月接连两次夺得 IO 500 总榜和 10 节点榜的双料世界冠军。今年5月,“鹏城云脑Ⅱ”在“MLPerf training V1.0”基准测试中取得了自然语言处理领域模型性能第一名和图像处理领域模型性能第二名的好成绩。今年11月,“鹏城云脑”继去年取得首届 AIPerf 500 榜单冠军后,再次荣获排行榜冠军。多次在相关领域国际权威竞赛中斩获头名,充分展现了其优越的智能计算性能和软硬件系统协同水平,也为鹏城-百度·文心强大技术能力奠定基础。
鹏城云脑又是什么呢?
“鹏城云脑”网络智能重大科技基础设施是面向国家重大战略、满足基础研究需要、推动数字经济发展的关键大科学装置。目前实验室完成开源开放的AI技术试验平台“鹏城云脑I”,正在建设兼顾研究和赋能的大规模AI算力平台 “鹏城云脑II”,已经启动智能超级算力平台“鹏城云脑III”的预研。
“鹏城云脑II”基于自主可控的国产AI芯片,采用高效能计算体系结构,可提供不低于1000P ops的整机AI计算能力和64PB的高速并行可扩展存储,配备 200PB存储和百GB级网络传输速率,AI算力处于国际先进水平。“鹏城云脑II”在AIPerf、IO500全节点和10节点打榜中荣获三项世界第一;参加业界公认的MLPerf trainingv1.0基准测试,在图像分类赛道(1024卡同等规模)排名第二,自然语言处理赛道(256卡同等规模)排名第一,受到了来自国家、省市领导高度认可,也受到相关领域专家高度评价以及社会各界的高度关注。