[庆祝]事件:英伟达于6月15日发布新一代AI大模型Nemotron-4 340B,最大的技术变化在于进一步拥抱MoE架构,引入RoPE优化算法:
1[emoji=?][emoji=?]#架构端: Nemotron-4 340B采用Transformer架构,具备因果注意力掩码,使用旋转位置嵌入(RoPE)、SentencePiece分词器、MLP层平方ReLU激活函数等多项优化功能;
2[emoji=?][emoji=?]#训练端: Nemotron-4 340B使用768个DGX H100节点进行训练,每个节点包含8个基于NVIDIA Hopper架构的H100 80GB SXM5 GPU;每个节点GPU通过NVLink和NV Switch连接,GPU间带宽900Gb/s(双向各450Gb/s);每个节点配备8个NVIDIA Mellanox 400G HDR IB主机通道适配器,用于节点间通信;
3[emoji=?][emoji=?]#模型性能评估对比: Nemotron-4 340B在常识推理任务以及BBH等主流基准上实现了行业最高的准确率,并且在MMLU代码基准上也具备较高竞争力;
[烟花]#点评: MoE架构相比传统Transformer模型具备更高的效率和更低的成本,在海外谷歌Gemini、英伟达Nemotron等AI大模型积极采用MoE架构的推动下,MoE大模型有望成为全球AI大模型主流技术路线,对通信网络更高需求推动高性能交换机加速落地。具体来看主要是推动单交换机峰值速率提升,以及交换机总需求量增加。AI算力基础设施建设预计将保持扩张周期,带动上游光模块、交换机等环节需求提升
#重点推荐板块及标的:
交换机:锐捷网络、盛科通信、紫光股份、菲菱科思、共进股份
光模块及光器件:中际旭创、天孚通信、新易盛
光芯片:源杰科技
[emoji=?][emoji=?] 欢迎联系:东北通信 要文强13552769350/史博文18612207935进一步交流