[庆祝]事件：英伟达于6月15日发布新一代AI大模型Nemotron-4 340B，最大的技术变化在于进一步拥抱MoE架构，引入RoPE优化算法：
1[emoji=?][emoji=?]#架构端： Nemotron-4 340B采用Transformer架构，具备因果注意力掩码，使用旋转位置嵌入（RoPE）、SentencePiece分词器、MLP层平方ReLU激活函数等多项优化功能；
2[emoji=?][emoji=?]#训练端： Nemotron-4 340B使用768个DGX H100节点进行训练，每个节点包含8个基于NVIDIA Hopper架构的H100 80GB SXM5 GPU；每个节点GPU通过NVLink和NV Switch连接，GPU间带宽900Gb/s（双向各450Gb/s）；每个节点配备8个NVIDIA Mellanox 400G HDR IB主机通道适配器，用于节点间通信；
3[emoji=?][emoji=?]#模型性能评估对比： Nemotron-4 340B在常识推理任务以及BBH等主流基准上实现了行业最高的准确率，并且在MMLU代码基准上也具备较高竞争力；
[烟花]#点评：  MoE架构相比传统Transformer模型具备更高的效率和更低的成本，在海外谷歌Gemini、英伟达Nemotron等AI大模型积极采用MoE架构的推动下，MoE大模型有望成为全球AI大模型主流技术路线，对通信网络更高需求推动高性能交换机加速落地。具体来看主要是推动单交换机峰值速率提升，以及交换机总需求量增加。AI算力基础设施建设预计将保持扩张周期，带动上游光模块、交换机等环节需求提升
#重点推荐板块及标的：
交换机：锐捷网络、盛科通信、紫光股份、菲菱科思、共进股份
光模块及光器件：中际旭创、天孚通信、新易盛
光芯片：源杰科技
[emoji=?][emoji=?] 欢迎联系：东北通信 要文强13552769350/史博文18612207935进一步交流