事件:美东时间7月23日,Meta发布最强开源AI模型Lama 3.1,拥有三个不等同版本。旗舰版Lama 3.1-405B是由Meta精心打造的超大型语言模型,拥有4050亿参数。
#模型亮点:1) 405B模型使用超15万亿个token进行训练;2)算力规模首次扩展到了超过16000个H100 GPU,在 H10080GB(TDP为 700W)类型硬件上累计使用了 39.3M GPU 小时的计算;3)Meta将模型从16位(BF16)量化到8位(FP8)数值,有效地降低了所需的计算需求:4)相比前一代,ama 3.1的上下文窗口从8k增加到了128K,扩大了16倍;5)支持8种语言。
#模型媲美GPT-4和Claude 3.5:Llama 3.1包含8B、70B和450B 3个参数规模,旗舰模型 Lama 3.1 -4058 在常识、可操作性、数学等一系列任务中可与GPT-4、GPT-40 和 Claude 3.5 Sonnet 相媲美。在现实场景中,Lama 3.1 405B进行了与人工评估的比较,win rate相比GPT4 1月份与GPT40略低,比Claude 3.5 Sonnet要高。
#开源优势:闭源模型如OpenAI的GPT系列一直以其强大的性能领先市场。Lama 3.1-405B的出现打破了这一局面,证明了开源模型同样能够达到甚至超越闭源模型的性能水平,作为开源模型,Lama 3.1-405B将极大地促进社区的创新和发展。Meta与超过25个合作伙伴将提供Lama 3.1模型,包括亚马逊AWS、NVIDIA、Databricks、Grog、戴尔、微软Azure和谷歌云等。
投资建议:开源模型作用就像是AI行业发展催化剂,日正在快速缩小和闭源模型差距,目Lama 3.1在某在指标优于最领先闭源模型。海外AI投入持续高景气度,全球算力基础设置建设加速,重点推荐映射最直接的光模块及上游光器件厂商:龙头中际旭创、新易盛;上游天孚通信、PCB供应商龙头沪电股份;光芯片及硅光:源杰科技。国内AI加速发展,建议关注国内算例标的:华工科技、光迅科技、万通发展、润泽科技、中兴通讯、紫光股份、菲菱科思等。