文心一言发布，寒武纪思元590迎首秀
韭黄炒鸡蛋配蒜头
2023-03-16 15:13:58
百度：一定程度可替代A100科技产业的“大哉问”——从去年的“我们距离英伟达有多远”到今年“我们距离ChatGPT又有多远”，一直缺乏极具事实性的有力回答。而随着百度即将于明日（16日）推出文心一言，百度方面关于国产最先进AI算力芯片思元590的使用体验也一并曝光，或为市场判断进一步提供依据。日前网络流传的一份百度集团交流纪要显示，“文心一言”将调用超大规模算力，并且尝试使用寒武纪思元590替代英伟达A100。截至发稿，百度方面并未就纪要内容置评。但据《科创板日报》记者与百度一位业务人士的交流了解，该项布局属实。寒武纪方面称思元590未正式发布，产品在百度相关项目中的应用需向公司业务部门了解，不过截至记者发稿，并未获得进一步回应。纪要内容显示，疑为百度相关业务负责人回答称，同时选用英伟达与寒武纪等公司产品，是不愿被某一家供应商卡脖子。同时百度也希望进行一些备货，“除了英伟达A100和寒武纪思元590，其他性能差一点的替代品也考虑”。对于供应商选择，该人士称在已经量产的情况下，会考虑到供应商自身业务体量和软件编程生态，并且在问答中详细比较了不同的国内厂商及其产品。云端推理芯片方面，“从性能表现上，以算力功耗密度为比较的参数，第一梯队是阿里，第二梯队是百度、寒武纪、遂愿，第三梯队是依图。从量产的成熟度考虑，已经量产并且已经对外独立商业输出的就是阿里、百度、寒武纪。”不过百度没有选用阿里AI芯片，据称是由于市场反馈后者牺牲了通用性，导致使用场景相对较窄。其中，百度方面以英伟达T4为标尺，认为百度、寒武纪、遂愿的云端推理芯片达到了英伟达T4性能水平。据了解，英伟达A100 GPU 在BERT训练和推理上的性能分别较前代v100提升了6倍跟7倍，但英伟达t4推理能力只有v100的60%。
图｜英伟达Tesla T4及A100在BERT上训练和推理性能比较思元590是寒武纪最新一代云端智能训练芯片，该产品目前尚未正式发布。但在2022年世界人工智能大会上，寒武纪董事长陈天石在演讲中透露了该产品信息。据介绍，思元590采用MLUarch05全新架构，实测训练性能较在售旗舰产品有大幅提升，能够提供更大的内存容量和更高的内存带宽，其IO和片间互联接口也较上代实现大幅升级。如今看来，百度成为寒武纪思元590的首批尝鲜者，并且曝光产品首份“开箱”体验。纪要显示，百度人士认为思元590能够在一定程度上代替A100，但在软件适配度、稳定性方面仍显不足。“当时还没有出思元590的时候，我们认为（华为）昇腾910是国内唯一可以接近A100的卡。”但从思元590目前在内部导入测试一些模型任务的完成进度来看，“优于昇腾910”。纪要显示百度相关人士表示，尽管思元590和A100不好直接去点对点的对比，但在整体性能上——至少在AIGC这种业务对于算力的需求上，“可以一定程度上代替A100”。“寒武纪基础软件平台的研发实力和相应的解决方案能力，是有大幅度提升的。在推理的加速引擎方面，从百度的视角来看，寒武纪所谓的MagicMind这套东西，可能觉得还是班门弄斧了，和百度相对比较健全的软件架构以及稳定性还有差距。”寒武纪芯片究竟能否代替英伟达A100的问题，当事人怎么看？在今年的一场AI行业公开论坛中，寒武纪联合创始人、执行总裁王在曾表示，公司创新性架构已经在手机等硬件设备上得到了应用和验证，尤其是在2016年前后，寒武纪产品较英伟达更加高效。但随着寒武纪有针对性地推出云端芯片，英伟达还是在过去几年中近乎独占了AI训练、推理市场。王在称，原因一方面是用户的使用习惯和迁移成本，另一方面还有易用性的问题。“基于我们本身架构的稳健性，其实我们潜力是有的。这几年寒武纪积累最多的，还是软件方面客户给予的反馈。”王在表示：“我个人认为，现阶段寒武纪相关产品已经可以达到包括A100等产品的水平。”市场调查机构TrendForce此前公布的报告指出，如果以英伟达A100显卡的处理能力计算，运行ChatGPT将需要使用到3万块英伟达GPU。有消息显示，刚刚发布的GPT-4将会达到100万亿参数，较ChatGPT所基于的GPT-3.5有着600倍的提升，对高性能算力芯片的需求将进一步提升。百度方面则为支持文心一言的超大规模计算需求，已于今年3月完成百度阳泉智算中心升级。鲸平台智库专家、方融科技高级工程师周迪表示，通过降低成本、服务器响应时间，一定程度上能够换取算力芯片可控性。“由于GPU并行算力的特点，当算力不足的时候可以通过堆叠GPU数量的方式来提高算力。不过积极进行GPU堆叠并行的研究，寻求替代产品才是解决之道。”
图｜英伟达Tesla T4及A100在BERT上训练和推理性能比较思元590是寒武纪最新一代云端智能训练芯片，该产品目前尚未正式发布。但在2022年世界人工智能大会上，寒武纪董事长陈天石在演讲中透露了该产品信息。据介绍，思元590采用MLUarch05全新架构，实测训练性能较在售旗舰产品有大幅提升，能够提供更大的内存容量和更高的内存带宽，其IO和片间互联接口也较上代实现大幅升级。如今看来，百度成为寒武纪思元590的首批尝鲜者，并且曝光产品首份“开箱”体验。纪要显示，百度人士认为思元590能够在一定程度上代替A100，但在软件适配度、稳定性方面仍显不足。“当时还没有出思元590的时候，我们认为（华为）昇腾910是国内唯一可以接近A100的卡。”但从思元590目前在内部导入测试一些模型任务的完成进度来看，“优于昇腾910”。纪要显示百度相关人士表示，尽管思元590和A100不好直接去点对点的对比，但在整体性能上——至少在AIGC这种业务对于算力的需求上，“可以一定程度上代替A100”。“寒武纪基础软件平台的研发实力和相应的解决方案能力，是有大幅度提升的。在推理的加速引擎方面，从百度的视角来看，寒武纪所谓的MagicMind这套东西，可能觉得还是班门弄斧了，和百度相对比较健全的软件架构以及稳定性还有差距。”寒武纪芯片究竟能否代替英伟达A100的问题，当事人怎么看？在今年的一场AI行业公开论坛中，寒武纪联合创始人、执行总裁王在曾表示，公司创新性架构已经在手机等硬件设备上得到了应用和验证，尤其是在2016年前后，寒武纪产品较英伟达更加高效。但随着寒武纪有针对性地推出云端芯片，英伟达还是在过去几年中近乎独占了AI训练、推理市场。王在称，原因一方面是用户的使用习惯和迁移成本，另一方面还有易用性的问题。“基于我们本身架构的稳健性，其实我们潜力是有的。这几年寒武纪积累最多的，还是软件方面客户给予的反馈。”王在表示：“我个人认为，现阶段寒武纪相关产品已经可以达到包括A100等产品的水平。”市场调查机构TrendForce此前公布的报告指出，如果以英伟达A100显卡的处理能力计算，运行ChatGPT将需要使用到3万块英伟达GPU。有消息显示，刚刚发布的GPT-4将会达到100万亿参数，较ChatGPT所基于的GPT-3.5有着600倍的提升，对高性能算力芯片的需求将进一步提升。百度方面则为支持文心一言的超大规模计算需求，已于今年3月完成百度阳泉智算中心升级。鲸平台智库专家、方融科技高级工程师周迪表示，通过降低成本、服务器响应时间，一定程度上能够换取算力芯片可控性。“由于GPU并行算力的特点，当算力不足的时候可以通过堆叠GPU数量的方式来提高算力。不过积极进行GPU堆叠并行的研究，寻求替代产品才是解决之道。”
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
寒武纪
工分
9.91
转发
收藏
投诉
复制链接
分享到微信
有用 7
打赏作者
无用
真知无价，用钱说话
0个人打赏
同时转发
评论（7）
只看楼主
热度排序
最新发布
最新互动
- 1