异动
登录注册
微软开源DeepSpeed Chat的联想和推理
雁过不留痕
中线波段的散户
2023-04-14 09:18:17
        DeepSpeed Chat基于微软的DeepSpeed深度学习优化库开发而成,具备训练、强化推理等功能,其使用了RLHF(基于人类反馈对语言模型进行强化学习)技术,可以将训练速度提升15倍以上,同时大幅降低成本。微软开源DeepSpeed Chat让市场产生了错误解读,以为以后算力需求会大幅下降,然而我的理解恰恰相反,当大模型训练普及的时代到来,每个人每个小企业都可以自己训练模型的时候,对开发大模型的厂商是一个打击,对算力和优秀数据却是更大的利好。

       我这里有一个ChatGPT的回答:微软开源DeepSpeed Chat可以提高深度学习模型的训练效率,让训练更快、更高效。它可以在大型集群上加速模型的训练,因此可以更好地利用现有的算力资源,提高算力的利用率。但是,它并不一定会降低算力的建设需求,因为随着深度学习模型的复杂度和数据量的增加,算力需求也会相应增加。

      我认为ChatGPT的回答还是符合逻辑的,所以当大量的模型普及,算力的需求应该是爆发性的增长。算力依然是最硬的逻辑,也是必然最早兑现的逻辑之一。

      那么我们可以设想一个环境,每一个家庭甚至每一个都有一个服务辅助机器人,你会不会希望自己的机器人更符合自己的需求,契合自己的知识结构和生活习惯,那么你是不是需要找一个优秀的模型对他进行个性化训练,你是不是要找一个合适的语料库来训练他,同时需要接入一个云端算力平台进行训练。这就提出了两个要求:优秀的语料库和云端算力。当然如果你够土豪,可以自己本地搞一个训练服务器。将来会不会出现针对个人定制化的语料库售卖平台?这个我感觉是必然的。

      所以归根结底,大趋势是算力需求爆发,掌握优秀数据的公司可以卖数据了,然后机器人也走入寻常百姓家。我们可以预料三个方向的受益:机器人,算力,数据资源。

作者利益披露:原创,不作为证券推荐或投资建议,截至发文时,作者持有相关标的,下一个交易日内没有卖出计划。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
新时达
S
人民网
S
中信出版
S
蓝色光标
S
拓维信息
工分
0.51
转发
收藏
投诉
复制链接
分享到微信
有用 0
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据