1、
这一周的感觉就是疲惫,净值总是各种冲高回落。
而且经常是开盘最牛,收盘拉跨。
目前持有中国科传,万兴科技,平治信息(这个尾盘买的,有点冲动交易了,主要看调研确实很好,看看市场认不认吧)、小商品城
2、
明天计划周五惯例看新东西
没有新东西的话就空仓了
不想再到老东西里面卷了
盘面还是有赚钱效应的,比如昨天万兴科技,科传都给了高溢价
不知道为什么总感觉做起来这么累呢
没有上周丝滑了
---------------------------
最后吐槽一下浪潮这个股,这个股总是伴随着各种小作文、内幕、外部消息
不喜欢这种被操控的股。
【国盛通信】
解读deep speed chat对算力影响
公式:gpt3.5/4/5 +RLHF=chatgpt。deep speed chat调整的点在RLHF,你还是需要训练出gpt3.5/4/5才能搞出chatgpt。一句话总结:gpt3/3.5/4/5 ,money is all you need
根据instructgpt的数量,大概不到10w条,一条算100个token= 1000w个token,但gpt3 用了3000亿个token,所以数据上的话1000w/3000亿=10万分之三。RLHF优化对算力影响微乎其微。
ai发展对算力的追求没有天花板,继续拥抱最确定的环节
联系人:国盛通信团队#
【国盛计算机AI旗手】
再次问了交大AI的教授,这个deepspeed只是改善了RLHF这个环节,大模型的预训练还是要跑之前的大训练量,这个没法绕开。
预训练和RLHF对算力的需求,是1万比1。RLHF工程难度高,这个把工程门槛降低了,优化模型能力,扩大AI应用场景。(FINETUNE的一部分)