登录注册
通用AGI时代来临?说说GPT-4o体会
轻点一支烟
奉旨割肉的剁手专业户
2024-05-14 07:43:29

1.原本以为GPT-4免费,但没想到是多模态的免费...并且过去只有Plus付费用户才有的GPTs、browring、图像理解、代码解释器等全部免费。当然用量是限制了,5X标准用量后才会收费。但别着急,等GB200部署后,一定是GPT-4 level模型全部免费,你们不是追赶GPT-4吗,不是卷价格吗,Ok大家都别赚了。剩下的收费点:用量、新模型

2. 最惊人的低延迟如何实现的?这是个系统工程,全栈优化。从模型到硬件Infra到推理工程软件优化等等。首先过去的语音模型3个模型,现在端到端了,其次一个月前老黄刚刚交付给OAI最新的H200,推理速度是H100的2倍,以及正如中国模型最新进展,OAI一定做了大量未知的架构创新(毕竟已经1年多了...),还有网络优化、推理引擎、批次处理等等雕花小技巧。但能力不降甚至略高于GPT-4情况下,依然实现如此低延迟,还是非常惊人。这一下拔高了推理延迟的标准,而从硬件角度如果大家去追逐低延迟的话,又会再次强调访存带宽、片间互联,且随着模型变大,高带宽域也需要更大,又回到了NVL72的精妙之处...所以你说老黄定义的准不准(提前知道答案能考得不好吗)

3. 免费/低价+低延迟可用性大幅提高,应用开发可能性大幅提高。比如下图

 语音对话的同时,开启摄像头,让ChatGPT实时看到你所在的环境以及你看到的信息(不是视频,而是截图,可能考虑input token数量和视频理解能力不成熟),这是典型的AR应用,过去AR用一堆硬件+摄像头想去实现的能力,还塞不进去,还担心功耗等等问题,现在一个模型实现了,且可以嫁接到任何有摄像头的IOT设备

再比如,ChatGPT电脑客户,现在只是复制、分享电脑屏幕。因为accuracy还有待提高,这要等下一代模型。但accuracy上来了,下一步就是模型/agent自动操作电脑屏幕。的确很多桌面端或者移动端APP要瑟瑟发抖,在他们身前凭空加了一个新入口。

再比如下面这个,两个模型/agent对话。过去因为延迟也好,隐私也好,没看到成熟应用。现在终于看到了科幻小说般的场景,agent与agent协同,人与人之间的很多交互,是不是分解为每个人各自诸多助理之间的交互?

 更不用说其他大量应用场景过去都被延迟限制了,现在全部解锁。cost、latency、accuracy、complexity,四个解决了2个了,就看下一代模型解决后两个,应用会进一步被释放。回到我们1月文章所说,这是个阶梯式逐渐解锁的过程...

当然,又是模型对一堆应用公司的绞杀,看看多邻国的跳水...隔壁谷歌还反弹了,毕竟整个过程和search搜索相关性几乎没有,但也只是现在。以及现在我对苹果9月发布会更有信心了,这种体验如果是siri,算不算苹果的巨大升级?能不能驱动换机?明白了为什么OAI放在谷歌IO前一天...比武招亲?

这里自然引出另一个话题,OAI和苹果的合作模式会是什么样的。OAI需要的最核心的是端侧应用权限,系统级权限,只有苹果能提供。而苹果显然需要的就是GPT-4o这种模型。那按道理安卓机也可以去调用GPT-4o,那苹果的优势在哪儿?可能又回到了本身自制芯片、封闭生态、统一OS体验等等。以及这种siri的商业模式会如何?假如明年真的GB200让GPT-4o干到近乎免费,苹果10亿用户存量(能支持GPT-4o的存量机型不知道有没有这么多,但云端倒是都可以),会是多大的调用量...正如之前我们说的,苹果+OAI,会让推理的用量不敢想象...且都是这种极低延迟推理,对infra的需求是巨大变化。


作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
三六零
S
昆仑万维
S
科大讯飞
S
万兴科技
工分
43.67
转发
收藏
投诉
复制链接
分享到微信
有用 48
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(34)
只看楼主
热度排序
最新发布
最新互动
  • 湖人总冠军
    关灯吃面的剁手专业户
    只看TA
    05-14 07:55
    如果siri变成这种级别的ai助手,那就是新时代的智能机对上所有老一辈的“诺基亚”
    8
    0
    打赏
    回复
    投诉
    于2024-05-14 08:22:53更新
    查看2条回复
  • KK
    春风吹又生的散户
    只看TA
    05-14 08:13
    有点幸运,四只票有俩😂
    4
    1
    打赏
    回复
    投诉
    于2024-05-14 15:52:17更新
    查看6条回复
  • 只看TA
    05-14 08:00
    4
    0
    打赏
    回复
    投诉
  • 秋丰
    中线波段的老韭菜
    只看TA
    05-14 07:58
    感谢梳理解读👍👍👍
    4
    0
    打赏
    回复
    投诉
  • 只看TA
    05-14 08:26
    因赛龙头
    3
    0
    打赏
    回复
    投诉
  • 只看TA
    05-14 07:58
    感谢分享
    3
    0
    打赏
    回复
    投诉
  • 耀华璟耀
    热爱评论的散户
    只看TA
    05-14 08:26
    感谢分享!
    2
    0
    打赏
    回复
    投诉
  • 韭久为功
    蜜汁自信的老韭菜
    只看TA
    05-14 08:24
    谢谢分享!
    2
    0
    打赏
    回复
    投诉
  • 只看TA
    05-14 08:25
    谢谢分享
    1
    0
    打赏
    回复
    投诉
  • 只看TA
    05-14 22:51
    谢谢分享
    0
    0
    打赏
    回复
    投诉
  • 1
  • 2
  • 3
前往