高能机器人,能说会看还能推理
视频中的小哥问它:「Figure 01,你看到了什么?」
思索几秒后,它张口说话了:「我看到桌子中间的盘子中,放了一只苹果,沥水架上有几个盘子和一个杯子。我还看到你站在旁边,你的手放在桌子上。」
小哥接着问:「我能吃点东西吗?」Figure 01回答:「当然!」然后抬起手,拿起一个苹果递给他。
下面,更高能的来了!
小哥直接把一堆垃圾哗啦啦倒在Figure 1面前,然后问它,你能不能一边给我解释下刚才为什么会这么做的原因,一边把这些垃圾收拾干净呢?
Figure 01一边有条不紊地把筐子拉到自己面前,把垃圾一个个捡进筐子里,一边回答道,「我给你苹果,是因为这是我在桌上唯一看到的能吃的东西」。
接下来,小哥又向Figure 01发出了灵魂拷问:「根据你眼前所见的场景,你觉得你眼前的这些盘子应该放到哪里呢?」Figure 01自信满满地表示:像桌上这些盘子啊杯子啊,应该放到旁边的沥水架上。
小哥表示,那你就帮忙放一下吧?五秒后,Figure 01抬起右手,用敏捷灵活的动作,一个一个地把盘子和杯子放到了该放的地方。
最后,小哥还让Figure 01给自己的表现来个复盘:「你觉得你表现得如何?」
Figure 01很满意地说:「我觉得我做得很好,我把苹果递给了你,把垃圾丢掉了,桌上的东西也都放到了该放的地方。」
小哥向它表示了感谢后,Figure 01甚至还伸开双臂,耸了耸肩,表示有什么忙要帮的,欢迎随时来找我。
这家机器人初创公司Figure,囊括了波士顿动力、特斯拉、谷歌DeepMind和Archer Aviation的前员工。成立不到两年,它已经估值26亿美元。和OpenAI的首次合作亮相,就如此惊艳。
显然,在机器人领域,人工智能时代才刚刚开始。
OpenAI的产品与合作副总裁Peter Welinder表示:"我们一直计划重返机器人领域,我们看到了与Figure合作的价值。我们想探索,在高性能的多模态模型驱动下,人形机器人能实现什么样的目标。」
如今,人形机器人再次引起了投资者兴趣,因为大模型驱动的软件,为机器人与人类的互动提供了更多可能性。
特斯拉CEO马斯克预测,在2040年,地球上将出现10亿个人形机器人。
创始人亲自下场解释原理
话说回来,被看Figure 01的这些操作看似容易,背后可是满满的玄机。
Figure AI的创始人Corey Lynch亲自在X解释了Figure 01的工作原理。
Figure 01现在能够做到:- 描述它看到的一切情况
- 规划未来的行动
- 思考输入的视觉和文字信息
- 语音输出它的推理结果
放出的这个视频中,所有的行为都是学习的(不是远程操作的),并且没有加速播放。
如下图所示,Figure AI用机器人摄像头采集的视频信息,加上麦克风捕获的语音中的文本转录到由OpenAI提供的多模态大模型中,理解图像和文本。
模型能够处理对话的完整记录,包括之前的历史视频,得到语言响应,然后通过文本到语音的方式传回给人类。同时模型还负责规划机器人运行哪些学习的闭环行为来完成给定的命令,将特定的神经网络权重加载到GPU上并执行策略。
将Figure 01连接到完成预训练的多模态模型,为其提供了一些有趣的新功能。
Figure 01在OpenAI的大模型的加持下可以做到:
- 描述机器人周围的环境;
- 决策时使用常识推理。比如,「餐桌上的盘子和杯子很可能之后要放到烘干架上」;
- 把「我饿了」这样模棱两可的高层次请求转化为「递给对方一个苹果」等与具体情况相适应的行为;
- 用通俗易懂的英语描述为什么它执行某个特定的动作。例如,「这是我能从餐桌上为你找到的唯一能吃的东西」。
【安徽:到2027年 拟初步构建人形机器人创新体系和产业生态 形成产业化能力】财联社5月30日电,《安徽省人形机器人产业发展行动计划(2024—2027年)》(征求意见稿)公布。
意见稿提到:
①到2027年,围绕“23456”目标体系,初步构建安徽省人形机器人创新体系和产业生态,形成产业化能力。
②构建两个中心,即合肥市研发制造与应用中心、芜湖市关键零部件生产配套中心;
③建设三大平台,即为人形机器人专设的省级创新平台、融资平台、招引孵化平台;
④打造不少于4种型号有国内代表性的人形机器人整机;
⑤开发控制器、高功率密度高性能伺服驱动器和伺服电机、一体化关节、轻质灵巧手、电子皮肤等5类优势部组件;
⑥推出面向制造、应急、商贸物流、医疗健康、家庭服务、文旅服务等六大领域场景的多类型人形机器人产品,形成示范应用。到2030年,人形机器人产业化进程加速,应用场景更加丰富,相关产品深度融入实体经济,建成国内有重要影响力的人形机器人产业发展高地。
NVIDIA 将在 6 月 5 日举行 AI Summit,参会者可以探索超过 20 场会议和演示。其中 3 位 NVIDIA 领导者将带来精彩演讲。这些会议和演示将涵盖开发者、研究人员和商业领袖关注的热门话题。
会议内容:
工业 AI 时代已经来临。参加本场会议,了解 NVIDIA 的合作伙伴生态系统如何利用 NVIDIA AI、Omniverse 和 Isaac 平台开发新一代机器人自主工厂,以及开发人员如何立即开始建立工业数字化解决方案。
机器人重磅消息--新闻联播英伟达安徽机器人产业规划
三、NVIDIA 创始人兼首席执行官黄仁勋将在北京时间 6 月 2 日 19:00 在台湾大学综合体育馆发表现场主题演讲,并分享 AI 时代如何助推全球新工业革命。6月5日,NVIDIA 总经理兼机器人和边缘计算副总裁将发表演讲。