【西部计算机】Meta发布SAM,看好多模态解决方案产业链
Meta可以快速识别照片/视频中的所有物体,并智能地将其分割成不同的形状和板块。1)相较于普通的抠图软件来说,原本需要手动选择的目标,现在只需要SAM的识别就可以快速分割画面中的物品,且精准度,效率都要比个人操作高。2)此外,SAM的一大突破还在于,即使是在训练过程中从未遇到过的物品和形状,人工智能也能将其准确识别并分割出来。3)交互方面,SAM还支持用户使用各种交互性的方式来分离出想要的物体。可以通过将鼠标悬浮在该物体之上,就能自动定位出物体的轮廓。即使是颜色非常相近或者有连人眼都很难快速分辨出的倒影的图片之中,SAM都能非常准确找出轮廓边线。也可以直接通过输入文字查询,AI就可以找到并标记出这个图片中对应的文字对象。4)视频方面,对于视频中的物体,SAM也能准确识别并且还能快速标记出物品的种类、名字、大小,并自动用ID给这些物品进行记录和分类。5)编辑方面,除了能把物品从图像中精准地分离出来,SAM还能支持对这个物品的编辑。
SAM基于1100万张照片训练,模型和数据全部开源,看好多模态解决方案产业链。1)SAM开创性地跟Prompt结合了起来。它可以接受各种输入提示,例如点击、框选或指定想要分割的对象,这种输入并不是一次性指令,你可以不停地对图像下达不同的指令达到最终的编辑效果,这也意味着此前在自然语言处理的Prompt模式也开始被应用在了计算机视觉领域;此外,SAM基于1100万张图像和11亿个掩码的海量数据集上进行训练,这是迄今为止最大的分割数据集;SAM在各种分割任务上具有很强的零样本性能。零样本意味着SAM可以在不对特定任务或领域进行任何额外训练或微调的情况下分割对象。2)我们看好多模态产业链,Meta此次推出SAM预示着大模型在多模态发展方面更进一步,布局计算机视觉/视频的厂商有望在Meta产品推出的背景下持续受益。
📈建议关注:多模态解决方案产业链:当虹科技:公司专注于智能视频技术的算法研究,聚焦AI视觉应用,有望受益大模型多模态应用;罗普特:聚焦AI视觉应用的小巨人,布局存算一体,有望受益大模型多模态应用。
联系人:邢开允/赵宇阳