$云天励飞-U(SH688343)$ 必须学习一下了:
《科创板日报》4月21日讯(编辑 宋子乔) 在AI大模型竞赛中,Meta选择重押视觉模型,继推出零样本分割一切的SAM后,扎克伯格亲自官宣了重量级开源项目DINOv2。
据介绍,DINOv2是计算机视觉领域的预训练大模型,模型参数量是10亿级,采用Transformer架构,能在语义分割、图像检索和深度估计等方面实现自监督训练,不需微调即可用于多种下游任务,可以被用于改善医学成像、粮食作物生长、地图绘制等。
主要体现在两方面——DINOv2可以为大语言模型提供丰富的图像特征,有助于完善多模态GPT应用;其蒸馏成小模型后效果依然优秀,便于在各种边缘场景及本地化落地。
对于前者,Meta已表示计划将DINOv2集成到更大、更复杂的AI系统中,作为视觉主干提供丰富的图像特征与大型语言模型进行交互。
国盛证券分析师刘高畅表示,DINOv2能比用图像文本对做训练的模型得到更丰富的图像特征,这将让整个系统能更好地理解图像,对多模态AI的发展起到加速作用。
值得注意的是,多模态技术还能助力游戏内容与元宇宙构造,随着AR/VR技术的发展,未来将能构建逼真的虚拟现实。扎克伯格就强调,DINOv2可以极大地加持元宇宙的建设,让用户在元宇宙中的沉浸体验更出色。
DINOv2 能产生高性能的视觉特征,用于不同下游视觉任务如分类、分割、图像检索和深度估计,不需要微调。
其创新点和优秀性能来源于使用图像自监督学习的方式训练,不需要图像和文本对应的训练数据,克服了文本对图像描述不够全面的局限性。
2022年9月云天励飞重磅推出开源、免费的模型生产平台YMIR。
YMIR覆盖模型生产的全生命周期,能以无代码开发方式,实现数据管理、数据挖掘、模型训练、模型验证等功能,以数据驱动算法模型训练和迭代,可训练出能够应用部署在工业化生产中的算法,满足业务需求。经实践对比,使用YMIR后算法生产效率可提升了6倍,算法人员的需求降为原来的 1/10。
YMIR的工作流程是:先用少量已标注数据训练出初始模型,再用该模型从海量数据中挖掘出对优化模型最有利的数据,然后针对这些高质量数据进行标注,对原本的训练数据集进行高效扩充,接着YMIR再次使用更新后的数据集训练模型。如此循环往复,不断提升模型质量,直至满足实际业务需求为止。值得一提的是,经YMIR训练出来的算法模型,支持一键部署到设备。同时,YMIR还提供大量免费算法,可供用户快速部署使用。