5月6日,OpenAl发布文生3D模型ShapE,并在Github上开源。
ShapE:一个3D资产的条件生成模型,与其他3D生成模型的不同之处在于,它可以同时生成两种类型的3D表示:纹理网格(textured meshes)和神经辐射场(neural radiance fields)。这使得生成的3D模型可以通过多种方式渲染或导入其他3D应用程序。在大量成对的3D和文本数据集上训练后,ShapE能够在短短几秒钟内生成复杂且多样化的3D资源。与最近提出的基于点云的显式3D生成模型PointE相比,ShapE收敛得更快,并在相同的模型架构、数据集和条件机制下实现了可比较甚至更好的样本质量。
相比其他3D生成技术,Shap.E的推理成本更低,即推理速度更快。论文中使用了CLIPR-Precision度量标准,对比了ShapE与其他3D生成技术进行比较,强调基于优化的方法的优越样本质量以显著的推理成本为代价的。由于ShapE不需要额外的上采样扩散模型,因此Shap-E的推理速度比PointE更快。
注:R-Precision是通过对提取的图像和文本特征之间的检索结果讲行排序,来衡量文本描述和生成的图像之间的视觉语义相似性。R-Precision越大说明图像与真实文本描述越相关。
论文提出结论:shapE在给定相同的数据集,模型架构和训练计算的情况下,表现相同或优干类似的显式生成模型。同时Shap.E可以在不依赖图像作为中间表示的情况下生成各种有趣的对象。这些结果强调了生成隐式表示的潜力,特别是在像3D这样的领域,它们可以提供比显式表示更大的灵活性。
观点重申:
1、Al+游戏、AI+动漫 融合不断加速,行业降本增收持续推进。AI技术进步持续超预期,较为成熟的文生文,文生图已充分应用干游戏制作和动漫动画制作的剧情生成,2D美术资产生成,已在降本增效方面有所体现,助力游戏厂商和动漫动画快速高质生成内容。而在更昂贵,生成更为警琐的3D资产方面,受限干训练集较少等问题,文生3D资产模型发展相对落后,但天厂从未停止过探索的节奉,已有LumaAl,谷歌的 DreamFusion、OpenAl的Point-E、Shap.E,以及Meta的PIFuHD、英伟达的Magic3D等3D资产生成技术。我们期待AI技术进步下,文生3D资产有望逐步成熟,带来游戏和动漫动画制作成本的进一步下探,同时更低的游戏、动漫动画内容制作门槛有望催生新玩法诞生,带来行业收入端的进一步提升。