业界首个高质量原生3D组件生成模型来了！来自腾讯混元团队

业界首个高质量原生3D组件生成模型来了！来自腾讯混元3D团队。

现有的3D生成算法通常会生成一体化的3D模型，而下游应用通常需要语义可分解的3D形状，即3D物体的每一个组件需要单独地生成出来。

一般来说，组件式3D生成主要有2个应用场景：

1） 视频游戏制作管线： 在游戏中， 很多资产是要根据语意信息将其绑定不同的游戏逻辑， 比如，汽车模型应该能够被分解为主体和四个可滚动的轮子， 这样轮子是可以单独滚动起来的。所以组件拆分很重要。

与此同时，3D几何生成的下游链路，包括低模拓扑，UV展开等模块。这些模块处理很复杂的几何会变得困难，通过将复杂几何进行拆分简单的小组件，这种分而治之的策略，可以大大降低下游算法的处理难度。

2）3D打印： 这对3D打印行业也是不错的消息， 用户可以把组件一个一个打印出来然后再组装，像搭积木一样。

然而，现有的组件式3D生成方法通常缺乏足够的可控性，生成部件的几何质量不够理想，并且语义连贯性有限。

对此，Hunyuan3D-Part提出了一种用于打造可投入生产，几何质量高，可编辑，且结构合理的组件式3D生成新范式。

下面详细来看。

技术流程介绍

如下图所示，给定一张输入图片，团队首先使用Hunyuan3D的基模型获取整体形状（可以是V2.5或者V3.0）。

然后，将整体Mesh传递给部件检测模块P3-SAM，以获得语义特征和部件的边界框（bounding boxes）。

最后，由X-Part将整体形状分解为各个部件。

△图1. Hunyuan3D-Part组件拆分整体流程

其技术亮点在于：

1）提出了业界首个原生3D分割模型P3-SAM， 利用大规模高质量3D数据训练，摆脱对2D数据的依赖，大幅提高3D组件分割的精度和鲁棒性。

2）提出了工业级组件生成模型X-Part，重新定义3D组件生成可控性和生成质量的天花板。

技术展开介绍

以下为P3-SAM和X-Part的详细介绍。

原生3D分割模型P3-SAM

团队提出了一种原生3D的分割模型，称为Point-PromptablePartSegmentation，即P3-SAM。

该模型旨在实现对任意复杂三维物体的全自动分割，生成精确掩码并具备极强的鲁棒性。作为开创性的可提示图像分割工作，SAM为实现这一目标提供了可行的方案。

然而，本方法聚焦于自动实现精确的组件分割，并对SAM的体系结构进行了简化。团队未采用SAM中复杂的分割解码器和多类型提示，仅采用单一正点提示进行处理。

具体来说，如图2所示，P3-SAM包含一个特征提取器、三个分割头和一个IoU（交并比）预测头。