搜索
您的当前位置:首页生成系列论文:文本控制的3d点云生成 TextCraft(一):论文概览

生成系列论文:文本控制的3d点云生成 TextCraft(一):论文概览

来源:爱问旅游网

TextCraft: Zero-Shot Generation of High-Fidelity and Diverse Shapes from Text
论文原文: https://arxiv.org/abs/2211.01427

论文的研究动机

  • DALL2已经在文本控制的图像生成上取得很好的效果,但是基于文本控制的3d点云生成的研究还不太成熟,于是本文作者想要研究这个方向内容;
  • 但是这时候作者发现了新的问题:没有成熟的数据集;
  • 因此作者想要利用clip的预训练模型来解决这个问题。

论文的具体思路

其实这个思路不困难,就是整理本身有的东西,本身有的东西包括:

  • 3d点云数据和视图对
  • 利用视图控制生成3d点云的网络

现在想要获得:

  • 利用文字控制生成3d点云的网络

想到clip:

  • 提供了一个提取出文字和图片的共用特征

所以只需要利用这个共用特征控制生成3d点云,就可以在训练的阶段用“视图和3d模型对”训练,在预测阶段用文字输入生成3d点云。

论文网络结构

总体网络图

因篇幅问题不能全部显示,请点此查看更多更全内容

Top