NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 - 3D道路快速建模
本文汇总了有关 3D 生成的研究，包括 3D 形状生成和 3D 感知的图像生成。
3D生成与 3D 重建不同，3D 重建侧重于每个实例的恢复（即数据已经存在于现实世界中），3D 生成的目标是学习真实分布，因此允许对新数据进行采样。
1、3D形状生成
1.1 点云
- 3D 点云的学习表示和生成模型 ICML 2018 / 代码
- 用于 3D 点云处理的多分辨率树网络 ECCV 2018 / 代码 / 项目页面
- 基于树结构图卷积的三维点云生成对抗网络ICCV 3 / Code
- 点云 GANICLR 2019 / 代码
- 通过图卷积学习 3D 点云的本地化生成模型 ICLR 2019 / 代码
- 点流：通过连续归一化流生成 3D 点云 ICCV 2019 / 代码
- 用于高分辨率 3D 点云生成的光谱 GAN IROS 2020 / 代码
- 渐进式点云反卷积生成网络ECCV 2020 / 代码
- 用于生成密集和彩色 3D 点云的渐进式条件生成对抗网络 3DV 2020 / 代码
- 用于生成 3D 点云的对抗性自动编码器 ICLR 2020 / 代码
- 用于形状生成的学习梯度字段 ECCV 2020 / 代码 / 项目页面
- 软流：用于规范流形流的概率框架 NeurIPS 2020 / 代码
- 用于高效生成点云的离散点流网络 ECCV 2020 / 代码
- 点增长：具有自我注意的自回归学习点云生成 WACV 2020 / 代码 / 项目页面
- MRGAN：使用无监督零件解缠的多根 3D 形状生成 ICCVW 2021
- SP-GAN：球体引导 3D 形状生成和操作SIGGRAPH 2021 / 代码
- 生成点网：基于无序点集的深度能量学习 3D 生成、重建和分类 CVPR 2021 / 代码 / 项目页面
- 用于 3D 点云生成的扩散概率模型 CVPR 2021 / 代码
- 通过点体素扩散生成和完成 3D 形状 ICCV 2021 / 代码 / 项目页面
- 流形流：使用归一化流隐式表示流形 3DV 2022
- LION： 用于 3D 形状生成的潜在点扩散模型 NeurIPS 2022 / 代码 / 项目页面
1.2 体素生成
- 通过 3D 生成对抗建模学习对象形状的概率潜在空间 NeurIPS 2016 / 代码 / 项目页面
- 使用卷积神经网络的生成和判别体素建模 arXiv 2016 / 代码
- SAGNet： 用于 3D 形状建模的结构感知生成网络 SIGGRAPH 2019 / 代码 / 项目页面
- 用于体积形状生成的广义自动编码器 CVPRW 2020 / 代码
- PQ-NET：用于 2D 形状的生成零件 Seq3Seq 网络 CVPR 2020 / 代码
- 学习用于结构感知形状合成的零件生成和装配 AAAI 2020
- 生成体素网：学习基于能量的模型进行三维形状合成和分析 TPAMI 3 / 代码 / 项目页面
- 八叉树Transformer：分层结构序列上的自回归 3D 形状生成 arXiv 2021
- AutoSDF：3D 完成、重建和生成CVPR 2022 的形状先验 / 项目页面 / 代码
1.3 网格生成
- SDM-Net：结构化可变形网格的深度生成网络 SIGGRAPH Asia 2019 / 项目页面
- PolyGen：三维网格的自回归生成模型 ICML 3 / 代码
- TM-NET：纹理网格的深度生成网络 TOG 2021 / 代码 / 项目页面
- 多图表生成曲面建模SIGGRAPH Asia 2018 / Code
1.4 神经领域
- 学习生成形状建模的隐式字段 CVPR 2019 / 代码 / 项目页面
- 连续隐式形状表示的对抗生成 EG 2020 / 代码
- DualSDF：使用两级表示的语义形状操作 CVPR 2020 / 代码 / 项目页面
- 用于 3D 形状建模的物理感知生成网络 CVPR 2021
- SurfGen：使用显式表面鉴别器的对抗性 3D 形状合成 ICCV 2021
- 使用基于网格的隐式函数生成 3D 形状 CVPR 2021 / 代码
- 变形隐式场：使用学习的密集对应对 3D 形状建模 CVPR 2021 / 代码
- gDNA：迈向生成式详细神经化身CVPR 2022 / 代码 / 项目页面
- 形状工匠：递归文本条件 3D 形状生成模型arXiv 2022
- 学习从单个示例生成 3D 形状 arXiv 2022 / 代码 / 项目页面
- 3D-LDM：使用潜在扩散模型的神经隐式 3D 形状生成 arXiv 2022
1.5 程序
- ShapeAssembly：学习生成用于3D形状结构合成的程序 SIGGRAPH Asia 2020 / 代码 / 项目页面
2、3D 感知的图像生成
我们根据所使用的表示形式对3D感知图像生成的研究进行分类。
2.1 体素
- 视觉对象网络：使用解开的 3D 表示生成图像 NeurIPS 2018 / 代码 / 项目页面
- HoloGAN：来自自然图像的3D表示的无监督学习ICCV2019 / Code
- BlockGAN：从未标记图像中学习 3D 对象感知场景表示 NeurIPS 2020 / 代码
- 迈向可控图像生成的神经图形管道 2021 年计算机图形学论坛 / 项目页面
- VoxGRAF：使用稀疏体素网格进行快速 3D 感知图像合成 NeurIPS 2022
2.2 深度
- 使用风格和结构对抗网络的生成图像建模 ECCV 2016 / 代码
- RGBD-GAN：通过 RGBD 图像合成从自然图像数据集学习无监督 3D 表示 ICLR 2020 / 代码
- 具有深度先验的 3D 感知室内场景合成 ECCV 2022 / 代码 / 项目页面
2.3 神经领域
- GRAF：用于 3D 感知图像合成的生成辐射场 NeurIPS 2020 / 代码 / 项目页面
- NeRF-VAE：几何感知 3D 场景生成模型ICML 2021
- GIRAFFE：将场景表示为组合生成神经特征场CVPR 2021 / 代码 / 项目页面
- pi-GAN：用于 3D 感知图像合成的周期性隐式生成对抗网络 CVPR 2021 / 代码 / 项目页面
- 使用局部条件辐射场生成不受约束的场景 ICCV 2021 / 代码 / 项目页面
- 用于形状精确 3D 感知图像合成的着色引导生成隐式模型 NeurIPS 2021 / 代码 / 项目页面
- Campari：相机感知分解生成神经辐射场3DV 2021 / 代码
- CIPS-3D：基于条件无关像素合成的 GAN 的 3D 感知生成器 arXiv 2021 / Code
- GANcraft：《我的世界》ICCV 3 的无监督 2021D 神经渲染 / 代码 / 项目页面
- 3D 表面感知图像合成的生成占用场 NeurIPS 2021 / 代码 / 项目页面
- 用于人类合成的 3D 感知语义引导生成模型 ECCV 2022 / 代码
- FENeRF：神经辐射场中的人脸编辑 CVPR 2022 / 代码 / 项目页面
- StyleNeRF：用于高分辨率图像合成的基于样式的 3D 感知生成器 ICLR 2022 / 代码 / 项目页面
- StyleSDF：高分辨率 3D 一致的图像和几何生成CVPR 2022 / 代码 / 项目页面
- GRAM： 用于 3D 感知图像生成的生成辐射歧管 CVPR 2022 / 代码 / 项目页面
- 使用 HDRI 重新照明arXiv 进行 3D 面部合成的生成模型 arXiv 2022 / 代码 / 项目页面
- Pix2NeRF：用于单个图像到神经辐射场的无监督条件 π-GAN 转换 CVPR 2022 / 代码
- 3D-GIF：通过隐式分解表示生成 3D 可控对象 arXiv 2022
- GIRAFFE HD：高分辨率 3D 感知生成模型 CVPR 2022 / 代码 / 项目页面
- 用于 3D 感知图像合成的多视图一致生成对抗网络 CVPR 2022 / 代码
- 解开3D：从单目图像中学习具有解开几何形状和外观的 3D 生成模型 CVPR 2022 / 项目页面
- 高效几何感知神经关节表示的无监督学习 ECCV 2022 / 代码 / 项目页面
- IDE-3D：高分辨率3D感知人像合成的交互式解解编辑 SIGGRAPH Asia 2022 / 代码 / 项目页面
- GRAM-HD：使用生成辐射歧管以高分辨率生成 3D 一致的图像 arXiv 2022 / 项目页面
- EpiGRAF：重新思考 3D GAN 的训练 NeurIPS 2022 / 代码 / 项目页面
- AvatarGen：可动画人类化身的 3D 生成模型 arXiv 2022 / 代码
- cGOF：具有条件生成占用场的可控 3D 人脸合成 NeurIPS 2022 / 代码 / 项目页面
- 使用几何感知鉴别器改进 3D 感知图像合成 NeurIPS 2022 / 代码 / 项目页面
- 高迪：沉浸式 3D 场景生成的神经架构师 NeurIPS 2022 / 代码
- DisCoScene：用于可控 3D 感知场景合成的空间解耦生成辐射场 arXiv 2022 / 代码 / 项目页面
- 学习具有未知姿势分布的 3D 感知图像合成 arXiv 2023 / 代码 / 项目页面
- Next3D：用于 3D 感知头部化身的生成神经纹理光栅化 CVPR 2023 / 代码 / 项目页面
2.4 混合表示
- 通过学习结构和纹理表示进行 3D 感知图像合成 CVPR 2022 / 代码 / 项目页面
- 高效的几何感知 3D 生成对抗网络CVPR 2022 / 代码 / 项目页面
- 生成神经关节辐射场 NeurIPS 2022 / 项目页面
- GET3D：从图像中学习的高质量 3D 纹理形状的生成模型 NeurIPS 2022 / 代码 / 项目页面
- DiffRF：渲染引导的 3D 辐射场扩散 arXiv 2022 / 项目页面
- 渲染扩散：用于 3D 重建、修复和生成的图像扩散 arXiv 2022 / 代码
- Rodin：使用扩散雕刻 3D 数字头像的生成模型 arXiv 2022 / 项目页面
- 使用三平面扩散arXiv生成3D神经场 arXiv 2022 / 代码 / 项目页面
3、2D 生成式模型的3D控制
除了明确学习 3D 生成模型外，还有一些关于 2D 模型的 3D 可控性的尝试。
- 解释 gan 的潜在空间以进行语义面部编辑 CVPR 2020 / 代码 / 项目页面
- StyleRig：用于纵向图像 3D 控制的绑定 StyleGAN CVPR 2020 / 项目页面
- 通过 3D 模仿对比学习进行解解和可控的人脸图像生成 CVPR 2020 / 代码
- 迈向用于三维可控图像合成的生成模型的无监督学习 CVPR 3 / 代码
- DiscoFaceGAN：通过 3D 模仿对比学习生成解开和可控的人脸图像 CVPR 2020 / 代码
- FreeStyleGAN：使用相机歧管进行自由视图可编辑人像渲染 SIGGRAPH Asia 2021 / 代码 / 项目页面
- 2D GAN 知道 3D 形状吗？从 3D 图像 GAN进行无监督 2D 形状重建 ICLR 2021 / 代码 / 项目页面
- 语义层次结构出现在场景合成的深度生成表示中 IJCV 2021 / 代码 / 项目页面
- 使用 3D 制导进行跨域和解纠的面部操作 TVCG 2021 / 代码 / 项目页面
- 图像 GAN 满足反向图形的可微渲染和可解释的 3D 神经渲染 ICLR 2021 / 项目页面
- 风格姿势：使用条件样式进行细节保留姿势引导的图像合成GAN TOG 2021 / 代码 / 项目页面
- SofGAN：具有动态样式的肖像图像生成器 TOG 2021 / 代码 / 项目页面
- MOST-GAN：用于解开面部图像处理的 3D 可变形样式 GAN，AAAI 2022
- HeadNeRF：基于 NeRF 的实时参数化磁头模型 CVPR 2022 / 代码 / 项目页面
- GAN2X：图像 GAN的非朗伯逆渲染 3DV 2022 / 项目页面
- DreamFusion：使用 3D 扩散的文本到 2D arXiv 2022 / 项目页面
- Magic3D：高分辨率文本到 3D 内容创建 arXiv 2022 / 项目页面
- 3D-TOGO：迈向文本引导的跨类别 3D 对象生成 AAAI 2023
- 雅可比链打分：提升预训练的 2D 扩散模型用于 3D 生成arXiv 2022 / 代码 / 项目页面
BimAnt翻译整理，转载请标明出处
