NSDT工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 - 3D道路快速建模
新的 NVIDIA NGP Instant NeRF 很好地介绍了神经辐射场(NeRF)的入门知识。 在短短一个小时内,你就可以编译代码库、准备图像并训练你的第一个 NeRF。 与其他 NeRF 实现不同,Instant NeRF 只需几分钟即可训练出漂亮的视觉效果。
本文将带你了解制作第一个 NeRF 的整个流程。 我们首先学习几个关键技巧,可帮助你编译代码库并解释如何捕获良好的输入图像;接下来浏览 GUI 界面并解释了如何优化场景参数;最后学习如何从场景中创建动画。
1、编译代码库
代码库很容易为经验丰富的程序员和数据科学家编译。 初学者可以轻松地按照来自 GitHub 主存储库的 bycloudai 分支中提供的详细说明进行操作。 以下是一些有助于安装过程的附加提示:
- 安装 Visual Studio 2019。
- 安装最新版本的 CUDA 工具包。
- 安装 Python 3.9。 如果你是 Python 新手,需要指出的是,这不是最新版本。
- 使用 CMake 3.22 并确保使用 Python 3.9 编译代码库。
2、为 Instant NeRF 捕获图像
该管道接受Instant NeRF 生成的照片和视频输入。 Instant NeRF 生成管道的第一步使用 COLMAP 来确定相机位置。 基于此,你必须遵循关于重叠和清晰图像的摄影测量的基本原则。 这个视频展示了理想捕获的示例图像。
3、启动 GUI 训练 NeRF模型
为 Instant NeRF 准备好当图像的相机姿态后,使用从代码库编译的包含的 Testbed.exe 文件通过 Anaconda 启动图形用户界面。 NeRF 自动开始训练你的 NeRF模型。
你会发现前 30 秒内获得了大部分视觉质量; 但是, NeRF 将在几分钟内继续改善。 GUI 中的损失图最终会变平,你可以停止训练以提高查看器的帧率。
GUI 包括许多可视化选项,包括对相机的控制和调试可视化。 我在演示视频中介绍了 GUI 中的几个不同选项。
提示:将常用的命令行提示保存在记事本中以供将来参考。
4、创建动画
NVIDIA 通过 GUI 提供易于使用的相机路径编辑器。 要添加关键帧,请在场景中导航并选择从 Cam 中添加。 GUI 使用贝塞尔曲线生成相机轨迹。 要预览动画,请选择“Read”。 当你对动画感到满意时,请保存相机路径并使用脚本文件夹中的渲染脚本渲染完整质量的视频。
5、结束语
我发现 Instant NeRF 的一大好处是我可以捕捉整个背景作为场景的一部分。 使用摄影测量法,我失去了物体周围环境的背景。 这个事实让我很兴奋,因为它开启了一个全新的世界,充满了以新方式捕捉和可视化世界的潜力。
我发现使用 NVIDIA Instant NeRF 进行试验是对新兴技术的一个很好的介绍。 我能够产生结果的速度意味着我可以快速了解什么适用于图像捕捉。 我希望在你开始自己探索 NeRF 的力量和乐趣的旅程时,这个教程对你有所帮助。
原文链接:Getting Started with NVIDIA Instant NeRFs
BimAnt翻译整理,转载请标明出处