Neuralangelo AI

NVIDIA Research 宣布了 Neuralangelo，这是一种创新的 AI 模型，它利用神经网络的力量从 2D 视频剪辑中重建详细的 3D 结构。

Neuralangelo 能够生成逼真的建筑物、雕塑和其他现实世界物体的虚拟复制品，展示了 AI 在 3D 重建领域的非凡潜力。

本文深入探讨了 Neuralangelo 的功能，探讨了它如何彻底改变创意工作流程及其在各个行业中的重要性。

如果你希望将Neuralangelo生成的3D模型转换为其他格式，例如GLTF或DAE等，可以使用NSDT 3DConvert这个强大的在线预览和转换工具，非常方便：

1、Neuralangelo 的逼真 3D 对象生成能力

Neuralangelo 和艺术家米开朗基罗一样，从（数字信息的）块中雕刻出令人着迷的 3D 结构。

这种尖端的 AI 模型利用神经网络生成复杂的细节和纹理，使创意专业人士能够将这些栩栩如生的 3D 对象导入设计应用程序。

从艺术和视频游戏开发到机器人和工业数字孪生，Neuralangelo 使用户能够以前所未有的真实感将他们的愿景变为现实。

2、将 3D 对象导入艺术/游戏和机器人设计程序

Neuralangelo 的显着特征之一是它能够准确地将复杂材料的纹理从 2D 视频转换为 3D 资产。

无论是捕捉屋顶瓦片的粗糙度、玻璃的透明度，还是大理石的光滑度，Neuralangelo 在对真实世界纹理的保真度方面都超越了以往的方法。

这一突破使开发人员和创意专业人士可以更轻松地使用智能手机镜头为他们的项目快速创建虚拟对象。

研究高级主管兼 Neuralangelo 论文的共同作者 Ming-Yu Liu 强调了 Neuralangelo 为创作者提供的巨大好处，使他们能够在数字环境中重建现实世界。

AI 模型的潜力从小型雕像延伸到大型建筑物，使开发人员能够将高度详细的对象导入视频游戏或工业数字孪生的虚拟环境中。

3、使用 Neuralangelo 捕捉真实世界的纹理

在一个引人入胜的演示中，NVIDIA 研究人员通过重建标志性物体（例如米开朗基罗的大卫）以及平板卡车等日常物体展示了 Neuralangelo 的能力。

此外，Neuralangelo 可以重建建筑物的内部和外部，例如 NVIDIA 湾区园区的详细 3D 公园模型。

为了克服以前 AI 模型在准确捕捉重复纹理模式、均匀颜色和强烈颜色变化方面的局限性，Neuralangelo 结合了 NVIDIA Instant NeRF 的即时神经图形基元。

通过分析从不同角度捕捉的 2D 视频，Neuralangelo 选择提供不同视点的帧，类似于艺术家从多个角度审视一个主题。 这种方法使模型能够掌握场景的深度、大小和形状。

然后人工智能生成一个粗略的 3D 表示，类似于雕塑家塑造他们的作品。 随后，模型优化渲染，精确地细化细节，就像雕刻家精心凿凿石头以模仿复杂的纹理一样。

其结果是令人惊叹的 3D 对象或大型场景，可在虚拟现实、数字孪生和机器人技术开发中找到应用，突破沉浸式体验的界限。

4、Neuralangelo 在 CVPR 2023 上的演讲

NVIDIA Research 将于 6 月 18 日至 22 日在温哥华举行的计算机视觉和模式识别会议 (CVPR) 上展示近 30 个项目中的 Neuralangelo。 这些项目涵盖广泛的主题，包括姿势估计、3D 重建和视频生成。

NVIDIA Research 的另一个著名项目称为 DiffCollage，它采用扩散方法创建大规模内容，包括横向、360 度全景图和循环运动图像。

通过将较小的图像视为较大视觉拼贴的一部分，DiffCollage 使扩散模型能够生成具有凝聚力的内容，而无需对相同比例的图像进行训练。

5、总结与结论

通过 Neuralangelo，NVIDIA Research 展示了 AI 在将 2D 视频转换为身临其境的 3D 场景方面的巨大潜力。

它捕捉复杂细节和纹理的能力为各个行业开辟了新的可能性，从游戏和艺术到机器人和工业数字孪生。

Neuralangelo 彻底改变了创意工作流程，使专业人士能够以无与伦比的保真度在数字环境中重建现实世界。

Neuralangelo 在即将举行的 CVPR 会议上占据中心位置，代表了计算机视觉和模式识别领域的一个重要里程碑，为人工智能在 3D 重建中发挥关键作用的未来奠定了基础。

原文链接：Meet Neuralangelo: NVIDIA’s AI That Transforms 2D Videos into Mesmerizing 3D Masterpieces

BimAnt翻译整理，转载请标明出处