AI 3D建模工具: Tripo 3D | Meshy AI

CARLA 发布了 1.0 版:它能把一段真实录制的路测变成仿真场景,靠的是 NVIDIA 的 NuRec 26.04。

对做自动驾驶数据闭环的人来说,这句话的分量在"真实"两个字上——不是重建得"像"某条街,而是把录制下来的那条街连同当天的车流、路面反光一起搬进仿真器,然后你还在这上面跑物理和场景脚本。

NuRec 是什么,CARLA 用到哪一步

CARLA 从 0.9.16 起就支持 NuRec,那还是 Unreal Engine 4.26 那条线,项目现在把这条线称为已过时、即将弃用。

NuRec 是 NVIDIA 的神经重建栈,今年 3 月在 NGC 上转为正式可用(GA),形态是一组高斯泼溅(gaussian splatting)的重建与渲染库。

一个场景 = 一个 .usdz

在 CARLA 1.0 里,一个 NuRec 场景就是一个 .usdz 文件,里面装着三样东西:

  • 训练好的神经场景;
  • 录制下来的actor 轨迹;
  • OpenDRIVE 路网。

分工是这样的:CARLA 用那份路网建出世界、按轨迹生成 actor,并掌管物理和时钟;神经重建引擎(Neural Reconstruction Engine)跑在一个容器里,按 CARLA 报出的位姿回传照片级的相机帧和激光雷达扫描——一个 tick 内所有应该出图的相机,在一次批量往返里全部渲染完(走 gRPC)。

渲染器默认使用该 artifact 训练时所用的后端,也可以在演示配置里强制指定 nrend 或 gsplat。神经激光雷达可以模拟 PANDAR128 或 AT128。

接管之后,车怎么开

经过一段可配置的接管(handoff)之后,自车(ego)有三种走法:

  1. 跟着录制轨迹走;
  2. 用 CARLA 的车辆物理重新跑一遍录制轨迹;
  3. 交给 Traffic Manager 自由驾驶——其他车辆同样可以交给 Traffic Manager。

资产编辑方面,可以把某辆车的渲染资产换成另一辆,或者插入一个沿偏移轨迹行驶的克隆体。

混合:把 CARLA 的车合成进神经场景

有一份混合示例,把 CARLA 的车辆和行人合成进神经重建的场景里。做法是:用 CARLA 新增的光线追踪镜头相机,通过录制相机的那颗镜头渲染这些新增 actor;与重建结果之间的遮挡用一个距离 AOV 解决;再用 World.set_sky_light_map 让它们由场景录制下来的环境光照亮。

随包附带 5 个 Scenic 场景,其中包含高速 cut-in 与城区 pull-out——也就是说,可以在一次真实录制的行车里,让一辆脚本控制的车插到自车前面。

数据、引擎与安装包

示例场景来自 NVIDIA 在 Hugging Face 上的受控(gated)数据集 PhysicalAI-Autonomous-Vehicles-NuRec,完整下载约 1.5 TB。

CARLA 1.0 还把引擎从 Unreal Engine 5.5 升到 5.8(基于 CARLA 自己的引擎分支),新增 NVIDIA Cosmos 与 DLSS 4.5 支持,并提供 Ubuntu 22.04、Ubuntu 24.04、Windows 11 的安装包以及一个 Docker 镜像。CARLA 1.0 现在已在 GitHub 上可下载。

我们的整理:这条管线能拿来干什么

先把原文里散在各段的职责归一下,搞清楚“谁在算什么”:

  • 神经场景(高斯泼溅):NuRec 训练产物,打包在 .usdz 里,提供照片级相机帧的像素;
  • actor 轨迹:真实录制,记录车和人当时在哪、怎么动;
  • OpenDRIVE 路网(.xodr):真实地图,提供车道拓扑与路口连接,用来建世界;
  • 物理与时钟:CARLA,负责碰撞、车辆动力学和仿真时间步;
  • 神经激光雷达:NuRec,可模拟 PANDAR128 / AT128,输出雷达扫描回波;
  • 场景脚本:Scenic,随包 5 个,负责让脚本车插队、驶出。

原文是一篇两分钟的报道,事实密度高但没讲怎么用。按我们的理解补三点,都只基于文中出现的文件与格式:

第一,.usdz 里的 OpenDRIVE 是可以单独拿出来看的。路网是标准 .xodr,用来做车道拓扑核对、或者把仿真里的路口和真实路口的连接关系对齐时,直接进 OpenDRIVE 查看器 看一眼比读 XML 快得多——尤其当你想确认"录制的这段路,进仿真后是不是还是同一条路"。

第二,神经激光雷达的输出就是点云。文中两种被建模的型号(PANDAR128、AT128)都是机械式/半固态激光雷达的典型配置;把导出的 sweep 当普通点云处理(叠加、切剖面、量测),LAS 查看器 就能用,不需要为"神经"两个字换工具。

第三,评估口径要提前定。这套管线最容易踩的坑不是装不上,而是"渲染得像不像"没有指标:神经重建的相机帧是从训练时的那条轨迹附近渲染出来的,位姿一偏(自由驾驶、或者 Traffic Manager 把车带离录制轨迹),画质和几何一致性都会退化。真要用于回归测试,建议先固定三类场景(原轨迹跟随、物理重跑、TM 自由驾驶),分别记录同一批感知指标的漂移,再决定哪些测试可以搬到神经场景里。

如果只想先看看长什么样,原文给出的三个入口足够排一个下午:从 GitHub 拿 CARLA 1.0 的 Ubuntu 22.04 / 24.04 / Windows 11 包(或直接走 Docker 镜像),从 Hugging Face 那个受控数据集里挑一个 .usdz(不用下满 1.5 TB),在演示配置里先把渲染后端钉在 gsplat 或 nrend 上各跑一遍,对比同一段路的帧率和画质差异。

边界:本文为 Radiance Fields(2026-11-17)报道的忠实翻译,文中数字(1.5 TB、5 个 Scenic 场景、型号、版本号)未独立复核;NuRec 与 CARLA 的具体接口以实现版本的官方文档为准。"我们的整理"部分为编者补充,不代表原作者。

三个术语顺手记一下,读官方文档时省得到处查:NuRec = NVIDIA 的神经重建栈(重建 + 渲染库,2026 年 3 月在 NGC 转 GA);NRE(Neural Reconstruction Engine)= 跑在容器里、按位姿出图出雷达的服务;AOV(Arbitrary Output Variable)= 渲染时额外输出的通道,这里用“距离”通道判断新增 actor 该不该被重建场景遮挡。

同主题文章

本文属于「AI × 3D / 生成式 AI」专题,由 BimAnt 编译整理,转载请注明出处。