没有一帧实拍：用 AI 图像和高斯泼溅做一部 VR 短片
有些 3D 场景从来没有存在过，也不打算存在。Marzena Milowska 的论文短片《Through the Depths of Time》走过人类历史的几个关键时刻——穴居人、弗莱明发现青霉素、阿姆斯特朗登月——没有一帧是实拍的：每个场景都从一张 AI 生成的图开始，再被做成观众能在 VR 里走进去的 3D 空间。
真正有意思的是她为了解决"单图转 3D 不够用"而自建的那条路：先用 AI 视频模型生成一段 360° 环绕镜头，把这段假视频当成虚拟扫描仪，交给高斯泼溅去重建。 模型里的人和物从来不存在，相机也是合成的，但重建软件拿到了一串"不同视角"。
这也是全篇最贵的一课：AI 生成的环绕镜头并不一致——每转一个角度，模型就把同一张脸重新发明一次；而重建算法假设自己看着同一个稳定物体，于是把这种分歧变成漂浮物和糊掉的脸。偏偏 VR 里观众第一眼看的就是脸。
本文完整编译英文源文 Radiance Fields / Marzena Milowska，2026-10-27《Stepping Inside an AI-Generated Film With Gaussian Splats》 的全部要点。这是一位创作者的项目复盘，不是基准测试；我们未复现该项目（数据截至 2026-11-02）。
一、项目与它要解决的那个问题
- 时间：2025-09 到 2026 年初，纽约视觉艺术学院（SVA）MFA 论文。
- 形态：一条连续旅程的短片 + 一个能走进同一批场景的 VR 版本。
- 硬约束：不想做成"一串独立的图"，要让这些时刻像一次连续的演化穿行。
- 当时的现实：2025 年 9 月开工时，现成的单图转 3D 工具细节与一致性都不够。
于是她自己造了方法：先生成 360° 环绕，再从生成的多视角重建。
二、四步管线
1）生成场景
每个场景先是一张 AI 生成的概念图——那一刻的人与物都在里面。
2）用 AI 相机绕它一圈
用 Higgsfield 的 360 Camera Orbit 生成一段绕着场景里人和物转的视频。得到的合成多视角素材，等价于拿相机绕着一个真东西走一圈。
关键判据：相机运动与主体一致性要"足够连贯"，才可能让 Postshot 与 Luma AI 重建出可用的高斯泼溅——即便素材本身带着 AI 的固有抖动。
3）训练与清理
每个主体在 Postshot 与 Luma AI 里各训一次，两个都跑、取更干净更细的那个。作者的结论很直白：两个工具轮着赢，谁都不能少。
两个场景还用了"双层"做法：把环绕视频抽帧喂给 RealityScan（Epic 的桌面摄影测量软件，产出带贴图的网格），得到网格 + 同一主体的 splat，后期合成时叠起来——网格给实体形状，splat 补上更照片化的观感。
清理在 SuperSplat 里做：去掉游离的 splat、收拾主体边缘。
4）在 Unreal 里搭世界、做动画
splat 导出成 PLY，用 Luma AI 插件进 Unreal Engine 5.3。在里面摆场景、定相机、设计运动。
两个更大的环境直接用 World Labs 的 Marble 从提示词/图片生成 3D 世界（项目中期上线的功能），用在"工业革命"这类大场景：环境来自 Marble，火车/汽车/飞机是在 Postshot 里训的 splat，全部在一个 UE5.3 场景里拼起来。
三、重建 AI 图像最脏的部分
跟真实拍摄最大的差别是一致性。拍真东西时，它每一帧都一样；AI 生成的环绕不是——细节会随相机移动而漂移，因为模型不是在记录，而是在每转一个角度就重新发明一次。
重建软件假设自己在看一个稳定物体，视角之间矛盾时它试图调和，于是在她的场景里表现为：主体周围的漂浮伪影，以及视角冲突最厉害处的涂抹与模糊。
最典型的是脸：一个角色的五官在不同角度间轻微漂移，重建就没有"一张脸"可以收敛。结果是正面看对、转过来就变软或重影——而这恰好是 VR 观众的视线落点。
但她把缺陷变成了语言
"漂浮的 splat 和柔软的边缘通常是重建的敌人，但它们适合一部关于记忆与时间的片子。"
转场里她故意让瑕疵露出来：splat 松散、漂移、消散，各自按自己的方式移动，场景像记忆一样碎开，把观众带进下一个时刻。
四、把 splat 当动画介质
在 Unreal 里，Luma 插件用 Niagara 粒子系统渲染 splat，于是每个场景都能被当作一团粒子来动画：按时间驱动它们的位置与不透明度，拉开、漂移、再收拢回位。splat 数据本身成了动画介质，而不是"建好模再动"。
双层场景（网格 + splat）用同样的思路分层动画：一个 Niagara 系统采样网格表面、从表面生成粒子，网格就能以自己的方式碎开。网格动画与 splat 动画分别渲成两个 pass，在后期合成时叠加，两层可以独立控制。碎多少、漂多少，取决于那一刻片子需要什么。
VR 版的取舍（这条最实用）
同样的分层做法在 VR 里不可行：那里全是实时渲染、没有合成步骤，在她的配置下把网格和 splat 放在同一个实时场景会撞上排序与性能问题。所以 VR 里每个场景只选一层——要么 splat，要么网格。
以及一条容易踩的坑：引擎版本很要紧。她用 UE 5.3 + 兼容 5.1–5.3 的 Luma 插件；想复现这套流程，先核对自己的引擎与插件版本。
五、一个世界，两种体验
同一批场景驱动两个版本，但改变了观众与作品的关系：
| 短片 | VR | |
|---|---|---|
| 相机 | 作者控制，带观众走 | 观众就是相机 |
| 探索 | 按剪辑节奏 | 自己看、自己走、自己发现 |
| 渲染 | 分层 pass + 后期合成 | 实时单层 |
| 作者原话 | 一个连续的旅程 | 走过那些"原本只是一张 AI 图"的空间 |
展览现场看到观众真的在里面走，她说那是项目"完整了"的时刻。
六、她的判断与工具现状
泼溅正在成为一种独立的成像媒介，与摄影、视频并列；生成式 AI 让它能重建从未存在过的地方和人，并让观众站进去。对叙事来说，场景不必终止于画框边缘——历史时刻、想象地点、角色都可以变成可穿行的空间，而且不需要外景、布景和采集团队。
工具现状（她的盘点，2026-10）：
| 工具 | 产出 | 要点 |
|---|---|---|
| Apple SHARP | 高斯表示 | 主要为"附近视角"渲染服务 |
| TripoSplat | 高斯泼溅 | 单图出 splat |
| TRELLIS | 多种 3D 资产（含高斯与网格） | 类型更全 |
| 共同短板 | — | 单图模型必须推断源图里看不见的信息，虚构视角的质量与一致性仍会波动 |
她的判断是：先绕一圈再重建这条路线正在被自动化，从单张静帧到重建 splat 的管线正在成型，过去要几个工具加大量手工清理的流程，正被折进单一管线。
图：VR 版片段截帧（Radiance Fields / Marzena Milowska 项目视频）。原图：59G9FyqHk1s
七、如果你也想这么干
- 先决定你的验收标准是"能看"还是"能进"。 短片可以靠剪辑与合成掩盖不一致；VR 不行，脸一重影就废。
- 双工具并行训练不是浪费：不同 splat 工具对同一批环绕视频的收敛方式不同，取更干净的那个比调参划算。
- 凹腔与细部注定丢：这是影像管线，不是测绘。需要尺寸的地方别用这条路。
- 引擎 + 插件版本先对齐，再谈流程复现。
- 把瑕疵写进语言：如果做不到物理正确，就让它成为风格的一部分——但要基于判断，不是因为修不好。
如果你只是想在浏览器里先看看生成出来的模型（PLY/GLB/OBJ/STL）长什么样、有没有明显破面，用在线 3D 查看器打开比装 Unreal 快得多。
边界
- 这是一位创作者的艺术项目复盘，不是工程规范或性能基准；所有流程描述都是她的个人做法与当时的工具版本（2025-09 至 2026 初）。
- 没有量化指标：既没有重建误差，也没有帧率/显存数据，只有定性描述（"更干净""更细"）。
- 工具与功能会变：Higgsfield、Postshot、Luma AI、SuperSplat、RealityScan、Marble、SHARP、TripoSplat、TRELLIS 的能力与许可请以各自官网为准；本文未做选型建议。
- 本文为编译稿，我们未复现该项目。
Sources
- 主源文：Marzena Milowska《Stepping Inside an AI-Generated Film With Gaussian Splats》，Radiance Fields，2026-10-27 https://radiancefields.com/stepping-inside-an-ai-generated-film-with-gaussian-splats
- 项目页：https://marzenamilowska.co.uk/gaussian-splats
- 高斯泼溅原始论文：Kerbl et al.，SIGGRAPH 2023
- 工具：Higgsfield（360 Camera Orbit）、Postshot、Luma AI、SuperSplat、RealityScan、World Labs Marble、Apple SHARP、TripoSplat、TRELLIS
同主题阅读
本文属于「AI × 3D / 生成式 AI」专题。BimAnt 编译整理，转载请注明出处。文中流程与判断均来自原作者，我们未复现该项目。
本文属于「AI × 3D」专题。查看专题全部文章 →