NSDT工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 - 3D道路快速建模
在本教程系列的第 3 部分中,我们讨论了文本到 3D 的技术还不成熟。 然而,对于 2D 来说,情况就大不相同了。
在这一部分中,我们将讨论如何使用 AI 生成 2D 资产。我们将介绍生成 2D 资产的协作过程,其中将 Stable Diffusion 作为工具合并到传统的 2D 工作流程中。 这适用于具有一些图像编辑和 2D 资产创建知识的读者,但可能对初学者和专家等人有所帮助。
你需要先准备好以下工具:
- 你首选的图像编辑软件,例如 Photoshop 或 GIMP(免费)。
- Stable Diffusion
1、Image2Image
诸如Stable Diffusion之类的扩散模型通过在文本的指导下从噪声中重建图像来工作。 Image2Image 使用相同的过程,但以真实图像而不是噪声作为输入开始。 这意味着输出将在某种程度上类似于输入图像。
Image2Image 中的一个重要参数是去噪强度。 这控制了模型改变输入的程度。 去噪强度为 0 将准确再现输入图像,而去噪强度为 1 将生成截然不同的图像。 考虑去噪强度的另一种方法是创造力。 下图演示了在各种去噪强度下,使用圆形输入图像和提示“月亮”进行的图像到图像。
Image2Image 允许将 Stable Diffusion 作为一种工具使用,而不是作为传统艺术工作流程的替代品。 也就是说,你可以将自己手工制作的资产传递给 Image2Image,然后手动迭代返回结果,等等。 让我们以农场游戏为例。
2、示例:玉米
在本节中,我将介绍如何为农场游戏生成玉米图标。 作为起点,我勾勒了一个非常粗糙的玉米图标,旨在布置图像的构图。
接下来,我用以下提示让用Image2Image 生成一些图标:
corn, james gilleard, atey ghailan, pixar concept artists, stardew valley, animal crossing
我使用了 0.8 的去噪强度,以鼓励模型更具创造性。 生成几次后,我找到了一个我喜欢的结果。
图像不需要是完美的,只要朝着你要去的方向,因为我们会不断迭代。 就我而言,我喜欢所产生的风格,但认为茎有点太复杂了。 所以,我在photoshop中做了一些修改。
请注意,我粗略地绘制了我想要更改的部分,允许 Stable Diffusion 填充细节。我将修改后的图像放回 Image2Image,这次使用较低的去噪强度 0.6,因为我不想 从输入图像偏离太远。 Stable Diffusion返回给我一个令人满意的图标。
玉米杆的底部对我来说有点太绘画了,顶部有一个新芽。 所以,我在 photoshop 中对这些进行了绘画,在 Stable Diffusion 中又进行了一次处理,然后删除了背景。
Voilà,在不到 10 分钟的时间里,一个游戏就绪的玉米图标。 但是,你可以花更多的时间来获得更好的结果。 我推荐观看此视频,以更详细地演练如何制作更复杂的资产。
3、示例:镰刀
在许多情况下,你可能需要稍微对抗Stable Diffusion才能获得想要的结果。 对我来说,镰刀图标就是这种情况,它需要大量的迭代才能达到我想要的方向。
问题可能在于这样一个事实,即网上有更多关于镰刀作为武器而不是作为农具的图像。 解决此问题的一种方法是提示工程,或摆弄提示以尝试将其推向正确的方向,即在提示中写镰刀、镰刀工具或在否定提示中写武器。 但是,这不是唯一的解决方案。
Dreambooth、textual inversion和 LoRA 是用于定制扩散模型的技术,使它们能够产生更符合你目标的结果。 这些超出了本教程的范围,但值得一提,因为它们在 2D 资产生成领域变得越来越重要。
layer.ai 和 scenario.gg 等生成服务专门针对游戏资产生成,可能使用 dreambooth 和文本反转等技术来允许游戏开发人员生成风格一致的资产。 然而,在新兴的生成游戏开发工具包中,哪些方法将成为最重要的方法还有待观察。
如果你有兴趣深入了解这些高级工作流程,请查看此博客文章和 Dreambooth 培训空间。
原文链接:2D Asset Generation: AI for Game Development #4
bBimAnt翻译整理,转载请标明出处