网格顶点颜色转纹理
顶点颜色是一种将颜色信息直接添加到网格顶点的简单方法。这通常是生成式 3D 模型（如 InstantMesh）生成网格的方式。但是，大多数应用程序更喜欢 UV 映射的纹理网格。
本教程介绍了一种将顶点颜色网格转换为 UV 映射的纹理网格的快速解决方案。其中包括用于快速获得结果的简短版本和用于深入演练的详细版本。
1、简短版本
安装 InstantTexture 库以轻松转换。这是我们编写的一个小型库，它实现了下面详细版本中描述的步骤。
pip install git+https://github.com/dylanebert/InstantTexture
用法
以下代码将顶点颜色的 .obj 网格转换为 UV 映射、纹理 .glb 网格，并将其保存到 output.glb。
from instant_texture import Converter
input_mesh_path = "https://raw.githubusercontent.com/dylanebert/InstantTexture/refs/heads/main/examples/chair.obj"
converter = Converter()
converter.convert(input_mesh_path)
让我们可视化输出的网格：
import trimesh
mesh = trimesh.load("output.glb")
mesh.show()
就是这样！
有关详细演练，请继续阅读。
2、详细版本
安装以下依赖项：
- numpy 用于数值运算
- trimesh 用于加载和保存网格数据
- xatlas 用于生成 uv 贴图
- Pillow 用于图像处理
- opencv-python 用于图像处理
- httpx 用于下载输入网格
pip install numpy trimesh xatlas opencv-python pillow httpx导入依赖：
import cv2
import numpy as np
import trimesh
import xatlas
from PIL import Image, ImageFilter加载顶点颜色的输入网格。这应该是位于 input_mesh_path 的 .obj 文件。
如果是本地文件，请使用 trimesh.load() 而不是 trimesh.load_remote()。
mesh = trimesh.load_remote(input_mesh_path)
mesh.show()
访问网格的顶点颜色。
如果失败，请确保网格是具有顶点颜色的有效 .obj 文件。
vertex_colors = mesh.visual.vertex_colors使用 xatlas 生成 uv 贴图。
这是整个过程中最耗时的部分。
vmapping, indices, uvs = xatlas.parametrize(mesh.vertices, mesh.faces)将顶点和顶点颜色重新映射到 UV 贴图。
vertices = mesh.vertices[vmapping]
vertex_colors = vertex_colors[vmapping]
mesh.vertices = vertices
mesh.faces = indices
定义所需的纹理大小。
构建一个纹理缓冲区，该缓冲区通过 upscale_factor 进行放大，以创建更高质量的纹理。
texture_size = 1024
upscale_factor = 2
buffer_size = texture_size * upscale_factor
texture_buffer = np.zeros((buffer_size, buffer_size, 4), dtype=np.uint8)
使用重心插值填充 UV 映射网格的纹理。
- 重心插值：计算由顶点 v0、v1 和 v2 定义的三角形内点 p 的插值颜色，该三角形具有相应的颜色 c0、c1 和 c2。
- 点在三角形内测试：确定点 p 是否位于由顶点 v0、v1 和 v2 定义的三角形内。
- 纹理填充循环：
- 迭代网格的每个面。
- 检索当前面的 UV 坐标 (uv0、uv1、uv2) 和颜色 (c0、c1、c2)。
- 将 UV 坐标转换为缓冲区坐标。
- 确定纹理缓冲区上三角形的边界框。
- 对于边界框中的每个像素，使用点在三角形内测试检查像素是否位于三角形内。
- 如果在内部，则使用重心插值计算插值颜色。
- 将颜色分配给纹理缓冲区中的相应像素。代码如下：
# Barycentric interpolation
def barycentric_interpolate(v0, v1, v2, c0, c1, c2, p):
v0v1 = v1 - v0
v0v2 = v2 - v0
v0p = p - v0
d00 = np.dot(v0v1, v0v1)
d01 = np.dot(v0v1, v0v2)
d11 = np.dot(v0v2, v0v2)
d20 = np.dot(v0p, v0v1)
d21 = np.dot(v0p, v0v2)
denom = d00 * d11 - d01 * d01
if abs(denom) < 1e-8:
return (c0 + c1 + c2) / 3
v = (d11 * d20 - d01 * d21) / denom
w = (d00 * d21 - d01 * d20) / denom
u = 1.0 - v - w
u = np.clip(u, 0, 1)
v = np.clip(v, 0, 1)
w = np.clip(w, 0, 1)
interpolate_color = u * c0 + v * c1 + w * c2
return np.clip(interpolate_color, 0, 255)
# Point-in-Triangle test
def is_point_in_triangle(p, v0, v1, v2):
def sign(p1, p2, p3):
return (p1[0] - p3[0]) * (p2[1] - p3[1]) - (p2[0] - p3[0]) * (p1[1] - p3[1])
d1 = sign(p, v0, v1)
d2 = sign(p, v1, v2)
d3 = sign(p, v2, v0)
has_neg = (d1 < 0) or (d2 < 0) or (d3 < 0)
has_pos = (d1 > 0) or (d2 > 0) or (d3 > 0)
return not (has_neg and has_pos)
# Texture-filling loop
for face in mesh.faces:
uv0, uv1, uv2 = uvs[face]
c0, c1, c2 = vertex_colors[face]
uv0 = (uv0 * (buffer_size - 1)).astype(int)
uv1 = (uv1 * (buffer_size - 1)).astype(int)
uv2 = (uv2 * (buffer_size - 1)).astype(int)
min_x = max(int(np.floor(min(uv0[0], uv1[0], uv2[0]))), 0)
max_x = min(int(np.ceil(max(uv0[0], uv1[0], uv2[0]))), buffer_size - 1)
min_y = max(int(np.floor(min(uv0[1], uv1[1], uv2[1]))), 0)
max_y = min(int(np.ceil(max(uv0[1], uv1[1], uv2[1]))), buffer_size - 1)
for y in range(min_y, max_y + 1):
for x in range(min_x, max_x + 1):
p = np.array([x + 0.5, y + 0.5])
if is_point_in_triangle(p, uv0, uv1, uv2):
color = barycentric_interpolate(uv0, uv1, uv2, c0, c1, c2, p)
texture_buffer[y, x] = np.clip(color, 0, 255).astype(
np.uint8
)
让我们看一下目前的纹理是什么样子的。
from IPython.display import display
image_texture = Image.fromarray(texture_buffer)
display(image_texture)
我们可以看到，纹理上有很多洞。
为了解决这个问题，我们将结合 4 种技术：
- 修复：使用周围像素的平均颜色填充洞。
- 中值滤波器：通过将每个像素替换为其周围像素的中值颜色来消除噪声。
- 高斯模糊：平滑纹理以消除任何剩余的噪声。
- 下采样：使用 LANCZOS 重采样将大小调整为纹理大小。
# Inpainting
image_bgra = texture_buffer.copy()
mask = (image_bgra[:, :, 3] == 0).astype(np.uint8) * 255
image_bgr = cv2.cvtColor(image_bgra, cv2.COLOR_BGRA2BGR)
inpainted_bgr = cv2.inpaint(
image_bgr, mask, inpaintRadius=3, flags=cv2.INPAINT_TELEA
)
inpainted_bgra = cv2.cvtColor(inpainted_bgr, cv2.COLOR_BGR2BGRA)
texture_buffer = inpainted_bgra[::-1]
image_texture = Image.fromarray(texture_buffer)
# Median filter
image_texture = image_texture.filter(ImageFilter.MedianFilter(size=3))
# Gaussian blur
image_texture = image_texture.filter(ImageFilter.GaussianBlur(radius=1))
# Downsample
image_texture = image_texture.resize((texture_size, texture_size), Image.LANCZOS)
# Display the final texture
display(image_texture)
我们可以看到，纹理现在更加平滑，没有孔洞。
可以使用更先进的技术或手动纹理编辑进一步改进。
最后，我们可以用生成的 UV 坐标和纹理构建一个新的网格。
material = trimesh.visual.material.PBRMaterial(
baseColorFactor=[1.0, 1.0, 1.0, 1.0],
baseColorTexture=image_texture,
metallicFactor=0.0,
roughnessFactor=1.0,
)
visuals = trimesh.visual.TextureVisuals(uv=uvs, material=material)
mesh.visual = visuals
mesh.show()
瞧！网格经过 UV 映射和纹理处理。
要在本地运行时将其导出，请调用 mesh.export("output.glb")。
3、结束语
如你所见，网格仍然有许多小瑕疵。
UV 映射和纹理的质量也远低于可用于生产的网格的标准。
但是，如果你正在寻找一种快速解决方案来将顶点颜色网格映射到 UV 映射网格，那么这种方法可能对你有用。
原文链接：Converting Vertex-Colored Meshes to Textured Meshes
BimAnt翻译整理，转载请标明出处