给3D生成模型做风格定制，LoRA是目前性价比最高的方案之一。通用模型见过的风格虽然多，但当你想复现某位概念设计师的手绘质感，或者让输出资产统一成项目需要的低多边形卡通材质，提示词工程很难保证稳定性。LoRA通过在注意力层注入低秩适配器，让模型在不改动原始权重的前提下学习新的风格映射，训练快、存储小，推理时还能与其他LoRA叠加。
为什么3D模型生成要用LoRA而不是全参微调
3D生成模型通常依赖2D扩散先验，例如Stable Diffusion或Zero123，这些模型的参数量动辄上亿。全参微调需要为每个风格保存一份完整权重，存储成本高，而且很容易破坏模型原有的通用生成能力。LoRA的思路是在原始权重矩阵旁边增加一条低秩旁路，训练时只更新旁路参数，原始权重完全冻结。旁路由两个小矩阵A和B组成，前向计算变为Wx加上BAx，只要秩r远小于原始维度，新增参数量就能控制在原始模型的千分之一甚至更少。
与DreamBooth相比，LoRA的文件体积通常只有几十MB，而DreamBooth保存的是完整模型权重，动辄几个GB。与Textual Inversion相比，LoRA不只是在文本嵌入层做文章，而是直接作用于模型内部的注意力投影矩阵，因此对风格、材质、光影等视觉特征的绑定更紧密。对于3D生成任务来说，SDS损失依赖2D扩散先验的梯度信号，LoRA对风格一致性的改善会直接体现在生成结果上。
另一个现实原因是数据规模。3D风格训练很难像2D图像任务那样收集成千上万张图片，通常只有几十张多视角渲染图。LoRA本身是一种强正则化的微调方式，在少样本下更不容易出现过拟合，这也是它比全参微调更适合3D风格定制的原因。
训练数据准备与多视角渲染
数据质量直接决定LoRA训练效果。首先需要保证参考图风格一致，不要混入不同材质或光照环境。数量上建议准备20到60张图，过少容易过拟合，过多则会稀释风格特征。如果你已经有一个目标风格的3D资产，最好的做法是用Blender绕着模型做多角度渲染，让模型在训练时看到完整的轮廓、侧面和细节。
渲染视角建议绕Z轴每15度渲染一张，共24张，再补几张俯视和仰视角度。这样能减少生成结果出现结构错乱的概率。每张图需要配一句自然语言描述，描述里可以加入一个固定的触发词，例如lowpoly handpainted style，但不要只写触发词，还要描述物体类型、材质和光照。比如一张木箱渲染图可以写：lowpoly handpainted style, a wooden treasure chest, soft studio lighting。这样训练后模型才懂得触发词对应的是整体风格，而不是某个具体物体。
下面是一段简单的Blender渲染脚本，能把当前场景中的物体绕Z轴旋转相机并保存多视角图片。
import bpy
import math
import os
out_dir = "D:/lora_dataset/views"
os.makedirs(out_dir, exist_ok=True)
bpy.ops.object.select_all(action='SELECT')
bpy.ops.object.delete(use_global=False)
bpy.ops.object.camera_add(location=(0, -3, 1.2))
camera = bpy.context.object
bpy.context.scene.camera = camera
for i in range(24):
angle = math.radians(i * 15)
camera.location.x = 3 * math.sin(angle)
camera.location.y = -3 * math.cos(angle)
camera.location.z = 1.2
direction = -camera.location
rot_quat = direction.to_track_quat('-Z', 'Y')
camera.rotation_euler = rot_quat.to_euler()
bpy.context.scene.render.filepath = os.path.join(out_dir, f"view_{i:02d}.png")
bpy.ops.render.render(write_still=True)
渲染完成后，把所有图片和对应的文本描述整理成一个数据集目录，结构可以参考下面这样：训练图片统一放在train文件夹，每张图片对应一行JSON元数据。保持命名清晰，方便训练框架读取时不会错位。
LoRA训练流程与关键参数
具体实现可以选择ThreeStudio这类支持3D生成的训练框架，它在内部封装了Stable Diffusion和Zero123等扩散先验，并提供LoRA微调接口。安装完成后，核心工作是编写一份训练配置文件。配置中需要指定基础模型路径、LoRA的秩、alpha值、dropout比例以及要挂载LoRA的目标模块。
下面是一个简化后的YAML配置片段，展示了LoRA关键参数的常见设置。
model:
target: threestudio.models.guidance.lora_guidance.LoRAGuidance
params:
pretrained_model_name_or_path: stabilityai/stable-diffusion-2-1-base
lora_rank: 32
lora_alpha: 64
lora_dropout: 0.05
train_lora: true
target_modules:
- to_q
- to_v
- to_k
- to_out.0
train:
lr: 1e-4
max_steps: 3000
batch_size: 1
解释一下这些参数的取舍。lora_rank控制低秩矩阵的维度，rank越大表达能力越强，但文件体积也随之增加，一般16到64足够。alpha是缩放系数，可以粗略理解为LoRA输出的放大倍数，常用rank的两倍。dropout用于抑制过拟合，数据量少时可以适当加大到0.1。目标模块通常选择注意力层的查询、键、值以及输出投影矩阵，因为这些位置对风格表达最敏感。
训练启动命令并不复杂，关键是确认数据路径和训练步数。如果显存有限，可以把batch size保持为1，并开启混合精度。训练过程中可以每隔500步保存一次LoRA权重，方便后续选择效果最好的检查点。
python launch.py --config configs/lora_3d_style.yaml --train data.image_dir=./dataset train.max_steps=3000
推理导出与效果调优
训练完成后，推理阶段必须使用与训练时一致的触发词，否则LoRA风格不会被激活。建议用多个随机种子生成候选结果，再从中挑选结构完整且风格贴合的输出。如果生成结果出现明显的多头或对称面错乱问题，可以尝试提高CFG scale，或者在负面提示词中加入low quality、distorted、multiple heads等描述。
风格过拟合是另一个常见问题。当数据集过于单调或者训练步数过多时，模型会记住训练图片的构图，而不是学习风格本身。解决办法包括降低学习率、减少训练步数、增加视角差异，以及适当提高dropout。相反，如果风格强度不足，可以增大alpha或者提高LoRA权重在推理时的缩放系数，比如从0.7逐步调到1.0。
生成的3D表示如果需要导出为网格，可以在推理完成后使用marching cubes或者框架自带的mesh导出功能。下面是一个简单的导出示例，把生成的OBJ文件加载后做归一化并保存。
import trimesh
mesh = trimesh.load("outputs/lora_style/mesh.obj")
mesh.apply_transform(trimesh.transformations.scale_matrix(0.5))
mesh.export("final_asset.obj")
最后给一个调优速查表，帮助你在出现问题时快速定位。数据视角不完整就增加俯仰角度；风格不明显就提高alpha或推理权重；过拟合就降低rank、增加dropout；结构崩坏就检查描述文本是否与图片一致，并尝试增加负面提示词。LoRA微调本身是迭代过程，先跑通小规模实验，再逐步扩大数据量和训练步数，通常能稳定得到符合项目风格的3D资产。
