我是一名长期的程序员,拥有相当有限的Blender技能,我想开始制作预渲染的2.5D游戏的图形模组:AoE2 DE、Factorio等。 (目前我只对艺术侧面感兴趣。将东西转换为任何引擎特定的格式是一个后期问题。) 以下截图来自AoE2 DE的《权力之战》模组, Someone else制作的,包括Sept of Baelor和Red Keep作为自定义建筑。 这个质量标准大致是我的目标,我想了解如何制作类似资产。 以下是我到目前为止从研究中拼凑的管道:

  1. 从参考照片或AI生成的概念艺术开始,裁剪并移除背景
  2. 将其传入到3D模型中,得到一个粗糙的纹理网格
  3. 将其导入Blender并进行清理:重排顶层,手动建模,修复纹理裂缝
  4. 在正确的摄像机角度和照明下渲染,分离阴影通道和深度图
  5. 将渲染和深度图传入AI img2img/ControlNet通道,推动它朝着游戏艺术风格而去, 不改变几何学
  6. 产生同一建筑的季节变体(屋顶上有雪,冰冻,色彩减淡)用于冬季和极地地图
  7. 根据游戏的颜色调色板进行后处理,包括玩家颜色遮罩
  8. “像素快门”并降采样,使输出分辨率和像素密度与游戏艺术的其他部分保持一致

我的问题:

  • 我是走对了路子吗,还是有些步骤是倒的? 我怀疑第三步产生的网格太糙了,以至于从头建模会更快,但我真的不知道,因为我从未做过。
  • AI风格转换步骤(6)是人们实际做的吗? 或者你可以直接从Blender中通过正确的材质,照明和渲染设置获得风格,完全跳过它?
  • 如果风格转换值得做,训练一个LoRA(Local Rank-1 Linear Model)是否是正确的方法? 我已经遇到过LoRAs,但我从未训练过一个,我也不理解这个任务所需的数据集应该是什么样的。具体来说:游戏截图是否足够作为-is,还是需要单独的建筑裁剪在透明或平面背景上?每个图像是否需要文本标签,且标签是否需要详细(仅“aoe2建筑”还是完整描述结构,材料和角度)?大致上,我需要几张图像来训练风格LoRA,几十张还是几百张?并且是否更好地训练一个LoRA来覆盖整个艺术风格,还是每个建筑集合都训练一个分离的LoRA,因为AoE2具有不同的地区建筑风格?
  • 如何处理第7步中的冬季变体? 我看到的选项是:在Blender中建立一个雪层作为几何节点设置或第二个材质并重新渲染同一场景,还是在完成的图像空间中进行它。从3D来看似乎更一致,更可自动化,但我不知道这是否适用于降采样后的图像。现有的模组如何处理这个问题?
  • 是否可以使用Blender + ComfyUI +一些Python粘合剂来实现这一点,还是我错过了链条中的一个明显工具?
  • 最重要的是:是否有任何写作,教程或现有的ComfyUI工作流程,记录了这种预渲染的2.5D资产生产? 我所有找到的一切都是关于全3D游戏艺术或手绘像素艺术的。这个中间地带的3D模型渲染到固定的角度图像似乎几乎没有记录,我希望能被证明是错误的。