[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-OpenTexture--Paint3D":3,"similar-OpenTexture--Paint3D":94},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":14,"owner_avatar_url":15,"owner_bio":16,"owner_company":16,"owner_location":16,"owner_email":16,"owner_twitter":16,"owner_website":16,"owner_url":17,"languages":18,"stars":23,"forks":24,"last_commit_at":25,"license":26,"difficulty_score":27,"env_os":28,"env_gpu":29,"env_ram":30,"env_deps":31,"category_tags":40,"github_topics":42,"view_count":27,"oss_zip_url":16,"oss_zip_packed_at":16,"status":49,"created_at":50,"updated_at":51,"faqs":52,"releases":93},509,"OpenTexture\u002FPaint3D","Paint3D","[CVPR 2024] Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models, a no lighting baked texture generative model","Paint3D 是一款面向 3D 内容创作的开源生成框架，能够依据文本提示或参考图像，为空白 3D 网格自动生成高分辨率、多样化的 2K UV 纹理贴图。与传统方法不同，Paint3D 专注于生成“无光照烘焙”的贴图，这意味着生成的材质不包含固定的光影信息，用户可以在现代图形管线中自由重新打光或编辑，极大地提升了工作流的灵活性。\n\n为解决这一挑战，Paint3D 采用了由粗到细的两阶段生成策略。它首先利用预训练的深度感知扩散模型进行多视图融合生成初始贴图，随后通过专用的 UV 修复与去光照模型，精细处理形状不一致区域并消除光照伪影，确保最终结果既保持语义一致性又纯净无光照干扰。\n\nPaint3D 已被 CVPR 2024 收录，代码已开源。它非常适合 3D 艺术家、游戏开发者以及计算机视觉研究人员使用。配合 ComfyUI 节点等扩展，即使是非底层开发用户也能便捷地将其集成到现有工作流中，加速 3D 资产的纹理化过程。","\n\n\u003Cdiv align=\"center\">\n    \u003Ch1> \u003Ca>Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models\u003C\u002Fa>\u003C\u002Fh1>\n\n\u003Cp align=\"center\">\n  \u003Ca href=https:\u002F\u002Fpaint3d.github.io\u002F>Project Page\u003C\u002Fa> •\n  \u003Ca href=https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.13913>Arxiv\u003C\u002Fa> •\n  Demo •\n  \u003Ca href=\"#️-faq\">FAQ\u003C\u002Fa> •\n  \u003Ca href=\"#-citation\">Citation\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C\u002Fdiv>\n\n\nhttps:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fassets\u002F18525299\u002F9aef7eeb-a783-482c-87d5-78055da3bfc0\n\n\n##  Introduction\n\nPaint3D is a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs.\n\n\u003Cdetails open=\"open\">\n    \u003Csummary>\u003Cb>Technical details\u003C\u002Fb>\u003C\u002Fsummary>\n\nWe present Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.\n\n\u003Cimg width=\"1194\" alt=\"pipeline\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenTexture_Paint3D_readme_68d61c967b14.jpg\">\n\u003C\u002Fdetails>\n\n## 🚩 News\n- [2024\u002F11\u002F05] 🔥🔥🔥 We're excited to release [MVPaint](https:\u002F\u002Fgithub.com\u002F3DTopia\u002FMVPaint), a multi-view consistent texturing method that supports arbitrary UV unwrapping and high generation flexibility.\n- [2024\u002F09\u002F26] 🎉🎉🎉 Our mesh generation method, [MeshXL](https:\u002F\u002Fgithub.com\u002FOpenMeshLab\u002FMeshXL), has been accepted to NeurIPS 2024! It utilizes Paint3D to generate detailed mesh textures.\n- ComfyUI node for Paint3D: [ComfyUI-Paint3D-Nodes](https:\u002F\u002Fgithub.com\u002FN3rd00d\u002FComfyUI-Paint3D-Nodes?tab=readme-ov-file) by [N3rd00d](https:\u002F\u002Fgithub.com\u002FN3rd00d)\n- [2024\u002F04\u002F26] Upload code 🔥🔥🔥\n- [2023\u002F12\u002F21] Upload paper and init project 🔥🔥🔥\n\n## ⚡ Quick Start\n### Setup\nThe code is tested on Centos 7 with PyTorch 1.12.1 CUDA 11.6 installed. Please follow the following steps to setup environment.\n```\n# install python environment\nconda env create -f environment.yaml\n\n# install kaolin\npip install kaolin==0.13.0 -f https:\u002F\u002Fnvidia-kaolin.s3.us-east-2.amazonaws.com\u002F{TORCH_VER}_{CUDA_VER}.html\n```\n\n\n### Txt condition\nFor UV-position controlnet, you can find it [here](https:\u002F\u002Fhuggingface.co\u002FGeorgeQi\u002FPaint3d_UVPos_Control).\n\nTo use the other ControlNet models, please download it from the [hugging face page](https:\u002F\u002Fhuggingface.co\u002Flllyasviel), and modify the controlnet path in the config file.\n\n\nThen, you can generate coarse texture via:\n```\npython pipeline_paint3d_stage1.py \\\n --sd_config controlnet\u002Fconfig\u002Fdepth_based_inpaint_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n --outdir outputs\u002Fstage1\n```\n\nand the refined texture via:\n```\npython pipeline_paint3d_stage2.py \\\n--sd_config controlnet\u002Fconfig\u002FUV_based_inpaint_template.yaml \\\n--render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n--mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n--texture_path outputs\u002Fstage1\u002Fres-0\u002Falbedo.png \\\n--outdir outputs\u002Fstage2\n```\n\n\nOptionally, you can also generate texture results with UV position controlnet only, for example:\n```\npython pipeline_UV_only.py \\\n --sd_config controlnet\u002Fconfig\u002FUV_gen_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002Fteapot\u002Fscene.obj \\\n --outdir outputs\u002Ftest_teapot\n```\n\n\n### Image condition\n\nWith a image condition, you can generate coarse texture via:\n```\npython pipeline_paint3d_stage1.py \\\n --sd_config controlnet\u002Fconfig\u002Fdepth_based_inpaint_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n --prompt \" \" \\\n --ip_adapter_image_path demo\u002Fobjs\u002FSuzanne_monkey\u002Fimg_prompt.png \\\n --outdir outputs\u002Fimg_stage1\n```\n\nand the refined texture via:\n```\npython pipeline_paint3d_stage2.py \\\n--sd_config controlnet\u002Fconfig\u002FUV_based_inpaint_template.yaml \\\n--render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n--mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n--texture_path outputs\u002Fimg_stage1\u002Fres-0\u002Falbedo.png \\\n--prompt \" \" \\\n --ip_adapter_image_path demo\u002Fobjs\u002FSuzanne_monkey\u002Fimg_prompt.png \\\n--outdir outputs\u002Fimg_stage2\n```\n\n\n\n### Model Converting\nFor checkpoints in [Civitai](https:\u002F\u002Fcivitai.com\u002F) with only a .safetensor file, you can use the following script to convert and use them. \n```\npython tools\u002Fconvert_original_stable_diffusion_to_diffusers.py \\\n--checkpoint_path YOUR_LOCAL.safetensors \\\n--dump_path model_cvt\u002F \\\n--from_safetensors\n```\n\n\n\u003C!-- \u003Cdetails>\n  ## ▶️ Demo\n  \u003Csummary>\u003Cb>Webui\u003C\u002Fb>\u003C\u002Fsummary>\n\n\n\u003C\u002Fdetails> -->\n\n\n\u003C!-- \u003Cdetails>\n  ## 👀 Visualization\n\n  ## ⚠️ FAQ\n\n\u003Cdetails> \u003Csummary>\u003Cb>Question-and-Answer\u003C\u002Fb>\u003C\u002Fsummary>\n\n## 🧩 Projects that use Paint3D\nIf you develop\u002Fuse Paint3D in your projects, welcome to let me know.\n- [MeshXL](https:\u002F\u002Fmeshxl.github.io\u002F)(accepted to NeurIPS 2024🔥) uses Paint3D to generate textures for their meshes.\n- ComfyUI node for Paint3D: [ComfyUI-Paint3D-Nodes](https:\u002F\u002Fgithub.com\u002FN3rd00d\u002FComfyUI-Paint3D-Nodes?tab=readme-ov-file) by [N3rd00d](https:\u002F\u002Fgithub.com\u002FN3rd00d)\n\n\u003C\u002Fdetails> -->\n\n\n\n\n\n## 📖 Citation\n```bib\n@inproceedings{zeng2024paint3d,\n  title={Paint3d: Paint anything 3d with lighting-less texture diffusion models},\n  author={Zeng, Xianfang and Chen, Xin and Qi, Zhongqi and Liu, Wen and Zhao, Zibo and Wang, Zhibin and Fu, Bin and Liu, Yong and Yu, Gang},\n  booktitle={Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition},\n  pages={4252--4262},\n  year={2024}\n}\n```\n\n## Acknowledgments\n\nThanks to [TEXTure](https:\u002F\u002Fgithub.com\u002FTEXTurePaper\u002FTEXTurePaper), \n[Text2Tex](https:\u002F\u002Fgithub.com\u002Fdaveredrum\u002FText2Tex), \n[Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion) and [ControlNet](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet), our code is partially borrowing from them. \nOur approach is inspired by [MotionGPT](https:\u002F\u002Fgithub.com\u002FOpenMotionLab\u002FMotionGPT), [Michelangelo](https:\u002F\u002Fneuralcarver.github.io\u002Fmichelangelo\u002F) and [DreamFusion](https:\u002F\u002Fdreamfusion3d.github.io\u002F).\n\n## License\n\nThis code is distributed under an [Apache 2.0 LICENSE](LICENSE).\n\nNote that our code depends on other libraries, including [PyTorch3D](https:\u002F\u002Fpytorch3d.org\u002F) and [PyTorch Lightning](https:\u002F\u002Flightning.ai\u002F), and uses datasets which each have their own respective licenses that must also be followed.\n","\u003Cdiv align=\"center\">\n    \u003Ch1> \u003Ca>Paint3D：使用无光照纹理扩散模型 (Lighting-Less Texture Diffusion Models) 绘制任意 3D 内容\u003C\u002Fa>\u003C\u002Fh1>\n\n\u003Cp align=\"center\">\n  \u003Ca href=https:\u002F\u002Fpaint3d.github.io\u002F>项目页面\u003C\u002Fa> •\n  \u003Ca href=https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.13913>Arxiv\u003C\u002Fa> •\n  演示 •\n  \u003Ca href=\"#️-faq\">常见问题\u003C\u002Fa> •\n  \u003Ca href=\"#-citation\">引用\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C\u002Fdiv>\n\n\nhttps:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fassets\u002F18525299\u002F9aef7eeb-a783-482c-87d5-78055da3bfc0\n\n\n##  简介\n\nPaint3D 是一种新颖的由粗到细 (Coarse-to-fine) 生成框架，能够根据文本或图像输入，为未纹理化 (Untextured) 的 3D 网格 (Mesh) 生成高分辨率、无光照且多样的 2K UV 纹理图 (Texture Maps)。\n\n\u003Cdetails open=\"open\">\n    \u003Csummary>\u003Cb>技术细节\u003C\u002Fb>\u003C\u002Fsummary>\n\n我们提出了 Paint3D，一种新颖的由粗到细 (Coarse-to-fine) 生成框架，能够根据文本或图像输入，为未纹理化 (Untextured) 的 3D 网格 (Mesh) 生成高分辨率、无光照且多样的 2K UV 纹理图 (Texture Maps)。解决的关键挑战是在没有嵌入照明信息的情况下生成高质量纹理，这使得纹理可以在现代图形管线 (Graphics Pipelines) 中重新照明或重新编辑。为了实现这一点，我们的方法首先利用预训练的深度感知 2D 扩散模型 (Depth-Aware 2D Diffusion Model) 生成视图条件图像 (View-Conditional Images) 并执行多视图纹理融合 (Multi-View Texture Fusion)，生成初始的粗糙纹理图。然而，由于 2D 模型无法完全表示 3D 形状且禁用了光照效果，粗糙纹理图会显示不完整区域和光照伪影 (Illumination Artifacts)。为了解决这个问题，我们训练了专门的 UV 修复 (UV Inpainting) 和 UVHD 扩散模型，用于不完整区域的形状感知细化以及去除光照伪影。通过这个由粗到细的过程，Paint3D 可以生成高质量的 2K UV 纹理，在保持语义一致性的同时实现无光照，显著推动了 3D 物体纹理化的最先进 (State-of-the-art) 水平。\n\n\u003Cimg width=\"1194\" alt=\"pipeline\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenTexture_Paint3D_readme_68d61c967b14.jpg\">\n\u003C\u002Fdetails>\n\n## 🚩 新闻\n- [2024\u002F11\u002F05] 🔥🔥🔥 我们很高兴发布 [MVPaint](https:\u002F\u002Fgithub.com\u002F3DTopia\u002FMVPaint)，这是一种支持任意 UV 展开 (UV Unwrapping) 和高生成灵活性的多视图一致 (Multi-View Consistent) 纹理化方法。\n- [2024\u002F09\u002F26] 🎉🎉🎉 我们的网格生成方法 [MeshXL](https:\u002F\u002Fgithub.com\u002FOpenMeshLab\u002FMeshXL) 已被 NeurIPS 2024 接收！它利用 Paint3D 生成详细的网格纹理。\n- Paint3D 的 ComfyUI 节点：[ComfyUI-Paint3D-Nodes](https:\u002F\u002Fgithub.com\u002FN3rd00d\u002FComfyUI-Paint3D-Nodes?tab=readme-ov-file) by [N3rd00d](https:\u002F\u002Fgithub.com\u002FN3rd00d)\n- [2024\u002F04\u002F26] 上传代码 🔥🔥🔥\n- [2023\u002F12\u002F21] 上传论文并初始化项目 🔥🔥🔥\n\n## ⚡ 快速开始\n### 环境设置\n代码已在安装了 PyTorch 1.12.1 CUDA 11.6 的 Centos 7 上测试过。请按照以下步骤设置环境。\n```\n# install python environment\nconda env create -f environment.yaml\n\n# install kaolin\npip install kaolin==0.13.0 -f https:\u002F\u002Fnvidia-kaolin.s3.us-east-2.amazonaws.com\u002F{TORCH_VER}_{CUDA_VER}.html\n```\n\n\n### 文本条件\n对于 UV 位置 ControlNet，您可以在 [这里](https:\u002F\u002Fhuggingface.co\u002FGeorgeQi\u002FPaint3d_UVPos_Control) 找到它。\n\n要使用其他 ControlNet 模型，请从 [Hugging Face 页面](https:\u002F\u002Fhuggingface.co\u002Flllyasviel) 下载，并在配置文件中修改 controlnet 路径。\n\n\n然后，您可以通过以下方式生成粗糙纹理：\n```\npython pipeline_paint3d_stage1.py \\\n --sd_config controlnet\u002Fconfig\u002Fdepth_based_inpaint_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n --outdir outputs\u002Fstage1\n```\n\n以及通过以下方式生成细化纹理：\n```\npython pipeline_paint3d_stage2.py \\\n--sd_config controlnet\u002Fconfig\u002FUV_based_inpaint_template.yaml \\\n--render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n--mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n--texture_path outputs\u002Fstage1\u002Fres-0\u002Falbedo.png \\\n--outdir outputs\u002Fstage2\n```\n\n\n可选地，您也可以仅使用 UV 位置 ControlNet 生成纹理结果，例如：\n```\npython pipeline_UV_only.py \\\n --sd_config controlnet\u002Fconfig\u002FUV_gen_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002Fteapot\u002Fscene.obj \\\n --outdir outputs\u002Ftest_teapot\n```\n\n\n### 图像条件\n\n使用图像条件，您可以通过以下方式生成粗糙纹理：\n```\npython pipeline_paint3d_stage1.py \\\n --sd_config controlnet\u002Fconfig\u002Fdepth_based_inpaint_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n --prompt \" \" \\\n --ip_adapter_image_path demo\u002Fobjs\u002FSuzanne_monkey\u002Fimg_prompt.png \\\n --outdir outputs\u002Fimg_stage1\n```\n\n以及通过以下方式生成细化纹理：\n```\npython pipeline_paint3d_stage2.py \\\n--sd_config controlnet\u002Fconfig\u002FUV_based_inpaint_template.yaml \\\n--render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n--mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n--texture_path outputs\u002Fimg_stage1\u002Fres-0\u002Falbedo.png \\\n--prompt \" \" \\\n --ip_adapter_image_path demo\u002Fobjs\u002FSuzanne_monkey\u002Fimg_prompt.png \\\n--outdir outputs\u002Fimg_stage2\n```\n\n\n\n### 模型转换\n对于 [Civitai](https:\u002F\u002Fcivitai.com\u002F) 上的仅包含 .safetensor 文件的检查点 (Checkpoints)，您可以使用以下脚本进行转换并使用。 \n```\npython tools\u002Fconvert_original_stable_diffusion_to_diffusers.py \\\n--checkpoint_path YOUR_LOCAL.safetensors \\\n--dump_path model_cvt\u002F \\\n--from_safetensors\n```\n\n\n\u003C!-- \u003Cdetails>\n  ## ▶️ 演示\n  \u003Csummary>\u003Cb>Web 界面\u003C\u002Fb>\u003C\u002Fsummary>\n\n\n\u003C\u002Fdetails> -->\n\n\n\u003C!-- \u003Cdetails>\n  ## 👀 可视化\n\n  ## ⚠️ 常见问题\n\n\u003Cdetails> \u003Csummary>\u003Cb>问答\u003C\u002Fb>\u003C\u002Fsummary>\n\n## 🧩 使用 Paint3D 的项目\n如果您在项目中使用\u002F开发 Paint3D，欢迎告知我。\n- [MeshXL](https:\u002F\u002Fmeshxl.github.io\u002F)(已被 NeurIPS 2024 接收🔥) 使用 Paint3D 为其网格生成纹理。\n- Paint3D 的 ComfyUI 节点：[ComfyUI-Paint3D-Nodes](https:\u002F\u002Fgithub.com\u002FN3rd00d\u002FComfyUI-Paint3D-Nodes?tab=readme-ov-file) by [N3rd00d](https:\u002F\u002Fgithub.com\u002FN3rd00d)\n\n\u003C\u002Fdetails> -->\n\n\n\n\n\n## 📖 引用\n```bib\n@inproceedings{zeng2024paint3d,\n  title={Paint3d: Paint anything 3d with lighting-less texture diffusion models},\n  author={Zeng, Xianfang and Chen, Xin and Qi, Zhongqi and Liu, Wen and Zhao, Zibo and Wang, Zhibin and Fu, Bin and Liu, Yong and Yu, Gang},\n  booktitle={Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition},\n  pages={4252--4262},\n  year={2024}\n}\n```\n\n## 致谢\n\n感谢 [TEXTure](https:\u002F\u002Fgithub.com\u002FTEXTurePaper\u002FTEXTurePaper), \n[Text2Tex](https:\u002F\u002Fgithub.com\u002Fdaveredrum\u002FText2Tex), \n[Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion) 和 [ControlNet](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet)，我们的代码部分借鉴了它们。\n我们的方法受 [MotionGPT](https:\u002F\u002Fgithub.com\u002FOpenMotionLab\u002FMotionGPT), [Michelangelo](https:\u002F\u002Fneuralcarver.github.io\u002Fmichelangelo\u002F) 和 [DreamFusion](https:\u002F\u002Fdreamfusion3d.github.io\u002F) 启发。\n\n## 许可证\n\n本代码依据 [Apache 2.0 许可证](LICENSE) 进行分发。\n\n请注意，我们的代码依赖于其他库，包括 [PyTorch3D](https:\u002F\u002Fpytorch3d.org\u002F) 和 [PyTorch Lightning](https:\u002F\u002Flightning.ai\u002F)，同时也使用了数据集，这些数据集各自拥有独立的许可协议，也必须遵守。","# Paint3D 快速上手指南\n\n## 简介\nPaint3D 是一种新颖的由粗到精生成框架，能够根据文本或图像输入，为未纹理化的 3D 网格生成高分辨率、无光照且多样的 2K UV 纹理图。\n\n## 1. 环境准备\n官方推荐测试环境如下，请确保满足以下前置条件：\n- **操作系统**: CentOS 7 (或其他 Linux 发行版)\n- **Python**: 建议使用 Conda 管理环境\n- **深度学习框架**: PyTorch 1.12.1\n- **GPU 驱动**: CUDA 11.6\n\n## 2. 安装步骤\n### 2.1 创建虚拟环境\n克隆项目后，执行以下命令创建 Conda 环境：\n```bash\nconda env create -f environment.yaml\n```\n\n### 2.2 安装依赖库\n安装 Kaolin 库（注意替换版本号以匹配你的 PyTorch 和 CUDA 版本）：\n```bash\npip install kaolin==0.13.0 -f https:\u002F\u002Fnvidia-kaolin.s3.us-east-2.amazonaws.com\u002F{TORCH_VER}_{CUDA_VER}.html\n```\n\n### 2.3 下载预训练模型\n运行前需下载 ControlNet 模型文件：\n- **UV-position ControlNet**: 从 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FGeorgeQi\u002FPaint3d_UVPos_Control) 下载。\n- **其他 ControlNet 模型**: 从 [lllyasviel HuggingFace Page](https:\u002F\u002Fhuggingface.co\u002Flllyasviel) 下载，并在配置文件中修改对应路径。\n\n## 3. 基本使用\n### 3.1 文本条件生成 (Text Condition)\n这是最基础的生成流程，分为“粗糙纹理生成”和“纹理细化”两步。\n\n**第一步：生成粗糙纹理**\n```bash\npython pipeline_paint3d_stage1.py \\\n --sd_config controlnet\u002Fconfig\u002Fdepth_based_inpaint_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n --outdir outputs\u002Fstage1\n```\n\n**第二步：细化纹理**\n```bash\npython pipeline_paint3d_stage2.py \\\n--sd_config controlnet\u002Fconfig\u002FUV_based_inpaint_template.yaml \\\n--render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n--mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n--texture_path outputs\u002Fstage1\u002Fres-0\u002Falbedo.png \\\n--outdir outputs\u002Fstage2\n```\n\n### 3.2 图像条件生成 (Image Condition)\n若希望基于参考图像生成纹理，请在命令中添加 `--prompt` 和 `--ip_adapter_image_path` 参数：\n\n**第一阶段示例：**\n```bash\npython pipeline_paint3d_stage1.py \\\n --sd_config controlnet\u002Fconfig\u002Fdepth_based_inpaint_template.yaml \\\n --render_config paint3d\u002Fconfig\u002Ftrain_config_paint3d.py \\\n --mesh_path demo\u002Fobjs\u002FSuzanne_monkey\u002FSuzanne_monkey.obj \\\n --prompt \" \" \\\n --ip_adapter_image_path demo\u002Fobjs\u002FSuzanne_monkey\u002Fimg_prompt.png \\\n --outdir outputs\u002Fimg_stage1\n```\n*(第二阶段命令逻辑相同，同样添加上述两个参数即可)*","某独立游戏工作室正在开发一款奇幻 RPG，急需为数百个随机生成的道具快速制作高质量贴图，但面临预算不足和工期紧张的挑战。\n\n### 没有 Paint3D 时\n- 美术师需手动绘制或购买素材，单个复杂道具的纹理制作耗时数小时甚至数天，严重拖慢项目进度。\n- 传统贴图常包含烘焙光照，一旦导入引擎便无法根据场景时间动态调整阴影和亮度，限制了交互表现。\n- 现有 2D 生成模型直接用于 3D 时容易产生接缝和透视错误，导致资产质量参差不齐，难以满足商业标准。\n\n### 使用 Paint3D 后\n- 输入简单的文字描述，Paint3D 即可通过深度感知扩散模型秒级生成高分辨率初始纹理，极大释放生产力。\n- 其生成的 2K UV 贴图专为无光照设计，允许后期在渲染管线中自由重打光而不失真，增强了场景灵活性。\n- 采用由粗到精的两阶段框架，有效解决了 3D 形状不一致导致的纹理断裂问题，确保批量生成的道具既保持语义一致又具备丰富的表面细节。\n\nPaint3D 将 3D 资产制作流程从繁琐的手工雕刻转变为高效的智能生成，显著降低了美术成本并提升了内容迭代速度。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenTexture_Paint3D_8e6933d0.png","OpenTexture","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FOpenTexture_96b72448.png",null,"https:\u002F\u002Fgithub.com\u002FOpenTexture",[19],{"name":20,"color":21,"percentage":22},"Python","#3572A5",100,791,42,"2026-04-05T09:58:03","Apache-2.0",3,"Linux","需要 NVIDIA GPU，CUDA 11.6，显卡型号及显存大小未说明","未说明",{"notes":32,"python":30,"dependencies":33},"代码在 CentOS 7 系统上测试通过；需使用 conda 创建环境并安装特定版本的 Kaolin；首次运行需从 HuggingFace 下载 ControlNet 模型权重；提供脚本可将 Civitai 的 .safetensors 模型转换为 Diffusers 格式；依赖多个第三方库，需遵守各自许可证。",[34,35,36,37,38,39],"torch>=1.12.1","kaolin==0.13.0","pytorch3d","pytorch-lightning","diffusers","transformers",[41],"图像",[43,44,45,46,47,48],"diffusion-models","generative-ai","generative-model","texture","texture-synthesis","stable-diffusion","ready","2026-03-27T02:49:30.150509","2026-04-06T05:16:25.046713",[53,58,63,68,73,78,83,88],{"id":54,"question_zh":55,"answer_zh":56,"source_url":57},2033,"Runway 的 Stable Diffusion 权重失效后，可以使用哪些替代模型？","可以使用 `benjamin-paine\u002Fstable-diffusion-v1-5` 作为 Runway 模型的备份替代方案。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F28",{"id":59,"question_zh":60,"answer_zh":61,"source_url":62},2031,"如何让图像条件比文本条件对生成结果影响更大？","在类初始化时，可以通过 `pipeline.set_ip_adapter_scale(xx)` 设置 IP adapter 的权重参数，其中 xx 为具体的数值。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F12",{"id":64,"question_zh":65,"answer_zh":66,"source_url":67},2032,"配置文件中的 model_keys 错误或找不到 uvpos_cvt 模型怎么办？","可以选择任意基于 SD1.5 的模型。uvpos_cvt 模型下载地址为：https:\u002F\u002Fhuggingface.co\u002FGeorgeQi\u002FPaint3d_UVPos_Control。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F3",{"id":69,"question_zh":70,"answer_zh":71,"source_url":72},2030,"代码在哪里获取？","维护者回复 Zhongqi @qzq2514 已经清理并上传了代码，请留意仓库更新。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F1",{"id":74,"question_zh":75,"answer_zh":76,"source_url":77},2034,"提示词中括号内的数字（如 `1.3`）代表什么含义？","用于强调提示词的重要性。详细用法可参考 AUTOMATIC1111\u002Fstable-diffusion-webui 的 Wiki 文档。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F25",{"id":79,"question_zh":80,"answer_zh":81,"source_url":82},2035,"遇到显存不足（CUDA Out of Memory）错误该如何解决？","可以尝试启用 xformers。如果遇到版本冲突问题，可设置环境变量 `PYTORCH_CUDA_ALLOC_CONF` 限制最大切分大小（例如设置为 512 MB），这已被验证可在 24GB 显卡上运行。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F6",{"id":84,"question_zh":85,"answer_zh":86,"source_url":87},2036,"如何在配置文件中正确指定自定义模型的路径？","需手动下载 `realisticVisionV13_v13_cvt` 并转换为 safetensors 格式，然后在 `depth_based_inpaint_template.yaml` 中填入你的本地路径。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F7",{"id":89,"question_zh":90,"answer_zh":91,"source_url":92},2037,"运行 Stage2 代码大约需要多少 GPU 显存？","根据用户实测反馈，该阶段代码可能需要约 26GB 显存，24GB 显卡可能会报显存溢出错误。","https:\u002F\u002Fgithub.com\u002FOpenTexture\u002FPaint3D\u002Fissues\u002F18",[],[95,105,114,128,136,144],{"id":96,"name":97,"github_repo":98,"description_zh":99,"stars":100,"difficulty_score":27,"last_commit_at":101,"category_tags":102,"status":49},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[103,41,104],"开发框架","Agent",{"id":106,"name":107,"github_repo":108,"description_zh":109,"stars":110,"difficulty_score":111,"last_commit_at":112,"category_tags":113,"status":49},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[103,41,104],{"id":115,"name":116,"github_repo":117,"description_zh":118,"stars":119,"difficulty_score":111,"last_commit_at":120,"category_tags":121,"status":49},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[41,122,123,124,104,125,126,103,127],"数据工具","视频","插件","其他","语言模型","音频",{"id":129,"name":130,"github_repo":131,"description_zh":132,"stars":133,"difficulty_score":27,"last_commit_at":134,"category_tags":135,"status":49},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[104,41,103,126,125],{"id":137,"name":138,"github_repo":139,"description_zh":140,"stars":141,"difficulty_score":27,"last_commit_at":142,"category_tags":143,"status":49},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[126,41,103,125],{"id":145,"name":146,"github_repo":147,"description_zh":148,"stars":149,"difficulty_score":111,"last_commit_at":150,"category_tags":151,"status":49},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[103,41]]