[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-buaacyw--GaussianEditor":3,"similar-buaacyw--GaussianEditor":122},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":20,"owner_twitter":21,"owner_website":22,"owner_url":23,"languages":24,"stars":63,"forks":64,"last_commit_at":65,"license":66,"difficulty_score":67,"env_os":68,"env_gpu":69,"env_ram":70,"env_deps":71,"category_tags":82,"github_topics":85,"view_count":67,"oss_zip_url":21,"oss_zip_packed_at":21,"status":89,"created_at":90,"updated_at":91,"faqs":92,"releases":121},298,"buaacyw\u002FGaussianEditor","GaussianEditor","[CVPR 2024] GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting","GaussianEditor 是一个基于 Gaussian Splatting（三维高斯溅射）技术的三维编辑工具，能够实现快速且可控的三维场景编辑。该工具支持对三维场景进行精细的语义分割、对象移除、属性修改等操作，整个编辑过程仅需 2-7 分钟即可完成。\n\n传统的三维编辑通常需要较长的处理时间，且操作复杂门槛较高。GaussianEditor 通过创新的算法设计，大幅提升了编辑效率，同时提供了 WebUI 图形界面和命令行两种使用方式，让不同技术水平的用户都能快速上手。\n\n该工具特别适合以下用户：三维内容创作者和数字艺术家可以快速修改和优化三维模型；游戏开发者能够更高效地进行场景编辑和资源迭代；计算机视觉研究人员可以基于此开展三维场景理解和编辑相关的学术研究；甚至对三维建模感兴趣的普通用户也能通过简化的操作流程体验三维编辑的乐趣。\n\nGaussianEditor 的核心技术亮点在于将 Gaussian Splatting 这一新兴的三维表示方法与编辑任务深度结合，实现了高质量的渲染效果与灵活的编辑控制能力。该工作已被 CVPR 2024 接收。","\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbuaacyw_GaussianEditor_readme_2a7994652494.png\" align=\"center\" width=\"50%\">\n  \n  \u003Ch3 align=\"center\">\u003Cstrong>[CVPR 2024] GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting\u003C\u002Fstrong>\u003C\u002Fh3>\n\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fbuaacyw.github.io\u002F\">Yiwen Chen\u003C\u002Fa>\u003Csup>*1,2\u003C\u002Fsup>,\u003C\u002Fspan>\n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=2pbka1gAAAAJ&hl=en\">Zilong Chen\u003C\u002Fa>\u003Csup>*3\u003C\u002Fsup>,\u003C\u002Fspan>\n    \u003Ca href=\"https:\u002F\u002Ficoz69.github.io\u002F\">Chi Zhang\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=bKG4Un8AAAAJ&hl=en\">Feng Wang\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fwww.researchgate.net\u002Fscientific-contributions\u002FXiaofeng-Yang-2185243877\">Xiaofeng Yang\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>,    \u003Cbr>\n    \u003Ca href=\"https:\u002F\u002Fyikaiw.github.io\u002F\">Yikai Wang\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fcaizhongang.github.io\u002F\">Zhongang Cai\u003C\u002Fa>\u003Csup>4\u003C\u002Fsup>\n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=jZH2IPYAAAAJ&hl=en\">Lei Yang\u003C\u002Fa>\u003Csup>4\u003C\u002Fsup>\n    \u003Ca href=\"https:\u002F\u002Fsites.google.com\u002Fsite\u002Fthuliuhuaping\">Huaping Liu\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>\n    \u003Ca href=\"https:\u002F\u002Fguosheng.github.io\u002F\">Guosheng Lin\u003C\u002Fa>\u003Csup>**1,2\u003C\u002Fsup>\n    \u003Cbr>\n    \u003Csup>*\u003C\u002Fsup>Equal contribution.\n    \u003Csup>**\u003C\u002Fsup>Corresponding author.\n    \u003Cbr>\n    \u003Csup>1\u003C\u002Fsup>S-Lab, Nanyang Technological University,\n    \u003Cbr>\n\u003Csup>2\u003C\u002Fsup>School of Computer Science and Engineering, Nanyang Technological University,\n    \u003Cbr>\n    \u003Csup>3\u003C\u002Fsup>Department of Computer Science and Technology, Tsinghua University,\n    \u003Csup>4\u003C\u002Fsup>SenseTime Research,\n\n\u003C\u002Fp>\n\n\u003Cdiv align=\"center\">\n\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2311.14521'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2311.14521-b31b1b.svg'>\u003C\u002Fa>      \n \u003Ca href='https:\u002F\u002Fbuaacyw.github.io\u002Fgaussian-editor\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>      \n \u003Ca href='https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=TdZIICSFqsU&ab_channel=YiwenChen'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYoutube-Video-red'>\u003C\u002Fa>      \n \u003Ca href='https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002Fmaster\u002FLICENSE.txt'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-SLab-blue'>\u003C\u002Fa>      \n\n\u003C\u002Fdiv>\n\n\n## Demo Videos\n\u003Cdetails open>\n  \u003Csummary>Swift and controllable 3D editing with only 2-7 minutes.\u003C\u002Fsummary>\n\nhttps:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fassets\u002F52091468\u002F10740174-3208-4408-b519-23f58604339e\n\nhttps:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fassets\u002F52091468\u002F44797174-0242-4c82-a383-2d7b3d4fd693\n\n\nhttps:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fassets\u002F52091468\u002F18dd3ef2-4066-428a-918d-c4fe673d0af8\n\u003C\u002Fdetails>\n\n## Release\n- [12\u002F5] Docker support. Great thanks to [jhuangBU](https:\u002F\u002Fgithub.com\u002FjhuangBU). For windows, you can try [this guide](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F9) and [this guide](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F14).\n- [11\u002F29] Release segmentation confidence score scaler. You can now scale the threshold of semantic tracing masks. \n- [11\u002F27] 🔥 We released **GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting** and beta version of GaussianEditing WebUI.\n\n## Contents\n- [Demo Videos](#demo-videos)\n- [Release](#release)\n- [Contents](#contents)\n- [Installation](#installation)\n- [WebUI Guide](#webui-guide)\n- [How to achieve better result](#how-to-achieve-better-result)\n- [Command Line](#command-line)\n- [TODO](#todo)\n- [FAQ](#faq)\n\n## Installation\nOur environment has been tested on Ubuntu 22, CUDA 11.8 with 3090, A5000 and A6000.\n1. Clone our repo and create conda environment\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor.git && cd GaussianEditor\n\n# (Option one) Install by conda\nconda env create -f environment.yaml\n\n# (Option two) You can also install by pip\n# CUDA version 11.7\npip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu117\n# CUDA version 11.8\npip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install -r requirements.txt\n\n# (Option three) If the below two options fail, please try this:\n# For CUDA 11.8\nbash install.sh\n```\n\n2. (Optional) Install our forked viser [Required by WebUI)\n```\nmkdir extern && cd extern\ngit clone https:\u002F\u002Fgithub.com\u002Fheheyas\u002Fviser \npip install -e viser\ncd ..\n```\n\n3. (Optional) Download Wonder3D checkpoints [Required by \u003Cb>Add\u003C\u002Fb>]\n```bash\nsh download_wonder3d.sh\n```\n\n## WebUI Guide\nPlease be aware that our WebUI is currently in a beta version. Powered by [Viser](https:\u002F\u002Fgithub.com\u002Fnerfstudio-project\u002Fviser\u002Ftree\u002Fmain), you can use our WebUI even if you are limited to remote server. For details, please follow [WebUI Guide](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002Fmaster\u002Fdocs\u002Fwebui.md).\n\n## How to achieve better result\n\nThe demand for 3D editing is very diverse. For instance, if you only want to change textures and materials or significantly modify geometry, it's clear that a one-size-fits-all hyperparameter won't work. Therefore, we cannot provide a default hyperparameter setting that works effectively in all scenarios. Therefore, if your results do not meet expectations, please refer to our [hyperparameter tuning](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002Fmaster\u002Fdocs\u002Fhyperparameter.md) document. In it, we detail the function of each hyperparameter and advise on which parameters to adjust when you encounter specific issues. \n\n## Command Line\nWe also provide a command line version of GaussianEditor. Like WebUI, you need to specify your path to the pretrained Gaussians and COLMAP outputs as mentioned in [here](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002F1fa96851c132258e0547ba73372f37cff83c92c3\u002Fdocs\u002Fwebui.md?plain=1#L20).\nPlease check scripts in `sciprt` folder. Simply change `data.source` to your COLMAP output directory and \n`system.gs_source` to your pretrained Gaussians and run our demo scripts.\n\n\n## TODO\n\nThe repo is still being under construction, thanks for your patience. \n- [x] Tutorial for hyperparameter tuning.\n- [x] Step-by-step tutorial for WebUI .\n- [x] Realised WebUI beta version and GaussianEditor.\n\n## FAQ\n\n- Bad result for \u003Cb>Edit\u003C\u002Fb>. We are using [InstructPix2Pix](https:\u002F\u002Fgithub.com\u002Ftimothybrooks\u002Finstruct-pix2pix) to generate edited 2D images as editing guidance.\nUnfortunately, InstructPix2Pix only works on limited prompts, please first try [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftimbrooks\u002Finstruct-pix2pix) if you are not sure whether your text prompts work.\n- Bad result for \u003Cb>Add\u003C\u002Fb>. We use [ControlNet-Inpainting](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet) to first generate 2D inpainting and then transfer it into 3D. Also it doesn't work for bad prompts. Please try to enlarge your inpainting mask and try more seeds.\n- Bad result for \u003Cb>Segmentation\u003C\u002Fb>. Try scale the segmentation threshold, which changes the confidence score for segmentation.\n- Missing weights for DPT. Please read this [issue](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F10)\n\n## Acknowledgement\n\nOur code is based on these wonderful repos:\n\n* [Gaussian Splatting](https:\u002F\u002Fgithub.com\u002Fgraphdeco-inria\u002Fgaussian-splatting)\n* [Wonder3D](https:\u002F\u002Fgithub.com\u002Fxxlong0\u002FWonder3D)\n* [Threestudio](https:\u002F\u002Fgithub.com\u002Fthreestudio-project\u002Fthreestudio)\n* [Viser](https:\u002F\u002Fgithub.com\u002Fnerfstudio-project\u002Fviser)\n* [InstructNerf2Nerf](https:\u002F\u002Fgithub.com\u002Fayaanzhaque\u002Finstruct-nerf2nerf)\n* [InstructPix2Pix](https:\u002F\u002Fgithub.com\u002Ftimothybrooks\u002Finstruct-pix2pix)\n* [Controlnet](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet)\n\n\n\n","\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbuaacyw_GaussianEditor_readme_2a7994652494.png\" align=\"center\" width=\"50%\">\n  \n  \u003Ch3 align=\"center\">\u003Cstrong>[CVPR 2024] GaussianEditor: 基于高斯溅射的快速可控3D编辑\u003C\u002Fstrong>\u003C\u002Fh3>\n\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fbuaacyw.github.io\u002F\">Yiwen Chen\u003C\u002Fa>\u003Csup>*1,2\u003C\u002Fsup>,\u003C\u002Fspan>\n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=2pbka1gAAAAJ&hl=en\">Zilong Chen\u003C\u002Fa>\u003Csup>*3\u003C\u002Fsup>,\u003C\u002Fspan>\n    \u003Ca href=\"https:\u002F\u002Ficoz69.github.io\u002F\">Chi Zhang\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=bKG4Un8AAAAJ&hl=en\">Feng Wang\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fwww.researchgate.net\u002Fscientific-contributions\u002FXiaofeng-Yang-2185243877\">Xiaofeng Yang\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup>,    \u003Cbr>\n    \u003Ca href=\"https:\u002F\u002Fyikaiw.github.io\u002F\">Yikai Wang\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>,\n    \u003Ca href=\"https:\u002F\u002Fcaizhongang.github.io\u002F\">Zhongang Cai\u003C\u002Fa>\u003Csup>4\u003C\u002Fsup>\n    \u003Ca href=\"https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=jZH2IPYAAAAJ&hl=en\">Lei Yang\u003C\u002Fa>\u003Csup>4\u003C\u002Fsup>\n    \u003Ca href=\"https:\u002F\u002Fsites.google.com\u002Fsite\u002Fthuliuhuaping\">Huaping Liu\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup>\n    \u003Ca href=\"https:\u002F\u002Fguosheng.github.io\u002F\">Guosheng Lin\u003C\u002Fa>\u003Csup>**1,2\u003C\u002Fsup>\n    \u003Cbr>\n    \u003Csup>*\u003C\u002Fsup>同等贡献。\n    \u003Csup>**\u003C\u002Fsup>通讯作者。\n    \u003Cbr>\n    \u003Csup>1\u003C\u002Fsup>S-Lab, 南洋理工大学,\n    \u003Cbr>\n\u003Csup>2\u003C\u002Fsup>南洋理工大学计算机科学与工程学院,\n    \u003Cbr>\n    \u003Csup>3\u003C\u002Fsup>清华大学计算机科学与技术系,\n    \u003Csup>4\u003C\u002Fsup>商汤科技研究院,\n\n\u003C\u002Fp>\n\n\u003Cdiv align=\"center\">\n\n\u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2311.14521'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2311.14521-b31b1b.svg'>\u003C\u002Fa>      \n \u003Ca href='https:\u002F\u002Fbuaacyw.github.io\u002Fgaussian-editor\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>      \n \u003Ca href='https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=TdZIICSFqsU&ab_channel=YiwenChen'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FYoutube-Video-red'>\u003C\u002Fa>      \n \u003Ca href='https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002Fmaster\u002FLICENSE.txt'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-SLab-blue'>\u003C\u002Fa>      \n\n\u003C\u002Fdiv>\n\n\n## 演示视频\n\u003Cdetails open>\n  \u003Csummary>仅需2-7分钟即可实现快速可控的3D编辑。\u003C\u002Fsummary>\n\nhttps:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fassets\u002F52091468\u002F10740174-3208-4408-b519-23f58604339e\n\nhttps:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fassets\u002F52091468\u002F44797174-0242-4c82-a383-2d7b3d4fd693\n\n\nhttps:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fassets\u002F52091468\u002F18dd3ef2-4066-428a-918d-c4fe673d0af8\n\u003C\u002Fdetails>\n\n## 发布更新\n- [12\u002F5] Docker支持。感谢 [jhuangBU](https:\u002F\u002Fgithub.com\u002FjhuangBU) 的贡献。对于Windows用户，可以尝试[这个指南](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F9)和[这个指南](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F14)。\n- [11\u002F29] 发布分割置信度缩放器。现在你可以调整语义追踪掩码的阈值。\n- [11\u002F27] 🔥 发布**GaussianEditor: 基于高斯溅射的快速可控3D编辑**以及GaussianEditing WebUI测试版。\n\n## 目录\n- [演示视频](#demo-videos)\n- [发布更新](#release)\n- [目录](#contents)\n- [安装](#installation)\n- [WebUI使用指南](#webui-guide)\n- [如何获得更好的效果](#how-to-achieve-better-result)\n- [命令行](#command-line)\n- [待办事项](#todo)\n- [常见问题](#faq)\n\n## 安装\n我们的环境已在Ubuntu 22、CUDA 11.8（3090、A5000和A6000显卡）上测试通过。\n1. 克隆仓库并创建conda环境\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor.git && cd GaussianEditor\n\n# (选项一) 通过conda安装\nconda env create -f environment.yaml\n\n# (选项二) 你也可以通过pip安装\n# CUDA版本 11.7\npip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu117\n# CUDA版本 11.8\npip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install -r requirements.txt\n\n# (选项三) 如果以上两个选项都失败，请尝试：\n# 对于CUDA 11.8\nbash install.sh\n```\n\n2. (可选) 安装我们分叉的viser [WebUI需要]\n```\nmkdir extern && cd extern\ngit clone https:\u002F\u002Fgithub.com\u002Fheheyas\u002Fviser \npip install -e viser\ncd ..\n```\n\n3. (可选) 下载Wonder3D检查点 [用于\u003Cb>添加\u003C\u002Fb>功能]\n```bash\nsh download_wonder3d.sh\n```\n\n## WebUI使用指南\n请注意，我们的WebUI目前处于测试版。WebUI由[Viser](https:\u002F\u002Fgithub.com\u002Fnerfstudio-project\u002Fviser\u002Ftree\u002Fmain)驱动，即使在远程服务器上受限的情况下你也可以使用我们的WebUI。详细信息请参阅[WebUI使用指南](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002Fmaster\u002Fdocs\u002Fwebui.md)。\n\n## 如何获得更好的效果\n\n3D编辑的需求非常多样化。例如，如果你只想更改纹理和材质，或者大幅修改几何体，很明显一套通用的超参数并不能满足所有场景。因此，我们无法提供一个在所有情况下都有效的默认超参数设置。因此，如果你的结果不符合预期，请参阅我们的[超参数调优](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002Fmaster\u002Fdocs\u002Fhyperparameter.md)文档。在其中，我们详细介绍了每个超参数的功能，并针对遇到特定问题时应该调整哪些参数提供了建议。\n\n## 命令行\n我们还提供了GaussianEditor的命令行版本。与WebUI一样，你需要指定预训练高斯（Gaussians）和COLMAP输出的路径，具体见[此处](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002F1fa96851c132258e0547ba73372f37cff83c92c3\u002Fdocs\u002Fwebui.md?plain=1#L20)。\n请查看`script`文件夹中的脚本。只需将`data.source`更改为你COLMAP输出的目录，将`system.gs_source`更改为你预训练的高斯，然后运行我们的演示脚本即可。\n\n## 待办事项\n\n感谢你的耐心等待，仓库仍在持续完善中。\n- [x] 超参数调优教程。\n- [x] WebUI分步教程。\n- [x] 实现WebUI测试版和GaussianEditor。\n\n## 常见问题\n\n- **编辑（Edit）效果不佳。** 我们使用[InstructPix2Pix](https:\u002F\u002Fgithub.com\u002Ftimothybrooks\u002Finstruct-pix2pix)生成编辑后的2D图像作为编辑指导。不幸的是，InstructPix2Pix仅支持有限的提示词，如果你不确定文本提示词是否有效，请先尝试[这里](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftimbrooks\u002Finstruct-pix2pix)。\n- **添加（Add）效果不佳。** 我们使用[ControlNet-Inpainting](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet)先生成2D图像修复，然后将其转换到3D。同样地，它对不好的提示词也不起作用。请尝试扩大你的修复掩膜并尝试更多随机种子。\n- **分割（Segmentation）效果不佳。** 尝试调整分割阈值，这会改变分割的置信度分数。\n- **DPT权重缺失。** 请阅读这个[问题](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F10)\n\n##致谢\n\n我们的代码基于这些优秀的开源项目：\n\n* [Gaussian Splatting](https:\u002F\u002Fgithub.com\u002Fgraphdeco-inria\u002Fgaussian-splatting)\n* [Wonder3D](https:\u002F\u002Fgithub.com\u002Fxxlong0\u002FWonder3D)\n* [Threestudio](https:\u002F\u002Fgithub.com\u002Fthreestudio-project\u002Fthreestudio)\n* [Viser](https:\u002F\u002Fgithub.com\u002Fnerfstudio-project\u002Fviser)\n* [InstructNerf2Nerf](https:\u002F\u002Fgithub.com\u002Fayaanzhaque\u002Finstruct-nerf2nerf)\n* [InstructPix2Pix](https:\u002F\u002Fgithub.com\u002Ftimothybrooks\u002Finstruct-pix2pix)\n* [Controlnet](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet)","# GaussianEditor 快速上手指南\n\nGaussianEditor 是基于 3D Gaussian Splatting 的快速可控 3D 编辑工具，支持在 2-7 分钟内完成场景编辑。\n\n## 环境要求\n\n- **系统**：Ubuntu 22\n- **GPU**：NVIDIA 3090 \u002F A5000 \u002F A6000\n- **CUDA**：11.7 或 11.8\n- **显存**：建议 24GB 以上\n\n## 安装步骤\n\n### 1. 克隆仓库\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor.git && cd GaussianEditor\n```\n\n### 2. 创建环境（选择一种方式）\n\n**方式一：使用 conda（推荐）**\n```bash\nconda env create -f environment.yaml\n```\n\n**方式二：使用 pip**\n```bash\n# CUDA 11.7\npip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu117\n# CUDA 11.8\npip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install -r requirements.txt\n```\n\n**方式三：自动安装脚本**\n```bash\nbash install.sh\n```\n\n### 3. （可选）安装 WebUI 依赖\n\n```bash\nmkdir extern && cd extern\ngit clone https:\u002F\u002Fgithub.com\u002Fheheyas\u002Fviser \npip install -e viser\ncd ..\n```\n\n### 4. （可选）下载 Wonder3D 模型（用于 Add 功能）\n\n```bash\nsh download_wonder3d.sh\n```\n\n## 基本使用\n\n### 使用 WebUI（推荐）\n\n启动 WebUI 服务：\n```bash\npython -m gaussianeditor.webui\n```\n\n启动后访问显示的本地地址（支持远程服务器），即可通过浏览器进行可视化编辑。\n\n### 使用命令行\n\n编辑 `script` 目录下的示例脚本，将 `data.source` 改为你的 COLMAP 输出目录，`system.gs_source` 改为预训练的 Gaussian 模型路径，然后运行：\n\n```bash\npython scripts\u002Fyour_script.py\n```\n\n## 注意事项\n\n- 首次使用建议通过 WebUI 熟悉功能\n- 若编辑效果不理想，可参考 [hyperparameter.md](https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fblob\u002Fmaster\u002Fdocs\u002Fhyperparameter.md) 调整参数\n- Edit 功能依赖 InstructPix2Pix，Add 功能依赖 Wonder3D 和 ControlNet","# 游戏场景设计师的 3D 场景快速迭代\n\n小张是一名游戏场景设计师，负责为一款开放世界冒险游戏制作室内场景资产。他需要根据策划反馈快速调整场景中的物品摆放、删除穿模物体、修改光照氛围。\n\n### 没有 GaussianEditor 时\n\n- 使用传统 Mesh 编辑工具（如 Blender）需要对每个物体逐一手动选择和删除，删除后还要补全场景空洞，耗时数小时\n- 修改场景中某个物体的颜色或材质，需要重新烘焙光照贴图，单次调整就可能耗费 30 分钟以上\n- 若要移动或替换场景中的大型物体，需要重新计算整个场景的遮挡和阴影关系，等待时间漫长\n- 每次修改后都需要导出为新版本，版本管理混乱，容易覆盖原文件\n- 团队协作时，其他成员无法实时预览修改效果，沟通成本高\n\n### 使用 GaussianEditor 后\n\n- 内置语义分割功能，只需点击目标物体即可一键选中并删除，整个过程不到 1 分钟\n- 直接在 Gaussian Splatting 渲染框架下编辑，修改颜色、材质后光照效果实时更新，无需等待烘焙\n- 通过高斯溅射的渐进式特性，移动物体时场景其他部分自动保持一致，修改即时生效\n- 编辑结果自动保存为独立版本，可随时回溯到任意历史状态\n- 支持 WebUI 远程访问，团队成员可以直接在浏览器中查看和评审修改效果\n\nGaussianEditor 让 3D 场景的迭代从\"小时级\"缩短到\"分钟级\"，极大提升了游戏场景的开发和沟通效率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbuaacyw_GaussianEditor_2a799465.png","buaacyw","Yiwen Chen","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fbuaacyw_f9e173df.jpg","S-Lab, NTU SCSE PhD","Nanyang Technological University","Singapore","YIWEN002@e.ntu.edu.sg",null,"https:\u002F\u002Fbuaacyw.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fbuaacyw",[25,29,33,37,41,45,49,53,57,60],{"name":26,"color":27,"percentage":28},"C++","#f34b7d",47.5,{"name":30,"color":31,"percentage":32},"Python","#3572A5",36.3,{"name":34,"color":35,"percentage":36},"CMake","#DA3434",8.5,{"name":38,"color":39,"percentage":40},"Cuda","#3A4E3A",4,{"name":42,"color":43,"percentage":44},"GLSL","#5686a5",2.7,{"name":46,"color":47,"percentage":48},"C","#555555",0.4,{"name":50,"color":51,"percentage":52},"Shell","#89e051",0.3,{"name":54,"color":55,"percentage":56},"Gnuplot","#f0a9f0",0.1,{"name":58,"color":59,"percentage":56},"Batchfile","#C1F12E",{"name":61,"color":62,"percentage":56},"Dockerfile","#384d54",1417,70,"2026-04-03T15:18:41","NOASSERTION",3,"Linux, Windows (通过 Docker 或特殊配置)","需要 NVIDIA GPU，测试过 RTX 3090、RTX A5000、RTX A6000，显存建议 8GB+，CUDA 11.7 或 11.8","未说明",{"notes":72,"python":73,"dependencies":74},"已在 Ubuntu 22.04、CUDA 11.8 环境下测试通过。支持通过 conda 或 pip 安装（推荐 conda）。WebUI 功能需要安装自定义的 viser 分支。如使用「添加」功能需下载 Wonder3D 检查点（约 5GB）。编辑功能依赖 InstructPix2Pix，提示词支持有限。","未说明（基于 environment.yaml 推断为 3.8+）",[75,76,77,78,79,80,81],"torch==2.0.1","torchvision==0.15.2","transformers","accelerate","viser","ControlNet","InstructPix2Pix",[83,84],"图像","其他",[86,87,88],"3d","generative-ai","cvpr2024","ready","2026-03-27T02:49:30.150509","2026-04-06T05:27:04.338478",[93,98,103,108,112,117],{"id":94,"question_zh":95,"answer_zh":96,"source_url":97},1002,"如何解决安装 viser 时出现的 'build_editable' hook 错误？","该问题是由于 pip 版本过低导致的。解决方案：升级 pip 版本后重试安装。","https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F2",{"id":99,"question_zh":100,"answer_zh":101,"source_url":102},1003,"如何优雅地安装原始 viser 而不是修改版的 viser？","API 已更改，请使用 viser wheel 版本。如果从源码安装，需要自己构建客户端。建议先卸载 viser，然后通过 pip 安装预构建的 wheel 版本。","https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F21",{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},1004,"运行时报错 'No such file or directory: .cache\u002Fdpt\u002Fomnidata_dpt_depth_v2.ckpt' 应该如何解决？","需要下载深度估计的预训练模型权重。执行以下命令：\n1. mkdir -p .cache\u002Fdpt\n2. pip install gdown\n3. gdown '1Jrh-bRnJEjyMCS7f-WsaFlccfPjJPPHI&confirm=t' -O .\u002Fcache\u002Fdpt\n\n参考：https:\u002F\u002Fgithub.com\u002FEPFL-VILAB\u002Fomnidata\u002Ftree\u002Fmain\u002Fomnidata_tools\u002Ftorch","https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F10",{"id":109,"question_zh":110,"answer_zh":111,"source_url":107},1005,"运行时报错 'BrokenPipeError' 和 ffmpeg 相关错误如何解决？","该错误与 mediapy 使用的 ffmpeg 有关。解决方案：重新安装 ffmpeg。参考 Stack Overflow 解决方案：https:\u002F\u002Fstackoverflow.com\u002Fquestions\u002F62213783\u002Fffmpeg-error-while-loading-shared-libraries-libopenh264-so-5",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},1006,"运行时报错 'expected scalar type Float but found BFloat16' 应该如何解决？","这是数据类型不匹配的问题。具体解决方案可参考：https:\u002F\u002Fgithub.com\u002Fsilent-chen\u002FDGE\u002Fissues\u002F11#issuecomment-2456971913","https:\u002F\u002Fgithub.com\u002Fbuaacyw\u002FGaussianEditor\u002Fissues\u002F75",{"id":118,"question_zh":119,"answer_zh":120,"source_url":102},1007,"使用 viser 时出现 'AttributeError: ViserServer object has no attribute on_scene_click' 错误如何解决？","这可能与 viser==0.2 版本有关。建议使用 viser wheel 版本。如果从源码安装，需要自己构建客户端。",[],[123,133,142,155,163,171],{"id":124,"name":125,"github_repo":126,"description_zh":127,"stars":128,"difficulty_score":67,"last_commit_at":129,"category_tags":130,"status":89},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[131,83,132],"开发框架","Agent",{"id":134,"name":135,"github_repo":136,"description_zh":137,"stars":138,"difficulty_score":139,"last_commit_at":140,"category_tags":141,"status":89},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[131,83,132],{"id":143,"name":144,"github_repo":145,"description_zh":146,"stars":147,"difficulty_score":139,"last_commit_at":148,"category_tags":149,"status":89},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[83,150,151,152,132,84,153,131,154],"数据工具","视频","插件","语言模型","音频",{"id":156,"name":157,"github_repo":158,"description_zh":159,"stars":160,"difficulty_score":67,"last_commit_at":161,"category_tags":162,"status":89},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[132,83,131,153,84],{"id":164,"name":165,"github_repo":166,"description_zh":167,"stars":168,"difficulty_score":67,"last_commit_at":169,"category_tags":170,"status":89},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[153,83,131,84],{"id":172,"name":173,"github_repo":174,"description_zh":175,"stars":176,"difficulty_score":139,"last_commit_at":177,"category_tags":178,"status":89},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[131,83]]