[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-ironjr--semantic-draw":3,"similar-ironjr--semantic-draw":103},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":20,"owner_twitter":21,"owner_website":22,"owner_url":23,"languages":24,"stars":33,"forks":34,"last_commit_at":35,"license":36,"difficulty_score":37,"env_os":38,"env_gpu":39,"env_ram":38,"env_deps":40,"category_tags":52,"github_topics":54,"view_count":64,"oss_zip_url":65,"oss_zip_packed_at":65,"status":66,"created_at":67,"updated_at":68,"faqs":69,"releases":102},9468,"ironjr\u002Fsemantic-draw","semantic-draw","Official code for the CVPR 2025 paper \"SemanticDraw: Towards Real-Time Interactive Content Creation from Image Diffusion Models.\"","SemanticDraw 是一款源自 CVPR 2025 论文的开源框架，旨在实现基于图像扩散模型的实时交互式内容创作。它允许用户像画家一样，在画布上使用“语义画笔”直接绘制不同区域的蒙版，并为每个区域指定独立的文本提示词，从而精准控制生成内容的布局与细节。\n\n传统文生图工具往往难以精确控制物体位置，或是在修改局部时影响整体画面。SemanticDraw 通过区域化的语义控制技术，有效解决了这一痛点：它不仅支持在大画布上自由绘制多个提示词区域，确保不同内容互不干扰，还能实现毫秒级的实时编辑反馈。用户每落下一笔，画面即刻更新，真正做到了“所见即所得”的流畅创作体验。\n\n该工具特别适合需要精细构图控制的设计师、插画师，以及研究可控生成技术的开发者与科研人员。其技术亮点在于继承了前作 StreamMultiDiffusion 的流式生成优势，并进一步优化了交互延迟，同时兼容 Stable Diffusion 1.5、SDXL 乃至最新的 SD3 模型。无论是快速构思草图，还是进行复杂的场景合成，SemanticDraw 都能让创意不再受限于繁琐的参数调整，让绘画过程回归直观与自然。","\u003Cdiv align=\"center\">\n\n\u003Ch1>SemanticDraw: Towards Real-Time Interactive Content Creation from Image Diffusion Models\u003C\u002Fh1>\n\u003Ch4>\u003Cb>CVPR 2025\u003C\u002Fb>\u003C\u002Fh4>\n\u003Cp>Previously \u003Cem>StreamMultiDiffusion: Real-Time Interactive Generation\u003C\u002Fbr>with Region-Based Semantic Control\u003C\u002Fem>\u003C\u002Fp>\n\n| ![mask](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_29a38b1a4587.gif) | ![result](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_e15d2e5c8f72.gif) |\n| :----------------------------: | :----------------------------: |\n| Draw multiple prompt-masks in a large canvas | Real-time creation |\n\n[**Jaerin Lee**](http:\u002F\u002Fjaerinlee.com\u002F) · [**Daniel Sungho Jung**](https:\u002F\u002Fdqj5182.github.io\u002F) · [**Kanggeon Lee**](https:\u002F\u002Fgithub.com\u002Fdlrkdrjs97\u002F) · [**Kyoung Mu Lee**](https:\u002F\u002Fcv.snu.ac.kr\u002Findex.php\u002F~kmlee\u002F)\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_e7f0384bed79.png\" height=60>\n\u003C\u002Fp>\n\n[![Project](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-green)](https:\u002F\u002Fjaerinlee.com\u002Fresearch\u002Fsemantic-draw)\n[![ArXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2403.09055-red)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.09055)\n[![Github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fironjr\u002Fsemantic-draw)](https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw)\n[![X](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Furl?label=_ironjr_&url=https%3A%2F%2Ftwitter.com%2F_ironjr_)](https:\u002F\u002Ftwitter.com\u002F_ironjr_)\n[![LICENSE](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-lightgrey)](https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\u002Fblob\u002Fmain\u002FLICENSE)\n[![HFPaper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Paper-yellow)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2403.09055)\n\n[![HFDemoMain](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-Main-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw)\n[![HFDemo1](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-CanvasSD1.5-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw-canvas-sd15)\n[![HFDemo2](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-CanvasSDXL-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw-canvas-sdxl)\n[![HFDemo3](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-CanvasSD3-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw-canvas-sd3)\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fcamenduru\u002FSemanticPalette-jupyter\u002Fblob\u002Fmain\u002FSemanticPalette_jupyter.ipynb)\n\n\u003C\u002Fdiv>\n\n**SemanticDraw** is a real-time interactive text-to-image generation framework that allows you to **draw with meanings** 🧠 using semantic brushes 🖌️.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_10d6fbdda9be.png\" width=100%>\n\u003C\u002Fp>\n\n---\n\n## 🚀 Quick Start\n\n```bash\n# Install\nconda create -n semdraw python=3.12 && conda activate semdraw\ngit clone https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\ncd semantic-draw\npip install -r requirements.txt\n\n# Run streaming demo\ncd demo\u002Fstream\npython app.py --model \"runwayml\u002Fstable-diffusion-v1-5\" --port 8000\n\n# Open http:\u002F\u002Flocalhost:8000 in your browser\n```\n\nFor SD3 support, additionally run:\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Finitml\u002Fdiffusers.git@clement\u002Ffeature\u002Fflash_sd3\n```\n\nNote: this is default in requirements.txt\n\n---\n\n## 📚 Table of Contents\n\n- [Features](#-features)\n- [Installation](#-installation)\n- [Demo Applications](#-demo-applications)\n- [Usage Examples](#-usage-examples)\n- [Documentation](#-documentation)\n- [FAQ](#-faq)\n- [Citation](#-citation)\n\n---\n\n## ⭐ Features\n\n| Interactive Drawing | Prompt Separation | Real-time Editing |\n| :---: | :---: | :---: |\n| ![usage1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_1d0efbe9b248.gif) | ![usage2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_904fd6335fba.gif) | ![usage3](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_2d4a7ed0ee0b.gif) |\n| Paint with semantic brushes | No unwanted content mixing | Edit photos in real-time |\n\n---\n\n## 🔧 Installation\n\n### Basic Installation\n\n```bash\nconda create -n smd python=3.12 && conda activate smd\ngit clone https:\u002F\u002Fgithub.com\u002Fironjr\u002FStreamMultiDiffusion\ncd StreamMultiDiffusion\npip install -r requirements.txt\n```\n\n### Stable Diffusion 3 Support\n\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Finitml\u002Fdiffusers.git@clement\u002Ffeature\u002Fflash_sd3\n```\n\n---\n\n## 🎨 Demo Applications\n\nWe provide several demo applications with different features and model support:\n\n### 1. StreamMultiDiffusion (Main Demo)\n\nReal-time streaming interface with semantic drawing capabilities.\n\n```bash\ncd demo\u002Fstream\npython app.py --model \"your-model\" --height 512 --width 512 --port 8000\n```\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Options\u003C\u002Fb>\u003C\u002Fsummary>\n\n| Option | Description | Default |\n|--------|-------------|---------|\n| `--model` | Path to SD1.5 checkpoint (HF or local .safetensors) | None |\n| `--height` | Canvas height | 768 |\n| `--width` | Canvas width | 1920 |\n| `--bootstrap_steps` | Semantic region separation (1-3 recommended) | 1 |\n| `--seed` | Random seed | 2024 |\n| `--device` | GPU device number | 0 |\n| `--port` | Web server port | 8000 |\n\n\u003C\u002Fdetails>\n\n### 2. Semantic Palette\n\nSimplified interface for different SD versions:\n\n#### SD 1.5 Version\n```bash\ncd demo\u002Fsemantic_palette\npython app.py --model \"runwayml\u002Fstable-diffusion-v1-5\" --port 8000\n```\n\n#### SDXL Version\n```bash\ncd demo\u002Fsemantic_palette_sdxl\npython app.py --model \"your-sdxl-model\" --port 8000\n```\n\n#### SD3 Version\n```bash\ncd demo\u002Fsemantic_palette_sd3\npython app.py --port 8000\n```\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Using Custom Models (.safetensors)\u003C\u002Fb>\u003C\u002Fsummary>\n\n1. Place your `.safetensors` file in the demo's `checkpoints` folder\n2. Run with: `python app.py --model \"your-model.safetensors\"`\n\n\u003C\u002Fdetails>\n\n---\n\n## 💻 Usage Examples\n\n### Python API\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Basic Generation\u003C\u002Fb>\u003C\u002Fsummary>\n\n```python\nimport torch\nfrom model import StableMultiDiffusionPipeline\n\n# Initialize\ndevice = torch.device('cuda:0')\nsmd = StableMultiDiffusionPipeline(device, hf_key='runwayml\u002Fstable-diffusion-v1-5')\n\n# Generate\nimage = smd.sample('A photo of the dolomites')\nimage.save('output.png')\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Region-Based Generation\u003C\u002Fb>\u003C\u002Fsummary>\n\n```python\nimport torch\nfrom model import StableMultiDiffusionPipeline\nfrom util import seed_everything\n\n# Setup\nseed_everything(2024)\ndevice = torch.device('cuda:0')\nsmd = StableMultiDiffusionPipeline(device)\n\n# Define prompts and masks\nprompts = ['background: city', 'foreground: a cat', 'foreground: a dog']\nmasks = load_masks()  # Your mask loading logic\n\n# Generate\nimage = smd(prompts, masks=masks, height=768, width=768)\nimage.save('output.png')\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Streaming Generation\u003C\u002Fb>\u003C\u002Fsummary>\n\n```python\nfrom model import StreamMultiDiffusion\n\n# Initialize streaming pipeline\nsmd = StreamMultiDiffusion(device, height=512, width=512)\n\n# Register layers\nsmd.update_single_layer(idx=0, prompt='background', mask=bg_mask)\nsmd.update_single_layer(idx=1, prompt='object', mask=obj_mask)\n\n# Stream generation\nwhile True:\n    image = smd()\n    display(image)\n```\n\n\u003C\u002Fdetails>\n\n### Jupyter Notebooks\n\nExplore our [notebooks](.\u002Fnotebooks) directory for interactive examples:\n- Basic usage tutorial\n- Advanced region control\n- SD3 examples\n- Custom model integration\n\n---\n\n## 📖 Documentation\n\n### Detailed Guides\n\n- [Old README](.\u002FREADME_old.md)\n- [Notebooks](.\u002Fnotebooks)\n\n### Paper\n\nFor technical details, see our [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.09055) and [project page](https:\u002F\u002Fjaerinlee.com\u002Fresearch\u002Fsemantic-draw).\n\n---\n\n## 🙋 FAQ\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>What is Semantic Palette?\u003C\u002Fb>\u003C\u002Fsummary>\n\nSemantic Palette lets you paint with text prompts instead of colors. Each brush carries a meaning (prompt) that generates appropriate content in real-time.\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Which models are supported?\u003C\u002Fb>\u003C\u002Fsummary>\n\n- ✅ Stable Diffusion 1.5 and variants\n- ✅ SDXL and variants (with Lightning LoRA)\n- ✅ Stable Diffusion 3\n- ✅ Custom .safetensors checkpoints\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>Hardware requirements?\u003C\u002Fb>\u003C\u002Fsummary>\n\n- Minimum: GPU with 8GB VRAM (for 512x512)\n- Recommended: GPU with 11GB VRAM (for larger resolutions) (Tested with 1080 ti).\n\n\u003C\u002Fdetails>\n\n---\n\n## 🚩 Recent Updates\n\n- 🔥 **June 2025**: Presented at CVPR 2025\n- ✅ **June 2024**: SD3 support with Flash Diffusion\n- ✅ **April 2024**: StreamMultiDiffusion v2 with responsive UI\n- ✅ **March 2024**: SDXL support with Lightning LoRA\n- ✅ **March 2024**: First version released\n\nSee [README_old.md](.\u002FREADME_old.md) for full history.\n\n---\n\n## 🌏 Citation\n\n```bibtex\n@inproceedings{lee2025semanticdraw,\n    title=\"{SemanticDraw:} Towards Real-Time Interactive Content Creation from Image Diffusion Models\",\n    author={Lee, Jaerin and Jung, Daniel Sungho and Lee, Kanggeon and Lee, Kyoung Mu},\n    booktitle={CVPR},\n    year={2025}\n}\n```\n\n---\n\n## 🤗 Acknowledgements\n\nBuilt upon [StreamDiffusion](https:\u002F\u002Fgithub.com\u002Fcumulo-autumn\u002FStreamDiffusion), [MultiDiffusion](https:\u002F\u002Fmultidiffusion.github.io\u002F), and [LCM](https:\u002F\u002Flatent-consistency-models.github.io\u002F). Special thanks to the Hugging Face team and the model contributors.\n\n---\n\n## 📧 Contact\n\nPlease email `jarin.lee@gmail.com` or [open an issue](https:\u002F\u002Fgithub.com\u002Fironjr\u002FStreamMultiDiffusion\u002Fissues).\n","\u003Cdiv align=\"center\">\n\n\u003Ch1>SemanticDraw：基于图像扩散模型的实时交互式内容创作\u003C\u002Fh1>\n\u003Ch4>\u003Cb>CVPR 2025\u003C\u002Fb>\u003C\u002Fh4>\n此前曾发表过 \u003Cem>StreamMultiDiffusion：基于区域语义控制的实时交互式生成\u003C\u002Fem>\n\n| ![mask](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_29a38b1a4587.gif) | ![result](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_e15d2e5c8f72.gif) |\n| :----------------------------: | :----------------------------: |\n| 在大画布上绘制多个提示掩码 | 实时创作 |\n\n[**Jaerin Lee**](http:\u002F\u002Fjaerinlee.com\u002F) · [**Daniel Sungho Jung**](https:\u002F\u002Fdqj5182.github.io\u002F) · [**Kanggeon Lee**](https:\u002F\u002Fgithub.com\u002Fdlrkdrjs97\u002F) · [**Kyoung Mu Lee**](https:\u002F\u002Fcv.snu.ac.kr\u002Findex.php\u002F~kmlee\u002F)\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_e7f0384bed79.png\" height=60>\n\u003C\u002Fp>\n\n[![项目](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-green)](https:\u002F\u002Fjaerinlee.com\u002Fresearch\u002Fsemantic-draw)\n[![ArXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-2403.09055-red)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.09055)\n[![Github](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fironjr\u002Fsemantic-draw)](https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw)\n[![X](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Furl?label=_ironjr_&url=https%3A%2F%2Ftwitter.com%2F_ironjr_)](https:\u002F\u002Ftwitter.com\u002F_ironjr_)\n[![LICENSE](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-lightgrey)](https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\u002Fblob\u002Fmain\u002FLICENSE)\n[![HFPaper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Paper-yellow)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2403.09055)\n\n[![HFDemoMain](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-Main-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw)\n[![HFDemo1](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-CanvasSD1.5-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw-canvas-sd15)\n[![HFDemo2](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-CanvasSDXL-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw-canvas-sdxl)\n[![HFDemo3](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Demo-CanvasSD3-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002Fsemantic-draw-canvas-sd3)\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fcamenduru\u002FSemanticPalette-jupyter\u002Fblob\u002Fmain\u002FSemanticPalette_jupyter.ipynb)\n\n\u003C\u002Fdiv>\n\n**SemanticDraw** 是一个实时交互式的文本到图像生成框架，它允许你使用语义画笔 🖌️ 来 **带有意义地绘画** 🧠。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_10d6fbdda9be.png\" width=100%>\n\u003C\u002Fp>\n\n---\n\n## 🚀 快速入门\n\n```bash\n# 安装\nconda create -n semdraw python=3.12 && conda activate semdraw\ngit clone https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\ncd semantic-draw\npip install -r requirements.txt\n\n# 运行流式演示\ncd demo\u002Fstream\npython app.py --model \"runwayml\u002Fstable-diffusion-v1-5\" --port 8000\n\n# 在浏览器中打开 http:\u002F\u002Flocalhost:8000\n```\n\n若要支持 SD3，还需额外运行：\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Finitml\u002Fdiffusers.git@clement\u002Ffeature\u002Fflash_sd3\n```\n\n注意：这已在 requirements.txt 中默认包含。\n\n---\n\n## 📚 目录\n\n- [功能](#-features)\n- [安装](#-installation)\n- [演示应用](#-demo-applications)\n- [使用示例](#-usage-examples)\n- [文档](#-documentation)\n- [常见问题](#-faq)\n- [引用](#-citation)\n\n---\n\n## ⭐ 功能\n\n| 交互式绘图 | 提示分离 | 实时编辑 |\n| :---: | :---: | :---: |\n| ![usage1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_1d0efbe9b248.gif) | ![usage2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_904fd6335fba.gif) | ![usage3](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_readme_2d4a7ed0ee0b.gif) |\n| 使用语义画笔作画 | 不混入无关内容 | 实时编辑图片 |\n\n---\n\n## 🔧 安装\n\n### 基本安装\n\n```bash\nconda create -n smd python=3.12 && conda activate smd\ngit clone https:\u002F\u002Fgithub.com\u002Fironjr\u002FStreamMultiDiffusion\ncd StreamMultiDiffusion\npip install -r requirements.txt\n```\n\n### 支持 Stable Diffusion 3\n\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Finitml\u002Fdiffusers.git@clement\u002Ffeature\u002Fflash_sd3\n```\n\n---\n\n## 🎨 演示应用\n\n我们提供了几个具有不同功能和模型支持的演示应用：\n\n### 1. StreamMultiDiffusion（主演示）\n\n具备语义绘图能力的实时流媒体界面。\n\n```bash\ncd demo\u002Fstream\npython app.py --model \"your-model\" --height 512 --width 512 --port 8000\n```\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>选项\u003C\u002Fb>\u003C\u002Fsummary>\n\n| 选项 | 描述 | 默认值 |\n|--------|-------------|---------|\n| `--model` | SD1.5 检查点路径（HF 或本地 .safetensors） | 无 |\n| `--height` | 画布高度 | 768 |\n| `--width` | 画布宽度 | 1920 |\n| `--bootstrap_steps` | 语义区域分离（建议 1–3 步） | 1 |\n| `--seed` | 随机种子 | 2024 |\n| `--device` | GPU 设备编号 | 0 |\n| `--port` | Web 服务器端口 | 8000 |\n\n\u003C\u002Fdetails>\n\n### 2. Semantic Palette\n\n针对不同 SD 版本的简化界面：\n\n#### SD 1.5 版本\n```bash\ncd demo\u002Fsemantic_palette\npython app.py --model \"runwayml\u002Fstable-diffusion-v1-5\" --port 8000\n```\n\n#### SDXL 版本\n```bash\ncd demo\u002Fsemantic_palette_sdxl\npython app.py --model \"your-sdxl-model\" --port 8000\n```\n\n#### SD3 版本\n```bash\ncd demo\u002Fsemantic_palette_sd3\npython app.py --port 8000\n```\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>使用自定义模型 (.safetensors)\u003C\u002Fb>\u003C\u002Fsummary>\n\n1. 将你的 `.safetensors` 文件放入演示的 `checkpoints` 文件夹\n2. 运行：`python app.py --model \"your-model.safetensors\"`\n\n\u003C\u002Fdetails>\n\n---\n\n## 💻 使用示例\n\n### Python API\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>基本生成\u003C\u002Fb>\u003C\u002Fsummary>\n\n```python\nimport torch\nfrom model import StableMultiDiffusionPipeline\n\n# 初始化\ndevice = torch.device('cuda:0')\nsmd = StableMultiDiffusionPipeline(device, hf_key='runwayml\u002Fstable-diffusion-v1-5')\n\n# 生成\nimage = smd.sample('多洛米蒂山脉的照片')\nimage.save('output.png')\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>基于区域的生成\u003C\u002Fb>\u003C\u002Fsummary>\n\n```python\nimport torch\nfrom model import StableMultiDiffusionPipeline\nfrom util import seed_everything\n\n# 设置\nseed_everything(2024)\ndevice = torch.device('cuda:0')\nsmd = StableMultiDiffusionPipeline(device)\n\n# 定义提示和掩码\nprompts = ['背景：城市', '前景：一只猫', '前景：一只狗']\nmasks = load_masks()  # 你的掩码加载逻辑\n\n# 生成\nimage = smd(prompts, masks=masks, height=768, width=768)\nimage.save('output.png')\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>流式生成\u003C\u002Fb>\u003C\u002Fsummary>\n\n```python\nfrom model import StreamMultiDiffusion\n\n# 初始化流式管道\nsmd = StreamMultiDiffusion(device, height=512, width=512)\n\n# 注册图层\nsmd.update_single_layer(idx=0, prompt='背景', mask=bg_mask)\nsmd.update_single_layer(idx=1, prompt='物体', mask=obj_mask)\n\n# 流式生成\nwhile True:\n    image = smd()\n    display(image)\n```\n\n\u003C\u002Fdetails>\n\n### Jupyter 笔记本\n\n在我们的 [notebooks](.\u002Fnotebooks) 目录中探索交互式示例：\n- 基本用法教程\n- 高级区域控制\n- SD3 示例\n- 自定义模型集成\n\n---\n\n## 📖 文档\n\n### 详细指南\n\n- [旧版 README](.\u002FREADME_old.md)\n- [笔记本](.\u002Fnotebooks)\n\n### 论文\n\n有关技术细节，请参阅我们的[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.09055)和[项目页面](https:\u002F\u002Fjaerinlee.com\u002Fresearch\u002Fsemantic-draw)。\n\n---\n\n## 🙋 常见问题解答\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>什么是语义调色板？\u003C\u002Fb>\u003C\u002Fsummary>\n\n语义调色板允许您使用文本提示而非颜色进行绘画。每支画笔都携带一个语义（提示），能够实时生成相应的内容。\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>支持哪些模型？\u003C\u002Fb>\u003C\u002Fsummary>\n\n- ✅ Stable Diffusion 1.5 及其变体\n- ✅ SDXL 及其变体（配合 Lightning LoRA）\n- ✅ Stable Diffusion 3\n- ✅ 自定义 .safetensors 检查点\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>硬件要求是什么？\u003C\u002Fb>\u003C\u002Fsummary>\n\n- 最低配置：8GB 显存的 GPU（用于 512x512 分辨率）\n- 推荐配置：11GB 显存的 GPU（用于更高分辨率）（已测试 1080 ti）。\n\n\u003C\u002Fdetails>\n\n---\n\n## 🚩 最新更新\n\n- 🔥 **2025年6月**：在 CVPR 2025 上发表\n- ✅ **2024年6月**：通过 Flash Diffusion 支持 SD3\n- ✅ **2024年4月**：StreamMultiDiffusion v2，配备响应式用户界面\n- ✅ **2024年3月**：通过 Lightning LoRA 支持 SDXL\n- ✅ **2024年3月**：发布首个版本\n\n完整历史记录请参阅 [README_old.md](.\u002FREADME_old.md)。\n\n---\n\n## 🌏 引用\n\n```bibtex\n@inproceedings{lee2025semanticdraw,\n    title=\"{SemanticDraw:} Towards Real-Time Interactive Content Creation from Image Diffusion Models\",\n    author={Lee, Jaerin and Jung, Daniel Sungho and Lee, Kanggeon and Lee, Kyoung Mu},\n    booktitle={CVPR},\n    year={2025}\n}\n```\n\n---\n\n## 🤗 致谢\n\n本项目基于 [StreamDiffusion](https:\u002F\u002Fgithub.com\u002Fcumulo-autumn\u002FStreamDiffusion)、[MultiDiffusion](https:\u002F\u002Fmultidiffusion.github.io\u002F) 和 [LCM](https:\u002F\u002Flatent-consistency-models.github.io\u002F) 构建。特别感谢 Hugging Face 团队及各模型贡献者。\n  \n---\n\n## 📧 联系方式\n\n请发送邮件至 `jarin.lee@gmail.com` 或 [提交 issue](https:\u002F\u002Fgithub.com\u002Fironjr\u002FStreamMultiDiffusion\u002Fissues)。","# SemanticDraw 快速上手指南\n\nSemanticDraw 是一个实时的交互式文生图框架，允许用户使用“语义画笔”进行创作。你可以在画布的不同区域绘制不同的提示词（Prompt），系统会实时生成对应的图像内容，且互不干扰。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 用户建议使用 WSL2)\n*   **Python 版本**: 3.12\n*   **GPU 要求**: \n    *   最低配置：8GB 显存 (支持 512x512 分辨率)\n    *   推荐配置：11GB 及以上显存 (支持更高分辨率及 SDXL\u002FSD3 模型)\n*   **前置依赖**: \n    *   Conda (推荐用于环境管理)\n    *   Git\n    *   CUDA 驱动 (需与 PyTorch 版本兼容)\n\n## 安装步骤\n\n### 1. 创建并激活虚拟环境\n使用 Conda 创建独立的 Python 3.12 环境：\n\n```bash\nconda create -n semdraw python=3.12 && conda activate semdraw\n```\n\n### 2. 克隆项目代码\n从 GitHub 克隆仓库并进入目录：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\ncd semantic-draw\n```\n\n### 3. 安装依赖\n安装项目所需的 Python 包。\n> **提示**：国内用户若下载缓慢，可临时指定清华源加速安装：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n```bash\npip install -r requirements.txt\n```\n\n### 4. (可选) 安装 Stable Diffusion 3 支持\n如果你需要使用 SD3 模型，需额外安装特定版本的 diffusers：\n\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Finitml\u002Fdiffusers.git@clement\u002Ffeature\u002Fflash_sd3\n```\n\n## 基本使用\n\n最简单的方式是启动官方的流式演示应用（Streaming Demo），通过浏览器进行交互式绘画。\n\n### 启动演示服务\n以下命令将加载 Stable Diffusion 1.5 模型并在本地 8000 端口启动服务：\n\n```bash\ncd demo\u002Fstream\npython app.py --model \"runwayml\u002Fstable-diffusion-v1-5\" --port 8000\n```\n\n*   `--model`: 指定模型路径，可以是 Hugging Face 模型 ID 或本地 `.safetensors` 文件路径。\n*   `--port`: 设置 Web 服务端口，默认为 8000。\n\n### 开始创作\n1.  打开浏览器访问：`http:\u002F\u002Flocalhost:8000`\n2.  **绘制蒙版**：在画布上选择不同颜色的画笔（代表不同的语义区域）。\n3.  **输入提示词**：为每种颜色对应的区域输入文本描述（例如：背景输入\"blue sky\"，前景输入\"a cat\"）。\n4.  **实时生成**：随着你的绘制，图像将实时更新，实现“所画即所得”。\n\n### 自定义模型\n如果你有本地的 `.safetensors` 模型文件：\n1.  将文件放入 `demo\u002Fstream\u002Fcheckpoints` 文件夹（或其他任意路径）。\n2.  运行命令时指定文件名：\n    ```bash\n    python app.py --model \"your-model.safetensors\" --port 8000\n    ```","一位游戏概念设计师正在为新的奇幻场景快速绘制草图，需要在画布上灵活调整不同区域的元素（如天空、山脉、建筑），并实时查看生成效果以激发灵感。\n\n### 没有 semantic-draw 时\n- **迭代效率低下**：每次修改局部内容（如把“森林”改成“沙漠”）都需要重新输入完整提示词并等待漫长的全图生成，打断创作心流。\n- **区域控制困难**：难以精确指定生成范围，常出现“想要山顶有雪，结果山脚也结冰”或不同语义区域内容相互渗透混合的情况。\n- **交互体验割裂**：无法像传统绘画软件那样“边画边看”，必须在“绘制蒙版 - 提交任务 - 等待结果 - 再次修改”的循环中反复切换，耗时费力。\n- **创意验证缓慢**：在头脑风暴阶段，因技术等待时间过长，导致大量瞬间的创意火花在未及可视化前就已流失。\n\n### 使用 semantic-draw 后\n- **实时流式生成**：利用语义画笔在画布上涂抹的同时，图像即刻随笔触变化呈现，实现真正的“所画即所得”，创作过程流畅无中断。\n- **精准语义隔离**：通过独立的提示词 - 蒙版对控制不同区域，确保“左侧是火山”绝不会影响“右侧的海洋”，彻底杜绝内容混淆。\n- **直观交互式编辑**：支持在大画布上随意增删修改多个语义区域，像使用 Photoshop 图层一样自然，随时调整构图与细节。\n- **即时创意反馈**：设计师可在一分钟内尝试数十种场景组合方案，快速验证视觉构想，极大提升了概念设计的产出密度与质量。\n\nsemantic-draw 将原本滞后的文本生成图像过程转化为实时的交互式绘画体验，让创作者真正实现了用“语义”直接作画。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fironjr_semantic-draw_1d0efbe9.gif","ironjr","Jaerin Lee","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fironjr_d4cef99b.jpg","Yet another AI toolmaker.","Seoul National University","Seoul, Korea","jarin.lee@gmail.com","_ironjr_","jaerinlee.com","https:\u002F\u002Fgithub.com\u002Fironjr",[25,29],{"name":26,"color":27,"percentage":28},"Jupyter Notebook","#DA5B0B",99,{"name":30,"color":31,"percentage":32},"Python","#3572A5",1,587,53,"2026-02-23T09:12:29","MIT",3,"未说明","必需 NVIDIA GPU。最低要求：8GB 显存（适用于 512x512 分辨率）；推荐：11GB 显存（适用于更高分辨率，已在 GTX 1080 Ti 上测试）。",{"notes":41,"python":42,"dependencies":43},"建议使用 conda 创建虚拟环境。支持 Stable Diffusion 1.5、SDXL（需 Lightning LoRA）和 SD3 模型。若需使用 SD3，需额外安装特定版本的 diffusers 库（initml\u002Fdiffusers@clement\u002Ffeature\u002Fflash_sd3）。支持加载本地 .safetensors 格式的检查点文件。该项目基于 StreamDiffusion、MultiDiffusion 和 LCM 构建，旨在实现实时交互式图像生成。","3.12",[44,45,46,47,48,49,50,51],"torch","diffusers","transformers","accelerate","gradio","opencv-python","pillow","numpy",[53],"图像",[55,56,57,58,59,60,61,62,63],"diffusion-models","drawing","image-generation","streaming","text-to-image","huggingface-spaces","stable-diffusion","stablediffusion3","cvpr2025",2,null,"ready","2026-03-27T02:49:30.150509","2026-04-19T15:38:21.384392",[70,75,80,84,88,93,98],{"id":71,"question_zh":72,"answer_zh":73,"source_url":74},42467,"在使用 SDXL 检查点进行图像修复（Inpainting）时出现尺寸不匹配错误或生成伪影怎么办？","根本原因是时间步长（timesteps）过短，导致模型修正内容的机会减少。推荐的解决方案如下：\n1. 将 `bootstrapping_steps` 参数从 1 增加到 3。\n2. 如果上述方法无效，请将时间步长从 5 增加到 8（此时建议配合 `bootstrapping_steps=3` 使用）。\n\n原理说明：引导步骤（Bootstrapping）旨在解决扩散模型在早期生成阶段（约前 20%）容易忽略多掩码区域中某些部分的问题。通过增加引导步骤，可以让模型在形成图像整体构图时有更多机会正确区分不同区域的提示词内容。","https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\u002Fissues\u002F9",{"id":76,"question_zh":77,"answer_zh":78,"source_url":79},42468,"安装依赖时遇到 'ERROR: No matching distribution found for torch' 错误如何解决？","这通常是因为 `requirements.txt` 配置问题或环境中未预先安装合适的 PyTorch 版本。\n解决方案：\n1. 拉取最新代码以获取修复后的依赖文件：`git pull origin main`\n2. 重新安装依赖：`pip install -r requirements.txt`\n3. 如果仍然失败，建议先手动安装 GPU 版本的 PyTorch，例如：\n   `conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=11.8 -c pytorch -c nvidia`\n   确保安装的版本与 xFormers 等依赖兼容（如 CUDA 11.8）。","https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\u002Fissues\u002F7",{"id":81,"question_zh":82,"answer_zh":83,"source_url":79},42469,"如何运行 app.py 并使用自定义模型检查点？","默认情况下，应用会自动下载 Hugging Face 演示中使用的模型。若想使用自定义模型（如来自 CivitAI 的 `.safetensors` 文件）：\n1. 将模型文件下载到 `demo\u002Fsemantic_palette\u002Fcheckpoints\u002F` 目录下（例如 `BlazingDriveV11m.safetensors`）。\n2. 运行命令时指定模型文件名：\n   `python app.py --model \"BlazingDriveV11m.safetensors\" --height 512 --width 512 --port 8000`\n注意：检查点是可选的，不指定则使用默认模型。",{"id":85,"question_zh":86,"answer_zh":87,"source_url":79},42470,"遇到 'cannot import name LCMScheduler from diffusers' 导入错误怎么办？","此错误是由于 `requirements.txt` 中的依赖版本冲突导致的。请执行以下步骤修复：\n1. 更新代码库以获取修正后的依赖配置：`git pull origin main`\n2. 重新安装依赖包：`pip install -r requirements.txt`\n这将确保安装与当前代码兼容的 `diffusers` 和相关调度器版本。",{"id":89,"question_zh":90,"answer_zh":91,"source_url":92},42471,"项目是否支持 Kolors 模型？如何使用？","是的，项目已支持 Kolors 模型。维护者已推送了专门的 Kolors 管道代码和演示 Notebook。\n- 代码位置：`src\u002Fmodel\u002Fpipeline_stablemultidiffusion_kolors.py`\n- 演示笔记：`notebooks\u002Fdemo_simple_kolors.ipynb`\n目前该实现暂不支持 LoRA（因为尚无针对 Kolors 训练的 LoRA 模型）。用户可以参考这些文件进行区域生成实验，社区贡献者还扩展了支持 IP-Adapter 的全景生成功能。","https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\u002Fissues\u002F16",{"id":94,"question_zh":95,"answer_zh":96,"source_url":97},42472,"项目是否支持 SDXL 或 ControlNet Tile 插件？","是的，项目已经支持 SDXL 模型。您可以访问新的 Hugging Face 演示页面体验：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fironjr\u002FSemanticPaletteXL\n关于 ControlNet Tile 插件，维护者已将其列入开发计划（TODO list），后续会进行更新支持。","https:\u002F\u002Fgithub.com\u002Fironjr\u002Fsemantic-draw\u002Fissues\u002F3",{"id":99,"question_zh":100,"answer_zh":101,"source_url":74},42473,"使用多个掩码时，有时某个掩码区域生成内容为空，这是什么原因？","这通常不是种子不稳定或中心对齐问题，而是由于时间步长过短导致模型在早期阶段未能正确响应所有区域的提示词。请参考解决方案：增加 `bootstrapping_steps` 到 3，并适当增加总时间步长（如从 5 增至 8），以给模型更多机会在生成初期构建正确的多区域构图。",[],[104,115,123,131,140,149],{"id":105,"name":106,"github_repo":107,"description_zh":108,"stars":109,"difficulty_score":37,"last_commit_at":110,"category_tags":111,"status":66},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[112,113,53,114],"Agent","开发框架","数据工具",{"id":116,"name":117,"github_repo":118,"description_zh":119,"stars":120,"difficulty_score":37,"last_commit_at":121,"category_tags":122,"status":66},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[113,53,112],{"id":124,"name":125,"github_repo":126,"description_zh":127,"stars":128,"difficulty_score":64,"last_commit_at":129,"category_tags":130,"status":66},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[113,53,112],{"id":132,"name":133,"github_repo":134,"description_zh":135,"stars":136,"difficulty_score":64,"last_commit_at":137,"category_tags":138,"status":66},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[139,112,53,113],"插件",{"id":141,"name":142,"github_repo":143,"description_zh":144,"stars":145,"difficulty_score":37,"last_commit_at":146,"category_tags":147,"status":66},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[148,53,112,113],"语言模型",{"id":150,"name":151,"github_repo":152,"description_zh":153,"stars":154,"difficulty_score":37,"last_commit_at":155,"category_tags":156,"status":66},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[113,53,112,157],"视频"]