[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-nunchaku-ai--nunchaku":3,"tool-nunchaku-ai--nunchaku":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",146793,2,"2026-04-08T23:32:35",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":76,"owner_website":78,"owner_url":79,"languages":80,"stars":111,"forks":112,"last_commit_at":113,"license":114,"difficulty_score":10,"env_os":115,"env_gpu":116,"env_ram":117,"env_deps":118,"category_tags":126,"github_topics":127,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":137,"updated_at":138,"faqs":139,"releases":173},5798,"nunchaku-ai\u002Fnunchaku","nunchaku","[ICLR2025 Spotlight] SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models","Nunchaku 是一款专为 4 比特扩散模型打造的高性能推理引擎，源自 ICLR 2025 焦点论文 SVDQuant。它主要解决了大型图像生成模型在消费级显卡上显存占用高、运行速度慢的难题，让用户无需昂贵硬件也能流畅体验高质量的 AI 绘图。\n\n其核心亮点在于独特的“奇异值分解量化”技术，能够巧妙地将模型中的异常值吸收到低秩组件中。这种创新方法在将模型压缩至 4 比特精度的同时，几乎不损失生成图像的质量，从而大幅降低了计算资源门槛。近期更新更带来了对 LoRA 的原生支持、对旧款 20 系列显卡的兼容以及显著的生成速度提升。\n\nNunchaku 非常适合希望在本机部署高效工作流的开发者、需要快速验证算法的研究人员，以及渴望在个人电脑上运行最新大模型（如通义万相 Z-Image、Qwen 图像编辑等）的资深设计师和 AI 爱好者。通过集成 ComfyUI 节点，它让复杂的低精度推理变得简单易用，是连接前沿量化研究与实际落地应用的桥梁。","\u003Cdiv align=\"center\" id=\"nunchaku_logo\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_588ad254ba3b.png\" alt=\"logo\" width=\"220\">\u003C\u002Fimg>\n\u003C\u002Fdiv>\n\u003Ch3 align=\"center\">\n\u003Ca href=\"http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007\">\u003Cb>Paper\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002F\">\u003Cb>Docs\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhanlab.mit.edu\u002Fprojects\u002Fsvdquant\">\u003Cb>Website\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhanlab.mit.edu\u002Fblog\u002Fsvdquant\">\u003Cb>Blog\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fdemo.nunchaku.tech\u002F\">\u003Cb>Demo\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\">\u003Cb>Hugging Face\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Forganization\u002Fnunchaku-tech\">\u003Cb>ModelScope\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002FComfyUI-nunchaku\">\u003Cb>ComfyUI\u003C\u002Fb>\u003C\u002Fa>\n\u003C\u002Fh3>\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F13942\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_e6ae79a4572f.png\" alt=\"nunchaku-ai\u002Fnunchaku | Trendshift\" style=\"width: 120px; height: 26px;\" width=\"120\" height=\"26\"\u002F>\u003C\u002Fa>\n  \u003Ca href=https:\u002F\u002Fdiscord.gg\u002FWk6PnwX9Sm target=\"_blank\">\u003Cimg src=https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdynamic\u002Fjson?url=https%3A%2F%2Fdiscord.com%2Fapi%2Finvites%2FWk6PnwX9Sm%3Fwith_counts%3Dtrue&query=%24.approximate_member_count&logo=discord&logoColor=white&label=Discord&color=green&suffix=%20total height=22px>\u003C\u002Fa>\n  \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnunchaku-ai\u002Fcdn\u002Fresolve\u002Fmain\u002Fnunchaku\u002Fassets\u002Fwechat.jpg target=\"_blank\">\u003Cimg src=https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWeChat-07C160?logo=wechat&logoColor=white height=22px>\u003C\u002Fa>\n  \u003Ca href=https:\u002F\u002Fdeepwiki.com\u002Fnunchaku-ai\u002Fnunchaku target=\"_blank\">\u003Cimg src=https:\u002F\u002Fdeepwiki.com\u002Fbadge.svg height=22px>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n**Nunchaku** is a high-performance inference engine optimized for 4-bit neural networks, as introduced in our paper [SVDQuant](http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007). For the underlying quantization library, check out [DeepCompressor](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fdeepcompressor).\n\nJoin our user groups on [**Discord**](https:\u002F\u002Fdiscord.gg\u002FWk6PnwX9Sm) and [**WeChat**](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnunchaku-ai\u002Fcdn\u002Fresolve\u002Fmain\u002Fnunchaku\u002Fassets\u002Fwechat.jpg) to engage in discussions with the community! More details can be found [here](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F149). If you have any questions, run into issues, or are interested in contributing, don’t hesitate to reach out!\n\n## News\n\n- **[2026-01-12]** 🚀 **v1.2.0 Released!** Enjoy a **20–30% Z-Image performance boost**, seamless **LoRA support with native ComfyUI nodes**, **INT4 support for 20-series GPUs**, and **compatibility with ComfyUI 0.7**!\n- **[2025-12-20]** 🔥 Release **4-bit [Tongyi-MAI\u002FZ-Image-Turbo](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FZ-Image-Turbo)**! Download on [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-z-image-turbo) or [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fnunchaku-tech\u002Fnunchaku-z-image-turbo), and try it with our [example script](examples\u002Fv1\u002Fz-image-turbo.py).\n- **[2025-09-25]** 🔥 Release **4-bit [4\u002F8-step lightning Qwen-Image-Edit-2509](https:\u002F\u002Fhuggingface.co\u002Flightx2v\u002FQwen-Image-Lightning)**! Download on [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image-edit-2509) or [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fnunchaku-tech\u002Fnunchaku-qwen-image-edit-2509), and try it with our [example script](examples\u002Fv1\u002Fqwen-image-edit-2509-lightning.py).\n- **[2025-09-24]** 🔥 Released **4-bit [Qwen-Image-Edit-2509](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-Image-Edit-2509)**! Models are available on [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image-edit-2509). Try them out with our [example script](examples\u002Fv1\u002Fqwen-image-edit-2509.py). Lightning models will follow up!\n\n\u003Cdetails>\n\u003Csummary>More\u003C\u002Fsummary>\n\n- **[2025-09-09]** 🔥 Released [**4-bit Qwen-Image-Edit**](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-Image-Edit) together with the [4\u002F8-step Lightning](https:\u002F\u002Fhuggingface.co\u002Flightx2v\u002FQwen-Image-Lightning) variants! Models are available on [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image-edit). Try them out with our [example script](examples\u002Fv1\u002Fqwen-image-edit.py).\n- **[2025-09-04]** 🚀 Official release of **Nunchaku v1.0.0**! Qwen-Image now supports **asynchronous offloading**, reducing VRAM usage to as little as **3 GiB** with no performance loss. Check out the [tutorial](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fusage\u002Fqwenimage.html) to get started.\n- **[2025-08-27]** 🔥 Release **4-bit [4\u002F8-step lightning Qwen-Image](https:\u002F\u002Fhuggingface.co\u002Flightx2v\u002FQwen-Image-Lightning)**! Download on [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image) or [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fnunchaku-tech\u002Fnunchaku-qwen-image), and try it with our [example script](examples\u002Fv1\u002Fqwen-image-lightning.py).\n- **[2025-08-15]** 🔥 Our **4-bit Qwen-Image** models are now live on [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image)! Get started with our [example script](examples\u002Fv1\u002Fqwen-image.py). *ComfyUI, LoRA, and CPU offloading support are coming soon!*\n- **[2025-08-15]** 🚀 The **Python backend** is now available! Explore our Pythonic FLUX models [here](nunchaku\u002Fmodels\u002Ftransformers\u002Ftransformer_flux_v2.py) and see the modular **4-bit linear layer** [here](nunchaku\u002Fmodels\u002Flinear.py).\n- **[2025-07-31]** 🚀 **[FLUX.1-Krea-dev](https:\u002F\u002Fwww.krea.ai\u002Fblog\u002Fflux-krea-open-source-release) is now supported!** Check out our new [example script](.\u002Fexamples\u002Fflux.1-krea-dev.py) to get started.\n- **[2025-07-13]** 🚀 The official [**Nunchaku documentation**](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002F) is now live! Explore comprehensive guides and resources to help you get started.\n- **[2025-06-29]** 🔥 Support **FLUX.1-Kontext**! Try out our [example script](.\u002Fexamples\u002Fflux.1-kontext-dev.py) to see it in action! Our demo is available at this [link](https:\u002F\u002Fsvdquant.mit.edu\u002Fkontext\u002F)!\n- **[2025-06-01]** 🚀 **Release v0.3.0!** This update adds support for multiple-batch inference, [**ControlNet-Union-Pro 2.0**](https:\u002F\u002Fhuggingface.co\u002FShakker-Labs\u002FFLUX.1-dev-ControlNet-Union-Pro-2.0), initial integration of [**PuLID**](https:\u002F\u002Fgithub.com\u002FToTheBeginning\u002FPuLID), and introduces [**Double FB Cache**](examples\u002Fflux.1-dev-double_cache.py). You can now load Nunchaku FLUX models as a single file, and our upgraded [**4-bit T5 encoder**](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-t5) now matches **FP8 T5** in quality!\n- **[2025-04-16]** 🎥 Released tutorial videos in both [**English**](https:\u002F\u002Fyoutu.be\u002FYHAVe-oM7U8?si=cM9zaby_aEHiFXk0) and [**Chinese**](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1BTocYjEk5\u002F?share_source=copy_web&vd_source=8926212fef622f25cc95380515ac74ee) to assist installation and usage.\n- **[2025-04-09]** 📢 Published the [April roadmap](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F266) and an [FAQ](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fdiscussions\u002F262) to help the community get started and stay up to date with Nunchaku’s development.\n- **[2025-04-05]** 🚀 **Nunchaku v0.2.0 released!** This release brings [**multi-LoRA**](examples\u002Fflux.1-dev-multiple-lora.py) and [**ControlNet**](examples\u002Fflux.1-dev-controlnet-union-pro.py) support with even faster performance powered by [**FP16 attention**](#fp16-attention) and [**First-Block Cache**](#first-block-cache). We've also added compatibility for [**20-series GPUs**](examples\u002Fflux.1-dev-turing.py) — Nunchaku is now more accessible than ever!\n- **[2025-03-07]** 🚀 **Nunchaku v0.1.4 Released!** We've supported [4-bit text encoder and per-layer CPU offloading](#Low-Memory-Inference), reducing FLUX's minimum memory requirement to just **4 GiB** while maintaining a **2–3× speedup**. This update also fixes various issues related to resolution, LoRA, pin memory, and runtime stability. Check out the release notes for full details!\n- **[2025-02-20]** 🚀 **Support NVFP4 precision on NVIDIA RTX 5090!** NVFP4 delivers superior image quality compared to INT4, offering **~3× speedup** on the RTX 5090 over BF16. Learn more in our [blog](https:\u002F\u002Fhanlab.mit.edu\u002Fblog\u002Fsvdquant-nvfp4), checkout [`examples`](.\u002Fexamples) for usage and try [our demo](https:\u002F\u002Fsvdquant.mit.edu\u002Fflux1-schnell\u002F) online!\n- **[2025-02-18]** 🔥 [**Customized LoRA conversion**](#Customized-LoRA) and [**model quantization**](#Customized-Model-Quantization) instructions are now available! **[ComfyUI](.\u002Fcomfyui)** workflows now support **customized LoRA**, along with **FLUX.1-Tools**!\n- **[2025-02-11]** 🎉 **[SVDQuant](http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007) has been selected as a ICLR 2025 Spotlight! FLUX.1-tools Gradio demos are now available!** Check [here](#gradio-demos) for the usage details! Our new [depth-to-image demo](https:\u002F\u002Fsvdquant.mit.edu\u002Fflux1-depth-dev\u002F) is also online—try it out!\n- **[2025-02-04]** **🚀 4-bit [FLUX.1-tools](https:\u002F\u002Fblackforestlabs.ai\u002Fflux-1-tools\u002F) is here!** Enjoy a **2-3× speedup** over the original models. Check out the [examples](.\u002Fexamples) for usage. **ComfyUI integration is coming soon!**\n- **[2025-01-23]** 🚀 **4-bit [SANA](https:\u002F\u002Fnvlabs.github.io\u002FSana\u002F) support is here!** Experience a 2-3× speedup compared to the 16-bit model. Check out the [usage example](examples\u002Fsana1.6b_pag.py) and the [deployment guide](app\u002Fsana\u002Ft2i) for more details. Explore our live demo at [svdquant.mit.edu](https:\u002F\u002Fsvdquant.mit.edu)!\n- **[2025-01-22]** 🎉 [**SVDQuant**](http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007) has been accepted to **ICLR 2025**!\n- **[2024-12-08]** Support [ComfyUI](https:\u002F\u002Fgithub.com\u002Fcomfyanonymous\u002FComfyUI). Please check [ComfyUI-nunchaku](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002FComfyUI-nunchaku) for the usage.\n- **[2024-11-07]** 🔥 Our latest **W4A4** Diffusion model quantization work [**SVDQuant**](https:\u002F\u002Fhanlab.mit.edu\u002Fprojects\u002Fsvdquant) is publicly released! Check [**DeepCompressor**](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fdeepcompressor) for the quantization library.\n\n\u003C\u002Fdetails>\n\n## Overview\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_d36fbfd5cbde.jpg)\n**Nunchaku** is a high-performance inference engine for low-bit neural networks. It implements **SVDQuant**, a post-training quantization technique for 4-bit weights and activations that well maintains visual fidelity. On 12B FLUX.1-dev, it achieves 3.6× memory reduction compared to the BF16 model. By eliminating CPU offloading, it offers 8.7× speedup over the 16-bit model when on a 16GB laptop 4090 GPU, 3× faster than the NF4 W4A16 baseline. On PixArt-∑, it demonstrates significantly superior visual quality over other W4A4 or even W4A8 baselines. \"E2E\" means the end-to-end latency including the text encoder and VAE decoder.\n\n**SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models**\u003Cbr>\n[Muyang Li](https:\u002F\u002Flmxyy.me)\\*, [Yujun Lin](https:\u002F\u002Fyujunlin.com)\\*, [Zhekai Zhang](https:\u002F\u002Fhanlab.mit.edu\u002Fteam\u002Fzhekai-zhang)\\*, [Tianle Cai](https:\u002F\u002Fwww.tianle.website\u002F#\u002F), [Xiuyu Li](https:\u002F\u002Fxiuyuli.com), [Junxian Guo](https:\u002F\u002Fgithub.com\u002FJerryGJX), [Enze Xie](https:\u002F\u002Fxieenze.github.io), [Chenlin Meng](https:\u002F\u002Fcs.stanford.edu\u002F~chenlin\u002F), [Jun-Yan Zhu](https:\u002F\u002Fwww.cs.cmu.edu\u002F~junyanz\u002F), and [Song Han](https:\u002F\u002Fhanlab.mit.edu\u002Fsonghan) \u003Cbr>\n*MIT, NVIDIA, CMU, Princeton, UC Berkeley, SJTU, and Pika Labs* \u003Cbr>\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Ffdd4ab68-6489-4c65-8768-259bd866e8f8\n\n## Method\n\n#### Quantization Method -- SVDQuant\n\n![intuition](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_9dac1d9089c8.gif)Overview of SVDQuant. Stage1: Originally, both the activation $\\boldsymbol{X}$ and weights $\\boldsymbol{W}$ contain outliers, making 4-bit quantization challenging. Stage 2: We migrate the outliers from activations to weights, resulting in the updated activation $\\hat{\\boldsymbol{X}}$ and weights $\\hat{\\boldsymbol{W}}$. While $\\hat{\\boldsymbol{X}}$ becomes easier to quantize, $\\hat{\\boldsymbol{W}}$ now becomes more difficult. Stage 3: SVDQuant further decomposes $\\hat{\\boldsymbol{W}}$ into a low-rank component $\\boldsymbol{L}_1\\boldsymbol{L}_2$ and a residual $\\hat{\\boldsymbol{W}}-\\boldsymbol{L}_1\\boldsymbol{L}_2$ with SVD. Thus, the quantization difficulty is alleviated by the low-rank branch, which runs at 16-bit precision.\n\n#### Nunchaku Engine Design\n\n![engine](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_200fb49083fd.jpg) (a) Naïvely running low-rank branch with rank 32 will introduce 57% latency overhead due to extra read of 16-bit inputs in *Down Projection* and extra write of 16-bit outputs in *Up Projection*. Nunchaku optimizes this overhead with kernel fusion. (b) *Down Projection* and *Quantize* kernels use the same input, while *Up Projection* and *4-Bit Compute* kernels share the same output. To reduce data movement overhead, we fuse the first two and the latter two kernels together.\n\n## Performance\n\n![efficiency](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_dc3ff0fc035d.jpg)SVDQuant reduces the 12B FLUX.1 model size by 3.6× and cuts the 16-bit model's memory usage by 3.5×. With Nunchaku, our INT4 model runs 3.0× faster than the NF4 W4A16 baseline on both desktop and laptop NVIDIA RTX 4090 GPUs. Notably, on the laptop 4090, it achieves a total 10.1× speedup by eliminating CPU offloading. Our NVFP4 model is also 3.1× faster than both BF16 and NF4 on the RTX 5090 GPU.\n\n## Getting Started\n\n- [Installation Guide](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Finstallation\u002Finstallation.html)\n- [Usage Tutorial](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fusage\u002Fbasic_usage.html)\n- [ComfyUI Plugin: ComfyUI-nunchaku](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002FComfyUI-nunchaku)\n- [Custom Model Quantization: DeepCompressor](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fdeepcompressor)\n- [Gradio Demo Apps](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Ftree\u002Fmain\u002Fapp)\n- [Reproduce SVDQuant Paper Results](app\u002Fflux.1\u002Ft2i)\n- [API Reference](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fpython_api\u002Fnunchaku.html)\n- [Contribution Guide](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fdeveloper\u002Fcontribution_guide.html)\n- [Frequently Asked Questions](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Ffaq\u002Ffaq.html)\n\n## Contact Us\n\nFor enterprises interested in adopting SVDQuant or Nunchaku, including technical consulting, sponsorship opportunities, or partnership inquiries, please contact us at muyangli@nunchaku.tech.\n\n## Related Projects\n\n- [Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.02048), NeurIPS 2022 & T-PAMI 2023\n- [SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.10438), ICML 2023\n- [Q-Diffusion: Quantizing Diffusion Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.04304), ICCV 2023\n- [AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.00978), MLSys 2024\n- [DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.19481), CVPR 2024\n- [QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.04532), MLSys 2025\n- [SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.10629), ICLR 2025\n- [Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.01776), ICML 2025\n- [Radial Attention: $O(n \\log n)$ Sparse Attention with Energy Decay for Long Video Generation](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fradial-attention), NeurIPS 2025\n- [Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.18875), NeurIPS 2025\n\n## Citation\n\nIf you find `nunchaku` useful or relevant to your research, please cite our paper:\n\n```bibtex\n@inproceedings{\n  li2024svdquant,\n  title={SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models},\n  author={Li*, Muyang and Lin*, Yujun and Zhang*, Zhekai and Cai, Tianle and Li, Xiuyu and Guo, Junxian and Xie, Enze and Meng, Chenlin and Zhu, Jun-Yan and Han, Song},\n  booktitle={The Thirteenth International Conference on Learning Representations},\n  year={2025}\n}\n```\n\n## Acknowledgments\n\nWe thank MIT-IBM Watson AI Lab, MIT and Amazon Science Hub, MIT AI Hardware Program, National Science Foundation, Packard Foundation, Dell, LG, Hyundai, and Samsung for supporting this research. We thank NVIDIA for donating the DGX server. We thank [First Intelligence](https:\u002F\u002Fwww.first-intelligence.com\u002F) and [Yotta Labs](https:\u002F\u002Fwww.yottalabs.ai\u002F) for generously sponsoring our computing resources.\n\nWe use [img2img-turbo](https:\u002F\u002Fgithub.com\u002FGaParmar\u002Fimg2img-turbo) to train the sketch-to-image LoRA. Our text-to-image and image-to-image UI is built upon [playground-v.25](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fplaygroundai\u002Fplayground-v2.5\u002Fblob\u002Fmain\u002Fapp.py) and [img2img-turbo](https:\u002F\u002Fgithub.com\u002FGaParmar\u002Fimg2img-turbo\u002Fblob\u002Fmain\u002Fgradio_sketch2image.py), respectively. Our safety checker is borrowed from [hart](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fhart).\n\nNunchaku is also inspired by many open-source libraries, including (but not limited to) [TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM), [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm), [QServe](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fqserve), [AWQ](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fllm-awq), [FlashAttention-2](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention), and [Atom](https:\u002F\u002Fgithub.com\u002Fefeslab\u002FAtom).\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_855605536f5e.png)](https:\u002F\u002Fwww.star-history.com\u002F#nunchaku-ai\u002Fnunchaku&Date)\n","\u003Cdiv align=\"center\" id=\"nunchaku_logo\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_588ad254ba3b.png\" alt=\"logo\" width=\"220\">\u003C\u002Fimg>\n\u003C\u002Fdiv>\n\u003Ch3 align=\"center\">\n\u003Ca href=\"http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007\">\u003Cb>论文\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002F\">\u003Cb>文档\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhanlab.mit.edu\u002Fprojects\u002Fsvdquant\">\u003Cb>官网\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhanlab.mit.edu\u002Fblog\u002Fsvdquant\">\u003Cb>博客\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fdemo.nunchaku.tech\u002F\">\u003Cb>演示\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\">\u003Cb>Hugging Face\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fmodelscope.cn\u002Forganization\u002Fnunchaku-tech\">\u003Cb>ModelScope\u003C\u002Fb>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002FComfyUI-nunchaku\">\u003Cb>ComfyUI\u003C\u002Fb>\u003C\u002Fa>\n\u003C\u002Fh3>\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F13942\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_e6ae79a4572f.png\" alt=\"nunchaku-ai\u002Fnunchaku | Trendshift\" style=\"width: 120px; height: 26px;\" width=\"120\" height=\"26\"\u002F>\u003C\u002Fa>\n  \u003Ca href=https:\u002F\u002Fdiscord.gg\u002FWk6PnwX9Sm target=\"_blank\">\u003Cimg src=https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdynamic\u002Fjson?url=https%3A%2F%2Fdiscord.com%2Fapi%2Finvites%2FWk6PnwX9Sm%3Fwith_counts%3Dtrue&query=%24.approximate_member_count&logo=discord&logoColor=white&label=Discord&color=green&suffix=%20total height=22px>\u003C\u002Fa>\n  \u003Ca href=https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnunchaku-ai\u002Fcdn\u002Fresolve\u002Fmain\u002Fnunchaku\u002Fassets\u002Fwechat.jpg target=\"_blank\">\u003Cimg src=https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWeChat-07C160?logo=wechat&logoColor=white height=22px>\u003C\u002Fa>\n  \u003Ca href=https:\u002F\u002Fdeepwiki.com\u002Fnunchaku-ai\u002Fnunchaku target=\"_blank\">\u003Cimg src=https:\u002F\u002Fdeepwiki.com\u002Fbadge.svg height=22px>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n**Nunchaku** 是一款针对 4 位神经网络优化的高性能推理引擎，如我们在论文 [SVDQuant](http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007) 中所介绍。有关底层量化库，请查看 [DeepCompressor](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fdeepcompressor)。\n\n欢迎加入我们的用户群组——[**Discord**](https:\u002F\u002Fdiscord.gg\u002FWk6PnwX9Sm) 和 [**WeChat**](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnunchaku-ai\u002Fcdn\u002Fresolve\u002Fmain\u002Fnunchaku\u002Fassets\u002Fwechat.jpg)，与社区成员一起交流讨论！更多详情请参阅 [这里](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F149)。如果您有任何问题、遇到任何困难，或有意参与贡献，请随时联系我们！\n\n## 新闻\n\n- **[2026-01-12]** 🚀 **v1.2.0 发布！** 享受 **Z-Image 性能提升 20–30%**，无缝支持 **LoRA 并配备原生 ComfyUI 节点**，新增 **20 系列显卡的 INT4 支持**，以及 **与 ComfyUI 0.7 的兼容性**！\n- **[2025-12-20]** 🔥 推出 **4 位 [Tongyi-MAI\u002FZ-Image-Turbo](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FZ-Image-Turbo)**！您可以在 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-z-image-turbo) 或 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fnunchaku-tech\u002Fnunchaku-z-image-turbo) 上下载，并使用我们的示例脚本 [examples\u002Fv1\u002Fz-image-turbo.py] 进行体验。\n- **[2025-09-25]** 🔥 推出 **4 位 [4\u002F8 步闪电版 Qwen-Image-Edit-2509](https:\u002F\u002Fhuggingface.co\u002Flightx2v\u002FQwen-Image-Lightning)**！您可以在 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image-edit-2509) 或 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fnunchaku-tech\u002Fnunchaku-qwen-image-edit-2509) 上下载，并使用我们的示例脚本 [examples\u002Fv1\u002Fqwen-image-edit-2509-lightning.py] 进行尝试。\n- **[2025-09-24]** 🔥 发布了 **4 位 [Qwen-Image-Edit-2509](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-Image-Edit-2509)**！相关模型已在 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image-edit-2509) 上架。您可以使用我们的示例脚本 [examples\u002Fv1\u002Fqwen-image-edit-2509.py] 来体验。闪电版本也将随后推出！\n\n\u003Cdetails>\n\u003Csummary>更多\u003C\u002Fsummary>\n\n- **[2025-09-09]** 🔥 发布了 [**4-bit Qwen-Image-Edit**](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-Image-Edit)，同时推出了 [4\u002F8-step Lightning](https:\u002F\u002Fhuggingface.co\u002Flightx2v\u002FQwen-Image-Lightning) 变体！模型已在 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image) 上架。请使用我们的 [示例脚本](examples\u002Fv1\u002Fqwen-image-edit.py) 体验。\n- **[2025-09-04]** 🚀 正式发布 **Nunchaku v1.0.0**！Qwen-Image 现已支持 **异步卸载**，在不损失性能的情况下，显存占用可低至 **3 GiB**。请查看 [教程](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fusage\u002Fqwenimage.html) 以开始使用。\n- **[2025-08-27]** 🔥 发布了 **4-bit [4\u002F8-step lightning Qwen-Image](https:\u002F\u002Fhuggingface.co\u002Flightx2v\u002FQwen-Image-Lightning)**！可在 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image) 或 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fnunchaku-tech\u002Fnunchaku-qwen-image) 下载，并使用我们的 [示例脚本](examples\u002Fv1\u002Fqwen-image-lightning.py) 进行尝试。\n- **[2025-08-15]** 🔥 我们的 **4-bit Qwen-Image** 模型现已上线 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-qwen-image)！请使用我们的 [示例脚本](examples\u002Fv1\u002Fqwen-image.py) 开始体验。*ComfyUI、LoRA 和 CPU 卸载支持即将推出！*\n- **[2025-08-15]** 🚀 **Python 后端**现已可用！请在此处探索我们的 Python 风格 FLUX 模型 [nunchaku\u002Fmodels\u002Ftransformers\u002Ftransformer_flux_v2.py]，并查看模块化的 **4-bit 线性层** [nunchaku\u002Fmodels\u002Flinear.py]。\n- **[2025-07-31]** 🚀 **[FLUX.1-Krea-dev](https:\u002F\u002Fwww.krea.ai\u002Fblog\u002Fflux-krea-open-source-release) 现已支持！** 请查看我们的新 [示例脚本](.\u002Fexamples\u002Fflux.1-krea-dev.py) 以开始使用。\n- **[2025-07-13]** 🚀 官方 [**Nunchaku 文档**](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002F) 现已上线！探索全面的指南和资源，帮助您快速入门。\n- **[2025-06-29]** 🔥 支持 **FLUX.1-Kontext**！请尝试我们的 [示例脚本](.\u002Fexamples\u002Fflux.1-kontext-dev.py) 来体验其效果！演示链接为：[https:\u002F\u002Fsvdquant.mit.edu\u002Fkontext\u002F]！\n- **[2025-06-01]** 🚀 **发布 v0.3.0！** 此次更新新增多批次推理支持、[**ControlNet-Union-Pro 2.0**](https:\u002F\u002Fhuggingface.co\u002FShakker-Labs\u002FFLUX.1-dev-ControlNet-Union-Pro-2.0)、初步集成 [**PuLID**](https:\u002F\u002Fgithub.com\u002FToTheBeginning\u002FPuLID)，并引入了 [**双 FB 缓存**](examples\u002Fflux.1-dev-double_cache.py)。现在您可以将 Nunchaku FLUX 模型加载为单个文件，而我们升级的 [**4-bit T5 编码器**](https:\u002F\u002Fhuggingface.co\u002Fnunchaku-ai\u002Fnunchaku-t5) 在质量上已与 **FP8 T5** 相当！\n- **[2025-04-16]** 🎥 发布了教学视频，分别提供 [**英语**](https:\u002F\u002Fyoutu.be\u002FYHAVe-oM7U8?si=cM9zaby_aEHiFXk0) 和 [**中文**](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1BTocYjEk5\u002F?share_source=copy_web&vd_source=8926212fef622f25cc95380515ac74ee) 版本，帮助用户完成安装和使用。\n- **[2025-04-09]** 📢 发布了 [四月路线图](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F266) 和 [常见问题解答](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fdiscussions\u002F262)，以帮助社区快速上手并及时了解 Nunchaku 的开发进展。\n- **[2025-04-05]** 🚀 **Nunchaku v0.2.0 发布！** 本次版本带来了 [**多 LoRA**](examples\u002Fflux.1-dev-multiple-lora.py) 和 [**ControlNet**](examples\u002Fflux.1-dev-controlnet-union-pro.py) 支持，并借助 [**FP16 注意力机制**](#fp16-attention) 和 [**首块缓存**](#first-block-cache) 实现更快速的性能。此外，我们还增加了对 [**20 系列 GPU**](examples\u002Fflux.1-dev-turing.py) 的兼容性——Nunchaku 如今比以往更加易用！\n- **[2025-03-07]** 🚀 **Nunchaku v0.1.4 发布！** 我们新增了 [4-bit 文本编码器及逐层 CPU 卸载](#Low-Memory-Inference) 功能，使 FLUX 的最低内存需求降至仅 **4 GiB**，同时保持 **2–3 倍加速**。此次更新还修复了与分辨率、LoRA、固定内存及运行稳定性相关的多项问题。详情请参阅发行说明！\n- **[2025-02-20]** 🚀 **支持 NVIDIA RTX 5090 上的 NVFP4 精度！** 与 INT4 相比，NVFP4 能提供更优质的图像质量，在 RTX 5090 上相比 BF16 可实现 **约 3 倍加速**。更多信息请参阅我们的 [博客](https:\u002F\u002Fhanlab.mit.edu\u002Fblog\u002Fsvdquant-nvfp4)，并查看 [`examples`](.\u002Fexamples) 了解使用方法，或在线试用我们的 [演示](https:\u002F\u002Fsvdquant.mit.edu\u002Fflux1-schnell\u002F)！\n- **[2025-02-18]** 🔥 [**自定义 LoRA 转换**](#Customized-LoRA) 和 [**模型量化**](#Customized-Model-Quantization) 指南现已发布！**[ComfyUI](.\u002Fcomfyui)** 工作流现已支持 **自定义 LoRA**，并兼容 **FLUX.1-Tools**！\n- **[2025-02-11]** 🎉 **[SVDQuant](http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007) 被选为 ICLR 2025 Spotlight！FLUX.1-tools Gradio 演示现已上线！** 请参阅 [此处](#gradio-demos) 获取使用详情！我们全新的 [深度转图像演示](https:\u002F\u002Fsvdquant.mit.edu\u002Fflux1-depth-dev\u002F) 也已上线——快来试试吧！\n- **[2025-02-04]** **🚀 4-bit [FLUX.1-tools](https:\u002F\u002Fblackforestlabs.ai\u002Fflux-1-tools\u002F) 已发布！** 相较于原版模型，速度提升 **2–3 倍**。请查看 [examples](.\u002Fexamples) 了解使用方法。**ComfyUI 集成即将推出！**\n- **[2025-01-23]** 🚀 **4-bit [SANA](https:\u002F\u002Fnvlabs.github.io\u002FSana\u002F) 支持现已上线！** 相比 16 位模型，速度提升 2–3 倍。请查看 [使用示例](examples\u002Fsana1.6b_pag.py) 和 [部署指南](app\u002Fsana\u002Ft2i)，了解更多细节。欢迎访问 [svdquant.mit.edu](https:\u002F\u002Fsvdquant.mit.edu) 观看我们的实时演示！\n- **[2025-01-22]** 🎉 [**SVDQuant**](http:\u002F\u002Farxiv.org\u002Fabs\u002F2411.05007) 已被 **ICLR 2025** 接受！\n- **[2024-12-08]** 支持 [ComfyUI](https:\u002F\u002Fgithub.com\u002Fcomfyanonymous\u002FComfyUI)。请查阅 [ComfyUI-nunchaku](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002FComfyUI-nunchaku) 了解使用方法。\n- **[2024-11-07]** 🔥 我们的最新 **W4A4** 扩散模型量化工作 [**SVDQuant**](https:\u002F\u002Fhanlab.mit.edu\u002Fprojects\u002Fsvdquant) 已公开发布！量化库请参阅 [**DeepCompressor**](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fdeepcompressor)。\n\n\u003C\u002Fdetails>\n\n## 概述\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_d36fbfd5cbde.jpg)\n**Nunchaku** 是一款面向低比特神经网络的高性能推理引擎。它实现了 **SVDQuant**，这是一种针对 4 位权重和激活的训练后量化技术，能够很好地保持视觉保真度。在 12B FLUX.1-dev 上，与 BF16 模型相比，内存占用减少了 3.6 倍。通过消除 CPU 数据交换，Nunchaku 在配备 16GB 显存的笔记本电脑 RTX 4090 GPU 上运行时，相比 16 位模型提速 8.7 倍，比 NF4 W4A16 基线快 3 倍。在 PixArt-∑ 上，Nunchaku 展现出显著优于其他 W4A4 甚至 W4A8 基线的视觉质量。“E2E”表示包括文本编码器和 VAE 解码器在内的端到端延迟。\n\n**SVDQuant：通过低秩组件吸收异常值以实现 4 位扩散模型量化**\u003Cbr>\n[Muyang Li](https:\u002F\u002Flmxyy.me)\\*, [Yujun Lin](https:\u002F\u002Fyujunlin.com)\\*, [Zhekai Zhang](https:\u002F\u002Fhanlab.mit.edu\u002Fteam\u002Fzhekai-zhang)\\*, [Tianle Cai](https:\u002F\u002Fwww.tianle.website\u002F#\u002F), [Xiuyu Li](https:\u002F\u002Fxiuyuli.com), [Junxian Guo](https:\u002F\u002Fgithub.com\u002FJerryGJX), [Enze Xie](https:\u002F\u002Fxieenze.github.io), [Chenlin Meng](https:\u002F\u002Fcs.stanford.edu\u002F~chenlin\u002F), [Jun-Yan Zhu](https:\u002F\u002Fwww.cs.cmu.edu\u002F~junyanz\u002F)，以及 [Song Han](https:\u002F\u002Fhanlab.mit.edu\u002Fsonghan) \u003Cbr>\n*MIT、NVIDIA、CMU、普林斯顿大学、加州大学伯克利分校、上海交通大学及 Pika Labs* \u003Cbr>\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Ffdd4ab68-6489-4c65-8768-259bd866e8f8\n\n## 方法\n\n#### 量化方法——SVDQuant\n\n![intuition](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_9dac1d9089c8.gif)SVDQuant 的概述。阶段 1：原本，激活 $\\boldsymbol{X}$ 和权重 $\\boldsymbol{W}$ 中都存在异常值，这使得 4 位量化颇具挑战性。阶段 2：我们将激活中的异常值迁移到权重中，从而得到更新后的激活 $\\hat{\\boldsymbol{X}}$ 和权重 $\\hat{\\boldsymbol{W}}$。此时，$\\hat{\\boldsymbol{X}}$ 更容易量化，而 $\\hat{\\boldsymbol{W}}$ 则变得更加困难。阶段 3：SVDQuant 进一步利用奇异值分解（SVD）将 $\\hat{\\boldsymbol{W}}$ 分解为低秩分量 $\\boldsymbol{L}_1\\boldsymbol{L}_2$ 和残差 $\\hat{\\boldsymbol{W}}-\\boldsymbol{L}_1\\boldsymbol{L}_2$。由此，低秩分支以 16 位精度运行，缓解了量化难度。\n\n#### Nunchaku 引擎设计\n\n![engine](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_200fb49083fd.jpg) (a) 如果天真地以秩 32 运行低秩分支，由于 *Down Projection* 中额外读取 16 位输入以及 *Up Projection* 中额外写入 16 位输出，将会引入 57% 的延迟开销。Nunchaku 通过内核融合优化了这一开销。(b) *Down Projection* 和 *Quantize* 内核使用相同的输入，而 *Up Projection* 和 *4-Bit Compute* 内核共享相同的输出。为了减少数据移动开销，我们将前两个内核和后两个内核分别融合在一起。\n\n## 性能\n\n![efficiency](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_dc3ff0fc035d.jpg)SVDQuant 将 12B FLUX.1 模型大小压缩至原来的 1\u002F3.6，并使 16 位模型的内存占用降低 3.5 倍。借助 Nunchaku，我们的 INT4 模型在台式机和笔记本电脑上的 NVIDIA RTX 4090 GPU 上均比 NF4 W4A16 基线快 3.0 倍。值得注意的是，在笔记本电脑 RTX 4090 上，通过消除 CPU 数据交换，总加速高达 10.1 倍。我们的 NVFP4 模型在 RTX 5090 GPU 上也比 BF16 和 NF4 快 3.1 倍。\n\n## 开始使用\n\n- [安装指南](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Finstallation\u002Finstallation.html)\n- [使用教程](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fusage\u002Fbasic_usage.html)\n- [ComfyUI 插件：ComfyUI-nunchaku](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002FComfyUI-nunchaku)\n- [自定义模型量化：DeepCompressor](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fdeepcompressor)\n- [Gradio 演示应用](https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Ftree\u002Fmain\u002Fapp)\n- [重现 SVDQuant 论文结果](app\u002Fflux.1\u002Ft2i)\n- [API 参考](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fpython_api\u002Fnunchaku.html)\n- [贡献指南](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Fdeveloper\u002Fcontribution_guide.html)\n- [常见问题解答](https:\u002F\u002Fnunchaku.tech\u002Fdocs\u002Fnunchaku\u002Ffaq\u002Ffaq.html)\n\n## 联系我们\n\n对于有意采用 SVDQuant 或 Nunchaku 的企业，包括技术咨询、赞助机会或合作洽谈，请通过 muyangli@nunchaku.tech 与我们联系。\n\n## 相关项目\n\n- [用于条件 GAN 和扩散模型的高效空间稀疏推理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.02048)，NeurIPS 2022 & T-PAMI 2023\n- [SmoothQuant：大型语言模型的准确且高效的训练后量化](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.10438)，ICML 2023\n- [Q-Diffusion：扩散模型量化](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.04304)，ICCV 2023\n- [AWQ：面向 LLM 压缩与加速的激活感知权重量化](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.00978)，MLSys 2024\n- [DistriFusion：高分辨率扩散模型的分布式并行推理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.19481)，CVPR 2024\n- [QServe：W4A8KV4 量化与系统协同设计，用于高效 LLM 推理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.04532)，MLSys 2025\n- [SANA：基于线性扩散 Transformer 的高效高分辨率图像合成](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.10629)，ICLR 2025\n- [Sparse VideoGen：利用时空稀疏性加速视频扩散 Transformer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.01776)，ICML 2025\n- [Radial Attention：具有能量衰减的 $O(n \\log n)$ 稀疏注意力，用于长视频生成](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fradial-attention)，NeurIPS 2025\n- [Sparse VideoGen2：通过语义感知置换结合稀疏注意力加速视频生成](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.18875)，NeurIPS 2025\n\n## 引用\n\n如果您认为 `nunchaku` 对您的研究有用或相关，请引用我们的论文：\n\n```bibtex\n@inproceedings{\n  li2024svdquant,\n  title={SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models},\n  author={Li*, Muyang and Lin*, Yujun and Zhang*, Zhekai and Cai, Tianle and Li, Xiuyu and Guo, Junxian and Xie, Enze and Meng, Chenlin and Zhu, Jun-Yan and Han, Song},\n  booktitle={The Thirteenth International Conference on Learning Representations},\n  year={2025}\n}\n```\n\n## 致谢\n\n我们感谢麻省理工-IBM沃森人工智能实验室、麻省理工学院和亚马逊科学中心、麻省理工学院人工智能硬件项目、美国国家科学基金会、帕卡德基金会、戴尔、LG、现代汽车以及三星对本研究的支持。同时，我们也感谢英伟达捐赠的DGX服务器。此外，我们还要感谢[First Intelligence](https:\u002F\u002Fwww.first-intelligence.com\u002F)和[Yotta Labs](https:\u002F\u002Fwww.yottalabs.ai\u002F)慷慨赞助我们的计算资源。\n\n我们使用[img2img-turbo](https:\u002F\u002Fgithub.com\u002FGaParmar\u002Fimg2img-turbo)来训练草图到图像的LoRA模型。我们的文本到图像和图像到图像用户界面分别基于[playground-v.25](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fplaygroundai\u002Fplayground-v2.5\u002Fblob\u002Fmain\u002Fapp.py)和[img2img-turbo](https:\u002F\u002Fgithub.com\u002FGaParmar\u002Fimg2img-turbo\u002Fblob\u002Fmain\u002Fgradio_sketch2image.py)构建。我们的安全检查器则借鉴自[hart](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fhart)。\n\nNunchaku也受到众多开源库的启发，其中包括（但不限于）[TensorRT-LLM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM)、[vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm)、[QServe](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fqserve)、[AWQ](https:\u002F\u002Fgithub.com\u002Fmit-han-lab\u002Fllm-awq)、[FlashAttention-2](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention)以及[Atom](https:\u002F\u002Fgithub.com\u002Fefeslab\u002FAtom)。\n\n## 星标历史\n\n[![星标历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_readme_855605536f5e.png)](https:\u002F\u002Fwww.star-history.com\u002F#nunchaku-ai\u002Fnunchaku&Date)","# Nunchaku 快速上手指南\n\nNunchaku 是一个专为 4-bit 神经网络设计的高性能推理引擎，基于 SVDQuant 量化技术。它能在显著降低显存占用（如 FLUX.1-dev 模型减少 3.6 倍）的同时，提供比原始 16-bit 模型快 2-3 倍甚至更高的推理速度，并保持良好的图像生成质量。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 Windows (WSL2 支持)\n- **GPU**: NVIDIA GPU (推荐 RTX 30\u002F40\u002F50 系列)\n  - 支持 20 系列显卡（需 INT4 模式）\n  - 5090 等新款显卡支持 NVFP4 精度以获得更佳性能\n- **显存**: \n  - 最低 4 GiB (开启 CPU Offloading 模式)\n  - 推荐 12 GiB+ 以获得最佳无卸载性能\n- **Python**: 3.9 - 3.11\n\n### 前置依赖\n确保已安装以下基础依赖：\n- CUDA Toolkit (版本需与 PyTorch 匹配，推荐 12.1+)\n- Git\n- pip\n\n## 安装步骤\n\n### 1. 创建虚拟环境（推荐）\n```bash\npython -m venv nunchaku-env\nsource nunchaku-env\u002Fbin\u002Factivate  # Linux\u002FMac\n# 或\nnunchaku-env\\Scripts\\activate     # Windows\n```\n\n### 2. 安装 PyTorch\n请根据你的 CUDA 版本安装对应的 PyTorch。以下为 CUDA 12.1 示例：\n```bash\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu121\n```\n> **国内加速建议**：如遇下载缓慢，可使用清华源或阿里源镜像安装 PyTorch，或直接访问 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002F) 获取对应命令。\n\n### 3. 安装 Nunchaku\n通过 pip 直接安装最新稳定版：\n```bash\npip install nunchaku\n```\n\n若需使用 ComfyUI 集成，请额外安装专用插件：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002FComfyUI-nunchaku.git\ncp -r ComfyUI-nunchaku\u002Fcustom_nodes\u002F* \u003CYour_ComfyUI_Path>\u002Fcustom_nodes\u002F\n```\n\n### 4. 验证安装\n运行以下命令检查是否安装成功（以 Python 为例）：\n```python\nimport nunchaku\nprint(nunchaku.__version__)\n```\n\n## 基本使用\n\n以下是一个最简单的 4-bit FLUX.1 模型推理示例。该脚本会自动从 Hugging Face 下载量化后的模型权重。\n\n### 示例：生成一张图片\n\n创建一个名为 `generate.py` 的文件，写入以下内容：\n\n```python\nfrom nunchaku.models.transformers.transformer_flux_v2 import FluxTransformer2DModel\nfrom diffusers import AutoencoderKL, FlowMatchEulerDiscreteScheduler\nfrom transformers import T5EncoderModel, T5Tokenizer\nimport torch\n\n# 配置设备\ndevice = \"cuda\" if torch.cuda.is_available() else \"cpu\"\ndtype = torch.bfloat16\n\n# 加载 4-bit 量化模型 (自动处理量化逻辑)\ntransformer = FluxTransformer2DModel.from_pretrained(\n    \"nunchaku-ai\u002Fnunchaku-flux-dev\", \n    torch_dtype=dtype,\n    device_map=device\n)\n\n# 加载其他必要组件 (VAE, Scheduler, Text Encoder)\nvae = AutoencoderKL.from_pretrained(\"black-forest-labs\u002FFLUX.1-dev\", subfolder=\"vae\", torch_dtype=dtype).to(device)\nscheduler = FlowMatchEulerDiscreteScheduler.from_pretrained(\"black-forest-labs\u002FFLUX.1-dev\", subfolder=\"scheduler\")\ntokenizer = T5Tokenizer.from_pretrained(\"google\u002Ft5-v1_1-xxl\", torch_dtype=dtype)\ntext_encoder = T5EncoderModel.from_pretrained(\"google\u002Ft5-v1_1-xxl\", torch_dtype=dtype).to(device)\n\n# 提示词\nprompt = \"A cute cat sitting on a futuristic cyberpunk street, neon lights, highly detailed, 8k\"\nnegative_prompt = \"\"\n\n# 简单的推理循环 (伪代码示意，具体采样步骤需参考官方 examples\u002Fv1\u002Fqwen-image.py 或 flux 示例)\n# 注意：实际使用时建议直接运行官方提供的完整示例脚本\ninput_ids = tokenizer(prompt, return_tensors=\"pt\").input_ids.to(device)\nhidden_states = text_encoder(input_ids)[0]\n\n# 执行推理 (此处仅为示意，完整流程请参考官方示例脚本)\n# noise = torch.randn((1, 4, 64, 64), device=device, dtype=dtype)\n# ... (调度器步进逻辑)\n# image = transformer(noise, timestep, hidden_states, ...) \n# decoded_image = vae.decode(image \u002F vae.config.scaling_factor).sample\n\nprint(\"模型加载成功，就绪进行推理。请参考 examples\u002F 目录下的完整脚本运行生成任务。\")\n```\n\n### 运行官方示例（推荐）\n为了获得最稳定的体验，建议直接运行仓库中提供的经过测试的示例脚本。例如运行 Qwen-Image 或 FLUX 的 4-bit 推理：\n\n```bash\n# 克隆仓库获取示例脚本\ngit clone https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku.git\ncd nunchaku\n\n# 运行 FLUX.1-dev 示例 (需确保已安装依赖)\npython examples\u002Fv1\u002Fflux.1-dev.py \\\n    --prompt \"Astronaut in a jungle, cold color palette, muted colors, detailed, 8k\" \\\n    --model_path \"nunchaku-ai\u002Fnunchaku-flux-dev\"\n```\n\n> **提示**：更多模型（如 Qwen-Image-Edit, SANA, Z-Image-Turbo）的示例脚本可在 `examples\u002F` 目录下找到。对于低显存用户，可查阅文档开启 `CPU Offloading` 模式以将显存占用降至 3-4 GiB。","一家专注于电商营销的初创团队，需要在本地工作站上快速批量生成大量高分辨率的商品宣传图，以应对每日更新的促销需求。\n\n### 没有 nunchaku 时\n- **显存门槛极高**：运行最新的 Qwen-Image-Edit 或 Z-Image-Turbo 等大模型需要 24GB 甚至更高显存的旗舰显卡，团队旧有的 RTX 20\u002F30 系列设备完全无法加载模型。\n- **推理速度缓慢**：即使使用高端显卡，生成一张高质量图片仍需数分钟，难以满足“即时预览、快速迭代”的创作节奏。\n- **工作流割裂**：为了加速不得不依赖云端 API 或复杂的量化脚本，导致无法在熟悉的 ComfyUI 中直接通过原生节点流畅调用 LoRA 进行风格微调。\n- **画质与速度难兼得**：传统的 4 比特量化方案往往伴随明显的画质损失（如纹理模糊、色彩断层），迫使团队在“低质快出”和“高质慢等”之间痛苦抉择。\n\n### 使用 nunchaku 后\n- **硬件利旧升级**：借助 SVDQuant 技术吸收异常值，nunchaku 让 RTX 20 系列等老款显卡也能流畅运行 4 比特扩散模型，大幅降低了硬件投入成本。\n- **性能显著跃升**：在 Z-Image 等模型上实现了 20–30% 的推理速度提升，将单图生成时间从分钟级压缩至秒级，极大提升了批量生产效率。\n- **无缝集成工作流**：通过 ComfyUI 原生节点直接支持 LoRA 微调，设计师可在原有可视化界面中自由组合模型与插件，无需编写额外代码。\n- **无损压缩体验**：利用低秩组件技术，在 4 比特精度下依然保持了接近原模型的图像细节与色彩还原度，真正实现了“既要速度快，又要画质好”。\n\nnunchaku 通过突破性的 4 比特量化推理引擎，让普通开发者也能在消费级显卡上低成本、高效率地部署顶尖扩散模型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnunchaku-ai_nunchaku_d36fbfd5.jpg","nunchaku-ai","Nunchaku","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fnunchaku-ai_f6d26529.png","",null,"contact@nunchaku.tech","nunchaku.tech","https:\u002F\u002Fgithub.com\u002Fnunchaku-ai",[81,85,89,93,97,101,105,108],{"name":82,"color":83,"percentage":84},"Python","#3572A5",57.4,{"name":86,"color":87,"percentage":88},"Cuda","#3A4E3A",27.5,{"name":90,"color":91,"percentage":92},"C++","#f34b7d",13.2,{"name":94,"color":95,"percentage":96},"HTML","#e34c26",0.6,{"name":98,"color":99,"percentage":100},"Shell","#89e051",0.5,{"name":102,"color":103,"percentage":104},"C","#555555",0.3,{"name":106,"color":107,"percentage":104},"Batchfile","#C1F12E",{"name":109,"color":110,"percentage":104},"CSS","#663399",3776,241,"2026-04-09T02:26:54","Apache-2.0","Linux, Windows","必需 NVIDIA GPU。支持 RTX 20 系列（Turing 架构）及更新型号（如 4090, 5090）。显存需求灵活：开启异步卸载后最低仅需 3-4 GiB（如运行 Qwen-Image），常规高性能推理建议 16GB+。支持 INT4 和 NVFP4 精度。","未说明（依赖 CPU 卸载功能可降低显存压力，系统内存建议充足以支持模型加载）",{"notes":119,"python":120,"dependencies":121},"该工具专为 4-bit 神经网络推理优化（基于 SVDQuant 技术）。支持多批次推理、LoRA、ControlNet 及 PuLID。具有独特的‘异步卸载’和‘逐层 CPU 卸载’功能，可将大模型（如 FLUX）的显存占用降至 3-4 GiB 而不损失性能。2026 v1.2.0 版本原生支持 ComfyUI 节点并提升了 Z-Image 性能。用户可通过 Discord 或微信加入社区获取支持。","未说明（作为现代 PyTorch 项目，通常建议 Python 3.8 或 3.10+）",[122,123,124,125],"torch","DeepCompressor","transformers","ComfyUI (可选)",[15,14],[128,129,130,131,132,133,134,135,136],"diffusion-models","flux","genai","lora","mlsys","quantization","iclr","iclr2025","comfyui","2026-03-27T02:49:30.150509","2026-04-09T15:50:29.442491",[140,145,150,155,160,165,169],{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},26285,"遇到 'Unable to pin memory: operation not supported' 或 CUDA invalid argument 错误怎么办？","该问题通常与内存锁定权限或驱动版本有关。维护者确认此问题已在 v0.1.4 版本中修复，请尝试升级 Nunchaku 到最新版本。如果问题仍然存在，特别是 Windows 用户，请注意目前只有 Windows 11 用户报告成功，Windows 10 用户可能会遇到兼容性问题。此外，确保您的 NVIDIA 驱动程序已更新到支持最新 CUDA 版本的版本（如 565.57.01+）。","https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F49",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},26286,"如何在新发布的 Qwen-Image (2512\u002F2511) 模型上使用 LoRA 或运行量化版本？","官方尚未发布针对 Qwen-Image-2512 和 Qwen-Image-Edit-2511 的 SVDQuant int4 权重，但社区用户已提供解决方案。您可以使用 QuantFunc 社区提供的 LoRA 实现代码。对于 Qwen-Image-Edit-2511，需要调整代码以解决键名不匹配问题（将下划线替换为标点符号等）。具体代码片段可参考相关讨论。另外，有用户反馈直接使用 `svdq-int4_r128-qwen-image.safetensors` 并在配置中正确计算 smooth_factor（而非简单复制旧模型参数）可以获得更快的速度和更好的质量。","https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F858",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},26287,"Nunchaku 是否支持视频生成模型（如 WAN 2.1\u002F2.2）？","截至 v0.3.0 版本，Nunchaku 主要支持图像模型，视频模型支持正在开发中。根据夏季开发路线图，团队计划重点支持视频扩散模型，特别是 WAN 2.1。计划包括发布 4-bit WAN 模型、集成低比特注意力机制、引入稀疏注意力内核（如 SVG\u002FSVG2）以及支持 TeaCache 等加速技术。目前尚未正式发布，请关注后续版本更新。","https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F431",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},26288,"如何在 ComfyUI 中找到或使用 Qwen-Image 相关的节点？","如果您下载了仓库但在 ComfyUI 中找不到 'nunchaku qwen image' 节点，而其他 nunchaku 节点正常显示，这通常意味着该特定模型的支持节点尚未合并到主分支或您当前的插件版本过旧。Qwen-Image 的功能请求仍在讨论中，部分功能可能需要手动安装特定的分支版本或通过自定义节点脚本加载。建议检查 ComfyUI 管理器中的插件更新，或关注官方关于 Qwen-Image 支持的进一步公告。","https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F583",{"id":161,"question_zh":162,"answer_zh":163,"source_url":164},26289,"Nunchaku 是否支持 Chroma 模型？","目前 Nunchaku 官方尚未正式支持 Chroma 模型（基于 FLUX.1 修改的 89 亿参数模型）。相关的功能请求因长期未活动已被自动关闭。虽然社区有重新开启该议题的呼声，但截至目前没有明确的开发时间表。如果您急需使用该模型，可能需要等待官方后续的计划更新或尝试自行适配。","https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fissues\u002F167",{"id":166,"question_zh":167,"answer_zh":168,"source_url":159},26290,"Nunchaku 是否支持自定义 LoRA（例如来自 CivitAI 的 LoRA）？","关于自定义 LoRA 的支持，目前官方文档中尚未明确说明对 CivitAI 等第三方 LoRA 的直接兼容性。在 Qwen-Image 的相关讨论中，有用户询问是否支持 LoRA，但官方尚未给出肯定的通用解决方案。不过，社区成员已经通过修改代码实现了针对特定模型（如 Qwen-Image-Edit-2511）的 LoRA 应用，这表明通过手动调整键名映射可能可以实现自定义 LoRA 的加载，但这需要一定的编程能力且非开箱即用。",{"id":170,"question_zh":171,"answer_zh":172,"source_url":154},26291,"Nunchaku 的未来发展路线图包含哪些主要内容？","Nunchaku 致力于成为运行扩散模型和大语言模型的高效通用库。v0.3.0 之后的重点包括：1. 核心开发：推出用户友好的 deepcompressor 用于量化自定义模型，模块化 4-bit\u002FFP16 注意力内核，以及完善的 API 文档；2. 视频模型：重点支持 WAN 2.1 及后续版本，集成稀疏注意力和加速技术；3. 新模型与应用：持续扩展支持的模型范围。团队还计划改进 Python wheel 的分发机制。",[174,178,182,186,190,195,200,204,208,213,217,222,227,231,235,239,243,247,251,255],{"id":175,"version":176,"summary_zh":76,"released_at":177},171519,"v1.3.0dev20260306","2026-03-06T08:39:46",{"id":179,"version":180,"summary_zh":76,"released_at":181},171520,"v1.3.0dev20260213","2026-02-13T08:42:42",{"id":183,"version":184,"summary_zh":76,"released_at":185},171521,"v1.3.0dev20260208","2026-02-08T08:32:26",{"id":187,"version":188,"summary_zh":76,"released_at":189},171522,"v1.3.0dev20260202","2026-02-02T08:42:40",{"id":191,"version":192,"summary_zh":193,"released_at":194},171523,"v1.2.1","## 变更内容\n* docs：由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F881 中添加了趋势标签\n* chore：由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F890 中支持 PyTorch 2.10 及更多 CUDA 版本\n* chore：由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F891 中修复了构建 CI\n\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fcompare\u002Fv1.2.0...v1.2.1","2026-01-25T03:48:53",{"id":196,"version":197,"summary_zh":198,"released_at":199},171524,"v1.2.0","## 变更内容\n* chore: 更新 diffusers 版本，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F851 中完成\n* feat: 引入 cache-dit 到 nunchaku，由 @DefTruth 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F763 中完成\n* chore: 添加 cache-dit 文档并升级版本，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F854 中完成\n* 为 z image 合并 qkv\u002Fnorm\u002Frottary，由 @devgdovg 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F868 中完成\n* feat: 为 Z Image Turbo 增加 Turing (20~ 系列) GPU 兼容性，由 @devgdovg 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F833 中完成\n\n## 新贡献者\n* @DefTruth 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fpull\u002F763 中完成了首次贡献\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fnunchaku-ai\u002Fnunchaku\u002Fcompare\u002Fv1.1.0...v1.2.0","2026-01-12T04:49:49",{"id":201,"version":202,"summary_zh":76,"released_at":203},171525,"v1.2.0dev20260107","2026-01-07T08:29:24",{"id":205,"version":206,"summary_zh":76,"released_at":207},171526,"v1.2.0dev20251231","2025-12-31T08:28:46",{"id":209,"version":210,"summary_zh":211,"released_at":212},171527,"v1.1.0","## 变更内容\n* chore：支持 cu130 轮子；由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F798 中将版本号提升至 v1.1.0dev\n* feat：自定义注意力后端，由 @yuleil 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F595 中实现\n* feat：添加对计算能力 12.1（Grace Blackwell）的支持，由 @multippt 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F785 中完成\n* chore：更新 qwen-image-edit-2509 示例，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F804 中完成\n* [FEAT] 支持 z-image-turbo，由 @devgdovg 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F815 中实现\n* docs：添加 z-image-turbo 的公告，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F827 中完成\n\n## 新贡献者\n* @multippt 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F785 中完成了首次贡献\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fcompare\u002Fv1.0.2...v1.1.0","2025-12-27T05:15:11",{"id":214,"version":215,"summary_zh":76,"released_at":216},171528,"v1.1.0dev20251111","2025-11-11T14:43:16",{"id":218,"version":219,"summary_zh":220,"released_at":221},171529,"v1.0.2","## 变更内容\n* chore: 由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F750 中更新新 ComfyUI 测试的 CI 配置\n* chore: 由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F761 中更新测试 CI\n* chore: 将版本号升级至 1.0.2，支持 PyTorch 2.9，废弃 PyTorch 2.5 和 2.6，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F781 中完成\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fcompare\u002Fv1.0.1...v1.0.2","2025-10-25T18:47:55",{"id":223,"version":224,"summary_zh":225,"released_at":226},171530,"v1.0.1","## 变更内容\n* 修复：当张量不连续时，ksampler 出现错误 #535，由 @wallen0322 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F673 中提出并解决。\n* 新特性：Qwen-Image-Edit 的示例脚本，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F679 中添加。\n* 新特性：在 merge_safetensors 中添加排名计算功能，由 @senlyu163 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F663 中实现。\n* 新特性：为 qwenimagemodel 添加 ControlNet 支持，由 @ttio2tech 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F681 中完成。\n* 新特性：支持 SDXL 模型，由 @devgdovg 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F674 中实现。\n* 杂项：为 v1 版本添加 Qwen-Image 测试，并清理依赖项，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F712 中完成。\n* 新特性：支持 Qwen-Image-Edit-2509，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F721 中实现。\n* 新特性：Qwen-Image-Edit-2509 的 Lightning 支持，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F728 中添加。\n* 杂项：更新工作流，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F739 中完成。\n* 修复：Qwen-Image-Edit-2509 的文档和示例，由 @amchii 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F731 中修复。\n* 修复：处理 `pad_tensor` 填充序列长度时的输出形状问题，由 @senlyu163 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F709 中解决。\n* 杂项：添加 V1 Flux 测试，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F742 中完成。\n\n## 新贡献者\n* @wallen0322 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F673 中完成了首次贡献。\n* @ttio2tech 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F681 中完成了首次贡献。\n* @devgdovg 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F674 中完成了首次贡献。\n* @amchii 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F731 中完成了首次贡献。\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fcompare\u002Fv1.0.0...v1.0.1","2025-10-01T01:08:55",{"id":228,"version":229,"summary_zh":76,"released_at":230},171531,"v1.0.1dev20250930","2025-09-30T08:28:31",{"id":232,"version":233,"summary_zh":76,"released_at":234},171532,"v1.0.1dev20250929","2025-09-29T08:30:12",{"id":236,"version":237,"summary_zh":76,"released_at":238},171533,"v1.0.1dev20250926","2025-09-26T08:32:23",{"id":240,"version":241,"summary_zh":76,"released_at":242},171534,"v1.0.1dev20250924","2025-09-24T08:27:19",{"id":244,"version":245,"summary_zh":76,"released_at":246},171535,"v1.0.1dev20250923","2025-09-23T08:26:59",{"id":248,"version":249,"summary_zh":76,"released_at":250},171536,"v1.0.1dev20250921","2025-09-21T08:22:39",{"id":252,"version":253,"summary_zh":76,"released_at":254},171537,"v1.0.1dev20250920","2025-09-20T08:24:06",{"id":256,"version":257,"summary_zh":258,"released_at":259},171538,"v1.0.1dev20250912","## 变更内容\n* 修复：当张量不连续时，ksampler 会出现错误 #535，由 @wallen0322 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F673 中完成\n* 新功能：新增 Qwen-Image-Edit 的示例脚本，由 @lmxyy 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F679 中完成\n* 新功能：在 merge_safetensors 中添加排名计算功能，由 @senlyu163 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F663 中完成\n\n## 新贡献者\n* @wallen0322 在 https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fpull\u002F673 中完成了首次贡献\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002Fnunchaku-tech\u002Fnunchaku\u002Fcompare\u002Fv1.0.0...v1.0.1dev20250912","2025-09-12T08:33:20"]