[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVlabs--Fast-dLLM":3,"tool-NVlabs--Fast-dLLM":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":92,"forks":93,"last_commit_at":94,"license":95,"difficulty_score":10,"env_os":96,"env_gpu":97,"env_ram":96,"env_deps":98,"category_tags":106,"github_topics":80,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":107,"updated_at":108,"faqs":109,"releases":144},1115,"NVlabs\u002FFast-dLLM","Fast-dLLM","Official implementation of \"Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding\"","Fast-dLLM 是一款面向扩散模型的大型语言模型（LLM）推理加速框架，专注于提升 Dream 和 LLaDA 等生成式模型的文本生成效率。通过创新性地引入分块解码的键值缓存（KV Cache）机制与置信度感知的并行解码技术，它在无需重新训练模型的前提下，显著缩短了长文本生成的响应时间。\n\n传统扩散模型推理过程中存在大量重复计算，尤其在处理长序列时效率低下。Fast-dLLM 通过缓存注意力机制中的键值对，实现分块解码时的计算复用，减少冗余操作；同时采用动态阈值筛选高置信度词元并行解码，既保证输出质量又大幅提升速度。实验数据显示，相比原始模型，其推理速度最高可提升6倍，且对准确率影响微乎其微。\n\n该工具特别适合需要部署扩散模型的开发者及研究人员，尤其适用于需生成长文本或对实时性要求较高的场景。例如内容创作、对话系统等领域，开发者可通过其提供的交互式接口快速集成加速能力。项目已开源并支持 HuggingFace 模型，配套的在线演示平台也已开放体验。\n\n核心技术亮点包括：1）双缓存机制（DualCache）在保留关键上下文的同时降低显存占用；2）动态置信度阈值调节策略，平衡解码速度与","Fast-dLLM 是一款面向扩散模型的大型语言模型（LLM）推理加速框架，专注于提升 Dream 和 LLaDA 等生成式模型的文本生成效率。通过创新性地引入分块解码的键值缓存（KV Cache）机制与置信度感知的并行解码技术，它在无需重新训练模型的前提下，显著缩短了长文本生成的响应时间。\n\n传统扩散模型推理过程中存在大量重复计算，尤其在处理长序列时效率低下。Fast-dLLM 通过缓存注意力机制中的键值对，实现分块解码时的计算复用，减少冗余操作；同时采用动态阈值筛选高置信度词元并行解码，既保证输出质量又大幅提升速度。实验数据显示，相比原始模型，其推理速度最高可提升6倍，且对准确率影响微乎其微。\n\n该工具特别适合需要部署扩散模型的开发者及研究人员，尤其适用于需生成长文本或对实时性要求较高的场景。例如内容创作、对话系统等领域，开发者可通过其提供的交互式接口快速集成加速能力。项目已开源并支持 HuggingFace 模型，配套的在线演示平台也已开放体验。\n\n核心技术亮点包括：1）双缓存机制（DualCache）在保留关键上下文的同时降低显存占用；2）动态置信度阈值调节策略，平衡解码速度与生成质量；3）模块化设计兼容多种扩散模型架构。目前项目已集成至 LLaDA-V 等工具链，持续优化中。","# Fast-DLLM\n[![Project](https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=Project&message=Github&color=blue&logo=github-pages)](https:\u002F\u002Fnvlabs.github.io\u002FFast-dLLM)\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-arXiv-red.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.22618)\n\u003Ca href=\"https:\u002F\u002Ffast-dllm.hanlab.ai\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=Demo&message=Fast-dLLM&color=yellow\">\u003C\u002Fa>  \n\n\u003Ch4 align=\"center\"> ICLR 2026 \u003C\u002Fh4>\n\nFast-DLLM is a diffusion-based Large Language Model (LLM) inference acceleration framework that supports efficient inference for models like Dream and LLaDA.\n\n\n## News\n* (🔥 New) [2026\u002F01\u002F26] **Fast-dLLM v1\u002Fv2 is accepted by ICLR-2026.** 🎉🎉🎉\n* \\[2025.10.08\\] We have open sourced Fast-dLLM v2. Have a look at our [webpage](https:\u002F\u002Fnvlabs.github.io\u002FFast-dLLM\u002Fv2\u002F), [model](https:\u002F\u002Fhuggingface.co\u002FEfficient-Large-Model\u002FFast_dLLM_v2_7B), and [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2509.26328)!\n* \\[2025.08.01\\] Our new online demo of Fast-dLLM: https:\u002F\u002Ffast-dllm.hanlab.ai\u002F, welcome to try!\n* \\[2025.07.06\\] Added factor-based parallel strategy and LLaDA-1.5 evaluation in `llada\u002Feval_gsm8k.sh`.\n* \\[2025.07.04\\] We updated our paper with latest improvements and evaluation results.\n* \\[2025.06.30\\] Fast-dLLM has been integrated into [LLaDA-V](https:\u002F\u002Fgithub.com\u002FML-GSAI\u002FLLaDA-V). With Fast-dLLM, it acceleates the inference latency from 60s to 6s! Have a try [here](https:\u002F\u002Fgithub.com\u002FML-GSAI\u002FLLaDA-V\u002Fblob\u002Fmain\u002Ftrain\u002Fgenerate_demo.py)!!\n\n## TODOs\nWe will try our best to achieve\n- \\[✅\\] Inference and evaluation code\n- \\[✅\\] Training code of Fast-dLLM v2\n- \\[🚀\\] vllm support\n\n## Demo\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F32bbff97-6e60-4e14-95c0-2cbec136476f\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_e7f61bfe3b0b.jpg\" alt=\"End-to-end speedup over vanilla LLaDA baseline\" width=\"800\"\u002F>\n  \u003Cp>End-to-end speedup over vanilla LLaDA baseline\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\n\n## Project Structure\n\n```\n.\n├── dream\u002F          # Dream model related code\n├── llada\u002F          # LLaDA model related code\n└── .gitignore      # Git ignore configuration\n```\n\n## Features\n\n- Fast inference support for Dream and LLaDA models\n- Multiple inference optimization strategies\n- Code generation and evaluation capabilities\n- Interactive chat interface\n\n### Key Features\n\n1. **Key-Value Cache for Block-Wise Decoding**\n   We propose an efficient block-wise decoding KV Cache mechanism for Masked Diffusion Models (MDMs). By reusing attention Key-Value activations across multiple steps within each block, our approach avoids redundant computation and significantly accelerates inference. Furthermore, our DualCache extension also caches masked suffix tokens, enabling even greater speedup with negligible accuracy loss.\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_7a203f88e5e4.jpg\" alt=\"KV Cache for block-wise decoding\" width=\"800\"\u002F>\n  \u003Cp>KV Cache for block-wise decoding\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n2. **Confidence-Aware Parallel Decoding**\n   Instead of decoding tokens sequentially, we introduce a confidence-aware parallel decoding scheme. At each step, only tokens with confidence over a threshold are unmasked in parallel, while uncertain ones remain masked for future steps. This selective approach effectively balances decoding efficiency and output quality.\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_37c3329cdb41.gif\" alt=\"Decoding comparison\" width=\"800\"\u002F>\n  \u003Cp>\u003Cb>Left:\u003C\u002Fb> Standard decoding (LLaDA). \u003Cb>Right:\u003C\u002Fb> Confidence-aware parallel decoding.\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_4cd48390fff3.jpg\" alt=\"Pseudo code for our method\" width=\"800\"\u002F>\n  \u003Cp>Pseudo code for our method\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n3. **Overall Performance**\n   Overall, introducing the KV Cache mechanism yields significant speed improvements for all tasks and sequence lengths, typically achieving a 2x to 3.6x speedup compared to the vanilla backbone. When the parallel decoding strategy is applied individually, we see additional acceleration, often pushing speedups to 4x-6x for the evaluated settings, particularly as the generation length increases.\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_3b87e3019128.jpg\" alt=\"Overall performance\" width=\"800\"\u002F>\n  \u003Cp>Overall performance comparison\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n## Installation\n\n1. Clone the repository:\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM.git\ncd fast-dllm\n```\n\n2. Install dependencies:\n```bash\npip install -r requirements.txt\n```\n\n## Usage\n\n### 1. Using LLaDA Model\n\n#### Interactive Chat\n```bash\npython llada\u002Fchat.py --gen_length 128 --steps 128 --block_size 32\n```\n\nParameter descriptions:\n- `--gen_length`: Maximum length of generated text\n- `--steps`: Number of sampling steps\n- `--block_size`: Cache block size\n- `--use_cache`: Whether to use cache\n- `--if_cache_position`: Whether to use dual cache\n- `--threshold`: Confidence threshold\n\n#### Web Demo\nWe also provide a web demo using Gradio. First, install Gradio:\n```bash\npip install gradio\n```\n\nThen run the demo:\n```bash\ncd llada\npython app.py\n```\n\n#### Model Evaluation\n| Benchmark         | Gen Length | LLaDA   | +Cache         | +Parallel      | +Cache+Parallel (Fast-dLLM) |\n|-------------------|------------|---------|----------------|----------------|-----------------------------|\n| **GSM8K (5-shot)**| 256        | 79.3\u003Cbr>6.73\u003Cbr>(1×) | 79.5\u003Cbr>21.23\u003Cbr>(3.2×) | 79.2\u003Cbr>16.53\u003Cbr>(2.5×) | 78.5\u003Cbr>**54.4\u003Cbr>(8.1×)** |\n|                   | 512        | 77.5\u003Cbr>3.23\u003Cbr>(1×) | 77.0\u003Cbr>10.43\u003Cbr>(3.3×) | 77.6\u003Cbr>18.63\u003Cbr>(5.8×) | 77.2\u003Cbr>**35.3\u003Cbr>(11.0×)** |\n| **HumanEval (0-shot)** | 256   | 41.5\u003Cbr>30.5 (1×) | 42.7\u003Cbr>40.73\u003Cbr>(1.3×) | 43.9\u003Cbr>101.53\u003Cbr>(3.3×) | 43.3\u003Cbr>**114.1\u003Cbr>(3.7×)** |\n|                   | 512        | 43.9\u003Cbr>18.4 (1×) | 45.7\u003Cbr>29.33\u003Cbr>(1.6×) | 43.3\u003Cbr>57.13\u003Cbr>(3.1×) | 44.5\u003Cbr>**73.7\u003Cbr>(4.0×)** |\n\nEach cell presents the accuracy (top row, in percentage) and the decoding throughput (middle row, in tokens per second) with relative speedup (bottom row) to the LLaDA baseline.\n\nFor detailed evaluation instructions on GSM8K and HumanEval benchmarks, please refer to [LLaDA Evaluation Guide](llada\u002Feval.md).\n\n### 2. Using Dream Model\n\nFor detailed evaluation instructions on GSM8K and HumanEval benchmarks, please refer to [Dream Evaluation Guide](dream\u002Feval.md).\n\n## Contributing\n\nIssues and Pull Requests are welcome!\n\n## License\n\nThis project is licensed under the Apache License 2.0. See the [LICENSE](LICENSE) file for details. \n\n## Citation\n\nIf you find this work useful, please cite our paper:\n\n```bibtex\n@misc{wu2025fastdllmv2efficientblockdiffusion,\n      title={Fast-dLLM v2: Efficient Block-Diffusion LLM}, \n      author={Chengyue Wu and Hao Zhang and Shuchen Xue and Shizhe Diao and Yonggan Fu and Zhijian Liu and Pavlo Molchanov and Ping Luo and Song Han and Enze Xie},\n      year={2025},\n      eprint={2509.26328},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.26328}, \n}\n@misc{wu2025fastdllmtrainingfreeaccelerationdiffusion,\n      title={Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding}, \n      author={Chengyue Wu and Hao Zhang and Shuchen Xue and Zhijian Liu and Shizhe Diao and Ligeng Zhu and Ping Luo and Song Han and Enze Xie},\n      year={2025},\n      eprint={2505.22618},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.22618}, \n}\n```\n\n## Acknowledgements\n\nWe would like to thank the authors of [LLaDA](https:\u002F\u002Fgithub.com\u002Fllada-project\u002Fllada) and [Dream](https:\u002F\u002Fgithub.com\u002Fdream-project\u002Fdream) for their excellent work and open-source contributions. We thank [Qwen2.5](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5) for the base model architecture and [LMFlow](https:\u002F\u002Fgithub.com\u002FOptimalScale\u002FLMFlow) for the training framework.\n","# Fast-DLLM\n[![Project](https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=Project&message=Github&color=blue&logo=github-pages)](https:\u002F\u002Fnvlabs.github.io\u002FFast-dLLM)\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-arXiv-red.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.22618)\n\u003Ca href=\"https:\u002F\u002Ffast-dllm.hanlab.ai\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=Demo&message=Fast-dLLM&color=yellow\">\u003C\u002Fa>  \n\n\u003Ch4 align=\"center\"> ICLR 2026 \u003C\u002Fh4>\n\nFast-DLLM 是一个基于扩散模型（diffusion-based）的大语言模型（Large Language Model, LLM）推理加速框架，支持 Dream 和 LLaDA 等模型的高效推理。\n\n## 新闻\n* (🔥 新) [2026\u002F01\u002F26] **Fast-dLLM v1\u002Fv2 被 ICLR-2026 接收** 🎉🎉🎉\n* [2025.10.08] 我们开源了 Fast-dLLM v2。请访问我们的[网页](https:\u002F\u002Fnvlabs.github.io\u002FFast-dLLM\u002Fv2\u002F)、[模型](https:\u002F\u002Fhuggingface.co\u002FEfficient-Large-Model\u002FFast_dLLM_v2_7B)和[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2509.26328)!\n* [2025.08.01] 我们的 Fast-dLLM 在线演示已上线：https:\u002F\u002Ffast-dllm.hanlab.ai\u002F，欢迎体验！\n* [2025.07.06] 在 `llada\u002Feval_gsm8k.sh` 中新增基于因子的并行策略和 LLaDA-1.5 评估\n* [2025.07.04] 我们更新了论文，包含最新改进和评估结果\n* [2025.06.30] Fast-dLLM 已集成到 [LLaDA-V](https:\u002F\u002Fgithub.com\u002FML-GSAI\u002FLLaDA-V) 中。使用 Fast-dLLM 后，推理延迟从 60 秒降至 6 秒！体验地址：[这里](https:\u002F\u002Fgithub.com\u002FML-GSAI\u002FLLaDA-V\u002Fblob\u002Fmain\u002Ftrain\u002Fgenerate_demo.py)!!\n\n## 待办事项\n我们将努力完成以下目标：\n- [✅] 推理和评估代码\n- [✅] Fast-dLLM v2 的训练代码\n- [🚀] 支持 vllm\n\n## 演示\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F32bbff97-6e60-4e14-95c0-2cbec136476f\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_e7f61bfe3b0b.jpg\" alt=\"End-to-end speedup over vanilla LLaDA baseline\" width=\"800\"\u002F>\n  \u003Cp>端到端加速效果对比基础 LLaDA 模型\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n## 项目结构\n\n```\n.\n├── dream\u002F          # Dream 模型相关代码\n├── llada\u002F          # LLaDA 模型相关代码\n└── .gitignore      # Git 忽略配置\n```\n\n## 核心特性\n\n- 支持 Dream 和 LLaDA 模型的快速推理\n- 多种推理优化策略\n- 代码生成与评估能力\n- 交互式聊天界面\n\n### 关键技术\n\n1. **分块解码的键值缓存（Key-Value Cache）**\n   我们为掩码扩散模型（Masked Diffusion Model, MDM）提出了高效的分块解码 KV 缓存机制。通过在每个分块内复用多个步骤的注意力键值激活，避免了冗余计算并显著加速推理。此外，我们的 DualCache 扩展还缓存了掩码后缀令牌，实现了几乎无精度损失的显著加速。\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_7a203f88e5e4.jpg\" alt=\"KV Cache for block-wise decoding\" width=\"800\"\u002F>\n  \u003Cp>分块解码的键值缓存机制\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n2. **置信度感知的并行解码**\n   我们引入了置信度感知的并行解码方案。在每一步中，仅对置信度超过阈值的令牌进行并行解码，而不确定的令牌保持掩码状态以供后续步骤处理。这种选择性策略有效平衡了解码效率和输出质量。\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_37c3329cdb41.gif\" alt=\"Decoding comparison\" width=\"800\"\u002F>\n  \u003Cp>\u003Cb>左：\u003C\u002Fb>标准解码（LLaDA）\u003Cb>右：\u003C\u002Fb>置信度感知并行解码\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_4cd48390fff3.jpg\" alt=\"Pseudo code for our method\" width=\"800\"\u002F>\n  \u003Cp>方法伪代码\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n3. **整体性能表现**\n   引入 KV 缓存机制后，在所有任务和序列长度上均取得显著加速效果，通常比基础模型快 2-3.6 倍。当单独应用并行解码策略时，进一步加速效果明显，在评估设置中可达 4-6 倍加速，且生成长度越长效果越显著。\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_readme_3b87e3019128.jpg\" alt=\"Overall performance\" width=\"800\"\u002F>\n  \u003Cp>整体性能对比\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n## 安装指南\n\n1. 克隆仓库：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM.git\ncd fast-dllm\n```\n\n2. 安装依赖：\n```bash\npip install -r requirements.txt\n```\n\n## 使用方法\n\n### 1. 使用 LLaDA 模型\n\n#### 交互式聊天\n```bash\npython llada\u002Fchat.py --gen_length 128 --steps 128 --block_size 32\n```\n\n参数说明：\n- `--gen_length`: 生成文本的最大长度\n- `--steps`: 采样步数\n- `--block_size`: 缓存块大小\n- `--use_cache`: 是否启用缓存\n- `--if_cache_position`: 是否启用双缓存\n- `--threshold`: 置信度阈值\n\n#### 网页演示\n我们提供了基于 Gradio 的网页演示。首先安装 Gradio：\n```bash\npip install gradio\n```\n\n然后运行演示：\n```bash\ncd llada\npython app.py\n```\n\n#### 模型评估\n| 基准测试         | 生成长度 | LLaDA   | +缓存         | +并行      | +缓存+并行 (Fast-dLLM) |\n|------------------|----------|---------|----------------|------------|------------------------|\n| **GSM8K (5-shot)**| 256      | 79.3\u003Cbr>6.73\u003Cbr>(1×) | 79.5\u003Cbr>21.23\u003Cbr>(3.2×) | 79.2\u003Cbr>16.53\u003Cbr>(2.5×) | 78.5\u003Cbr>**54.4\u003Cbr>(8.1×)** |\n|                  | 512      | 77.5\u003Cbr>3.23\u003Cbr>(1×) | 77.0\u003Cbr>10.43\u003Cbr>(3.3×) | 77.6\u003Cbr>18.63\u003Cbr>(5.8×) | 77.2\u003Cbr>**35.3\u003Cbr>(11.0×)** |\n| **HumanEval (0-shot)** | 256 | 41.5\u003Cbr>30.5 (1×) | 42.7\u003Cbr>40.73\u003Cbr>(1.3×) | 43.9\u003Cbr>101.53\u003Cbr>(3.3×) | 43.3\u003Cbr>**114.1\u003Cbr>(3.7×)** |\n|                  | 512      | 43.9\u003Cbr>18.4 (1×) | 45.7\u003Cbr>29.33\u003Cbr>(1.6×) | 43.3\u003Cbr>57.13\u003Cbr>(3.1×) | 44.5\u003Cbr>**73.7\u003Cbr>(4.0×)** |\n\n每个单元格显示准确率（百分比，顶行）和解码吞吐量（中行，每秒生成令牌数），底行为相对基础 LLaDA 的加速比。\n\nGSM8K 和 HumanEval 基准的详细评估说明请参考 [LLaDA 评估指南](llada\u002Feval.md)。\n\n### 2. 使用 Dream 模型\n\nGSM8K 和 HumanEval 基准的详细评估说明请参考 [Dream 评估指南](dream\u002Feval.md)。\n\n## 贡献\n\n欢迎提交问题和 Pull Request！\n\n## 许可证\n\n本项目采用 Apache 2.0 许可证。详情请查看 [LICENSE](LICENSE) 文件。\n\n## 引用\n\n如果您发现本工作有帮助，请引用我们的论文：\n\n```bibtex\n@misc{wu2025fastdllmv2efficientblockdiffusion,\n      title={Fast-dLLM v2: Efficient Block-Diffusion LLM}, \n      author={Chengyue Wu and Hao Zhang and Shuchen Xue and Shizhe Diao and Yonggan Fu and Zhijian Liu and Pavlo Molchanov and Ping Luo and Song Han and Enze Xie},\n      year={2025},\n      eprint={2509.26328},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2509.26328}, \n}\n@misc{wu2025fastdllmtrainingfreeaccelerationdiffusion,\n      title={Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding}, \n      author={Chengyue Wu and Hao Zhang and Shuchen Xue and Zhijian Liu and Shizhe Diao and Ligeng Zhu and Ping Luo and Song Han and Enze Xie},\n      year={2025},\n      eprint={2505.22618},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.22618}, \n}\n```\n\n## 致谢\n\n我们感谢[LLaDA](https:\u002F\u002Fgithub.com\u002Fllada-project\u002Fllada)和[Dream](https:\u002F\u002Fgithub.com\u002Fdream-project\u002Fdream)作者的优秀工作及开源贡献。同时感谢[Qwen2.5](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen2.5)提供的基础模型架构，以及[LMFlow](https:\u002F\u002Fgithub.com\u002FOptimalScale\u002FLMFlow)训练框架的支持。","# Fast-DLLM 快速上手指南\n\n## 环境准备\n### 系统要求\n- Linux\u002FmacOS 系统\n- Python 3.8+\n- Git\n\n### 前置依赖\n```bash\n# 建议使用国内镜像加速\npip install --upgrade pip -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 安装步骤\n```bash\n# 1. 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM.git\ncd Fast-dllm\n\n# 2. 安装依赖（使用清华源加速）\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 基本使用\n### 1. LLaDA模型交互聊天\n```bash\n# 运行交互式聊天（默认参数）\npython llada\u002Fchat.py\n```\n\n常用参数说明：\n- `--gen_length`: 生成文本最大长度（默认128）\n- `--steps`: 采样步数（默认128）\n- `--block_size`: 缓存块大小（默认32）\n\n### 2. 启动Web演示\n```bash\n# 安装Gradio（国内源加速）\npip install gradio -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 启动Web服务\ncd llada\npython app.py\n```\n\n### 3. 模型评估示例\n```bash\n# 查看评估结果表格（详见llada\u002Feval.md）\n# 推荐使用GSM8K和HumanEval基准测试\n```\n\n## 验证安装\n运行以下命令测试基础功能：\n```bash\n# 测试LLaDA生成能力\npython llada\u002Fchat.py --gen_length 64 --steps 64\n```\n\n> 🚀 提示：使用`--use_cache`和`--if_cache_position`参数可启用缓存加速功能，具体性能对比见官方文档评估表格。","一位AI教育平台的开发者正在为教师开发自适应课程生成系统，需要实时生成包含代码示例和技术文档的长文本教学材料。\n\n### 没有 Fast-dLLM 时\n- 生成500字以上的技术文档需要等待28秒，教师频繁刷新页面导致服务器负载激增\n- 模型解码过程占用32GB显存，单台服务器仅能支撑8个并发请求\n- 长文本生成时常出现逻辑断裂，代码示例与上下文不匹配需人工校验\n- 扩展新功能时需重构解码逻辑，开发周期长达3周\n- 高峰期请求排队导致生成内容过时，用户满意度低于65%\n\n### 使用 Fast-dLLM 后\n- 文档生成速度提升至6秒内完成，教师操作流畅度提升400%\n- 显存占用降至12GB，服务器并发能力扩展至50+请求\n- 块级KV缓存机制使长文本连贯性提升，代码示例准确率提高至92%\n- 预置并行解码接口支持快速功能迭代，新模块开发周期缩短至3天\n- 动态负载均衡使高峰期响应及时率保持98%以上，用户满意度跃升至89%\n\n核心价值：Fast-dLLM通过架构级优化将扩散模型推理效率提升数量级，使高精度长文本生成具备工业级落地可行性。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVlabs_Fast-dLLM_37c3329c.gif","NVlabs","NVIDIA Research Projects","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVlabs_fc20d641.jpg","",null,"http:\u002F\u002Fresearch.nvidia.com","https:\u002F\u002Fgithub.com\u002FNVlabs",[84,88],{"name":85,"color":86,"percentage":87},"Python","#3572A5",98.3,{"name":89,"color":90,"percentage":91},"Shell","#89e051",1.7,913,114,"2026-04-05T04:35:20","Apache-2.0","未说明","需要 NVIDIA GPU，显存 8GB+，CUDA 11.7+",{"notes":99,"python":100,"dependencies":101},"建议使用 conda 管理环境，首次运行需下载模型文件","3.8+",[102,103,104,105],"torch>=2.0","transformers>=4.30","accelerate","gradio",[26,13],"2026-03-27T02:49:30.150509","2026-04-06T09:43:35.973689",[110,115,120,125,130,135,140],{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},5029,"使用Dream-Instruct时性能下降如何解决？","请确认是否使用了正确的`humaneval_instruct`基准而非`humaneval`，并尝试将transformers版本升级至4.46.2以上。具体命令：`pip install --upgrade transformers`。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM\u002Fissues\u002F43",{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},5030,"HumanEval的吞吐量异常高是否为代码问题？","是的，HumanEval的token计数包含prompt和response，而其他任务仅计算response。需修改代码逻辑，仅统计response token以保持一致性。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM\u002Fissues\u002F15",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},5031,"评估中的`+Cache`具体指哪种缓存机制？","`+Cache`表示PrefixCache，`+Cache+Parallel`在启用PrefixCache的同时使用并行解码。DualCache未包含在表格结果中。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM\u002Fissues\u002F11",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},5032,"如何获取MATH和MBPP数据集的评估脚本？","MATH数据集使用`minerva_math`变体，MBPP脚本可通过仓库的`eval_llada.py`扩展支持。需在命令行中指定对应任务名称。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM\u002Fissues\u002F4",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},5033,"如何绘制论文中的注意力热力图？","通过修改生成函数保存KV缓存后处理生成热力图。具体步骤：在`generate`函数中保存KV值，使用numpy计算相似度并绘制。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM\u002Fissues\u002F6",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},5034,"LLaDA-8B-Instruct模型性能结果不一致如何解决？","使用以下命令复现结果：`accelerate launch eval_llada.py --tasks gsm8k --num_fewshot 5 ... --model_args threshold=0.9`。确保环境变量和参数配置一致。","https:\u002F\u002Fgithub.com\u002FNVlabs\u002FFast-dLLM\u002Fissues\u002F5",{"id":141,"question_zh":142,"answer_zh":143,"source_url":139},5035,"Dual Cache+Parallel模式导致性能下降怎么办？","在HumanEval\u002FMBPP任务中，DualCache可能降低性能。建议改用PrefixCache+Parallel模式，并通过调整`threshold=0.9`优化生成长度。",[]]