[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ovg-project--kvcached":3,"tool-ovg-project--kvcached":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":10,"env_os":102,"env_gpu":103,"env_ram":104,"env_deps":105,"category_tags":111,"github_topics":112,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":128,"updated_at":129,"faqs":130,"releases":160},3883,"ovg-project\u002Fkvcached","kvcached","Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond","kvcached 是一款专为大语言模型（LLM）服务的开源工具，旨在解决多模型共享 GPU 时显存利用率低和调度僵化的问题。在动态变化的业务负载下，传统方式往往难以灵活分配显存，导致资源浪费或服务受阻。kvcached 创新性地将操作系统中的“虚拟内存”理念引入 LLM 系统，通过将 KV 缓存的逻辑地址与物理显存解耦，实现了按需分配和弹性回收。这意味着系统可以先预留虚拟空间，仅在真正需要时才占用物理显存，从而大幅提升 GPU 在混合负载下的使用效率。\n\n该工具特别适合 AI 基础设施开发者、研究人员以及需要在有限算力资源下部署多个模型的运维团队。它原生支持主流推理引擎 SGLang 和 vLLM，并提供命令行工具进行精细的显存控制。其独特亮点包括支持模型空闲时自动进入“睡眠模式”以释放资源、智能路由请求，以及针对 vLLM 和 SGLang 优化的前缀缓存技术。此外，kvcached 已获得红帽（Red Hat）等业界认可，被用于生产环境中构建动态多模型服务方案，是降低 GPU 成本、提升服务灵活性的实用选择。","\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Flogo-v2.svg\" alt=\"kvcached logo\" height=\"96\" \u002F>\n\n  \u003Cbr>\n  \u003Cbr>\n  \u003Cp>\n    \u003Ca href=\"https:\u002F\u002Fwww.python.org\u002F\">\u003Cimg alt=\"Python\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-3.9%E2%80%933.13-blue\">\u003C\u002Fa>\n    \u003Cimg alt=\"Engines\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FEngines-SGLang%20%7C%20vLLM-blueviolet\">\n    \u003Ca href=\"https:\u002F\u002Fyifanqiao.notion.site\u002FSolve-the-GPU-Cost-Crisis-with-kvcached-289da9d1f4d68034b17bf2774201b141\">\u003Cimg alt=\"Blog\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FBlog-Read-FF5722?logo=rss&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2508.08448\">\u003Cimg alt=\"arXiv: GPU OS vision\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-GPU%20OS%20vision-b31b1b?logo=arxiv&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Cbr>\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.04021\">\u003Cimg alt=\"arXiv: Multi LLM Serving\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Multi%20LLM%20Serving-b31b1b?logo=arxiv&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fovg-project\u002Fshared_invite\u002Fzt-3fr01t8s7-ZtDhHSJQ00hcLHgwKx3Dmw\">\u003Cimg alt=\"Slack Join\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSlack-Join-4A154B?logo=slack&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fdeepwiki.com\u002Fovg-project\u002Fkvcached\">\u003Cimg alt=\"DeepWiki\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDeepWiki-Docs-6B46C1?logo=book&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"LICENSE\">\u003Cimg alt=\"License\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg\">\u003C\u002Fa>\n  \u003C\u002Fp>\n\n\u003C\u002Fdiv>\n\n\u003Ch2 align=\"center\">Make GPU Sharing Flexible and Easy \u003C\u002Fh2>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fovg-project_kvcached_readme_cee662ea7aa5.jpg\" alt=\"Make GPU Sharing Flexible and Easy\" width=\"500\" \u002F>\n\u003C\u002Fp>\n\nkvcached (KV cache daemon) is a KV cache library for LLM serving\u002Ftraining on **shared GPUs**.  By bringing OS-style **virtual memory** abstraction to LLM systems, it enables **elastic and demand-driven** KV cache allocation, improving GPU utilization under dynamic workloads.\n\nkvcached achieves this by decoupling GPU virtual addressing from physical memory allocation for KV caches. It allows serving engines to initially reserve virtual memory only and later back it with physical GPU memory when the cache is actively used. This decoupling enables on-demand allocation and flexible sharing, bringing better GPU memory utilization under dynamic and mixed workloads. Check out more details in the [blog](https:\u002F\u002Fyifanqiao.notion.site\u002FSolve-the-GPU-Cost-Crisis-with-kvcached-289da9d1f4d68034b17bf2774201b141).\n\n\u003C!-- \u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fvmm_v2.svg\" alt=\"kvcached virtual memory model\" width=\"600\" \u002F>\n\u003C\u002Fp> -->\n\n\u003Ch3 align=\"left\">Key Features\u003C\u002Fh3>\n\n- **Elastic KV cache**: allocate and reclaim KV memory dynamically to match live load.\n- **GPU virtual memory**: decouple logical KV from physical GPU memory via runtime mapping.\n- **Memory control CLI**: enforce memory limits with kvcached CLI.\n- **Frontend router and sleep mode**: route requests to the target models and put models to sleep when idle.\n- **Prefix caching**: support automatic prefix caching (APC) for vLLM (including hybrid attention models) and RadixCache for SGLang, with configurable memory bounds.\n- **Support mainstream serving engines**: integrate with SGLang and vLLM.\n\n## 📢 Updates\n\n- **[2026-04]** \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFeatured%20by-Red%20Hat-EE0000?logo=redhat&logoColor=white\" alt=\"Featured by Red Hat\" \u002F> kvcached is **featured by Red Hat** for running LLMs dynamically in production under limited resources! Red Hat's [Sardeenz](https:\u002F\u002Fgithub.com\u002Frh-aiservices-bu\u002Fsardeenz) builds on kvcached to provide dynamic multi-model serving with Kubernetes and OpenShift support. See the [blog post](https:\u002F\u002Fwww.redhat.com\u002Fen\u002Fblog\u002Frunning-llms-dynamically-production-limited-resources-hard-we-think-theres-room-another-approach) for more details.\n  [[▶ View Demo]](https:\u002F\u002Fapp.arcade.software\u002Fshare\u002FxZoDfo1vyDbZrbZTK2gv?ref=share-link)\n\n- **[2026-04]** Added **prefix caching** support. kvcached now supports **automatic prefix caching (APC)** for vLLM and **RadixCache** for SGLang, enabling cross-request prefix reuse while maintaining elastic memory management. The cached token budget can be controlled via `KVCACHED_MAX_CACHED_TOKENS` (default: `16000`).\n  - **vLLM**: Cached blocks are retained in an evictable pool and freed on demand when memory pressure occurs (lazy eviction). The token limit is converted to blocks internally (`KVCACHED_MAX_CACHED_TOKENS \u002F\u002F block_size`).\n  - **SGLang**: After each request finishes, RadixCache proactively evicts entries that exceed the token budget. Works with both `page_size=1` and `page_size>1`.\n\n- **[2026-03]** Added **pipeline parallelism** support.\nMLA models (DeepSeek-V3, DeepSeek-V2 etc.) and GPT-OSS hybrid attention models (`openai\u002Fgpt-oss-20b`) are now also supported in **vLLM**.\nGPT-OSS support in SGLang updated to **v0.5.9**.\n\n- **[2026-02]** kvcached now supports **vLLM v0.16.0** and **SGLang v0.5.9**.\nMLA models (DeepSeek-V3, DeepSeek-V2 etc.) are supported in SGLang with both `page_size=1` and `page_size>1`.\nGPT-OSS hybrid attention models (`openai\u002Fgpt-oss-20b`) are supported in SGLang.\n\n### Supported engines and models\n\n| Engine | Versions | Attention types | Example models |\n|--------|----------|-----------------|----------------|\n| SGLang | ≥ v0.4.9 (tested up to v0.5.9) | MHA \u002F GQA \u002F MLA | Llama 3.1\u002F3.3, Qwen 2.5, DeepSeek-V3, openai\u002Fgpt-oss-20b, etc. |\n| vLLM | ≥ v0.8.4 (tested up to v0.16.0) | MHA \u002F GQA \u002F MLA | Llama 3.1\u002F3.3, Qwen 2.5, DeepSeek-V3, openai\u002Fgpt-oss-20b |\n\n## Example use cases\n\n\u003Cdiv align=\"center\">\n  \u003Ctable border=\"0\" cellspacing=\"0\" cellpadding=\"0\" style=\"border: none; border-collapse: collapse; width: auto;\">\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-multillm.svg\" alt=\"Multi‑LLM serving\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>Multi‑LLM serving\u003C\u002Fb>\u003Cbr>kvcached allows multiple LLMs to share a GPU's memory elastically, enabling concurrent deployment without the rigid memory partitioning used today. This improves GPU utilization and saves serving costs.\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-serverless.svg\" alt=\"Serverless LLM\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>Serverless LLM\u003C\u002Fb>\u003Cbr>By allocating KV cache only when needed, kvcached supports serverless deployments where models can spin up and down on demand.\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-compound.svg\" alt=\"Compound AI systems\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>Compound AI systems\u003C\u002Fb>\u003Cbr>kvcached makes compound AI systems practical on limited hardware by elastically allocating memory across specialized models in a pipeline (e.g., retrieval, reasoning, and summarization).\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-colocate.svg\" alt=\"GPU workload colocation\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>GPU workload colocation\u003C\u002Fb>\u003Cbr>kvcached allows LLM inference to coexist with other GPU workloads such as training jobs, fine-tuning, or vision models.\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\n\u003C\u002Fdiv>\n\nSee concrete examples here: [kvcached\u002Fexamples](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Ftree\u002Fmain\u002Fexamples).\n\n## kvcached in action\n\nThe following simple example shows how kvcached enables an unmodified vLLM engine run with dynamically allocated memory.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fovg-project_kvcached_readme_b9618acfe557.gif\" alt=\"kvcached in action\" width=\"90%\">\n\u003C\u002Fp>\n\n## Performance: Multi-LLM serving\n\nkvcached enables dynamic memory sharing between LLMs, allowing them to share the same GPU memory elastically. As a comparison, the current serving engines need to statically reserve GPU memory at startup.\n\nThis benchmark shows the performance benefits of kvcached when serving three `Llama-3.1-8B` models on an A100-80G GPU under workloads with intermittent peaks. kvcached can achieve **2-28x TTFT reduction** compared to the current serving engines. This performance gain can be converted to **significant cost savings** for LLM serving. Without kvcached, the systems have to provision more GPUs to achieve the same performance.\nDetails can be found in [benchmarks\u002Fbench_latency_benefit](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Ftree\u002Fmain\u002Fbenchmarks\u002Fbench_latency_benefit).\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fttft_results\u002Fttft_mean.svg\" alt=\"TTFT mean\" width=\"49%\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fttft_results\u002Fttft_p99.svg\" alt=\"TTFT p99\" width=\"49%\" \u002F>\n\u003C\u002Fp>\n\n## Installation\n\n### Prerequisites\n\n- Python (tested with 3.9 - 3.13)\n- SGLang (tested with v0.5.9) or vLLM (tested with v0.16.0)\n\nkvcached can be installed as a plugin with existing SGLang or vLLM environment.\n\n### Install from PyPI\n\n```bash\npip install kvcached --no-build-isolation\n```\n\n### Install from source\n\n```bash\n# under the project root folder\n\npip install -e . --no-build-isolation --no-cache-dir\npython tools\u002Fdev_copy_pth.py\n```\n\n### Using Docker\n\nkvcached installed with original engine dockers.\n\n```bash\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-sglang:latest   # kvcached-v0.1.4-sglang-v0.5.9\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-vllm:latest     # kvcached-v0.1.4-vllm-v0.16.0\n```\n\nWe prepare an all-in-one docker for developers:\n\n```bash\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-dev:latest\n```\n\nMore instructions can be found [here](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fblob\u002Fmain\u002Fdocker\u002FREADME.md). GB200 dockers are on the way.\n\n## Documentation\n\nkvcached is indexed on [DeepWiki](https:\u002F\u002Fdeepwiki.com\u002Fovg-project\u002Fkvcached) for LLM-powered documentation.\n\nThe documentation covers:\n- Core architecture and memory management system\n- Integration with vLLM and SGLang\n- Multi-model serving and controller system\n- Deployment guides and configuration reference\n- Performance benchmarking and analysis\n- Development tools and testing\n\n## Testing\n\nkvcached can be enabled by setting the following environmental variables:\n\n```bash\nexport ENABLE_KVCACHED=true\nexport KVCACHED_AUTOPATCH=1\n```\n\nIf you are using the engine-specific dockers, you can test kvcached by running the original engines' benchmark scripts. For example:\n\n```bash\n# for sglang\npython -m sglang.launch_server --model meta-llama\u002FLlama-3.2-1B-Instruct --disable-radix-cache --port 30000\npython -m sglang.bench_serving --backend sglang-oai --model meta-llama\u002FLlama-3.2-1B-Instruct --dataset-name sharegpt --request-rate 10 --num-prompts 1000 --port 30000\n\n# for vllm\nvllm serve meta-llama\u002FLlama-3.2-1B-Instruct --no-enable-prefix-caching --port=12346\nvllm bench serve --model meta-llama\u002FLlama-3.2-1B-Instruct --request-rate 10 --num-prompts 1000 --port 12346\n```\n\n> [!NOTE]\n> kvcached now supports **prefix caching** for both vLLM (APC) and SGLang (RadixCache). You can enable prefix caching as usual (the engines' defaults apply). Cached blocks are retained for cross-request prefix reuse and evicted on demand when memory is needed. Set `KVCACHED_MAX_CACHED_TOKENS` to control the cached token budget for both engines (default: `16000`; `0` means unlimited). If you prefer to disable prefix caching, use `--no-enable-prefix-caching` for vLLM and `--disable-radix-cache` for SGLang.\n>\n> When kvcached is enabled, there is NO need to set memory utilization limit (e.g., using `--gpu-memory-utilization`) as kvcached will automatically manage the memory.\n\nIf you installed kvcached using its source code, you can also do the following:\n\n```bash\ncd benchmarks\u002Fsimple_bench\n.\u002Fstart_server.sh [sglang|vllm] --venv-path $VENV_PATH --model meta-llama\u002FLlama-3.2-1B-Instruct\n# Wait until LLM server is ready\n.\u002Fstart_client.sh [sglang|vllm] --venv-path $VENV_PATH --model meta-llama\u002FLlama-3.2-1B-Instruct\n```\n\nThe benchmark scripts automatically set `ENABLE_KVCACHED=true`. Please refer to each script for instructions on how to run inference with kvcached.\n\n> [!TIP]\n> Starting from transformers >= 4.44, there is no fallback “default” chat template. If the tokenizer does not define a chat_template, `apply_chat_template` cannot be used without explicitly providing one. If you encounter chat template errors during its chat warmup at startup, use an Instruct model (e.g., `meta-llama\u002FLlama-3.2-1B-Instruct`) instead of the base model.\n\n> [!NOTE]\n> We haven’t fully tested kvcached with every version of SGLang and vLLM (there are too many!). If you run into issues with a specific version, please open an issue---we'll look into it and fix it within a few hours.\n\n## Roadmap\n\nThe latest roadmap is also tracked in [issue #125](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues\u002F125).\n\n- **Engine integration**\n  - [x] SGLang and vLLM\n  - [ ] Ollama (in progress)\n  - [ ] llama.cpp and LMStudio\n- **Features**\n  - [x] Tensor parallelism\n  - [x] Prefix caching\n  - [ ] KV cache offloading to host memory\n  - [ ] More attention types (sliding window attention, linear attention, vision encoder, etc.)\n- **Performance optimizations**\n  - [x] Contiguous KV tensor layout\n  - [x] Physical memory management\n- **Hardware**\n  - [x] NVIDIA GPUs\n  - [ ] AMD GPUs\n\n## Contributing\n\nWe are grateful for and open to contributions and collaborations of any kind.\n\nWe use pre-commit to ensure a consistent coding style. You can set it up by\n\n```\npip install pre-commit\npre-commit install\n```\n\nBefore pushing your code, please run the following check and make sure your code passes all checks.\n\n```\npre-commit run --all-files\n```\n\n## Contacts\n\nkvcached is developed by many contributors from the community. The best way to contact us for questions, issues, and contributions, is through our [Slack channel](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fovg-project\u002Fshared_invite\u002Fzt-3fr01t8s7-ZtDhHSJQ00hcLHgwKx3Dmw) or [GitHub Issues](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues).\n\n## Citation\n\nIf you find kvcached useful, please cite our paper:\n\n```bibtex\n@article{xing2025towards,\n  title={Towards Efficient and Practical GPU Multitasking in the Era of LLM},\n  author={Xing, Jiarong and Qiao, Yifan and Mo, Simon and Cui, Xingqi and Sela, Gur-Eyal and Zhou, Yang and Gonzalez, Joseph and Stoica, Ion},\n  journal={arXiv preprint arXiv:2508.08448},\n  year={2025}\n}\n\n@article{yu2025prism,\n  title={Prism: Unleashing GPU Sharing for Cost-Efficient Multi-LLM Serving},\n  author={Yu, Shan and Xing, Jiarong and Qiao, Yifan and Ma, Mingyuan and Li, Yangmin and Wang, Yang and Yang, Shuo and Xie, Zhiqiang and Cao, Shiyi and Bao, Ke and others},\n  journal={OSDI},\n  year={2026}\n}\n```\n","\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Flogo-v2.svg\" alt=\"kvcached logo\" height=\"96\" \u002F>\n\n  \u003Cbr>\n  \u003Cbr>\n  \u003Cp>\n    \u003Ca href=\"https:\u002F\u002Fwww.python.org\u002F\">\u003Cimg alt=\"Python\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-3.9%E2%80%933.13-blue\">\u003C\u002Fa>\n    \u003Cimg alt=\"Engines\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FEngines-SGLang%20%7C%20vLLM-blueviolet\">\n    \u003Ca href=\"https:\u002F\u002Fyifanqiao.notion.site\u002FSolve-the-GPU-Cost-Crisis-with-kvcached-289da9d1f4d68034b17bf2774201b141\">\u003Cimg alt=\"Blog\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FBlog-Read-FF5722?logo=rss&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2508.08448\">\u003Cimg alt=\"arXiv: GPU OS vision\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-GPU%20OS%20vision-b31b1b?logo=arxiv&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Cbr>\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.04021\">\u003Cimg alt=\"arXiv: Multi LLM Serving\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Multi%20LLM%20Serving-b31b1b?logo=arxiv&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fovg-project\u002Fshared_invite\u002Fzt-3fr01t8s7-ZtDhHSJQ00hcLHgwKx3Dmw\">\u003Cimg alt=\"Slack Join\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSlack-Join-4A154B?logo=slack&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fdeepwiki.com\u002Fovg-project\u002Fkvcached\">\u003Cimg alt=\"DeepWiki\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDeepWiki-Docs-6B46C1?logo=book&logoColor=white&labelColor=555555\">\u003C\u002Fa>\n    \u003Ca href=\"LICENSE\">\u003Cimg alt=\"License\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg\">\u003C\u002Fa>\n  \u003C\u002Fp>\n\n\u003C\u002Fdiv>\n\n\u003Ch2 align=\"center\">让 GPU 共享更灵活、更简单\u003C\u002Fh2>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fovg-project_kvcached_readme_cee662ea7aa5.jpg\" alt=\"让 GPU 共享更灵活、更简单\" width=\"500\" \u002F>\n\u003C\u002Fp>\n\nkvcached（KV 缓存守护进程）是一个用于在**共享 GPU** 上进行 LLM 推理\u002F训练的 KV 缓存库。它通过将操作系统级别的**虚拟内存**抽象引入 LLM 系统，实现了**弹性且按需分配**的 KV 缓存，从而在动态负载下提升 GPU 利用率。\n\nkvcached 的实现方式是将 GPU 虚拟地址空间与 KV 缓存的物理内存分配解耦。这使得推理引擎可以先仅保留虚拟内存，等到缓存被实际使用时再将其映射到物理 GPU 内存上。这种解耦支持按需分配和灵活共享，在动态混合负载场景下显著提升了 GPU 内存利用率。更多详细信息请参阅[博客](https:\u002F\u002Fyifanqiao.notion.site\u002FSolve-the-GPU-Cost-Crisis-with-kvcached-289da9d1f4d68034b17bf2774201b141)。\n\n\u003C!-- \u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fvmm_v2.svg\" alt=\"kvcached virtual memory model\" width=\"600\" \u002F>\n\u003C\u002Fp> -->\n\n\u003Ch3 align=\"left\">核心特性\u003C\u002Fh3>\n\n- **弹性 KV 缓存**：根据实时负载动态分配和回收 KV 内存。\n- **GPU 虚拟内存**：通过运行时映射将逻辑 KV 与物理 GPU 内存解耦。\n- **内存控制 CLI**：使用 kvcached CLI 强制执行内存限制。\n- **前端路由与休眠模式**：将请求路由到目标模型，并在空闲时使模型进入休眠状态。\n- **前缀缓存**：支持 vLLM（包括混合注意力模型）的自动前缀缓存（APC）以及 SGLang 的 RadixCache，可配置内存上限。\n- **支持主流推理引擎**：与 SGLang 和 vLLM 集成。\n\n## 📢 最新动态\n\n- **[2026-04]** \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFeatured%20by-Red%20Hat-EE0000?logo=redhat&logoColor=white\" alt=\"Featured by Red Hat\" \u002F> kvcached 被**红帽公司重点推荐**，用于在资源有限的情况下以动态方式在生产环境中运行 LLM！红帽的 [Sardeenz](https:\u002F\u002Fgithub.com\u002Frh-aiservices-bu\u002Fsardeenz) 基于 kvcached 构建，提供基于 Kubernetes 和 OpenShift 支持的动态多模型推理服务。更多信息请参阅[博客文章](https:\u002F\u002Fwww.redhat.com\u002Fen\u002Fblog\u002Frunning-llms-dynamically-production-limited-resources-hard-we-think-theres-room-another-approach)。\n  [[▶ 查看演示]](https:\u002F\u002Fapp.arcade.software\u002Fshare\u002FxZoDfo1vyDbZrbZTK2gv?ref=share-link)\n\n- **[2026-04]** 新增**前缀缓存**支持。kvcached 现在支持 vLLM 的**自动前缀缓存（APC）**和 SGLang 的**RadixCache**，能够在保持弹性内存管理的同时实现跨请求的前缀复用。缓存的 token 预算可以通过 `KVCACHED_MAX_CACHED_TOKENS` 进行控制（默认值为 `16000`）。\n  - **vLLM**：缓存块保留在可驱逐池中，当内存压力出现时按需释放（惰性驱逐）。token 限制会在内部转换为块数（`KVCACHED_MAX_CACHED_TOKENS \u002F\u002F block_size`）。\n  - **SGLang**：每次请求结束后，RadixCache 会主动驱逐超出 token 预算的条目。适用于 `page_size=1` 和 `page_size>1` 的场景。\n\n- **[2026-03]** 新增**流水线并行**支持。\nMLA 模型（DeepSeek-V3、DeepSeek-V2 等）以及 GPT-OSS 混合注意力模型（`openai\u002Fgpt-oss-20b`）现在也已在 **vLLM** 中得到支持。\nSGLang 对 GPT-OSS 的支持已更新至 **v0.5.9**。\n\n- **[2026-02]** kvcached 现在支持 **vLLM v0.16.0** 和 **SGLang v0.5.9**。\nMLA 模型（DeepSeek-V3、DeepSeek-V2 等）在 SGLang 中同时支持 `page_size=1` 和 `page_size>1`。\nGPT-OSS 混合注意力模型（`openai\u002Fgpt-oss-20b`）已在 SGLang 中得到支持。\n\n### 支持的引擎和模型\n\n| 引擎 | 版本 | 注意力类型 | 示例模型 |\n|--------|----------|-----------------|----------------|\n| SGLang | ≥ v0.4.9（测试最高至 v0.5.9） | MHA \u002F GQA \u002F MLA | Llama 3.1\u002F3.3、Qwen 2.5、DeepSeek-V3、openai\u002Fgpt-oss-20b 等 |\n| vLLM | ≥ v0.8.4（测试最高至 v0.16.0） | MHA \u002F GQA \u002F MLA | Llama 3.1\u002F3.3、Qwen 2.5、DeepSeek-V3、openai\u002Fgpt-oss-20b |\n\n## 示例用例\n\n\u003Cdiv align=\"center\">\n  \u003Ctable border=\"0\" cellspacing=\"0\" cellpadding=\"0\" style=\"border: none; border-collapse: collapse; width: auto;\">\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-multillm.svg\" alt=\"多模型服务\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>多模型服务\u003C\u002Fb>\u003Cbr>kvcached 允许多个大语言模型弹性共享 GPU 显存，实现无需当前严格显存划分的并发部署。这不仅提高了 GPU 的利用率，还降低了推理服务的成本。\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-serverless.svg\" alt=\"无服务器大语言模型\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>无服务器大语言模型\u003C\u002Fb>\u003Cbr>通过仅在需要时分配 KV 缓存，kvcached 支持按需启动和关闭模型的无服务器部署。\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-compound.svg\" alt=\"复合 AI 系统\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>复合 AI 系统\u003C\u002Fb>\u003Cbr>kvcached 通过在流水线中的不同专用模型（如检索、推理和摘要生成）之间弹性分配内存，使复合 AI 系统能够在资源有限的硬件上高效运行。\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; width: 196px;\">\n        \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fuc-colocate.svg\" alt=\"GPU 工作负载共置\" width=\"196\" \u002F>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"left\" style=\"border: none; vertical-align: middle; padding-left: 8px;\">\n        \u003Cb>GPU 工作负载共置\u003C\u002Fb>\u003Cbr>kvcached 允许大语言模型推理与其他 GPU 工作负载（如训练任务、微调或视觉模型）共存。\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\n\u003C\u002Fdiv>\n\n更多具体示例请参见：[kvcached\u002Fexamples](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Ftree\u002Fmain\u002Fexamples)。\n\n## kvcached 实际应用\n\n以下简单示例展示了 kvcached 如何使未经修改的 vLLM 引擎以动态分配的内存运行。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fovg-project_kvcached_readme_b9618acfe557.gif\" alt=\"kvcached 实际应用\" width=\"90%\">\n\u003C\u002Fp>\n\n## 性能：多模型服务\n\nkvcached 能够在多个大语言模型之间动态共享显存，使它们可以弹性地共用同一块 GPU 显存。相比之下，当前的推理引擎需要在启动时静态预留 GPU 显存。\n\n本基准测试展示了在 A100-80G GPU 上，使用间歇性高峰负载为三个 `Llama-3.1-8B` 模型提供服务时，kvcached 带来的性能优势。与现有推理引擎相比，kvcached 可将 **TTFT 降低 2 至 28 倍**。这种性能提升可转化为大语言模型推理服务的 **显著成本节约**。如果没有 kvcached，系统必须配置更多的 GPU 才能达到相同的性能。\n详细信息请参阅 [benchmarks\u002Fbench_latency_benefit](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Ftree\u002Fmain\u002Fbenchmarks\u002Fbench_latency_benefit)。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fttft_results\u002Fttft_mean.svg\" alt=\"TTFT 平均值\" width=\"49%\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fovg-project\u002Fkvcached\u002Frefs\u002Fheads\u002Fmain\u002Fassets\u002Fttft_results\u002Fttft_p99.svg\" alt=\"TTFT P99\" width=\"49%\" \u002F>\n\u003C\u002Fp>\n\n## 安装\n\n### 先决条件\n\n- Python（已测试版本：3.9 - 3.13）\n- SGLang（已测试版本：v0.5.9）或 vLLM（已测试版本：v0.16.0）\n\nkvcached 可作为插件安装到现有的 SGLang 或 vLLM 环境中。\n\n### 从 PyPI 安装\n\n```bash\npip install kvcached --no-build-isolation\n```\n\n### 从源码安装\n\n```bash\n# 在项目根目录下\n\npip install -e . --no-build-isolation --no-cache-dir\npython tools\u002Fdev_copy_pth.py\n```\n\n### 使用 Docker\n\nkvcached 可与原生引擎的 Docker 镜像一起安装。\n\n```bash\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-sglang:latest   # kvcached-v0.1.4-sglang-v0.5.9\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-vllm:latest     # kvcached-v0.1.4-vllm-v0.16.0\n```\n\n我们还为开发者准备了一体化 Docker：\n\n```bash\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-dev:latest\n```\n\n更多说明请参阅 [此处](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fblob\u002Fmain\u002Fdocker\u002FREADME.md)。GB200 的 Docker 镜像正在开发中。\n\n## 文档\n\nkvcached 已被收录至 [DeepWiki](https:\u002F\u002Fdeepwiki.com\u002Fovg-project\u002Fkvcached)，提供基于大语言模型的文档支持。\n\n文档内容包括：\n- 核心架构与内存管理系统\n- 与 vLLM 和 SGLang 的集成\n- 多模型服务与控制器系统\n- 部署指南及配置参考\n- 性能基准测试与分析\n- 开发工具与测试\n\n## 测试\n\n可通过设置以下环境变量来启用 kvcached：\n\n```bash\nexport ENABLE_KVCACHED=true\nexport KVCACHED_AUTOPATCH=1\n```\n\n如果您使用的是特定引擎的 Docker 镜像，可以通过运行原生引擎的基准测试脚本来测试 kvcached。例如：\n\n```bash\n# 对于 sglang\npython -m sglang.launch_server --model meta-llama\u002FLlama-3.2-1B-Instruct --disable-radix-cache --port 30000\npython -m sglang.bench_serving --backend sglang-oai --model meta-llama\u002FLlama-3.2-1B-Instruct --dataset-name sharegpt --request-rate 10 --num-prompts 1000 --port 30000\n\n# 用于 vLLM\nvllm serve meta-llama\u002FLlama-3.2-1B-Instruct --no-enable-prefix-caching --port=12346\nvllm bench serve --model meta-llama\u002FLlama-3.2-1B-Instruct --request-rate 10 --num-prompts 1000 --port 12346\n```\n\n> [!NOTE]\n> kvcached 现在同时支持 vLLM（APC）和 SGLang（RadixCache）的 **前缀缓存**。您可以按常规方式启用前缀缓存（引擎会使用默认设置）。缓存的块会被保留以供跨请求复用，当需要内存时则按需逐出。通过设置 `KVCACHED_MAX_CACHED_TOKENS` 可以控制两个引擎的缓存令牌预算（默认值为 `16000`；设为 `0` 表示无限制）。如果您希望禁用前缀缓存，请对 vLLM 使用 `--no-enable-prefix-caching`，对 SGLang 使用 `--disable-radix-cache`。\n>\n> 当启用 kvcached 时，无需再设置显存利用率限制（例如使用 `--gpu-memory-utilization`），因为 kvcached 会自动管理显存。\n\n如果您是通过源代码安装的 kvcached，也可以执行以下操作：\n\n```bash\ncd benchmarks\u002Fsimple_bench\n.\u002Fstart_server.sh [sglang|vllm] --venv-path $VENV_PATH --model meta-llama\u002FLlama-3.2-1B-Instruct\n# 等待 LLM 服务器就绪\n.\u002Fstart_client.sh [sglang|vllm] --venv-path $VENV_PATH --model meta-llama\u002FLlama-3.2-1B-Instruct\n```\n\n基准测试脚本会自动设置 `ENABLE_KVCACHED=true`。有关如何使用 kvcached 进行推理的说明，请参阅各个脚本。\n\n> [!TIP]\n> 自 transformers >= 4.44 起，不再有回退的“默认”聊天模板。如果分词器未定义 `chat_template`，则在未显式提供的情况下无法使用 `apply_chat_template`。如果在启动时进行聊天预热时遇到聊天模板错误，请改用 Instruct 模型（例如 `meta-llama\u002FLlama-3.2-1B-Instruct`），而不是基础模型。\n\n> [!NOTE]\n> 我们尚未对 kvcached 与所有版本的 SGLang 和 vLLM 完全兼容（版本太多！）。如果您在特定版本中遇到问题，请提交一个问题——我们会尽快调查并修复。\n\n## 路线图\n\n最新的路线图也在 [issue #125](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues\u002F125) 中记录。\n\n- **引擎集成**\n  - [x] SGLang 和 vLLM\n  - [ ] Ollama（进行中）\n  - [ ] llama.cpp 和 LMStudio\n- **功能**\n  - [x] 张量并行\n  - [x] 前缀缓存\n  - [ ] 将 KV 缓存卸载到主机内存\n  - [ ] 更多注意力类型（滑动窗口注意力、线性注意力、视觉编码器等）\n- **性能优化**\n  - [x] 连续 KV 张量布局\n  - [x] 物理内存管理\n- **硬件**\n  - [x] NVIDIA GPU\n  - [ ] AMD GPU\n\n## 贡献\n我们非常感谢并欢迎任何形式的贡献与合作。\n\n我们使用 pre-commit 来确保代码风格一致。您可以通过以下命令进行设置：\n\n```\npip install pre-commit\npre-commit install\n```\n\n在推送代码之前，请运行以下检查，并确保您的代码通过所有检查：\n\n```\npre-commit run --all-files\n```\n\n## 联系方式\nkvcached 由社区中的众多贡献者共同开发。如您有任何问题、意见或想参与贡献，可通过我们的 [Slack 频道](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fovg-project\u002Fshared_invite\u002Fzt-3fr01t8s7-ZtDhHSJQ00hcLHgwKx3Dmw) 或 [GitHub Issues](https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues) 与我们联系。\n\n## 引用\n如果您觉得 kvcached 有用，请引用我们的论文：\n\n```bibtex\n@article{xing2025towards,\n  title={Towards Efficient and Practical GPU Multitasking in the Era of LLM},\n  author={Xing, Jiarong and Qiao, Yifan and Mo, Simon and Cui, Xingqi and Sela, Gur-Eyal and Zhou, Yang and Gonzalez, Joseph and Stoica, Ion},\n  journal={arXiv preprint arXiv:2508.08448},\n  year={2025}\n}\n\n@article{yu2025prism,\n  title={Prism: Unleashing GPU Sharing for Cost-Efficient Multi-LLM Serving},\n  author={Yu, Shan and Xing, Jiarong and Qiao, Yifan and Ma, Mingyuan and Li, Yangmin and Wang, Yang and Yang, Shuo and Xie, Zhiqiang and Cao, Shiyi and Bao, Ke and others},\n  journal={OSDI},\n  year={2026}\n}\n```","# kvcached 快速上手指南\n\nkvcached 是一个专为共享 GPU 场景设计的 KV Cache 库。它通过引入操作系统式的**虚拟内存**抽象，实现了 KV Cache 的弹性分配和按需加载，显著提升了动态负载下的 GPU 利用率。支持 SGLang 和 vLLM 主流推理引擎。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python 版本**: 3.9 – 3.13\n*   **推理引擎** (二选一或同时安装):\n    *   **SGLang**: 测试版本 ≥ v0.4.9 (推荐 v0.5.9)\n    *   **vLLM**: 测试版本 ≥ v0.8.4 (推荐 v0.16.0)\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU (如 A100, H100, RTX 系列等)\n\n> **注意**: kvcached 作为插件运行，需先安装好基础的 SGLang 或 vLLM 环境。\n\n## 2. 安装步骤\n\n您可以选择通过 PyPI 直接安装，或通过源码\u002FDocker 进行部署。\n\n### 方式一：通过 PyPI 安装（推荐）\n\n在已安装 SGLang 或 vLLM 的环境中执行：\n\n```bash\npip install kvcached --no-build-isolation\n```\n\n### 方式二：从源码安装（适合开发者）\n\n```bash\n# 克隆项目并进入目录\ngit clone https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached.git\ncd kvcached\n\n# 编辑模式安装\npip install -e . --no-build-isolation --no-cache-dir\n\n# 执行必要的补丁复制脚本\npython tools\u002Fdev_copy_pth.py\n```\n\n### 方式三：使用 Docker（最简便）\n\n直接使用预构建的镜像，包含完整的引擎和 kvcached 环境：\n\n```bash\n# SGLang 版本\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-sglang:latest\n\n# vLLM 版本\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-vllm:latest\n\n# 全能开发版镜像\ndocker pull ghcr.io\u002Fovg-project\u002Fkvcached-dev:latest\n```\n\n## 3. 基本使用\n\nkvcached 的核心优势在于**无需修改原有推理引擎代码**，仅需设置环境变量即可激活弹性内存管理功能。\n\n### 第一步：启用 kvcached\n\n在启动推理服务前，导出以下环境变量：\n\n```bash\nexport ENABLE_KVCACHED=true\nexport KVCACHED_AUTOPATCH=1\n```\n\n*(可选) 配置前缀缓存令牌上限（默认 16000）：*\n```bash\nexport KVCACHED_MAX_CACHED_TOKENS=16000\n```\n\n### 第二步：启动推理服务\n\n根据您使用的引擎，运行标准的启动命令。kvcached 会自动拦截内存分配请求。\n\n#### 场景 A：使用 SGLang\n\n```bash\n# 启动服务\npython -m sglang.launch_server \\\n    --model meta-llama\u002FLlama-3.2-1B-Instruct \\\n    --disable-radix-cache \\\n    --port 30000\n\n# 后台运行压力测试验证效果\npython -m sglang.bench_serving \\\n    --backend sglang-oai \\\n    --model meta-llama\u002FLlama-3.2-1B-Instruct \\\n    --dataset-name sharegpt \\\n    --request-rate 10 \\\n    --num-prompts 1000 \\\n    --port 30000\n```\n\n#### 场景 B：使用 vLLM\n\n```bash\n# 启动服务\nvllm serve meta-llama\u002FLlama-3.2-1B-Instruct \\\n    --no-enable-prefix-caching \\\n    --port=12346\n\n# 后台运行压力测试验证效果\nvllm bench serve \\\n    --model meta-llama\u002FLlama-3.2-1B-Instruct \\\n    --request-rate 10 \\\n    --num-prompts 1000 \\\n    --port 12346\n```\n\n### 验证效果\n\n成功启用后，多个 LLM 模型可以共享同一块 GPU 显存。当某个模型空闲时，其占用的物理显存会被释放供其他模型使用，从而在有限资源下实现多模型并发或服务器的“休眠\u002F唤醒”机制。\n\n> **提示**: 更多高级用法（如多模型路由、流水线并行）请参考官方 `examples` 目录或 DeepWiki 文档。","某中型 AI 初创公司需要在单张昂贵的 A100 GPU 上同时部署客服问答（高并发）和内部文档分析（低频次但长上下文）两个大模型服务，以控制基础设施成本。\n\n### 没有 kvcached 时\n- **显存资源僵化**：两个模型必须预先静态划分显存，即使文档分析服务空闲，其占用的 KV Cache 显存也无法被客服模型借用，导致整体利用率低下。\n- **突发流量易崩溃**：当客服咨询量激增时，因无法动态扩容 KV Cache，服务常因显存溢出（OOM）而直接中断或拒绝请求。\n- **多模型切换困难**：若想临时加载第三个实验模型，必须手动停止现有服务并重新规划显存分配，运维流程繁琐且耗时。\n- **长上下文成本高昂**：处理长文档时，固定的显存配额限制了上下文窗口大小，迫使团队对输入进行截断，影响回答质量。\n\n### 使用 kvcached 后\n- **显存弹性共享**：kvcached 引入虚拟内存机制，将逻辑寻址与物理显存解耦，空闲模型的显存可自动“借”给繁忙的客服模型，实现按需分配。\n- **动态抗压能力**：面对流量洪峰，kvcached 能实时从全局池中提取物理显存支撑新增的 KV Cache，确保服务不中断且无需预留过量冗余。\n- **灵活的多模型路由**：借助前端路由和休眠功能，kvcached 可在无请求时自动挂起冷门模型释放资源，有新请求时秒级唤醒，轻松支持多模型混部。\n- **超长上下文支持**：通过弹性回收机制，kvcached 允许单个请求突破物理显存限制，动态管理前缀缓存，完整处理长篇文档而不牺牲精度。\n\nkvcached 通过将操作系统级的虚拟内存理念引入 LLM 推理，彻底解决了多模型共享 GPU 时的显存碎片与僵化难题，让每一分算力都物尽其用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fovg-project_kvcached_cee662ea.jpg","ovg-project","openvgpu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fovg-project_6ee2cefc.png","Flexible, dynamic, and open-source GPU sharing",null,"https:\u002F\u002Fgithub.com\u002Fovg-project",[82,86,90,94],{"name":83,"color":84,"percentage":85},"Python","#3572A5",87.2,{"name":87,"color":88,"percentage":89},"C++","#f34b7d",7.9,{"name":91,"color":92,"percentage":93},"Shell","#89e051",5,{"name":95,"color":96,"percentage":97},"Makefile","#427819",0,841,95,"2026-04-05T05:41:25","Apache-2.0","Linux","需要 NVIDIA GPU（文中提及 A100-80G 测试案例，支持 GB200），需支持 CUDA 以运行 SGLang 或 vLLM","未说明",{"notes":106,"python":107,"dependencies":108},"该工具主要作为 SGLang 或 vLLM 的插件运行，通过 Docker 部署是推荐方式。支持多模型共享显存、弹性 KV 缓存分配及前缀缓存功能。安装时需使用 --no-build-isolation 参数。","3.9–3.13",[109,110],"SGLang>=0.4.9 (tested up to 0.5.9)","vLLM>=0.8.4 (tested up to 0.16.0)",[26,13],[113,114,115,116,117,67,118,119,120,121,122,123,124,125,126,127],"gpu-sharing","kvcache","llm","sglang","vllm","inference-engine","gpu-mutiplexing","kvcache-optimization","llm-framework","llm-inference","llm-serving","serverless","ollama","elastic-kvcache","online-offline-coserve","2026-03-27T02:49:30.150509","2026-04-06T05:36:26.090955",[131,136,141,146,151,156],{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},17764,"为什么在 SGLang 接口中 num_token 会被基于可用 GPU 物理内存覆盖？这是否会让 --mem-fraction-static 参数失效？","这是因为 SGLang 计算 KV 缓存大小的方式导致的。它在 KV 缓存创建后测量其大小，而 kvcached 创建的是虚拟张量，因此 SGLang 测量的是虚拟张量的大小，导致数值看起来被覆盖。实际上这是预期行为，相关日志信息已在 PR #103 中进行了修正以确保一致性。","https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues\u002F101",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},17765,"在 NVIDIA B200 GPU 上运行时遇到 PyTorch 版本不兼容错误（sm_100 不支持）怎么办？","该问题通常可以通过运行项目提供的专用设置脚本来解决。请执行 .\u002Fscripts\u002Fsetup_b200.sh sglang 命令进行环境配置。脚本执行完成后，会提示复制补丁文件并建议重启 Python 环境以验证运行。如果后续仍报错，请确保环境变量 TORCH_CUDA_ARCH_LIST 已正确设置或忽略该警告继续运行。","https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues\u002F111",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},17766,"启用 KVCached 后，B200 上的基准测试吞吐量显著下降是什么原因？","经过进一步测试验证，KVCached 带来的开销实际上是微不足道的，几乎不会影响服务引擎的吞吐量。如果观察到显著的吞吐量下降（例如从 19k tokens\u002Fs 降至 4k tokens\u002Fs），可能是由于测试配置、参数组合或环境状态不一致导致的。建议在相同条件下多次运行测试（有\u002F无 KVCached），正常情况下的性能差异应非常小（例如 19170 vs 18781 tokens\u002Fs）。","https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues\u002F136",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},17767,"调用 release_memory_occupation() 时 SGLang 后端崩溃如何解决？","该问题已通过 PR #212 和 #213 修复。更新代码后，SGLang 的休眠（sleep）和唤醒（wakeup）功能应能正常工作且不再报错。如果在使用 vLLM 后端时仍然遇到类似错误，可以尝试应用 PR #150 中的更改来解决。","https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues\u002F211",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},17768,"使用 FlashInfer 后端时遇到 'ValueError: Unsupported kv cache shape' 错误，但 FlashAttn 后端正常，如何处理？","此错误表明当前的 FlashInfer 后端不支持特定的 KV 缓存形状（如日志中显示的维度）。这是一个已知的兼容性限制。临时解决方案是切换回 FlashAttn 后端，因为日志显示在该后端下不会出现此错误。长期解决需要等待官方对 FlashInfer 后端支持更多缓存形状的更新。","https:\u002F\u002Fgithub.com\u002Fovg-project\u002Fkvcached\u002Fissues\u002F205",{"id":157,"question_zh":158,"answer_zh":159,"source_url":135},17769,"KVCached 是否会影响 CUDA Graph 的内存占用？","是的，CUDA Graph 内存占用的增加可能是预期行为。随着虚拟张量变大，可捕获的选项增多，自然需要更多的内存。这不是错误，而是由虚拟张量机制导致的正常现象。",[161,166,171,176],{"id":162,"version":163,"summary_zh":164,"released_at":165},108066,"v0.1.4","## v0.1.4 版本发布\n\n### Bug 修复\n- 修复聊天模板预热问题 (#253)\n\n### 功能特性\n- 支持 SGLang v0.5.9\n- 支持 vLLM v0.16.0 (#243)\n- 支持 Python 3.13 (#260)\n- 支持具有多页大小的 MLA 模型 (#240)\n- 支持 ElasticMLAMemoryPool (#238)\n- 支持 SGLang 页大小 >1 (#237)\n- 在 SGLang-v0.5.6 中支持 GPT-OSS (#249)\n\n### 维护\n- 删除 SGLang 补丁中的冗余函数 (#239)\n- 更新启动脚本 (#255)\n- 更新 VSCode 设置中的忽略配置 (#244)\n\n### 文档\n- 在 README 中添加“更新”章节 (#251)\n- 更新启动脚本","2026-03-05T05:57:10",{"id":167,"version":168,"summary_zh":169,"released_at":170},108067,"v0.1.3","## v0.1.3 版本发布\n\n  ### Bug 修复\n  - 修复启用 TP 时的唯一 IPC 套接字问题 (#219)\n  - 支持 flashinfer 的 kvcache 形状用于 vLLM (#216)\n  - 修复 vLLM 前缀缓存相关 API 中的异常 (#212)\n  - 导出缺失的 autopatch 环境变量 (#196)\n  - 更精确地检测 vLLM 版本 (#194)\n  - 修复内存跟踪器 IPC 名称冲突问题 (#192)\n  - 修复 get_avail_physical_pages 中的类型转换问题 (#190)\n  - 修复 vLLM 版本范围问题 (#182)\n  - 修复 SGLang clear() 函数的支持问题 (#150)\n  - 修复 LangChain AgentExecutor 的导入问题 (#209)\n  - 修复类型转换问题 (#204)\n\n  ### 功能新增\n  - 添加混合注意力模型的示例 (#218)\n\n  ### 文档更新\n  - 在 README 中添加 deepwiki (#220)\n  - 更新 README，加入关于 kvcached 缓存的说明 (#188)\n  - 添加操作视频和博客链接 (#178)\n\n  ### 维护与优化\n  - 更新 kvcached 的描述 (#180)\n  - 修复示例 README 中的 venv 路径问题 (#179)","2026-01-10T23:39:09",{"id":172,"version":173,"summary_zh":174,"released_at":175},108068,"v0.1.2","- 修复 KV 缓存分配错误\n- 丰富示例\n- 添加 GSMK8 基准测试\n- 更新文档和 Docker 镜像","2025-10-19T08:14:25",{"id":177,"version":178,"summary_zh":179,"released_at":180},108069,"v0.1.1","kvcached 的首个正式版本发布！","2025-10-15T02:18:30"]