[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ikawrakow--ik_llama.cpp":3,"tool-ikawrakow--ik_llama.cpp":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":75,"owner_website":75,"owner_url":79,"languages":80,"stars":121,"forks":122,"last_commit_at":123,"license":124,"difficulty_score":125,"env_os":126,"env_gpu":127,"env_ram":128,"env_deps":129,"category_tags":141,"github_topics":75,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":142,"updated_at":143,"faqs":144,"releases":172},6416,"ikawrakow\u002Fik_llama.cpp","ik_llama.cpp","llama.cpp fork with additional SOTA quants and improved performance","ik_llama.cpp 是知名开源项目 llama.cpp 的一个高性能分支，专注于大幅提升大语言模型在 CPU 及混合 GPU\u002FCPU 环境下的推理速度。它主要解决了原版在特定硬件上运行效率不足的问题，让普通电脑也能更流畅地运行大型 AI 模型。\n\n该项目特别适合希望在本地部署模型的研究人员、开发者以及拥有中高端显卡或现代 CPU 的进阶用户。如果你关注推理成本或隐私安全，想要在本地设备上获得更快的响应体验，ik_llama.cpp 是一个极佳的选择。\n\n其核心技术亮点包括引入了多种当前最先进的量化格式（SOTA quants），显著降低了显存占用并提升了计算效率；原生支持 Bitnet 架构模型；针对 DeepSeek 等热门模型优化了 MLA 和 MoE（混合专家）操作；还提供了灵活的张量覆盖功能，允许用户精细控制哪些层在 GPU 运行、哪些在 CPU 运行，从而最大化异构计算性能。需要注意的是，目前该项目主要完善支持 AVX2\u002FARM_NEON 指令集的 CPU 以及 Turing 架构以后的 NVIDIA 显卡，其他后端的支持尚需社区共同完善。","# ik_llama.cpp: llama.cpp fork with better CPU performance\n\n[![License: MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-blue.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\n## TL;DR\n\nThis repository is a fork of [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp) with better CPU and hybrid GPU\u002FCPU performance, new SOTA quantization types, first-class Bitnet support, better DeepSeek performance via MLA, FlashMLA, fused MoE operations and tensor overrides for hybrid GPU\u002FCPU inference, row-interleaved quant packing, etc.\n\n>[!NOTE]\n>The only fully functional and performant compute backends are CPU (`AVX2` or better, `ARM_NEON` or better) and CUDA (Turing or newer). \n>Please do not enter issues related to ROCm, Vulkan, Metal, old Nvidia GPUs, `AVX` CPUs, etc. They will not get resolved unless you roll up your sleeves and help bring your favorite backend up to speed. With the current regular contributors this project simply does not have the bandwidth to work on all backends available in `llama.cpp`.\n \n>[!IMPORTANT]\n>Do not use quantized models from Unsloth that have `_XL` in their name. These are likely to not work with `ik_llama.cpp`.\n>\n>The above has caused some stir, so to clarify: the Unsloth `_XL` models that are likely to not work are those that contain `f16` tensors (which is never a good idea in the first place). All others are fine.\n\n>[!NOTE]\n>Some users have reported issues with graph parallel (a.k.a. split mode `graph`) and partial GPU offload (using `--cpu-moe` or `--n-cpu-moe` or tensor overrides). If you are using\u002Fwant to use split mode graph and observe gibberish\u002Fincoherent responses, try adding `-cuda graphs=0` to your command line.\n  \n## Quickstart\n\n### Prerequisites\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\n\ncd ik_llama.cpp\n```\n\nOn Debian\u002FUbuntu Linux, install the required packages (if using another Linux distro, you need to find the corresponding packages and adapt):\n\n```\napt-get update && apt-get install build-essential git libcurl4-openssl-dev curl libgomp1 cmake\n```\n\n### Build for CPU\n\n```\ncmake -B build -DGGML_NATIVE=ON\n\ncmake --build build --config Release -j$(nproc)\n```\n\n### Build for GPU\n\nInstall Nvidia Drivers and [CUDA Toolkit](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda\u002Ftoolkit).\n\n```\ncmake -B build -DGGML_NATIVE=ON -DGGML_CUDA=ON\n\ncmake --build build --config Release -j$(nproc)\n```\n### Step-by-step instructions for a case of a successful Windows build\nhttps:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fblob\u002Fmain\u002Fdocs\u002Fbuild.md\n\n### Run\n\nDownload `.gguf` model files (e.g. [bartowski\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf](https:\u002F\u002Fhuggingface.co\u002Fbartowski\u002FQwen_Qwen3-0.6B-GGUF\u002Fblob\u002Fmain\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf)) to your favorite directory (e.g. `\u002Fmy_local_files\u002Fgguf`).\n\nStart the server with one of the commands (CPU or GPU):\n\n```\n.\u002Fbuild\u002Fbin\u002Fllama-server --model \u002Fmy_local_files\u002Fgguf\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096\n```\n\n```\n.\u002Fbuild\u002Fbin\u002Fllama-server --model \u002Fmy_local_files\u002Fgguf\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096 -ngl 999\n```\n\nThat's all! Open [http:\u002F\u002F127.0.0.1:8080](http:\u002F\u002F127.0.0.1:8080) in Browser start chatting.\n\n\n### [Step by step guide](.\u002Fdocker\u002FREADME.md) for ik_llama.cpp in podman\u002Fdocker container including llama-swap\n\n### [Common parameters and options](.\u002Fdocs\u002Fparameters.md)\n\n## Latest News\n\n\n### Model Support\n\nLlaMA-3-Nemotron [PR 377](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F377), Qwen3 [PR 355](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F355), GLM-4 [PR 344](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F344), Command-A [PR 341](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F341), bitnet-b1.58-2B-4T [PR 337](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F337), LLaMA-4 [PR 321](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F321), Gemma3 [PR 276](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F276),  DeepSeek-V3 [PR 176](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F176), Kimi-2 [PR 609](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F609), dots.llm1 [PR 573](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F573), Hunyuan [PR 565](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F565), GLM-4.5 [PR 668](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F668) (4.5\u002F4.6\u002F4.7\u002FAIR), Ernie 4.5 MOE and 0.3B [PR 759](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F759), grok-2 [PR 782](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F782), Ling\u002FRing (Bailing-MoE2) [PR 833](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F833), Qwen3-VL [PR 883](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F883), SmolLM3 [PR 934](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F934), GigaChat3 [PR 995](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F995), ministral3 [PR 1030](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1030), Mimo-V2-Flash [PR 1096](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1096), GLM-4.7-Flash [PR 1168](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1168), Seed-OSS [PR 1218](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1218), Step-3.5-Flash [PR 1231](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1231), GLM-5 [PR 1268](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1268), Qwen3-Next [PR 1266](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1266), Qwen3.5-MoE [PR 1288](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1288) and dense Qwen-3.5 [1326](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1326), Mistral 4 [PR 1450](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1450), Bonsai 1-bit [PR 1570](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1570), Gemma4 [PR 1581](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1581)\n\n### Quantization\n\n#### Quantization additions\n\n##### Trellis quants (`IQ1_KT`, `IQ2_KT`, `IQ3_KT`, `IQ4_KT`)\n\nInformation and the original CUDA implementation in [PR 113](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F113). Additional implementations: Metal [PR 475](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F475), Neon [PR 471](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F471), CPU [PR 441](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F441). `IQ1_KT` was added more recently in [PR 616](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F616). Note: these are base on a novel, integer-base trellis, which allows to achieve reasonable CPU performance, see [PR 529](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F529) and PRs quoted there for details. \n\n##### IQK quants\n\nInformation can be found in [Discussion 8](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F8).\n\nInitial implementations (Zen4, AVX2, NEON): `IQ5_KS_R4` [PR 426](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F426), `IQ5_KS` [PR 422](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F422), `IQ4_KS_R4` [PR 150](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F150), `IQ5_K_R4` [PR 149](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F149), `IQ2_K_R4` [PR 146](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F146), `IQ3_K_R4` [PR 145](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F145), `IQ4_K_R4` [PR 138](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F138), `IQ4_KSS` [PR 89](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F89), `IQ2_KS` [PR 85](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F85), `IQ4_KS` [PR 83](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F83), `IQ6_K` [PR 14](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F14), `IQ2_K, IQ3_K and IQ5_K` [PR 7](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F7), `IQ4_K` [PR 6](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F6)\n\nCuda implementations:  `IQ4_KS_R4` and `IQ5_KS_R4` [PR 493](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F493), `IQ1_S_R4` [PR 492](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F492), `IQ1_M_R4` [PR 494](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F494). `IQ4_KS_R4` and `IQ5_KS_R4` [PR 462](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F462), `IQ2_K_R4`, `IQ3_K_R4`, `IQ4_K_R4`, `IQ5_K_R4` [PR 461](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F461), `IQ4_K, IQ5_K, IQ6_K` [PR 417](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F417), `IQ2_KS, IQ2_K, IQ3_K` [PR 418](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F417)\n\n`IQ2_KL` is a more recent addition in [PR 602](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F602) \n\n##### Hadamard transforms for K-cache\n\nCPU [PR 1033](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1033) and CUDA [PR 1034](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1034)\n\n##### Hadamard transforms for V-cache\n\n[PR 1527](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1527)\n\n##### MXFP4 as used in gpt-oss models\n\nImplemented for Zen4, AVX2, ARM_NEON, Metal, CUDA [PR 682](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F682) \n\n#### Quantization improvements\n\n* `IQ1_M` [PR 327](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F327), `IQ2_XS` [PR 312](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F312), `Q2_K, Q4_K, Q5_K, Q4_1, Q5_1` [PR 302](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F302), `Q4_0, Q5_0, Q6_0, Q3_K, Q6_K, IQ4_XS, IQ4_NL` [PR 295](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F295)\n* Low perplexity `Q4_0` KV cache [PR 1547](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1547) [PR 1556](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1556)\n\n#### Quantization performance improvements \n\n* Much faster CPU prompt processing for all non-interleaved quants. Initial idea in [PR 515](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F515) and [PR 531](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F531), with many follow up PRs to apply to all quantization types for the 3 supported CPU platforms.\n* All quantization types now have quantized matrix multiplication CUDA kernels, see [PR 557](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F515) and several others\n* Faster CPU prompt processing for Trellis quants and MoE models. [PR 488](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F488)\n* Trellis quants: faster CPU prompt processing [PR 482](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F482).\n* Minor (~2%) `iq2_ks` TG performance improvement on CUDA [PR 468](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F468)\n* Faster `IQ3_KT` and `IQ4_KT` [PR 453](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F453)\n* Zen4: Faster PP for `IQ2_KS, IQ4_KS, IQ5_KS` [PR 428](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F428)\n* Fast GEMM\u002FGEMV for `IQ1_S` [PR 212](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F212)\n* AVX-VNNI optimizations [PR 1446](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1446) [PR 1455](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1455) [PR 1467](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1467) [PR 1474](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1474) [PR 1482](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1482)\n\n### Features\n\n* New split mode \"graph\" for multi GPU setups [PR 1022](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1022)\n* Fused delta-net for Qwen3-Next and Qwen3.5-MoE [PR 1315](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1315) [PR 1333](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1333) [PR 1362](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1362) [PR 1373](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1373)\n* Hadamard transforms for K-cache and V-cache [PR 1033](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1033) [PR 1034](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1034) [PR 1527](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1527)\n* Auto-fit offloaded tensors to available VRAM (MoE and dense models) [PR 1501](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1501) [PR 1504](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1504)\n* Checkpoints for recurrent models [PR 1310](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1310) [PR 1398](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1398)\n* String ban function for all completions [PR 1185](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1185) [PR 1243](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1243)\n* OpenAI `\u002Fv1\u002Fresponses` API endpoint [PR 1184](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1184)\n* Function call support [PR 628](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F628)\n* jinja template support [PR 677](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F677)\n* Webui: New Features for Conversations, Settings, and Chat Messages [PR 618](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F618)\n* MTP decoding support for GLM-4.x MoE [1270](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1270)\n* Self speculative decoding, ngram [PR 1261](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1261)\n* Dynamic control vector management endpoints [PR 1223](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1223)\n* Legacy quants conversion schemes in `convert_hf_to_gguf.py` [PR 449](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F449), `Q6_0` in [PR 483](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F483)\n* Adaptive-P Sampler [PR 1100](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1100) implemented as designed by it's author; supported on Webui\n* Multi-modal Vision support in `llama-mtmd-cli` [PR 798](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F798) and in `llama-server` [PR 901](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F901)\n* mikupad as an alternative WebUI [PR 558](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F558)\n* June 8 2025: Webui updated (legacy still available when `--path .\u002Fexamples\u002Fserver\u002Fpublic_legacy` is passed) [PR 481](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F481)\n* June 8 2025: RPC improvements [PR 480](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F480)\n* June 7 2025: Add an endpoint that lists all the saved prompt caches to server [PR 502](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F502)\n* June 6 2025: Make prompt cache saving and restoring MLA aware [PR 497](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F497)\n* June 3 2025: Added samplers, XTC [PR 486](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F486), top-n σ [PR 489](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F489).\n* May 22 2025: Refactor `iqk_mul_mat.cpp` which speeds up compilation time significantly. [PR 435](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F435)\n* May 17 2025: Option to enable or disable the CPU FA kernels [PR 429](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F429).\n* May 12 2025: User can now control if\u002Fwhich operations with tensors held in RAM are offloaded to the GPU. See [PR 405](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F405) \n* May 12 2025: Compatibility issues with mainline `llama.cpp` GGUFs for DeepSeek models with MLA enabled were resolved in [PR 394](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F394). The lower prompt processing performance resulting from using `llama.cpp`-style MLA GGUFs was recovered in [PR 409](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F409).\n* April 21 2025: ik_llama.cpp builds and runs successfully on Android (using termux), see [PR 336](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F336)\n* March 1 2025: Smart Expert Reduction for faster DeepSeek inference [PR 239](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F239) \n* Feb 25 2025: Tensor overrides for better control where model weights are stored (GPU or CPU) [PR 232](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F232)\n* Feb 23 2025: `sweep-bench` - better performance benchmarking [PR 225](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F225)\n* Feb 19 2025: `Q8_KV` - new type for 8-bit KV-cache quantization [PR 208](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F208)\n* March 7 2025: Custom quantization mixes using regular expressions [PR 244](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F244)\n\n### Performance improvements\n\n* Better GPU offload strategy for MoE models when using hybrid HPU\u002FCPU inference, see [PR 520](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F520)\n* Much faster rng sampling [PR 1187](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1187)\n* May 13 2025: Better CPU FA performance for DeepSeek-Lite. [PR 410](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F410)\n* May 11 2025: Slightly faster flash attention for DeepSeek models on CUDA, along with extending compatibility to Touring or newer GPUs. [PR 408](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F408)\n* May 4 2025: Significant token generation performance improvement on CUDA with Flash Attention for GQA models. For details and benchmarks. [PR 370](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F370) \n* April 17 2025: Better CPU Flash Attention token generation performance. [PR 332](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F332)\n* April 3 2025: Much faster MoE implementation on Metal. [PR 307](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F307) \n* March 25 2025: Better MoE performance on CUDA [PR 283](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F283)\n* March 23 2025: Better batched processing speed for DeepSeek models [PR 282](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F282)\n* March 18 2025: Reduce compute buffer size [PR 237](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F237)\n* March 10 2025: Better TG performance for MoE models on CUDA [PR 248](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F248)\n* Feb 23 2025: Fused FFN ops for faster MoE inference [PR 229](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F229)\n\n### Flash-MLA\n\n* May 7 2025: 🚀 FlashMLA-3 for DeepSeek models on CUDA. [PR 386](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F386). Caveat: Ampere or newer Nvidia GPU required\n* March 21 2025: 🚀 FlashMLA-3: fastest CPU-only inference for DeepSeek models [PR 273](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F273)\n* March 17 2025: 🚀 FlashMLA-2 performance improvements [PR 253](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F253)\n* March 12 2025: Allow `Q8_0` KV cache with FlashMLA-2 on CUDA [PR 265](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F265)\n* March 9 2025: 🚀 FlashMLA on CUDA [PR 247](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F247)\n* March 8 2025: 🚀 Faster FlashMLA CPU implementation [PR 243](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F243)\n* March 3 2025: 🚀 Introducing FlashMLA - MLA with Flash Attention [PR 240](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F240)\n* Feb 27 2025: MLA without transposed cache [PR 235](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F235)\n* Feb 13 2025: Allow `Q8_0` quantized cache with MLA [PR 206](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F206)\n* Feb 11 2025: 🚀 Flash Attention support for DeepSeek models [PR 200](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F200)\n* Feb 9 2025: 🚀 MLA for DeepSeek models [PR 188](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F188)\n\n### Fixes\n\n* Fix bug in MMVQ kernel [PR 446](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F446)\n* Fix AVX2 implementation of `IQ4_K, IQ4_KS, IQ5_K, IQ6_K` [PR 427](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F427) \n* Fix standard attention on the CPU [PR 421](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F421) \n* Fix imatrix calculation for MLA models [PR 411](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F411)\n* Fix new CUDA FA on Touring [PR 413](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F413)\n* Fix SER. CPU: [PR 415](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F415) CUDA: [PR 416](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F416)\n\n## Resources\n\nThere is no single point of reference describing all new `ik_llama.cpp` features. Pull requests often contain detailed information, so browsing the PRs is often the best way to learn about new features and how to use them. In addition\n* [The Wiki page](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fwiki) has performance comparisons to mainline `llama.cpp`\n* [This guide](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F258) is a good place to start if you came here because of DeepSeek models\n* [This discussion](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F266) is about running DeepSeek-V3\u002FR1 on a 16 x 3090 setup\n* [This discussion](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F8) describes the new quantization types available in `ik_llama.cpp`\n\n## Testing\n\n### Function Calls Tests\n\nTo run the function calls test suite:\n\n```bash\ncd build\ncmake --build . --target test-function-calls\n.\u002Fbin\u002Ftest-function-calls\n```\n\nThe test suite covers parser functionality, streaming, error handling, content cleaning, and server integration. All tests should pass to ensure production readiness.\n\n## Contributing\n\nContributions in form of pull requests, issue submissions (bug reports, feature requests), or general discussions, are welcome.\n\n## License\n\n- [subprocess.h](https:\u002F\u002Fgithub.com\u002Fsheredom\u002Fsubprocess.h) - Single-header process launching solution for C and C++ - Public domain\n- [server](example\u002Fserver\u002FREADME.md)\n- [GBNF grammars](grammars\u002FREADME.md)\n\n#### Development documentation\n\n- [How to build](docs\u002Fbuild.md)\n- [Running on Docker](docs\u002Fdocker.md)\n- [Performance troubleshooting](docs\u002Fdevelopment\u002Ftoken_generation_performance_tips.md)\n- [GGML tips & tricks](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fwiki\u002FGGML-Tips-&-Tricks)\n\n#### Seminal papers and background on the models\n\nIf your issue is with model generation quality, then please at least scan the following links and papers to understand the limitations of LLaMA models. This is especially important when choosing an appropriate model size and appreciating both the significant and subtle differences between LLaMA models and ChatGPT:\n- LLaMA:\n    - [Introducing LLaMA: A foundational, 65-billion-parameter large language model](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Flarge-language-model-llama-meta-ai\u002F)\n    - [LLaMA: Open and Efficient Foundation Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971)\n- GPT-3\n    - [Language Models are Few-Shot Learners](https:\u002F\u002Farxiv.org\u002Fabs\u002F2005.14165)\n- GPT-3.5 \u002F InstructGPT \u002F ChatGPT:\n    - [Aligning language models to follow instructions](https:\u002F\u002Fopenai.com\u002Fresearch\u002Finstruction-following)\n    - [Training language models to follow instructions with human feedback](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.02155)\n\n## Completions\nCommand-line completion is available for some environments.\n\n#### Bash Completion\n```bash\n$ build\u002Fbin\u002Fllama-cli --completion-bash > ~\u002F.llama-completion.bash\n$ source ~\u002F.llama-completion.bash\n```\nOptionally this can be added to your `.bashrc` or `.bash_profile` to load it\nautomatically. For example:\n```console\n$ echo \"source ~\u002F.llama-completion.bash\" >> ~\u002F.bashrc\n```\n\n## Dependencies\n\n- [yhirose\u002Fcpp-httplib](https:\u002F\u002Fgithub.com\u002Fyhirose\u002Fcpp-httplib) - Single-header HTTP server, used by `llama-server` - MIT license\n- [stb-image](https:\u002F\u002Fgithub.com\u002Fnothings\u002Fstb) - Single-header image format decoder, used by multimodal subsystem - Public domain\n- [nlohmann\u002Fjson](https:\u002F\u002Fgithub.com\u002Fnlohmann\u002Fjson) - Single-header JSON library, used by various tools\u002Fexamples - MIT License\n- [miniaudio.h](https:\u002F\u002Fgithub.com\u002Fmackron\u002Fminiaudio) - Single-header audio format decoder, used by multimodal subsystem - Public domain\n- [subprocess.h](https:\u002F\u002Fgithub.com\u002Fsheredom\u002Fsubprocess.h) - Single-header process launching solution for C and C++ - Public domain\n","# ik_llama.cpp：具有更好CPU性能的llama.cpp分支\n\n[![许可证：MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-blue.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\n## 简要说明\n\n本仓库是[llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)的一个分支，针对CPU及混合GPU\u002FCPU推理进行了优化，支持新的SOTA量化类型、一流的Bitnet模型、通过MLA、FlashMLA、融合MoE操作和张量覆盖实现更好的DeepSeek性能，以及行交错量化打包等功能。\n\n>[!注意]\n>目前唯一完全可用且性能良好的计算后端是CPU（`AVX2`或更高版本，`ARM_NEON`或更高版本）和CUDA（Turing架构或更高版本）。 \n>请勿提交与ROCm、Vulkan、Metal、旧款Nvidia显卡、`AVX` CPU等相关的问题。除非您亲自参与并帮助提升您偏好的后端性能，否则这些问题将不会得到解决。鉴于当前的主要贡献者数量有限，本项目没有足够的资源来维护`llama.cpp`中所有可用的后端。\n\n>[!重要提示]\n>请勿使用Unsloth发布的名称中带有 `_XL` 的量化模型。这些模型很可能无法在 `ik_llama.cpp` 中正常工作。\n>\n>上述内容引发了一些讨论，特此澄清：可能不兼容的Unsloth `_XL` 模型是指那些包含 `f16` 张量的模型（这本身并不是一个好主意）。其他模型则没有问题。\n\n>[!注意]\n>部分用户报告了图并行模式（即分片模式 `graph`）和部分GPU卸载（使用 `--cpu-moe` 或 `--n-cpu-moe` 选项或张量覆盖）时出现的问题。如果您正在使用或希望使用分片模式图，并观察到乱码或不连贯的响应，请尝试在命令行中添加 `-cuda graphs=0`。\n\n## 快速入门\n\n### 前置条件\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\n\ncd ik_llama.cpp\n```\n\n在Debian\u002FUbuntu Linux系统上，安装所需软件包（如果使用其他Linux发行版，请找到相应的软件包并进行适配）：\n\n```\napt-get update && apt-get install build-essential git libcurl4-openssl-dev curl libgomp1 cmake\n```\n\n### 为CPU构建\n\n```\ncmake -B build -DGGML_NATIVE=ON\n\ncmake --build build --config Release -j$(nproc)\n```\n\n### 为GPU构建\n\n请先安装Nvidia驱动程序和[NVIDIA CUDA工具包](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda\u002Ftoolkit)。\n\n```\ncmake -B build -DGGML_NATIVE=ON -DGGML_CUDA=ON\n\ncmake --build build --config Release -j$(nproc)\n```\n\n### Windows成功构建的逐步指南\nhttps:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fblob\u002Fmain\u002Fdocs\u002Fbuild.md\n\n### 运行\n\n下载 `.gguf` 模型文件（例如 [bartowski\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf](https:\u002F\u002Fhuggingface.co\u002Fbartowski\u002FQwen_Qwen3-0.6B-GGUF\u002Fblob\u002Fmain\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf)）到您喜欢的目录中（例如 `\u002Fmy_local_files\u002Fgguf`）。\n\n使用以下命令之一启动服务器（CPU或GPU）：\n\n```\n.\u002Fbuild\u002Fbin\u002Fllama-server --model \u002Fmy_local_files\u002Fgguf\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096\n```\n\n```\n.\u002Fbuild\u002Fbin\u002Fllama-server --model \u002Fmy_local_files\u002Fgguf\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096 -ngl 999\n```\n\n就完成了！在浏览器中打开 [http:\u002F\u002F127.0.0.1:8080](http:\u002F\u002F127.0.0.1:8080)，即可开始聊天。\n\n### 在podman\u002Fdocker容器中运行ik_llama.cpp的逐步指南（包括llama-swap）\n[步骤指南](.\u002Fdocker\u002FREADME.md)\n\n### 常用参数与选项\n[文档链接](.\u002Fdocs\u002Fparameters.md)\n\n## 最新消息\n\n\n### 模型支持\n\nLlaMA-3-Nemotron [PR 377](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F377), Qwen3 [PR 355](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F355), GLM-4 [PR 344](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F344), Command-A [PR 341](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F341), bitnet-b1.58-2B-4T [PR 337](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F337), LLaMA-4 [PR 321](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F321), Gemma3 [PR 276](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F276), DeepSeek-V3 [PR 176](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F176), Kimi-2 [PR 609](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F609), dots.llm1 [PR 573](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F573), Hunyuan [PR 565](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F565), GLM-4.5 [PR 668](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F668)（4.5\u002F4.6\u002F4.7\u002FAIR），Ernie 4.5 MOE和0.3B [PR 759](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F759), grok-2 [PR 782](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F782), Ling\u002FRing (Bailing-MoE2) [PR 833](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F833), Qwen3-VL [PR 883](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F883), SmolLM3 [PR 934](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F934), GigaChat3 [PR 995](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F995), ministral3 [PR 1030](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1030), Mimo-V2-Flash [PR 1096](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1096), GLM-4.7-Flash [PR 1168](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1168), Seed-OSS [PR 1218](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1218), Step-3.5-Flash [PR 1231](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1231), GLM-5 [PR 1268](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1268), Qwen3-Next [PR 1266](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1266), Qwen3.5-MoE [PR 1288](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1288)以及稠密版Qwen-3.5 [1326](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1326), Mistral 4 [PR 1450](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1450), Bonsai 1-bit [PR 1570](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1570), Gemma4 [PR 1581](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1581)\n\n### 量化\n\n#### 量化新增内容\n\n##### 格状量化（`IQ1_KT`、`IQ2_KT`、`IQ3_KT`、`IQ4_KT`）\n\n相关信息及原始 CUDA 实现参见 [PR 113](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F113)。其他实现：Metal [PR 475](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F475)、Neon [PR 471](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F471)、CPU [PR 441](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F441)。`IQ1_KT` 是近期在 [PR 616](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F616) 中添加的。注意：这些量化方法基于一种新颖的整数基格状量化方案，能够在 CPU 上获得较为理想的性能，详情请参阅 [PR 529](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F529) 及其中引用的相关 PR。\n\n##### IQK 量化\n\n相关信息可在 [讨论 8](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F8) 中找到。\n\n初始实现（Zen4、AVX2、NEON）：`IQ5_KS_R4` [PR 426](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F426)、`IQ5_KS` [PR 422](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F422)、`IQ4_KS_R4` [PR 150](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F150)、`IQ5_K_R4` [PR 149](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F149)、`IQ2_K_R4` [PR 146](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F146)、`IQ3_K_R4` [PR 145](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F145)、`IQ4_K_R4` [PR 138](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F138)、`IQ4_KSS` [PR 89](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F89)、`IQ2_KS` [PR 85](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F85)、`IQ4_KS` [PR 83](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F83)、`IQ6_K` [PR 14](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F14)、`IQ2_K、IQ3_K 和 IQ5_K` [PR 7](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F7)、`IQ4_K` [PR 6](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F6)。\n\nCUDA 实现：`IQ4_KS_R4` 和 `IQ5_KS_R4` [PR 493](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F493)、`IQ1_S_R4` [PR 492](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F492)、`IQ1_M_R4` [PR 494](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F494)。`IQ4_KS_R4` 和 `IQ5_KS_R4` [PR 462](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F462)、`IQ2_K_R4`、`IQ3_K_R4`、`IQ4_K_R4`、`IQ5_K_R4` [PR 461](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F461)、`IQ4_K、IQ5_K、IQ6_K` [PR 417](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F417)、`IQ2_KS、IQ2_K、IQ3_K` [PR 418](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F417)。\n\n`IQ2_KL` 是近期在 [PR 602](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F602) 中新增的。\n\n##### K 缓存的哈达玛变换\n\nCPU [PR 1033](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1033) 和 CUDA [PR 1034](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1034)。\n\n##### V 缓存的哈达玛变换\n\n[PR 1527](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1527)。\n\n##### gpt-oss 模型中使用的 MXFP4\n\n已在 Zen4、AVX2、ARM_NEON、Metal 和 CUDA 平台上实现 [PR 682](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F682)。\n\n#### 量化改进\n\n* `IQ1_M` [PR 327](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F327)、`IQ2_XS` [PR 312](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F312)、`Q2_K、Q4_K、Q5_K、Q4_1、Q5_1` [PR 302](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F302)、`Q4_0、Q5_0、Q6_0、Q3_K、Q6_K、IQ4_XS、IQ4_NL` [PR 295](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F295)。\n* 低困惑度 `Q4_0` KV 缓存 [PR 1547](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1547) [PR 1556](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1556)。\n\n#### 量化性能提升\n\n* 所有非交错量化类型的 CPU 提示处理速度大幅提升。最初的想法见 [PR 515](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F515) 和 [PR 531](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F531)，随后有多项 PR 将其应用于三种支持的 CPU 平台上的所有量化类型。\n* 所有量化类型现在都配备了量化矩阵乘法的 CUDA 内核，详情参见 [PR 557](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F515) 及其他若干 PR。\n* 格状量化和 MoE 模型的 CPU 提示处理速度进一步提升。[PR 488](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F488)。\n* 格状量化：CPU 提示处理速度更快 [PR 482](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F482)。\n* CUDA 上 `iq2_ks` 的 TG 性能小幅提升（约 2%）[PR 468](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F468)。\n* `IQ3_KT` 和 `IQ4_KT` 处理速度更快 [PR 453](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F453)。\n* Zen4：`IQ2_KS、IQ4_KS、IQ5_KS` 的 PP 处理速度更快 [PR 428](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F428)。\n* `IQ1_S` 的 GEMM\u002FGEMV 加速 [PR 212](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F212)。\n* AVX-VNNI 优化 [PR 1446](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1446)、[PR 1455](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1455)、[PR 1467](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1467)、[PR 1474](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1474)、[PR 1482](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1482)。\n\n### 功能特性\n\n* 新增多 GPU 设置下的“graph”拆分模式 [PR 1022](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1022)\n* 针对 Qwen3-Next 和 Qwen3.5-MoE 的融合 delta-net [PR 1315](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1315) [PR 1333](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1333) [PR 1362](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1362) [PR 1373](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1373)\n* K 缓存和 V 缓存的 Hadamard 变换 [PR 1033](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1033) [PR 1034](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1034) [PR 1527](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1527)\n* 自动调整卸载张量以适应可用显存（MoE 和密集模型）[PR 1501](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1501) [PR 1504](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1504)\n* 循环模型的检查点 [PR 1310](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1310) [PR 1398](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1398)\n* 用于所有补全的字符串屏蔽功能 [PR 1185](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1185) [PR 1243](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1243)\n* OpenAI `\u002Fv1\u002Fresponses` API 端点 [PR 1184](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1184)\n* 函数调用支持 [PR 628](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F628)\n* Jinja 模板支持 [PR 677](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F677)\n* WebUI：对话、设置和聊天消息的新功能 [PR 618](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F618)\n* GLM-4.x MoE 的 MTP 解码支持 [PR 1270](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1270)\n* 自我推测解码，n 元语法 [PR 1261](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1261)\n* 动态控制向量管理端点 [PR 1223](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1223)\n* `convert_hf_to_gguf.py` 中的旧版量化转换方案 [PR 449](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F449)，以及 [PR 483](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F483) 中的 `Q6_0`\n* Adaptive-P 采样器 [PR 1100](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1100)，由其作者按设计实现；WebUI 支持\n* `llama-mtmd-cli` 中的多模态视觉支持 [PR 798](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F798) 和 `llama-server` 中的多模态支持 [PR 901](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F901)\n* mikupad 作为替代 WebUI [PR 558](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F558)\n* 2025 年 6 月 8 日：WebUI 更新（当传递 `--path .\u002Fexamples\u002Fserver\u002Fpublic_legacy` 时，仍可使用旧版）[PR 481](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F481)\n* 2025 年 6 月 8 日：RPC 改进 [PR 480](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F480)\n* 2025 年 6 月 7 日：为服务器添加一个列出所有已保存提示缓存的端点 [PR 502](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F502)\n* 2025 年 6 月 6 日：使提示缓存的保存和恢复具备 MLA 意识 [PR 497](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F497)\n* 2025 年 6 月 3 日：新增采样器，XTC [PR 486](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F486)，top-n σ [PR 489](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F489)。\n* 2025 年 5 月 22 日：重构 `iqk_mul_mat.cpp`，显著加快编译速度。[PR 435](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F435)\n* 2025 年 5 月 17 日：可选择启用或禁用 CPU FA 核心 [PR 429](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F429)。\n* 2025 年 5 月 12 日：用户现在可以控制是否或将 RAM 中的哪些张量操作卸载到 GPU。详见 [PR 405](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F405)\n* 2025 年 5 月 12 日：在 [PR 394](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F394) 中解决了启用 MLA 的 DeepSeek 模型与主干 `llama.cpp` GGUF 文件之间的兼容性问题。由于使用 `llama.cpp` 风格的 MLA GGUF 文件导致的较低提示处理性能，在 [PR 409](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F409) 中得以恢复。\n* 2025 年 4 月 21 日：ik_llama.cpp 在 Android 上成功构建并运行（使用 Termux），详见 [PR 336](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F336)\n* 2025 年 3 月 1 日：智能专家约简，加速 DeepSeek 推理 [PR 239](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F239)\n* 2025 年 2 月 25 日：张量覆盖，更好地控制模型权重存储位置（GPU 或 CPU）[PR 232](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F232)\n* 2025 年 2 月 23 日：`sweep-bench`——更优的性能基准测试 [PR 225](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F225)\n* 2025 年 2 月 19 日：`Q8_KV`——一种新的 8 位 KV 缓存量化类型 [PR 208](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F208)\n* 2025 年 3 月 7 日：使用正则表达式自定义量化组合 [PR 244](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F244)\n\n### 性能改进\n\n* 使用混合 HPU\u002FCPU 推理时，MoE 模型的更好 GPU 卸载策略，详见 [PR 520](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F520)\n* 更快的随机数采样 [PR 1187](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F1187)\n* 2025 年 5 月 13 日：DeepSeek-Lite 的 CPU FA 性能提升。[PR 410](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F410)\n* 2025 年 5 月 11 日：CUDA 上 DeepSeek 模型的 Flash Attention 略有提速，并将兼容性扩展至 Turing 或更新的 GPU。[PR 408](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F408)\n* 2025 年 5 月 4 日：在 CUDA 上使用 Flash Attention 时，GQA 模型的标记生成性能显著提升。详情及基准测试见 [PR 370](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F370) \n* 2025 年 4 月 17 日：CPU Flash Attention 标记生成性能提升。[PR 332](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F332)\n* 2025 年 4 月 3 日：Metal 上的 MoE 实现速度大幅提升。[PR 307](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F307) \n* 2025 年 3 月 25 日：CUDA 上的 MoE 性能提升 [PR 283](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F283)\n* 2025 年 3 月 23 日：DeepSeek 模型的批处理速度提升 [PR 282](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F282)\n* 2025 年 3 月 18 日：减少计算缓冲区大小 [PR 237](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F237)\n* 2025 年 3 月 10 日：CUDA 上 MoE 模型的 TG 性能提升 [PR 248](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F248)\n* 2025 年 2 月 23 日：融合 FFN 操作，加速 MoE 推理 [PR 229](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F229)\n\n### Flash-MLA\n\n* 2025年5月7日：🚀 在CUDA上为DeepSeek模型推出FlashMLA-3。[PR 386](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F386) 注意事项：需要Ampere或更新的Nvidia GPU。\n* 2025年3月21日：🚀 FlashMLA-3：为DeepSeek模型提供最快的纯CPU推理性能 [PR 273](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F273)\n* 2025年3月17日：🚀 FlashMLA-2性能改进 [PR 253](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F253)\n* 2025年3月12日：允许在CUDA上使用FlashMLA-2时启用`Q8_0` KV缓存 [PR 265](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F265)\n* 2025年3月9日：🚀 在CUDA上实现FlashMLA [PR 247](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F247)\n* 2025年3月8日：🚀 更快的FlashMLA CPU实现 [PR 243](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F243)\n* 2025年3月3日：🚀 引入FlashMLA——结合Flash Attention的MLA [PR 240](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F240)\n* 2025年2月27日：无需转置缓存的MLA [PR 235](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F235)\n* 2025年2月13日：允许MLA使用`Q8_0`量化缓存 [PR 206](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F206)\n* 2025年2月11日：🚀 DeepSeek模型支持Flash Attention [PR 200](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F200)\n* 2025年2月9日：🚀 DeepSeek模型的MLA [PR 188](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F188)\n\n### 修复\n\n* 修复MMVQ内核中的错误 [PR 446](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F446)\n* 修复AVX2对`IQ4_K、IQ4_KS、IQ5_K、IQ6_K`的实现 [PR 427](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F427)\n* 修复CPU上的标准注意力机制 [PR 421](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F421)\n* 修复MLA模型的imatrix计算 [PR 411](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F411)\n* 修复Touring架构上的新CUDA FA [PR 413](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F413)\n* 修复SER问题。CPU版：[PR 415](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F415)，CUDA版：[PR 416](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fpull\u002F416)\n\n## 资源\n\n目前没有一个统一的参考文档能够全面描述`ik_llama.cpp`的所有新特性。Pull请求通常包含详细信息，因此浏览这些PR往往是了解新功能及其使用方法的最佳途径。此外：\n* [维基页面](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fwiki)提供了与主线`llama.cpp`的性能对比；\n* [本指南](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F258)是如果你因为DeepSeek模型而来到这里的好起点；\n* [此讨论](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F266)讨论的是如何在16张3090显卡的配置上运行DeepSeek-V3\u002FR1；\n* [此讨论](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fdiscussions\u002F8)介绍了`ik_llama.cpp`中可用的新量化类型。\n\n## 测试\n\n### 函数调用测试\n\n要运行函数调用测试套件：\n\n```bash\ncd build\ncmake --build . --target test-function-calls\n.\u002Fbin\u002Ftest-function-calls\n```\n\n该测试套件涵盖了解析器功能、流式传输、错误处理、内容清理以及服务器集成等方面。所有测试都应通过，以确保产品已准备好投入生产。\n\n## 贡献\n\n欢迎以pull请求、提交问题（包括bug报告和功能请求）或一般讨论的形式进行贡献。\n\n## 许可证\n\n- [subprocess.h](https:\u002F\u002Fgithub.com\u002Fsheredom\u002Fsubprocess.h) —— C和C++的单头进程启动解决方案 —— 公有领域\n- [server](example\u002Fserver\u002FREADME.md)\n- [GBNF语法](grammars\u002FREADME.md)\n\n#### 开发文档\n\n- [如何构建](docs\u002Fbuild.md)\n- [在Docker上运行](docs\u002Fdocker.md)\n- [性能故障排除](docs\u002Fdevelopment\u002Ftoken_generation_performance_tips.md)\n- [GGML技巧与窍门](https:\u002F\u002Fgithub.com\u002Fggml-org\u002Fllama.cpp\u002Fwiki\u002FGGML-Tips-&-Tricks)\n\n#### 基础论文及模型背景\n\n如果你的问题与模型生成质量有关，请至少浏览以下链接和论文，以了解LLaMA模型的局限性。这一点在选择合适的模型规模以及理解LLaMA模型与ChatGPT之间的重要和细微差异时尤为重要：\n- LLaMA：\n    - [介绍LLaMA：一个基础性的650亿参数大型语言模型](https:\u002F\u002Fai.facebook.com\u002Fblog\u002Flarge-language-model-llama-meta-ai\u002F)\n    - [LLaMA：开放且高效的底层语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.13971)\n- GPT-3\n    - [语言模型是少样本学习者](https:\u002F\u002Farxiv.org\u002Fabs\u002F2005.14165)\n- GPT-3.5 \u002F InstructGPT \u002F ChatGPT：\n    - [使语言模型遵循指令](https:\u002F\u002Fopenai.com\u002Fresearch\u002Finstruction-following)\n    - [通过人类反馈训练语言模型遵循指令](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.02155)\n\n## 补全功能\n部分环境下支持命令行补全。\n\n#### Bash补全\n```bash\n$ build\u002Fbin\u002Fllama-cli --completion-bash > ~\u002F.llama-completion.bash\n$ source ~\u002F.llama-completion.bash\n```\n你也可以将其添加到`.bashrc`或`.bash_profile`中，以便自动加载。例如：\n```console\n$ echo \"source ~\u002F.llama-completion.bash\" >> ~\u002F.bashrc\n```\n\n## 依赖项\n\n- [yhirose\u002Fcpp-httplib](https:\u002F\u002Fgithub.com\u002Fyhirose\u002Fcpp-httplib) —— 单头HTTP服务器，由`llama-server`使用 —— MIT许可证\n- [stb-image](https:\u002F\u002Fgithub.com\u002Fnothings\u002Fstb) —— 单头图像格式解码器，用于多模态子系统 —— 公有领域\n- [nlohmann\u002Fjson](https:\u002F\u002Fgithub.com\u002Fnlohmann\u002Fjson) —— 单头JSON库，被各种工具和示例使用 —— MIT许可证\n- [miniaudio.h](https:\u002F\u002Fgithub.com\u002Fmackron\u002Fminiaudio) —— 单头音频格式解码器，用于多模态子系统 —— 公有领域\n- [subprocess.h](https:\u002F\u002Fgithub.com\u002Fsheredom\u002Fsubprocess.h) —— C和C++的单头进程启动解决方案 —— 公有领域","# ik_llama.cpp 快速上手指南\n\n`ik_llama.cpp` 是 `llama.cpp` 的高性能分支，专注于提升 CPU 及混合 GPU\u002FCPU 推理速度。它支持最新的量化格式（如 IQK、Trellis）、Bitnet 模型、DeepSeek MLA 架构以及多种最新大模型（如 Qwen3、GLM-4、Llama-3-Nemotron 等）。\n\n> **注意**：本项目主要优化了 **CPU (AVX2\u002FARM_NEON)** 和 **CUDA (Turing 架构及以上)** 后端。暂不建议在 ROCm、Vulkan、Metal 或旧款硬件上尝试，除非您愿意自行贡献代码进行适配。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Debian\u002FUbuntu), Windows, macOS\n- **CPU**: 支持 AVX2 (x86) 或 NEON (ARM) 指令集\n- **GPU (可选)**: NVIDIA GPU (Turing 架构或更新，如 RTX 20 系列及以上)，需安装 CUDA Toolkit\n- **内存**: 根据模型大小而定，建议至少 8GB\n\n### 前置依赖\n在 Debian\u002FUbuntu 系统上，运行以下命令安装构建工具：\n\n```bash\napt-get update && apt-get install build-essential git libcurl4-openssl-dev curl libgomp1 cmake\n```\n\n*注：国内用户可使用清华或阿里镜像源加速 `apt` 更新。*\n\n## 2. 安装步骤\n\n### 第一步：克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\ncd ik_llama.cpp\n```\n\n### 第二步：编译构建\n\n#### 方案 A：仅 CPU 版本\n适用于无独立显卡或仅需 CPU 推理的场景。\n\n```bash\ncmake -B build -DGGML_NATIVE=ON\ncmake --build build --config Release -j$(nproc)\n```\n\n#### 方案 B：GPU 加速版本 (CUDA)\n需先安装 [NVIDIA 驱动](https:\u002F\u002Fwww.nvidia.cn\u002Fdrivers\u002F) 和 [CUDA Toolkit](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-toolkit)。\n\n```bash\ncmake -B build -DGGML_NATIVE=ON -DGGML_CUDA=ON\ncmake --build build --config Release -j$(nproc)\n```\n\n*Windows 用户若遇到构建问题，可参考项目文档中的 [Windows 构建指南](https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fblob\u002Fmain\u002Fdocs\u002Fbuild.md)。*\n\n## 3. 基本使用\n\n### 下载模型\n从 HuggingFace 下载 `.gguf` 格式的模型文件。\n示例：下载 Qwen3-0.6B 模型到本地目录 `\u002Fmy_local_files\u002Fgguf`。\n\n> **提示**：请勿使用名称中包含 `_XL` 的 Unsloth 量化模型（通常包含 f16 张量），这些模型可能无法在此项目中正常运行。\n\n### 启动服务\n\n#### 模式一：CPU 推理\n```bash\n.\u002Fbuild\u002Fbin\u002Fllama-server --model \u002Fmy_local_files\u002Fgguf\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096\n```\n\n#### 模式二：GPU 加速推理\n使用 `-ngl 999` 参数将尽可能多的层卸载到 GPU。\n\n```bash\n.\u002Fbuild\u002Fbin\u002Fllama-server --model \u002Fmy_local_files\u002Fgguf\u002FQwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096 -ngl 999\n```\n\n> **故障排除**：如果您使用了多卡分割模式（graph split mode）或部分 GPU 卸载，且发现输出乱码，请尝试在命令中添加 `-cuda graphs=0`。\n\n### 开始对话\n终端显示服务启动后，打开浏览器访问：\n[http:\u002F\u002F127.0.0.1:8080](http:\u002F\u002F127.0.0.1:8080)\n\n即可在网页界面中与模型进行对话。","某独立开发者试图在仅配备 RTX 3060 显卡和主流 CPU 的工作站上，本地部署并运行最新的 DeepSeek-V3 或 Qwen3 大模型以构建离线知识库助手。\n\n### 没有 ik_llama.cpp 时\n- **推理速度缓慢**：原生 llama.cpp 对混合专家模型（MoE）和新型架构优化不足，导致生成令牌速度极低，用户等待时间过长，无法流畅对话。\n- **显存与内存瓶颈**：缺乏高效的行交错量化打包技术，使得加载高精度模型时显存占用过高，被迫降低上下文长度或改用效果较差的低比特量化。\n- **硬件利用率低**：在 GPU 显存不足以容纳全部模型层时，CPU 与 GPU 的协同推理效率低下，数据交换成为严重瓶颈，甚至出现响应乱码。\n- **新模型支持滞后**：对于 Bitnet 架构或最新的 MLA 注意力机制支持不完善，导致无法直接运行社区最新发布的 SOTA 模型文件。\n\n### 使用 ik_llama.cpp 后\n- **性能显著提升**：利用融合的 MoE 操作和 FlashMLA 技术，大幅提升了 DeepSeek 等模型的 CPU 及混合推理速度，实现了接近实时的交互体验。\n- **资源占用优化**：借助先进的 SOTA 量化类型和行交错打包，在同等显存下可加载更大参数量的模型或更长的上下文窗口，且精度损失更小。\n- **混合推理稳定高效**：通过张量覆盖（tensor overrides）和优化的混合后端调度，完美解决了部分图层卸载到 CPU 时的性能断崖问题，确保输出连贯稳定。\n- **前沿模型即插即用**：原生支持 LLaMA-4、Qwen3、Bitnet 等最新架构，无需等待主分支更新即可直接运行社区最新的高性能量化模型文件。\n\nik_llama.cpp 通过深度优化底层算子与量化策略，让消费级硬件也能高效、流畅地运行最前沿的大语言模型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikawrakow_ik_llama.cpp_371b1bbc.png","ikawrakow","Kawrakow","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fikawrakow_4610ec54.jpg",null,"Gentleman at large","Italy & Bulgaria","iwankawrakow@gmail.com","https:\u002F\u002Fgithub.com\u002Fikawrakow",[81,85,89,93,97,101,105,109,113,117],{"name":82,"color":83,"percentage":84},"C++","#f34b7d",58.8,{"name":86,"color":87,"percentage":88},"C","#555555",14.5,{"name":90,"color":91,"percentage":92},"Cuda","#3A4E3A",13.5,{"name":94,"color":95,"percentage":96},"Python","#3572A5",5.1,{"name":98,"color":99,"percentage":100},"Metal","#8f14e9",2.8,{"name":102,"color":103,"percentage":104},"Objective-C","#438eff",1.9,{"name":106,"color":107,"percentage":108},"Jinja","#a52a22",1.3,{"name":110,"color":111,"percentage":112},"CMake","#DA3434",0.8,{"name":114,"color":115,"percentage":116},"Shell","#89e051",0.7,{"name":118,"color":119,"percentage":120},"Makefile","#427819",0.4,2018,256,"2026-04-10T16:23:03","MIT",4,"Linux, Windows","非必需。若使用 GPU，仅限 NVIDIA (Turing 架构或更新)，需安装 CUDA Toolkit。不支持 ROCm, Vulkan, Metal 或旧款 NVIDIA GPU。","未说明 (取决于加载的模型大小)",{"notes":130,"python":131,"dependencies":132},"1. CPU 后端必须支持 AVX2 或 ARM_NEON 指令集及以上，不支持仅支持 AVX 的旧 CPU。\n2. 请勿使用名称中包含 '_XL' 的 Unsloth 量化模型（特别是包含 f16 张量的模型），否则可能无法运行。\n3. 若在混合 GPU\u002FCPU 模式下遇到输出乱码，建议添加启动参数 '-cuda graphs=0'。\n4. Windows 用户需参考官方文档进行逐步构建。","未说明 (基于 C++ 构建，无需 Python 运行环境)",[133,134,135,136,137,138,139,140],"build-essential","git","libcurl4-openssl-dev","curl","libgomp1","cmake","NVIDIA Drivers","CUDA Toolkit",[35,14],"2026-03-27T02:49:30.150509","2026-04-11T08:11:51.814485",[145,150,155,160,164,168],{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},29045,"GLM-4.6 模型输出乱码或重复，如何解决？","如果在运行 GLM-4.6 或 GLM-4.5-Air 模型时遇到输出全是空格、标点符号或迅速陷入重复的问题，这通常与 RoPE Cache 有关。解决方法是在启动命令中添加 `--no-rope-cache` 参数来禁用该功能。维护者指出，启用或禁用 rcache 不应显著影响困惑度（PPL），如果开启后模型完全无法工作，说明当前设置下该功能存在兼容性问题。","https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fissues\u002F893",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},29046,"遇到 'CUDA error: an illegal memory access was encountered' 错误怎么办？","该错误通常由矩阵 - 向量乘法内核（MMVQ kernel）中的 bug 引起，特别是在处理的行数为 2 或 3 时触发。此问题已在 PR #442 中修复。如果您遇到此错误，请确保您的代码版本包含了该修复补丁（具体提交为 b79be8a）。维护者确认，仅应用修复 MMVQ 内核的提交即可解决问题，无需其他更改。","https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fissues\u002F425",{"id":156,"question_zh":157,"answer_zh":158,"source_url":159},29047,"如何在 Roo Code 中配置 Kimi-K2-Thinking 模型的原生工具调用？","要在 Roo Code 中成功使用 Kimi-K2-Thinking 的原生工具调用，需执行以下步骤：\n1. 克隆仓库并应用相关补丁（现已合并至主线）。\n2. 构建 Windows 版本的 ik_llamacpp。\n3. 使用特定参数启动服务器，关键参数包括 `--jinja`、`--chat-template-file`（指向 Kimi-K2-Thinking.jinja 模板）以及 `-ot exps=CPU` 等。示例命令：\n`llama-server.exe -m \u003C模型路径> --port 11434 --host 0.0.0.0 --ctx-size 131072 --temp 1.0 --min-p 0.01 --jinja --numa distribute --threads 96 -ctk q8_0 -ctv q8_0 -amb 512 -mla 3 -ngl 99 -ot exps=CPU --parallel 1 --timeout 3600 -cram -1 -rtr -gr -b 2048 -ub 2048 --chat-template-file \u003C模板路径>`\n4. 更新 Roo Code 插件，重启 VSCode，在提供者选项卡中重置设置，并启用该提供者的原生工具调用功能。","https:\u002F\u002Fgithub.com\u002Fikawrakow\u002Fik_llama.cpp\u002Fissues\u002F955",{"id":161,"question_zh":162,"answer_zh":163,"source_url":159},29048,"Kimi-K2-Thinking 工具调用过程中，日志显示工具描述已发送但执行失败，原因是什么？","如果日志显示客户端（如 Roo Code）已成功发送工具描述，且模型返回了包含 `tool_calls_section_begin` 令牌的响应，这表明第一阶段（传递函数描述）和第二阶段（模型决定调用函数）已完成。若此时执行失败，问题通常出在第三阶段：即客户端未能正确执行函数调用、收集结果并将其回传给模型。需要检查代理软件（如 Roo Code）是否正确处理了模型的调用请求并返回了格式正确的结果。",{"id":165,"question_zh":166,"answer_zh":167,"source_url":149},29049,"RoPE Cache 禁用后是否会影响模型的困惑度（Perplexity）？","不会。维护者明确指出，启用或禁用 RoPE Cache（rcache）不应以任何显著方式影响模型的困惑度（PPL）。如果禁用该缓存后模型从“完全损坏”变为“正常工作”，这说明在该特定硬件或模型组合下，缓存机制本身存在实现缺陷，而非精度损失导致的正常波动。",{"id":169,"question_zh":170,"answer_zh":171,"source_url":159},29050,"Kimi-K2-Thinking 模型在工具调用开始时出现特殊符号（如 '>', ':', '{'）泄露或空调用怎么办？","这是一个已知的相关问题，可能表现为工具调用开头出现异常符号或产生空调用。这通常与后端流式模式下防止特殊令牌泄露的处理逻辑有关。如果遇到此类情况，建议检查是否使用了最新的代码版本，因为社区已在类似项目（如 vllm）中提交了修复补丁（Prevent special token leakage in KimiK2ToolParser streaming mode）。在 ik_llama.cpp 中，确保使用了正确的 Jinja 模板文件也可能缓解此问题。",[173],{"id":174,"version":175,"summary_zh":176,"released_at":177},197910,"t0002","在账户解封后创建预发布版本","2025-07-22T12:24:40"]