ChatLLM.cpp

中文版

在您的计算机上（CPU与GPU），基于@ggerganov's ggml，以纯C++实现，可对从不到10亿参数到超过3000亿参数的一系列模型进行实时多模态聊天，并支持RAG。 其结果准确度甚至优于其他实现o-c-c-a-s-i-onally。

| 支持的模型 | 下载量化模型 |

graph TD;
ggml --> chatllm.cpp
chatllm.cpp --> AlphaGeometryRE
chatllm.cpp --> WritingTools
chatllm.cpp --> LittleAcademia
subgraph coding[ ]
    AlphaGeometryRE
    WritingTools
    LittleAcademia
end
ggml[<a href="https://github.com/ggml-org/ggml"                     style="text-decoration:none;">ggml</a>            <br><span style="font-size:10px;">机器学习库</span>];
chatllm.cpp[<a href="https://github.com/foldl/chatllm.cpp"          style="text-decoration:none;">chatllm.cpp</a>     <br><span style="font-size:10px;">LLM推理</span>];
AlphaGeometryRE[<a href="https://github.com/foldl/alphageometryre"  style="text-decoration:none;">AlphaGeometryRE</a> <br><span style="font-size:10px;">AlphaGeometry重新设计</span>];
WritingTools[<a href="https://github.com/foldl/WritingTools"        style="text-decoration:none;">写作工具</a>   <br><span style="font-size:10px;">AI辅助写作</span>];
LittleAcademia[<a href="https://github.com/foldl/little-academia"   style="text-decoration:none;">小学院</a> <br><span style="font-size:10px;">学习编程</span>];

最新更新：

• 2026年3月28日：InternVL3.5
• 2026年3月27日：Qianfan-OCR
• 2026年3月22日：Penguin-VL
• 2026年3月6日：Qwen3.5
• 2026年3月3日：GLM-OCR
• 2026年2月22日：Youtu-VL
• 2026年2月18日：Youtu-LLM
• 2026年2月16日：使用Qwen3-TTS进行语音克隆
• 2026年2月12日：Qwen3-TTS
• 2026年2月1日：Qwen3-ForceAligner
• 2026年1月31日：Qwen3-ASR
• 2026年1月21日：Step3-VL
• 2026年1月20日：GLM-4.7-Flash
• 2026年1月19日：TranslateGemma
• 2026年1月13日：WeDLM
• 2026年1月9日：QWen3-VL-嵌入/重排序器
• 2026年1月5日：HY-MT
• 2026年1月4日：GLM-ASR-Nano
• 2025年12月31日：Qwen3-VL
• 2025年12月24日：GLM-4.6V-Flash
• 2025年12月15日：Rnj-1
• 2025年12月8日：Ministral-3
• 2025年11月6日：Maya1
• 2025年11月3日：Ouro
• 2025年10月10日：我会画画：Janus-Pro
• 2025年6月21日：我能听：Qwen2-Audio
• 2025年5月23日：我能看：Fuyu
• 2025年5月21日：加载时重新量化（例如--re-quantize q4_k）
• 2025年5月17日：我能说话：Orpheus-TTS
• 2025年3月24日：GGMM文件格式
• 2025年2月21日：分布式推理
• 2025年2月10日：GPU加速 🔥
• 2024年12月9日：角色反转
• 2024年11月21日：持续生成
• 2024年11月1日：生成引导
• 2024年6月15日：工具调用
• 2024年5月29日：ggml被作为独立项目而非子模块
• 2024年5月14日：OpenAI API，支持CodeGemma Base与Instruct
• 2024年5月8日：层混洗

特性

• 通过int4/int8量化、优化KV缓存和并行计算，实现加速且内存高效的CPU/GPU推理；

• 使用面向对象编程解决不同基于_Transformer_模型之间的相似性问题；

• 支持打字机效果的流式生成；

• 持续聊天（内容长度几乎无限制）

  提供两种方式：重启_和_切换。详见--extending选项。

• 检索增强生成 (RAG) 🔥

• LoRA;

• 支持Python/JavaScript/C/Nim 绑定，提供Web演示及更多可能性。

快速入门

简单如main_nim -i -m :model_id。请查看。

使用方法

准备工作

将ChatLLM.cpp仓库克隆到本地：

git clone --recursive https://github.com/foldl/chatllm.cpp.git && cd chatllm.cpp

如果在克隆仓库时忘记添加--recursive标志，请在chatllm.cpp文件夹中运行以下命令：

git submodule update --init --recursive

量化模型

部分量化模型可按需下载on demand。

安装convert.py的依赖项：

pip install -r requirements.txt

使用convert.py将模型转换为量化GGML格式。例如，要将_fp16_基础模型转换为q8_0（量化int8）GGML模型，运行：

# 对于ChatLLM2-6B、InternLM、LlaMA、LlaMA-2、Baichuan-2等模型
python convert.py -i path/to/model -t q8_0 -o quantized.bin --name ModelName

# 对于CodeLlaMA等部分模型，需要通过`-a`指定模型类型
# 各模型的`-a ...`选项可在`docs/models.md`中找到。
python convert.py -i path/to/model -t q8_0 -o quantized.bin -a CodeLlaMA --name ModelName

使用--name指定模型的英文名称。也可选使用--native_name指定其他语言的名称。 使用-l指定要合并的LoRA模型路径，例如：

python convert.py -i path/to/model -l path/to/lora/model -o quantized.bin --name ModelName

注意：目前仅支持HF格式（少数例外）；生成的.bin文件格式与llama.cpp使用的(GGUF)格式不同。

构建

构建该项目有多种选择。

• 使用CMake：

  cmake -B build
  cmake --build build -j --config Release
  

  可执行文件为./build/bin/main。

  有许多GGML_...选项可供调整。例如，结合Vulkan加速、RPC以及后端动态加载：

  cmake -B build -DGGML_VULKAN=1 -DGGML_RPC=1 -DGGML_CPU_ALL_VARIANTS=1 -DGGML_BACKEND_DL=1
  

运行

现在，您可以通过运行以下命令与量化后的模型进行对话：

./build/bin/main -m llama2.bin  --seed 100                      # Llama-2-Chat-7B
# 你好！我在这里帮助您解答任何问题或疑虑……

若要以交互模式运行模型，只需添加 -i 标志。例如：

# 在 Windows 上
.\build\bin\Release\main -m model.bin -i

# 在 Linux（或 WSL）上
rlwrap ./build/bin/main -m model.bin -i

在交互模式下，您的聊天记录将作为下一轮对话的上下文。

运行 ./build/bin/main -h 可查看更多选项！

计划 Nim

所有 Python 脚本都将用 Nim 重写，但以下情况除外：

• 使用 pickle 时

致谢

• 本项目始于对 ChatGLM.cpp 的重构，若没有它，本项目根本无法实现。

• 感谢那些公开了模型源代码和检查点的开发者。

• chat_ui.html 基于 Ollama-Chat 改编而来。

注意

本项目是我学习深度学习与 GGML 的业余爱好项目，目前仍在积极开发中。我们暂不接受功能相关的 Pull Request，但非常欢迎针对 Bug 的修复 Pull Request。

chatllm.cpp 快速上手指南

环境准备

• 系统：Linux / macOS / Windows（WSL 亦可）
• 编译工具：CMake ≥ 3.15、C++17 编译器（GCC/Clang/MSVC）
• Python：≥ 3.8（仅用于模型量化）
• 可选：Vulkan SDK（GPU 加速）、NVIDIA CUDA（≥ 11.3）

安装步骤

1. 克隆源码（含子模块）

   git clone --recursive https://github.com/foldl/chatllm.cpp.git
   cd chatllm.cpp
   # 若忘记 --recursive，补执行：
   # git submodule update --init --recursive
   

2. 安装 Python 依赖（量化用）

   pip install -r requirements.txt
   

3. 编译

   cmake -B build
   cmake --build build -j --config Release
   # 可执行文件：./build/bin/main
   

   GPU 加速示例（Vulkan + RPC）

   cmake -B build -DGGML_VULKAN=1 -DGGML_RPC=1 -DGGML_CPU_ALL_VARIANTS=1 -DGGML_BACKEND_DL=1
   cmake --build build -j --config Release
   

基本使用

1. 下载量化模型（推荐直接获取社区已量化好的 .bin）

   • 参考 docs/quick_start.md#download-quantized-models

2. 自行量化模型

   # 通用示例
   python convert.py -i path/to/model -t q8_0 -o model.bin --name MyModel
   
   # 带 LoRA
   python convert.py -i path/to/model -l path/to/lora -o model.bin --name MyModel
   

3. 运行对话

   # 非交互
   ./build/bin/main -m model.bin --seed 42
   
   # 交互模式
   ./build/bin/main -m model.bin -i
   # Windows PowerShell
   .\build\bin\Release\main.exe -m model.bin -i
   

4. 一键体验（Nim 版）

   main_nim -i -m :qwen2-7b-chat-q4_k
   

至此即可在本地与 1B-300B 任意支持模型实时对话。更多参数请运行 ./build/bin/main -h。