llama.vim

本地 LLM 辅助文本补全。

填空式（FIM）补全

基于指令的编辑

https://github.com/user-attachments/assets/641a6e72-f1a2-4fe5-b0fd-c2597c6f4cdc

https://github.com/user-attachments/assets/68bff15b-2d91-4800-985d-b7f110a0ccb7

---

特性

• 在 Insert 模式下光标移动时自动提示
• 使用 Tab 接受建议
• 使用 Shift+Tab 接受建议的第一行
• 使用 <leader>lli 进行基于指令的编辑
• 控制最大文本生成时间
• 配置光标周围上下文的范围
• 使用打开和已编辑文件以及粘贴板中的内容构建环形上下文缓冲区
• 通过智能上下文复用，即使在低端硬件上也能支持超大上下文
• 显示性能统计信息

安装

插件设置

• vim-plug

  Plug 'ggml-org/llama.vim'
  

• Vundle

  cd ~/.vim/bundle
  git clone https://github.com/ggml-org/llama.vim
  

  然后在你的 .vimrc 文件中，在 vundle#begin() 部分添加 Plugin 'llama.vim'。

• lazy.nvim

  {
      'ggml-org/llama.vim',
  }
  

插件配置

你可以通过设置 g:llama_config 变量来自定义 llama.vim。

示例：

1. 禁用内联信息：

   " 放在 llama.vim 加载之前
   let g:llama_config = { 'show_info': 0 }
   

2. 同样的操作，直接设置：

   let g:llama_config.show_info = v:false
   

3. 使用 lazy.nvim 禁用自动 FIM（填空式）补全：

   {
       'ggml-org/llama.vim',
       init = function()
           vim.g.llama_config = {
               auto_fim = false,
           }
       end,
   }
   

4. 配置 FIM 的快捷键：

   let g:llama_config.keymap_fim_trigger     = "<leader>llf"
   let g:llama_config.keymap_fim_accept_full = "<Tab>"
   let g:llama_config.keymap_fim_accept_line = "<S-Tab>"
   let g:llama_config.keymap_fim_accept_word = "<leader>ll]"
   

5. 配置基于指令的编辑快捷键：

   let g:llama_config.keymap_inst_trigger  = "<leader>lli"
   let g:llama_config.keymap_inst_retry    = "<leader>llr"
   let g:llama_config.keymap_inst_continue = "<leader>llc"
   let g:llama_config.keymap_inst_accept   = "<Tab>"
   let g:llama_config.keymap_inst_cancel   = "<Esc>"
   

请参考 :help llama_config 或 源代码 以获取完整的选项列表。

llama.cpp 设置

该插件需要一个运行中的 llama.cpp 服务器实例，监听地址为 g:llama_config.endpoint_fim 和/或 g:llama_config.endpoint_inst。

Mac OS

brew install llama.cpp

Windows

winget install llama.cpp

其他操作系统

你可以从源码编译，或者使用最新的二进制文件：https://github.com/ggml-org/llama.cpp/releases

llama.cpp 配置

以下是根据显存大小推荐的配置：

• 显存大于 64GB：

  llama-server --fim-qwen-30b-default
  

• 显存大于 16GB：

  llama-server --fim-qwen-7b-default
  

• 显存小于 16GB：

  llama-server --fim-qwen-3b-default
  

• 显存小于 8GB：

  llama-server --fim-qwen-1.5b-default
  

使用 :help llama 获取更多详细信息。

推荐的 LLM 模型

该插件需要支持 FIM 的模型：HF 集合

示例

在 M1 Pro (2021) 上使用 Qwen2.5-Coder 1.5B Q8_0 运行 llama.vim：

橙色文字是生成的建议。绿色文字显示了 FIM 请求的性能统计信息：当前使用的上下文为 15186 个 token，最大值为 32768。环形缓冲区中有 30 个包含额外上下文的块（总共 64 个）。到目前为止，当前会话中已经驱逐了 1 个块，队列中没有等待处理的块。本次请求新计算的 prompt token 数为 260，生成的 token 数为 24。在当前行输入字母 c 后，生成此建议耗时 1245 ms。

在 M2 Ultra 上使用 Qwen2.5-Coder 7B Q8_0 运行 llama.vim：

https://github.com/user-attachments/assets/1f1eb408-8ac2-4bd2-b2cf-6ab7d6816754

展示了全局上下文如何跨不同文件累积和维护，并演示了在大型代码库中工作的整体延迟。

另一个 Swift 代码的小例子：

实现细节

该插件旨在保持极简和轻量级，同时提供高质量且高效的本地 FIM 补全功能，即使在消费级硬件上也能实现。有关其实现方式的更多信息，请参阅以下链接：

• 初始实现和技术说明：https://github.com/ggml-org/llama.cpp/pull/9787
• 经典 Vim 支持：https://github.com/ggml-org/llama.cpp/pull/9995

其他 IDE

• VS Code：https://github.com/ggml-org/llama.vscode

llama.vim 快速上手指南

llama.vim 是一个轻量级的 Vim/Neovim 插件，利用本地运行的大语言模型（LLM）提供实时的代码自动补全（Fill-in-Middle, FIM）和基于指令的代码编辑功能。所有数据均在本地处理，无需联网。

环境准备

系统要求

• 操作系统: macOS, Windows, Linux
• 编辑器: Vim 或 Neovim
• 硬件: 支持本地运行 LLM 的 CPU/GPU（显存越大可加载的模型越大）
  • < 8GB VRAM: 推荐 1.5B 参数模型
  • < 16GB VRAM: 推荐 3B 参数模型

  • 16GB VRAM: 推荐 7B 参数模型

  • 64GB VRAM: 推荐 30B+ 参数模型

前置依赖

必须安装并运行 llama.cpp 服务端。

macOS:

brew install llama.cpp

Windows:

winget install llama.cpp

Linux / 其他系统: 请从官方发布页下载二进制文件或源码编译： https://github.com/ggml-org/llama.cpp/releases

注意: 国内用户若遇到 GitHub 下载慢的问题，可使用镜像站（如 mirror.ghproxy.com）加速下载二进制文件。

安装步骤

1. 配置插件管理器

根据你的插件管理器选择以下一种方式安装：

vim-plug: 在 .vimrc 中添加：

Plug 'ggml-org/llama.vim'

Vundle:

cd ~/.vim/bundle
git clone https://github.com/ggml-org/llama.vim

然后在 .vimrc 的 vundle#begin() 和 vundle#end() 之间添加：

Plugin 'llama.vim'

lazy.nvim (Neovim): 在配置文件中添加：

{
    'ggml-org/llama.vim',
}

2. 启动 llama.cpp 服务端

插件需要连接正在运行的 llama-server。根据你的显存大小选择合适的预设命令启动服务（需先下载对应的 Qwen FIM 模型）：

显存 > 64GB:

llama-server --fim-qwen-30b-default

显存 > 16GB:

llama-server --fim-qwen-7b-default

显存 < 16GB:

llama-server --fim-qwen-3b-default

显存 < 8GB:

llama-server --fim-qwen-1.5b-default

模型获取: 推荐使用的 FIM 兼容模型集合位于 HuggingFace: ggml-org/llamavim。国内用户可通过镜像站下载模型文件。

3. 基础配置（可选）

默认配置即可使用。如需自定义快捷键或关闭某些功能，可在 .vimrc 或 init.lua 中设置 g:llama_config。

示例：禁用自动 FIM 补全 (lazy.nvim)

{
    'ggml-org/llama.vim',
    init = function()
        vim.g.llama_config = {
            auto_fim = false,
        }
    end,
}

示例：修改快捷键 (Vim script)

let g:llama_config.keymap_inst_trigger = "<leader>lli" " 触发指令编辑
let g:llama_config.keymap_fim_accept_full = "<Tab>"      " 接受完整建议

基本使用

确保 llama-server 已在后台运行，然后启动 Vim/Neovim 打开代码文件。

1. 自动代码补全 (FIM)

• 触发: 在 Insert 模式下输入代码时，插件会根据上下文自动弹出灰色建议文本。
• 接受整段建议: 按 Tab 键。
• 仅接受第一行: 按 Shift + Tab。
• 手动触发: 如果自动补全未出现，可按配置的快捷键（默认通常为 <leader>llf）手动触发。

2. 基于指令的代码编辑

• 触发: 在正常模式或可视模式下，按下 <leader>lli（默认快捷键）。
• 操作:
  1. 输入自然语言指令（例如："add error handling" 或 "convert to python"）。
  2. 按 Tab 接受生成的代码修改。
  3. 按 Esc 取消操作。
  4. 如果不满意结果，可按 <leader>llr 重试，或 <leader>llc 继续生成。

3. 查看性能状态

插件会在界面显示当前的上下文令牌数、生成耗时等统计信息，帮助你在低配硬件上监控资源使用情况。