ollama.nvim

一个用于在 Neovim 中管理和集成你的 ollama 工作流的插件。

旨在配置灵活且可扩展，支持自定义功能。

特性

• 通过 HTTP 连接，可在任意位置运行你的 ollama 服务器
• 查询并选择可用模型
• 使用缓冲区中的上下文向 LLM 提供提示
• 显示、替换或编写自己的响应操作
• 为提示指定额外参数（温度、top_k 等）

计划中/想法（视兴趣而定是否实现）

• 下载并管理模型
• 从 Modelfiles 克隆或创建模型
• 聊天

使用方法

ollama.nvim 提供以下命令，这些命令映射到插件公开的方法：

• Ollama：提示用户选择要运行的提示。
• OllamaModel：提示用户选择要用作会话默认值的模型。
• OllamaServe：启动 ollama 服务器。
• OllamaServeStop：停止 ollama 服务器。

安装

ollama.nvim 使用 curl 通过 HTTP 与你的 ollama 服务器通信。请确保你的系统已安装 curl。

使用 lazy.nvim 安装：

return {
  "nomnivore/ollama.nvim",
  dependencies = {
    "nvim-lua/plenary.nvim",
  },

  -- 插件添加的所有用户命令
  cmd = { "Ollama", "OllamaModel", "OllamaServe", "OllamaServeStop" },

  keys = {
    -- 提示菜单的示例键绑定。请注意，<c-u> 对于正确选择非常重要。
    {
      "<leader>oo",
      ":<c-u>lua require('ollama').prompt()<cr>",
      desc = "ollama 提示",
      mode = { "n", "v" },
    },

    -- 直接提示的示例键绑定。同样，<c-u> 对于正确选择非常重要。
    {
      "<leader>oG",
      ":<c-u>lua require('ollama').prompt('Generate_Code')<cr>",
      desc = "ollama 生成代码",
      mode = { "n", "v" },
    },
  },

  ---@type Ollama.Config
  opts = {
    -- 你的配置覆盖
  }
}

若需获得模糊查找的 Telescope 提示选择器，可选择安装 stevearc/dressing.nvim。

配置

默认选项

opts = {
  model = "mistral",
  url = "http://127.0.0.1:11434",
  serve = {
    on_start = false,
    command = "ollama",
    args = { "serve" },
    stop_command = "pkill",
    stop_args = { "-SIGTERM", "ollama" },
  },
  -- 在 ./lua/ollama/prompts.lua 中查看实际的默认提示
  prompts = {
    Sample_Prompt = {
      prompt = "这是一个示例提示，接收 $input 和 $sel(ection) 等。",
      input_label = "> ",
      model = "mistral",
      action = "display",
    }
  }
}

Docker

由于 ollama.nvim 的配置灵活，因此只需少量额外工作即可实现 Docker 支持。

如果你的容器运行在另一台机器上，只需将 url 选项配置为指向你的服务器即可。

对于本地容器，你可以配置 serve 选项，使用 docker CLI 创建和销毁容器。以下是一个使用官方 ollama Docker 镜像创建临时容器并共享卷的示例配置：

opts = {
  -- $ docker run -d --rm --gpus=all -v <volume>:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  url = "http://127.0.0.1:11434",
  serve = {
    command = "docker",
    args = {
      "run",
      "-d",
      "--rm",
      "--gpus=all",
      "-v",
      "ollama:/root/.ollama",
      "-p",
      "11434:11434",
      "--name",
      "ollama",
      "ollama/ollama",
    },
    stop_command = "docker",
    stop_args = { "stop", "ollama" },
  },
}

编写自己的提示

默认情况下，ollama.nvim 随附几个对大多数工作流有用的提示。不过，你也可以直接在配置中编写自己的提示，如上所示。

prompts 是一个提示名称到提示配置的字典。提示名称用于提示选择菜单，你可以在其中选择要运行的提示，例如“Sample_Prompt”显示为“示例提示”。

该字典接受以下键：

键	类型	描述
prompt	string	发送给 LLM 的提示。可以包含特殊标记，在发送前会被上下文替换。参见Tokens。
model	string（可选）	用于提示的模型。默认为全局 opts.model。
input_label	string（可选）	输入提示使用的标签。默认为 "> "。
action	string 或 table（可选）	对 LLM 响应采取的操作。参见Actions。默认为“display”。
extract	string（可选）	用于从响应中提取的 Lua 匹配模式。仅由某些操作使用。参见Extracting。如果希望禁用此步骤，则设置为 false。
options	table（可选）	额外的模型参数覆盖，例如温度，详见 Ollama Modelfile 文档。
system	string（可选）	如果适用，用于 Modelfile 模板中的系统提示。（覆盖 Modelfile 中的内容）
format	string（可选）	返回响应的格式。目前唯一接受的值是“json”。

如果你想禁用某个提示（例如默认提示之一），将该提示的值设为 false。

prompts = {
  Sample_Prompt = false
}

提取

在使用某些操作（或您编写的自定义操作）时， 您可能希望对响应的特定部分进行处理。 为此，您可以在提示配置中使用 extract 键。

extract = "```$ftype\n(.-)```"

ollama.nvim 会以与提示相同的方式解析 extract 字符串，并替换其中的标记（见下文）。解析后的提取模式 随后将被发送到与该提示关联的操作。

标记

在发送提示之前，ollama.nvim 会按照以下方式用上下文替换提示字符串中的某些特殊标记：

标记	描述
$input	提示用户输入。
$sel	当前或上一次的选择。
$ftype	当前缓冲区的文件类型。
$fname	当前缓冲区的文件名。
$buf	当前缓冲区的完整内容。
$before	当前缓冲区中指针之前的内容
$after	当前缓冲区中指针之后的内容
$line	缓冲区中的当前行。
$lnum	缓冲区中的当前行号。

操作

ollama.nvim 提供了以下内置操作：

• display：在浮动窗口中流式显示响应。
• replace：用响应替换当前选择。
  • 使用 extract 模式提取响应。
• insert：在当前光标行插入响应。
  • 使用 extract 模式提取响应。
• display_replace：先在浮动窗口中流式显示响应，再用响应替换当前选择。
  • 使用 extract 模式提取响应。
• display_insert：先在浮动窗口中流式显示响应，再在当前光标行插入响应。
  • 使用 extract 模式提取响应。

有时，您可能需要内置操作未提供的功能。在这种情况下，您可以编写自己的自定义操作，其接口如下：

---@type Ollama.PromptAction
action = {
  fn = function(prompt)
    -- 此函数在选择提示时调用
    -- 在将提示发送给 LLM 之前。
    -- 适用于设置 UI 或其他状态。

    -- 返回一个将在收到响应时作为回调使用的函数
    ---@type Ollama.PromptActionResponseCallback
    return function(body, job)
      -- body 是 JSON 响应的表
      -- body.response 是接收到的响应文本

      -- job 是 plenary.job 对象，当 opts.stream = true 时
      -- 否则 job 为 nil
    end

  end,

  opts = { stream = true } -- 可选，默认为 false
}

您也可以不返回回调函数，而是返回 false 或 nil 来表示应取消该提示，不将其发送给 LLM。 这对于需要满足特定选择条件或其他标准未达的情况非常有用。

操作也可以不使用表键直接编写，如下所示：

action = {
  function(prompt)
    -- ...
    return function(body, job)
      -- ...
    end
  end,
  { stream = true }
}

操作工厂

内置操作是通过一个工厂函数实现的，该函数接收一个选项表并返回一个提示操作。 您可以使用此工厂快速对内置操作进行小幅调整。

action = require("ollama.actions.factory").create_action({ display = true, replace = true, show_prompt = false })

可用的选项如下：

选项	类型	描述
display	boolean	是否显示响应（默认：true）
insert	boolean	是否在光标处插入响应（默认：false）
replace	boolean	是否用响应替换选择。优先于 insert（默认：false）
show_prompt	boolean	是否在显示缓冲区前加上解析后的提示（默认：false）
window	"float"|"split"|"vsplit"	显示响应的窗口类型（默认："float"）

状态

ollama.nvim 模块公开了一个 .status() 方法，用于检查 ollama 服务器的状态。 这用于查看是否有作业正在运行。它返回类型 Ollama.StatusEnum，其值为：

• "IDLE"：没有作业运行
• "WORKING"：有一个或多个作业正在运行

您可以使用此方法在状态栏中显示提示的运行状态。 以下是 lualine 的几个示例配方：

假设您已经在配置中设置了 lualine，并且使用的是可以合并配置的包管理器

{
  "nvim-lualine/lualine.nvim",
  optional = true,

  opts = function(_, opts)
    table.insert(opts.sections.lualine_x, {
      function()
        local status = require("ollama").status()

        if status == "IDLE" then
          return "󱙺" -- nf-md-robot-outline
        elseif status == "WORKING" then
          return "󰚩" -- nf-md-robot
        end
      end,
      cond = function()
        return package.loaded["ollama"] and require("ollama").status() ~= nil
      end,
    })
  end,
},

或者，假设您希望将所有状态栏配置条目放在一个文件中。

-- 假设已安装以下插件
{
  "nvim-lualine/lualine.nvim",
},

-- 定义一个函数来检查 ollama 是否已安装并正常工作
local function get_condition()
    return package.loaded["ollama"] and require("ollama").status ~= nil
end


-- 定义一个函数来检查状态并返回相应的图标
local function get_status_icon()
  local status = require("ollama").status()

  if status == "IDLE" then
    return "OLLAMA IDLE"
  elseif status == "WORKING" then
    return "OLLAMA BUSY"
  end
end

-- 加载并配置 'lualine'
require("lualine").setup({
	sections = {
		lualine_a = {},
		lualine_b = { "branch", "diff", "diagnostics" },
		lualine_c = { { "filename", path = 1 } },
		lualine_x = { get_status_icon, get_condition },
		lualine_y = { "progress" },
		lualine_z = { "location" },
	},
})

致谢

• ollama 用于在本地运行 LLM
• gen.nvim 为本项目提供了灵感

ollama.nvim 快速上手指南

环境准备

系统要求

• 支持 Neovim（建议使用 v0.9 以上版本）
• 系统需安装 curl 工具，用于与 Ollama 服务进行通信

前置依赖

• 安装 lazy.nvim 作为插件管理器
• 可选：安装 stevearc/dressing.nvim，以获得更友好的提示选择界面

---

安装步骤

1. 在你的 Neovim 配置文件中（通常是 init.lua 或 lua/config.lua），添加以下内容：

return {
  "nomnivore/ollama.nvim",
  dependencies = {
    "nvim-lua/plenary.nvim",
  },

  cmd = { "Ollama", "OllamaModel", "OllamaServe", "OllamaServeStop" },

  keys = {
    {
      "<leader>oo",
      ":<c-u>lua require('ollama').prompt()<cr>",
      desc = "ollama prompt",
      mode = { "n", "v" },
    },
    {
      "<leader>oG",
      ":<c-u>lua require('ollama').prompt('Generate_Code')<cr>",
      desc = "ollama Generate Code",
      mode = { "n", "v" },
    },
  },

  opts = {
    model = "mistral",
    url = "http://127.0.0.1:11434",
    serve = {
      on_start = false,
      command = "ollama",
      args = { "serve" },
      stop_command = "pkill",
      stop_args = { "-SIGTERM", "ollama" },
    },
    prompts = {
      Sample_Prompt = {
        prompt = "This is a sample prompt that receives $input and $sel(ection), among others.",
        input_label = "> ",
        model = "mistral",
        action = "display",
      }
    }
  }
}

2. 保存配置并重新加载 Neovim。

---

基本使用

启动 Ollama 服务

在 Neovim 中运行以下命令启动 Ollama 服务：

:OllamaServe

如果服务已运行，则无需重复执行此命令。

停止 Ollama 服务

运行以下命令停止 Ollama 服务：

:OllamaServeStop

使用默认提示模板

按下 <leader>oo（默认键位）打开提示菜单，选择一个模型后，输入你想要的内容，即可获取 LLM 的响应结果。

自定义提示模板

你可以在配置中自定义提示模板。例如：

prompts = {
  Generate_Code = {
    prompt = "请根据以下内容生成代码：$input",
    model = "codellama",
    action = "insert"
  }
}

然后通过以下命令调用该模板：

:lua require('ollama').prompt('Generate_Code')

---

小贴士

• 如果你在使用 Docker 运行 Ollama，可以参考文档中的 Docker 示例配置。
• 默认模型为 mistral，你可以通过 :OllamaModel 命令切换当前会话使用的模型。