llm-ls

[!IMPORTANT] 目前仍在开发中，可能会存在各种问题！

llm-ls 是一个基于大语言模型的 LSP 服务器，旨在让您的开发体验更加流畅高效。

llm-ls 的目标是为 IDE 扩展提供一个通用的平台。它负责处理与大语言模型交互的繁重工作，从而使扩展代码尽可能轻量。

功能

提示词生成

以当前文件作为上下文来生成提示词。您可以根据需求选择是否使用“中间填充”方式。

此外，llm-ls 还会通过分词确保提示词在模型的上下文窗口限制内。

遥测数据

收集关于请求和补全的信息，这些数据可用于模型的再训练。

请注意，llm-ls 不会将任何数据导出到外部（除了在查询模型 API 时设置 User-Agent 头之外），所有数据都会存储在一个日志文件中（~/.cache/llm_ls/llm-ls.log），前提是您将日志级别设置为 info。

代码补全

llm-ls 会解析代码的抽象语法树（AST），以确定补全应该是多行、单行，还是空（即无需补全）。

多后端支持

llm-ls 兼容 Hugging Face 的 Inference API、text-generation-inference、ollama 以及 OpenAI 兼容的 API，例如 python llama.cpp 服务器绑定。

兼容扩展

• llm.nvim
• llm-vscode
• llm-intellij
• jupytercoder

路线图

• 支持从工作区中的多个文件获取上下文
• 添加 suffix_percent 设置，用于决定提示词中前缀和后缀的 token 比例
• 增加上下文窗口填充百分比，或将 context_window 参数改为 max_tokens
• 过滤不良建议（重复、与下方内容相同等）
• OLTP 跟踪？

llm-ls 快速上手指南

llm-ls 是一个基于大语言模型（LLM）的语言服务器协议（LSP）后端，旨在为 IDE 插件提供统一的智能代码补全能力。它负责处理与 LLM 交互的复杂逻辑（如上下文管理、AST 解析），让前端插件保持轻量。

注意：该项目目前处于开发阶段（Work in Progress），部分功能可能不稳定。

环境准备

系统要求

• 操作系统：Linux, macOS, Windows
• 运行时：需安装 Rust 工具链（用于从源码构建）或下载预编译二进制文件。
• 网络：需能访问配置的 LLM 后端服务（本地或云端）。

前置依赖

1. Rust 环境（如需自行编译）：

   curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
   

2. LLM 后端服务（任选其一）：
   • Ollama (推荐本地使用): curl -fsSL https://ollama.com/install.sh | sh
   • Hugging Face TGI: 需部署 Docker 容器
   • OpenAI 兼容接口: 如 llama-cpp-python 启动的服务
   • Hugging Face Inference API: 需准备 API Key

安装步骤

方式一：使用 Cargo 安装（推荐）

如果你已配置好 Rust 环境，可直接通过 Cargo 安装：

cargo install llm-ls

国内加速提示：若下载 crates.io 依赖缓慢，可配置国内镜像源：

mkdir -p ~/.cargo
echo '[source.crates-io]' > ~/.cargo/config.toml
echo 'replace-with = "tuna"' >> ~/.cargo/config.toml
echo '[source.tuna]' >> ~/.cargo/config.toml
echo 'registry = "https://mirrors.tuna.tsinghua.edu.cn/git/crates.io-index.git"' >> ~/.cargo/config.toml

方式二：下载预编译二进制

访问项目的 Releases 页面 下载对应系统的二进制文件，解压后将 llm-ls 可执行文件添加到系统 PATH 环境变量中。

基本使用

llm-ls 本身作为后台服务运行，通常由支持它的 IDE 插件（如 llm-vscode, llm.nvim, llm-intellij）自动调用。以下是手动启动并配置的基本流程。

1. 启动后端服务

确保你的 LLM 服务正在运行。例如，使用 Ollama 启动一个模型：

ollama run starcoder2:3b

2. 配置并运行 llm-ls

创建一个配置文件（通常为 config.toml 或通过环境变量传递），指定后端地址和模型参数。以下是一个简单的启动示例（以连接本地 Ollama 为例）：

llm-ls \
  --backend ollama \
  --model starcoder2:3b \
  --endpoint http://localhost:11434

常用参数说明：

• --backend: 后端类型 (ollama, huggingface, text-generation-inference, openai)
• --model: 使用的模型名称
• --endpoint: LLM 服务的 API 地址
• --log-level: 日志级别 (设为 info 可将日志记录到 ~/.cache/llm_ls/llm-ls.log)

3. 在 IDE 中启用

安装对应的编辑器插件（以 VS Code 为例）：

1. 在 VS Code 扩展商店搜索并安装 llm-vscode。
2. 打开设置，将 LSP Server 路径指向你安装的 llm-ls 二进制文件路径。
3. 配置模型参数（通常插件会自动检测运行的 llm-ls 服务，或在插件设置中填入上述启动参数）。

配置完成后，在代码编辑器中输入代码，即可体验到基于 AST 分析和上下文感知的智能代码补全。