基于大语言模型的 VSCode 开发

llm-vscode 是一个用于处理所有大语言模型相关功能的扩展。它使用 llm-ls 作为后端。

我们还有以下编辑器的扩展：

• neovim
• jupyter
• intellij

之前名为 huggingface-vscode。

[!NOTE] 使用推理 API 时，您可能会遇到一些限制。请订阅 PRO 方案，以避免在免费层级中被限流。

https://huggingface.co/pricing#pro

功能

代码补全

此插件支持类似 Copilot 的“幽灵文本”代码补全功能。

选择您的模型

代码生成请求通过 HTTP 请求发送。

您可以使用 Hugging Face 的 推理 API 或您自己的 HTTP 端点，前提是该端点符合 后端 中列出的 API 规范。

官方支持的模型列表位于配置模板部分。

始终适应上下文窗口

发送给模型的提示始终会调整大小以适应上下文窗口，令牌数量由 tokenizers 计算得出。

代码归属

按下 Cmd+shift+a 可以检查生成的代码是否来自 The Stack。这是使用 stack.dataportraits.org 进行的快速初步归属检查。我们会查找至少 50 个字符的匹配序列，并使用 Bloom 过滤器进行验证。这意味着可能存在误报，并且需要足够长的上下文（有关 n-gram 步进和序列长度的详细信息，请参阅 论文）。专门的 Stack 搜索工具 是完整的数据集索引，可用于进行全面的二次检查。

安装

像安装其他 vscode 扩展 一样安装即可。

默认情况下，此扩展使用 bigcode/starcoder 和 Hugging Face 推理 API 进行推理。

HF API 令牌

您可以通过以下命令提供您的 HF API 令牌（hf.co/settings/token)：

1. 按下 Cmd/Ctrl+Shift+P 打开 VSCode 命令面板
2. 输入：Llm: Login

如果您之前已在系统上使用 huggingface-cli login 登录过，扩展将从磁盘读取令牌。

配置

您可以通过打开设置页面 (cmd+,) 并输入 Llm 来查看完整的配置选项列表。

后端

您可以配置请求将被发送到的后端。llm-vscode 支持以下后端：

• huggingface: Hugging Face 推理 API（默认）
• ollama: Ollama
• openai: 任何兼容 OpenAI 的 API（例如 llama-cpp-python）
• tgi: Text Generation Inference

假设您当前的代码如下：

import numpy as np
import scipy as sp
{YOUR_CURSOR_POSITION}
def hello_world():
    print("Hello world")

请求体将如下所示：

const inputs = `{start token}import numpy as np\nimport scipy as sp\n{end token}def hello_world():\n    print("Hello world"){middle token}`
const data = { inputs, ...configuration.requestBody };

const model = configuration.modelId;
let endpoint;
switch(configuration.backend) {
    // cf URL construction
    let endpoint = build_url(configuration);
}

const res = await fetch(endpoint, {
    body: JSON.stringify(data),
    headers,
    method: "POST"
});

const json = await res.json() as { generated_text: string };

请注意，以上示例是为了说明底层工作原理而简化的版本。

URL 构建

用于获取建议的端点 URL 按照以下方式构建：

• 根据后端的不同，它会尝试将正确的路径附加到配置中指定的基 URL 上（例如，对于 openai 后端，为 {url}/v1/completions）。
• 如果未为 huggingface 后端设置 URL，则会自动使用默认 URL。
  • 对于其他后端，如果没有合理的默认 URL，则会报错。
• 如果您在 URL 结尾设置了正确的路径，它不会再次添加，因为会先检查该路径是否已存在。
• 您可以禁用此行为：llm.disableUrlPathCompletion。

建议行为

您可以调整建议的行为方式：

• llm.enableAutoSuggest 允许您启用或禁用“边键入边建议”的功能。
• llm.documentFilter 允许您仅对符合您提供的模式匹配语法的特定文件启用建议。对象必须是 DocumentFilter | DocumentFilter[] 类型：
  • 匹配所有类型的缓冲区：llm.documentFilter: { pattern: "**" }
  • 匹配 my_project/ 中的所有文件：llm.documentFilter: { pattern: "/path/to/my_project/**" }
  • 匹配所有 Python 和 Rust 文件：llm.documentFilter: { pattern: "**/*.{py,rs}" }

快捷键

llm-vscode 设置了两个快捷键：

• 默认情况下，您可以按 Cmd+shift+l 触发建议，这对应于 editor.action.inlineSuggest.trigger 命令。
• 默认情况下，代码归属 被设置为 Cmd+shift+a，这对应于 llm.attribution 命令。

llm-ls

默认情况下，llm-ls 与扩展一起打包。如果您在本地开发或由于平台不受支持而自行构建了二进制文件，可以将 llm.lsp.binaryPath 设置为二进制文件的路径。

分词器

llm-ls 使用 tokenizers 来确保提示符适合 context_window。

要配置它，您有几种选择：

• 不进行分词，llm-ls 将改用字符数计算：

{
  "llm.tokenizer": null
}

• 从您磁盘上的本地文件：

{
  "llm.tokenizer": {
    "path": "/path/to/my/tokenizer.json"
  }
}

• 从 Hugging Face 仓库，llm-ls 会尝试下载仓库根目录下的 tokenizer.json：

{
  "llm.tokenizer": {
    "repository": "myusername/myrepo",
    "api_token": null,
  }
}

注意：当 api_token 设置为 null 时，它将使用您通过 Llm: Login 命令设置的令牌。如果您想使用不同的令牌，可以在这里设置。

• 从 HTTP 端点，llm-ls 会尝试通过 HTTP GET 请求下载文件：

{
  "llm.tokenizer": {
    "url": "https://my-endpoint.example.com/mytokenizer.json",
    "to": "/download/path/of/mytokenizer.json"
  }
}

Code Llama

要测试 Code Llama 13B 模型：

1. 确保您已安装此扩展的最新版本。
2. 确保您已提供HF API 令牌。
3. 打开 VSCode 设置（cmd+,），输入：Llm: Config Template。
4. 在下拉菜单中，选择 hf/codellama/CodeLlama-13b-hf。

更多关于 Code Llama 的信息，请参阅此处。

Phind 和 WizardCoder

要测试 Phind/Phind-CodeLlama-34B-v2 和/或 WizardLM/WizardCoder-Python-34B-V1.0：

1. 确保您已安装此扩展的最新版本。
2. 确保您已提供HF API 令牌。
3. 打开 VSCode 设置（cmd+,），输入：Llm: Config Template。
4. 在下拉菜单中，选择 hf/Phind/Phind-CodeLlama-34B-v2 或 hf/WizardLM/WizardCoder-Python-34B-V1.0。

有关 Phind-CodeLlama-34B-v2 的更多信息，请参阅此处，而关于 WizardCoder-15B-V1.0 的更多信息则请参阅此处。

开发

1. 克隆 llm-ls：git clone https://github.com/huggingface/llm-ls。
2. 构建 llm-ls：cd llm-ls && cargo build（您也可以使用 cargo build --release 进行发布版本构建）。
3. 克隆本仓库：git clone https://github.com/huggingface/llm-vscode。
4. 安装依赖：cd llm-vscode && npm ci。
5. 在 VSCode 中，打开“运行与调试”侧边栏，并点击“启动扩展”。
6. 在新的 VSCode 窗口中，将 llm.lsp.binaryPath 设置为第 2 步中构建的 llm-ls 二进制文件路径（例如 /path/to/llm-ls/target/debug/llm-ls）。
7. 关闭该窗口，并通过按 F5 或按照第 5 步中的方法重新启动扩展。

社区

仓库	描述
huggingface-vscode-endpoint-server	用于本仓库的自定义代码生成端点
llm-vscode-inference-server	一个用于高效服务量化开源代码模型的端点服务器。

llm-vscode 快速上手指南

llm-vscode 是一款专为 VSCode 设计的 LLM 驱动开发扩展，提供类似 GitHub Copilot 的“幽灵文本”代码补全功能。它基于 llm-ls 后端，支持连接 Hugging Face Inference API、Ollama、OpenAI 兼容接口及本地 TGI 服务。

环境准备

• 系统要求：已安装 Visual Studio Code 的 Windows、macOS 或 Linux 系统。
• 前置依赖：
  • 无额外系统级依赖（扩展默认 bundled llm-ls 二进制文件）。
  • 若需使用 Hugging Face 模型，建议注册 Hugging Face 账号并获取 API Token。
  • 注意：免费版的 Inference API 存在速率限制，高频使用建议订阅 PRO 计划或部署本地后端（如 Ollama）。

安装步骤

1. 通过市场安装（推荐） 打开 VSCode，点击左侧扩展图标（或按 Ctrl+Shift+X / Cmd+Shift+X），搜索 llm-vscode (或 Hugging Face)，点击 Install。

   或者直接访问插件市场页面：HuggingFace.huggingface-vscode

2. 配置 API Token 安装完成后，需配置 Hugging Face Token 以启用默认模型：

   • 按下 Cmd+Shift+P (macOS) 或 Ctrl+Shift+P (Windows/Linux) 打开命令面板。
   • 输入并选择：Llm: Login。
   • 按提示粘贴你的 HF API Token（可从 hf.co/settings/token 获取）。
   • 提示：如果你已在终端通过 huggingface-cli login 登录，扩展会自动读取本地缓存的 Token。

基本使用

1. 启用代码补全

默认情况下，扩展使用 bigcode/starcoder 模型并通过 Hugging Face Inference API 提供服务。

• 自动触发：在编辑器中输入代码时，会自动出现灰色的建议代码（幽灵文本）。按 Tab 键即可接受建议。
• 手动触发：若未自动出现，可按默认快捷键 Cmd+Shift+L (macOS) 或 Ctrl+Shift+L (Windows/Linux) 强制触发建议。

2. 切换模型（例如使用 Code Llama）

想要尝试更强大的模型（如 Code Llama 13B）：

1. 打开设置：Cmd+, 或 Ctrl+,。
2. 搜索 Llm: Config Template。
3. 在下拉菜单中选择预设模型，例如：hf/codellama/CodeLlama-13b-hf。
4. 其他可选热门模型：
   • hf/Phind/Phind-CodeLlama-34B-v2
   • hf/WizardLM/WizardCoder-Python-34B-V1.0

3. 代码归属检查

怀疑生成的代码可能源自开源数据集？

• 选中生成的代码片段。
• 按下 Cmd+Shift+A (macOS) 或 Ctrl+Shift+A (Windows/Linux)。
• 系统将快速检查该代码是否存在于 The Stack 数据集中。

4. 高级配置：使用本地后端 (Ollama)

若希望完全本地运行以避开网络限制或速率限制：

1. 确保已安装并运行 Ollama。
2. 打开 VSCode 设置 (Cmd+, / Ctrl+,)，搜索 Llm。
3. 找到 Llm: Backend 选项，将其设置为 ollama。
4. 在 Llm: Model Id 中填入你本地运行的模型名称（例如 codellama）。
5. 确保 Llm: Url 指向本地服务（通常为 http://localhost:11434，具体视后端路径构建规则而定，OpenAI 兼容模式通常需追加 /v1/completions）。