FauxPilot

这是一个尝试构建本地托管的 GitHub Copilot 替代方案的项目。它在 NVIDIA 的 Triton 推理服务器 中使用了 SalesForce CodeGen 模型，并搭配 FasterTransformer 后端。

先决条件

你需要：

• Docker
• docker compose ≥ 1.28
• 一台计算能力（CC）≥ 6.0 且显存足以运行你所需模型的 NVIDIA GPU。
• nvidia-docker
• curl 和 zstd，用于下载和解压模型。

请注意，setup.sh 脚本中列出的显存要求是总和——如果你有多块 GPU，可以将模型拆分到不同的 GPU 上。例如，如果你有两块 NVIDIA RTX 3080 显卡，那么你可以每块显卡上加载一半的 6B 模型，从而成功运行该模型。

支持与保修

哈哈哈

好吧，现在我们在 wiki 和 讨论区 上提供了一些基本信息，你可以在那里提问。不过，我们仍然不提供正式的支持或保修！

安装

本节介绍如何安装 FauxPilot 服务器和客户端。

设置 FauxPilot 服务器

运行设置脚本以选择要使用的模型。此脚本会从 Huggingface/Moyix 下载 GPT-J 格式的模型，然后将其转换为适用于 FasterTransformer 的格式。

请参阅 如何设置 FauxPilot 服务器。

FauxPilot 客户端配置

我们提供了几种连接到 FauxPilot 服务器的方式。例如，你可以通过 OpenAI API、Copilot 插件或 REST API 来创建客户端。

请参阅 如何设置客户端。

术语

• API：应用程序编程接口
• CC：计算能力
• CUDA：统一计算架构
• FT：Faster Transformer
• JSON：JavaScript 对象表示法
• gRPC：由 Google 提供的远程过程调用协议
• GPT-J：基于 Ben Wang 的 Mesh Transformer JAX 训练的 Transformer 模型
• REST：表述性状态转移

FauxPilot 快速上手指南

FauxPilot 是一个旨在提供本地化部署的 GitHub Copilot 替代方案。它基于 Salesforce 的 CodeGen 模型，利用 NVIDIA Triton 推理服务器和 FasterTransformer 后端运行，支持在本地 GPU 上实现代码自动补全。

环境准备

在开始之前，请确保您的系统满足以下要求：

硬件要求

• GPU: NVIDIA 显卡，计算能力 (Compute Capability) >= 6.0。
• 显存 (VRAM): 需足够容纳所选模型。
  • 提示: setup.sh 列出的显存需求为总量。如果您拥有多张 GPU（例如两张 RTX 3080），可以将模型拆分负载到多卡上运行（如运行 6B 模型）。

软件依赖

• Docker
• Docker Compose: 版本 >= 1.28
• NVIDIA Docker: 已安装并配置好 nvidia-docker
• 工具链: curl 和 zstd (用于下载和解压模型)

安装步骤

1. 部署 FauxPilot 服务端

运行设置脚本以选择并下载模型。该脚本会从 Hugging Face 下载 GPT-J 格式的模型，并将其转换为 FasterTransformer 格式。

# 运行设置脚本（根据提示选择模型大小）
./setup.sh

注意: 默认情况下模型从 Hugging Face (Moyix) 下载。如果国内网络访问较慢，建议配置代理或寻找国内镜像源加速下载过程。

详细的服务器配置说明请参考官方文档：How to set-up a FauxPilot server。

2. 配置客户端

服务端启动后，您可以通过多种方式连接：

• OpenAI API 兼容模式: 大多数支持 OpenAI 接口的编辑器插件均可直接配置使用。
• Copilot 插件: 配置指向本地服务端。
• REST API / gRPC: 直接通过接口调用。

详细的客户端配置说明请参考官方文档：How to set-up a client。

基本使用

安装完成后，最简单的验证方式是使用 curl 命令直接向本地服务发送代码补全请求。

以下示例展示了如何请求代码补全（假设服务运行在默认端口）：

curl http://localhost:5000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "def fib(n):\n    ",
    "max_tokens": 50,
    "temperature": 0.2,
    "top_p": 1,
    "n": 1,
    "stream": false
  }'

预期结果: 返回的 JSON 数据中将包含 choices 字段，其中的 text 即为模型生成的后续代码片段。您可以将此逻辑集成到您的 IDE 插件配置中，将 API 端点指向 http://localhost:5000/v1 即可享受本地代码补全服务。