应该使用哪款大语言模型？来自 DevAI 领域的视角

在 DevAI 领域——即借助大型语言模型（LLMs）进行软件开发的开发者社区——发展速度如此之快，要决定选用哪款模型往往颇具挑战性。

我们基于自身作为 Continue 社区 一员的经验创建了这个仓库。欢迎提出改进建议，并通过提交 Pull Request 帮助我们保持其最新状态！

现有哪些大语言模型？

大语言模型的数量非常多。我们决定聚焦于目前大家普遍使用的那些：

您可以在 这里 找到包含所有这些模型及其相关信息的 CSV 文件。

编码时都在使用哪些大语言模型？

开发者们是如何做出选择的呢？

首先需要决定的是：是使用 开源 模型，还是 商业 模型：

• 当您希望将代码完全保留在本地环境、拥有充足的可用内存、希望控制成本或希望能够端到端地自主管理和优化时，通常会选择 开源 大语言模型。
• 而当您追求最佳性能、偏好简单可靠的部署方式、本地内存不足、不介意代码流出本地环境，或者对成本问题并不敏感时，则更倾向于选择 商业 大语言模型。

如果您决定使用 开源 模型，接下来就需要判断是在本地机器上部署，还是选择托管服务提供商：

• 如果您有足够的可用内存、希望免费使用，或者希望在无需互联网连接的情况下也能运行模型，那么通常会选择在 本地机器 上部署开源模型。
• 若您期望获得最优的开源模型、本地内存有限，或是希望让模型同时服务于多人，则更倾向于选择在 托管服务商 上部署开源模型。

我们维护了一份面向团队的开源代码 LLM 部署指南，详情请见 这里。

如果您选择使用 商业 模型，通常会获取相应的 API 密钥，并尝试对比多个不同的模型。建议的质量以及使用成本，都是重要的考量因素。

开源

以下是截至2023年10月，开发者在编码时使用的开源大语言模型列表，大致按受欢迎程度从高到低排序。

1. Code Llama

Code Llama 是由 Meta 训练的用于生成和讨论代码的大语言模型。它基于 Llama 2 构建。尽管在 Big Code Models Leaderboard 上排名低于 WizardCoder 和 Phind-CodeLlama，但它却是这两者的基础模型。Code Llama 提供 7B、13B 和 34B 三种不同规模的版本，因此无论是在本地设备上还是通过托管服务提供商使用，都十分流行。目前，它是最知名的开源编码基础模型，引领着开源社区构建具备编码能力的大语言模型的努力。

创建者：Meta
发布日期：2023年8月24日
许可证：Llama 2 Community
基础模型：Llama 2
参数量：7B、13B、34B

2. WizardCoder

WizardCoder 是由 WizardLM 团队基于 Code Llama 构建的大语言模型。该团队采用了 Evol-Instruct 方法，专门针对编码任务调整后生成训练数据集，并用其对 Code Llama 进行微调。WizardCoder 同样提供 7B、13B 和 34B 三种规模的版本。因此，它是迄今为止最受欢迎的开源指令微调大语言模型。

创建者：WizardLM
发布日期：2023年8月26日
许可证：Llama 2 Community
基础模型：Code Llama
参数量：7B、13B、34B

3. Phind-CodeLlama

Phind-CodeLlama 是由 Phind 公司基于 Code Llama 构建的大语言模型。该公司使用了一个包含约 8 万个高质量编程问题及解答的专有数据集对 Code Llama 进行了微调，随后又在此基础上继续进行了 15 亿个额外 token 的微调。目前，该模型在 Big Code Models Leaderboard 上位居榜首。不过，它仅提供 34B 参数规模的版本，因此需要更多的内存资源才能运行。

创建者：Phind
发布日期：2023年8月28日
许可证：Llama 2 Community
基础模型：Code Llama
参数量：34B

4. Mistral

Mistral 是由 Mistal AI 训练的 7B 参数大语言模型。它是本列表中最新发布的模型，于九月底正式推出。Mistal AI 表示，该模型“在代码相关任务上的表现接近 CodeLlama 7B，同时在英语任务上也表现出色”。尽管目前只提供这一种小规模版本，但在发布后的前几周内，它已经引起了广泛的关注。现在，以 Mistral 为基础的首批微调模型也开始出现，未来预计还会有更多相关应用问世。

创建者：Mistral AI
发布日期：2023年9月27日
许可证：Apache 2.0
基础模型：Mistral
参数量：7B

5. StarCoder

StarCoder 是由 BigCode 团队训练的 15B 参数大语言模型，于五月发布时可谓领先于时代。它基于 The Stack (v1.2) 数据集中超过 80 种编程语言进行训练，且排除了选择退出请求的数据。需要注意的是，StarCoder 并非指令型模型，因此像“编写一个计算平方根的函数”这样的指令效果并不理想。不过，通过使用 Tech Assistant prompt，可以显著提升其实用性。

创建者：BigCode
发布日期：2023年5月4日
许可证：OpenRAIL-M
基础模型：StarCoder
参数量：15B

6. DeepSeek Coder

DeepSeek Coder 是由 DeepSeek AI 在 2 万亿个 token 上训练的大语言模型。该模型的数据集涵盖了超过 80 种编程语言，是本列表中最新的模型之一，并据报道在多项与编码相关的基准测试中取得了非常优异的成绩。

创建者：DeepSeek AI
发布日期：2023年11月3日
许可证：DeepSeek License Agreement
基础模型：DeepSeek Coder
参数量：1.3B、6.7B、33B

7. Llama2

Llama 2 是由 Meta 在 2 万亿个 token 上训练的大语言模型。它是目前最受欢迎的开源大语言模型，因此即便在代码编辑方面不如上述许多模型，仍有不少开发者在使用它。更重要的是，作为最流行的编码专用大语言模型——Code Llama——正是基于 Llama 2 构建的，而 Llama 2 又进一步成为了 WizardCoder 和 Phind-CodeLlama 的基础。

创建者：Meta
发布日期：2023年7月18日
许可证：Llama 2 Community
基础模型：Llama 2
参数量：7B、13B、70B

商业用途

以下是截至2023年10月，开发者在编码时使用的商业大语言模型列表，按受欢迎程度从高到低排序。

1. GPT-4

来自OpenAI的GPT-4通常被认为是编码时最佳的大语言模型。它在代码生成和讨论方面非常有帮助。不过，使用时需要通过OpenAI的API将代码发送到其服务器，且费用较高。尽管如此，它仍然是目前最流行的编码用大语言模型，大多数开发者都在使用它。所有在2023年7月6日之前成功支付过1美元或以上的OpenAI API用户都已获得GPT-4的访问权限，而OpenAI计划很快向所有开发者开放访问。

2. GPT-4 Turbo

同样来自OpenAI的GPT-4 Turbo比GPT-4更便宜、更快。它的知识截止日期为2023年4月，上下文窗口大小为128K tokens。截至2023年11月，该模型仍处于预览阶段，但任何拥有OpenAI API账户并已具备GPT-4访问权限的用户都可以使用它。

3. GPT-3.5 Turbo

来自OpenAI的GPT-3.5 Turbo比GPT-4更便宜、更快；然而，它的建议远不如GPT-4有用。同样，使用时也需要通过OpenAI的API将代码发送过去。截至目前，它是第二受欢迎的编码用大语言模型。所有开发者只需注册一个OpenAI账户即可使用。

4. Claude 2

Claude 2是由Anthropic训练的大语言模型，相比Claude的第一版，其编码能力有了显著提升。尤其是在提供大量上下文信息时，Claude 2的表现优于其他大语言模型。使用时需通过Anthropic的API将代码发送过去。目前，申请Claude 2的访问权限是必需的。

5. PaLM 2

PaLM 2是由Google训练的大语言模型。要试用它，您需要先通过MakerSuite获取API密钥，然后利用PaLM API将代码发送给Google，而这两者目前均处于公开预览阶段。

贡献

如果您发现有遗漏的模型，或者希望分享您的看法，欢迎提交PR或创建议题！我们致力于维护一个由社区驱动、内容最新的编码辅助大语言模型索引。

如果您喜欢这篇博客文章，并希望在未来阅读更多关于DevAI——一个借助大语言模型构建软件的开发者社区——的相关内容，请在此处订阅我们的月度通讯：here

what-llm-to-use 快速上手指南

what-llm-to-use 并非一个需要安装的可执行软件或库，而是一个由 Continue 社区维护的开源知识库与选型指南。它旨在帮助开发者在众多的开源和商业大语言模型（LLM）中，根据实际需求（如本地部署、成本、性能）做出最佳选择。

本指南将指导你如何获取该资源，并基于其内容快速开始使用适合的 coding LLM。

环境准备

由于本项目主要为文档和数据集，无需特定的系统依赖或运行时环境。你只需要：

• 操作系统：Windows, macOS, 或 Linux 均可。
• 基础工具：
  • Git（用于克隆仓库）
  • 现代浏览器（用于查看在线文档）
  • CSV 阅读器或 Excel（用于分析模型数据表）
• 硬件建议（若计划运行开源模型）：
  • 本地运行：建议拥有 NVIDIA GPU（显存至少 8GB 以上以运行 7B 模型，34B 模型需更高配置）或 Apple Silicon (M1/M2/M3) 芯片。
  • 云端/托管：若无本地高性能显卡，可准备云服务器账号或使用托管服务商。

安装步骤（获取资源）

你可以通过克隆 GitHub 仓库来获取最新的模型列表和详细对比数据。

1. 打开终端（Terminal 或 CMD）。
2. 执行以下命令克隆仓库：

git clone https://github.com/continuedev/what-llm-to-use.git

3. 进入项目目录：

cd what-llm-to-use

4. （可选）查看核心数据文件 LLMs.csv，其中包含了所有模型的详细参数对比：

# Linux/macOS 预览
head LLMs.csv

# Windows PowerShell 预览
Get-Content LLMs.csv -Head 10

提示：你也可以直接在 GitHub 网页版浏览 LLMs.csv 文件或阅读 README.md 获取可视化图表。

基本使用

使用该项目的核心在于根据指南进行决策并集成到开发工作流中。以下是基于该指南的最简使用路径：

第一步：选择模型策略

根据指南中的决策树，确定你的需求：

• 场景 A：注重隐私、低成本、可离线

  • 选择：开源模型 (Open Source)
  • 推荐：
    • 低配机器：Code Llama 7B 或 Mistral 7B
    • 高配机器/追求性能：Phind-CodeLlama 34B 或 WizardCoder 34B
  • 部署方式：本地运行 (Local) 或 私有化托管。

• 场景 B：追求最强代码能力、便捷性

  • 选择：商业模型 (Commercial)
  • 推荐：GPT-4 / GPT-4 Turbo (综合最佳)，Claude 2 (长上下文优势)。
  • 部署方式：申请 API Key。

第二步：获取并运行模型

方案 1：使用商业模型 (以 GPT-4 为例)

1. 访问 OpenAI 平台注册并获取 API Key。
2. 在你的 IDE 插件（如 Continue, Cursor, VS Code Copilot）配置文件中填入 Key：

   {
     "model": "gpt-4",
     "apiKey": "sk-..."
   }
   

方案 2：本地运行开源模型 (以 Code Llama 为例)

推荐使用 Ollama 或 LM Studio 等工具快速启动。

使用 Ollama (命令行方式):

1. 安装 Ollama (访问 ollama.com 下载)。
2. 在终端运行以下命令拉取并启动模型：

   ollama run codellama:7b
   

   (注：如需 34B 版本，可运行 ollama run codellama:34b，请确保显存充足)

使用 Python 调用 (示例): 一旦模型通过本地服务器（如 Ollama 默认在 localhost:11434）运行，即可通过代码调用：

import requests
import json

url = "http://localhost:11434/api/generate"
payload = {
    "model": "codellama:7b",
    "prompt": "Write a python function to calculate fibonacci.",
    "stream": False
}

response = requests.post(url, data=json.dumps(payload))
print(response.json()['response'])

第三步：持续更新

由于 AI 领域发展迅速，建议定期更新本地仓库以获取最新模型评测：

git pull origin main

通过查阅更新后的 README.md 和 LLMs.csv，你可以及时发现如 DeepSeek Coder 等新涌现的高性能模型并调整你的技术栈。