每个大语言模型开发者都应该知道的数字

中文

在谷歌，由传奇工程师杰夫·迪恩（Jeff Dean）整理了一份名为《每个工程师都应该知道的数字》的文档。对于 LLM 开发者来说，拥有一套类似的、可用于快速估算的数字同样非常有用。在这里，我们分享 Anyscale 团队常用的一些关键数字、它们的重要性以及如何将其运用到实际工作中。

关于 GitHub 版本的说明

最后更新：2023-05-17

如果您认为这些数字的准确性存在问题，请提交 issue。或者您觉得还有其他应该加入本文档的数字？欢迎告诉我们或直接提交 PR。

我们接下来计划补充一些关于不同模型每秒处理 token 数量的统计数据。

提示词

40–90%^1：在提示词末尾加上“请简明扼要”可节省的费用比例

需要记住的是，LLM 的计费是按 token 数量计算的。因此，要求 LLM 回答简洁可以显著降低使用成本。这不仅限于在提示词中简单添加“请简明扼要”，例如，如果您使用 GPT-4 来生成 10 种备选方案，不妨只请求 5 种，从而节省一半的费用。

1.3:1——平均每个单词对应的 token 数量

LLM 是基于 token 进行处理的。token 可以是完整的单词，也可以是单词的一部分，比如“eating”可能会被拆分为“eat”和“ing”两个 token。一篇 750 字的英文文档大约会有 1000 个 token。而对于非英语语言，每个单词对应的 token 数量会根据其在 LLM 嵌入语料库中的常见程度而增加。

了解这一比例非常重要，因为大多数计费是以 token 为单位的，同时 LLM 的上下文窗口大小也是以 token 数量来定义的。

价格^2

当然，价格可能会随时变化，但鉴于 LLM 的运行成本非常高，本节中的数据至关重要。我们这里以 OpenAI 的定价为例，不过其他厂商的价格也大致在这个范围内（如 Anthropic 链接、Cohere 链接）。

约 50:1——GPT-4 与 GPT-3.5 Turbo 的成本比[^3]

这意味着，在许多实际应用场景中，使用 GPT-4 更适合用于生成高质量的微调数据，或对其他模型进行自动化评估等仅需执行一次的任务，而不是将其嵌入到推理流程的核心环节。使用 GPT-3.5-Turbo 相较于 GPT-4 大约便宜 50 倍（之所以说是“大约”，是因为 GPT-4 对提示词和生成内容的收费方式不同），因此您需要仔细评估 GPT-3.5-Turbo 能够满足的需求范围。例如，对于摘要生成这类任务，GPT-3.5-Turbo 已经绰绰有余。

5:1——使用 GPT-3.5-Turbo 生成文本与 OpenAI 嵌入服务的成本比

这表明，从向量数据库中检索信息要比让 LLM 生成信息便宜得多。例如，“特拉华州的首都是哪里？”如果通过神经网络信息检索系统查询，其成本大约是向 GPT-3.5-Turbo 提问的五分之一^4；而与 GPT-4 相比，则更是低了整整 250 倍！

10:1——OpenAI 嵌入服务与自托管嵌入服务的成本比

注意：该数值受负载和嵌入批次大小的影响，因此仅供参考。

我们在博客文章中提到，使用 g4dn.4xlarge 实例（按需价格为每小时 1.20 美元），借助 Hugging Face 的 SentenceTransformers 库，我们可以达到每秒约 9000 个 token 的嵌入速度。按照这一速率和实例规格进行简单计算后发现，自托管嵌入服务的成本要低得多（大约便宜 10 倍），而且这还未考虑流量的进出费用等因素。

6:1——OpenAI 微调模型与基础模型查询的成本比

在 OpenAI 平台上，提供微调模型的服务成本是基础模型的 6 倍。虽然这一差距相当大，但考虑到基础模型可能支持多租户场景，这种定价策略也有一定合理性。这也意味着，与其微调一个定制化的模型，不如通过调整提示词来优化基础模型的表现，这样更为经济高效。

1:1——自托管基础模型与微调模型查询的成本比

如果您选择自托管模型，则服务微调模型与基础模型的成本基本相同：因为两者具有相同的参数量。

训练与微调

约 100 万美元——训练一个拥有 130 亿参数、基于 1.4 万亿 token 数据集的模型所需的成本

LLaMa 论文链接提到，他们使用 2048 张 A100 80GB GPU，在 21 天内完成了 LLaMa 的训练。我们也曾考虑过基于 Red Pajama 数据集训练自己的模型，并进行了相关测算。上述成本假设一切顺利、没有硬件故障、首次尝试即成功等情况。此外，还需要协调 2048 张 GPU 卡，这对大多数公司而言并非易事（顺便打个广告：Anyscale 当然可以做到——这正是我们的核心优势链接！如有兴趣，欢迎联系我们了解更多）。总之，自主训练 LLM 是可行的，但绝非廉价之举。而且每次训练都需要耗费数天时间。相比之下，使用预训练模型要经济得多。

< 0.001——微调与从零开始训练的成本比

这是一个相对笼统的说法，但微调的成本确实可以忽略不计。例如，我们已经演示过，只需约 7 美元就能微调一个 60 亿参数的模型链接。即使按照 OpenAI 最昂贵的可微调模型 Davinci 的收费标准，每 1000 个 token 的费用也仅为 3 美分。也就是说，要对莎士比亚全集（约 100 万个单词）进行微调，总成本也仅需 40 美元[^5]。然而，微调毕竟不同于从零开始训练……

GPU 显存

如果您选择自托管模型，理解 GPU 显存容量至关重要，因为 LLM 会将 GPU 的显存占用推向极限。以下统计数据专门针对推理场景。如果是训练或微调，则所需的显存容量会更高。

V100：16GB，A10G：24GB，A100：40/80GB——不同型号 GPU 的显存容量

这听起来或许有些奇怪，但了解不同型号 GPU 的显存容量却十分重要。它决定了您的 LLM 能够承载的最大参数量。通常，我们更倾向于使用 A10G，因为其在 AWS 按需价格下每小时仅需 1.50 至 2.00 美元，且拥有 24GB 显存，而 A100 在 AWS 按需价格下每张则需约 5.00 美元。

参数量的2倍：LLM推理服务的典型GPU显存需求

例如，如果你有一个70亿参数的模型，大约需要14GB的GPU显存。这是因为大多数情况下，每个参数需要一个16位浮点数（即2字节）。通常没有必要使用高于16位精度的数据类型，而当降到8位精度时，往往会损失一定的分辨率（尽管在某些场景下这种损失是可以接受的）。当然，也有人在努力减少这一需求，比如llama.cpp通过激进地量化到4位（以及在影响不大的情况下量化到8位），可以在一块6GB显存的GPU上运行一个130亿参数的模型，但这种情况并不常见。

约1GB：嵌入模型的典型GPU显存需求

每当进行句子嵌入时（这是聚类、语义搜索和分类任务中非常常见的操作），你都需要一个嵌入模型，比如Sentence Transformers。OpenAI也有自己的嵌入模型，并以商业方式提供。

一般来说，你无需担心嵌入模型在GPU上占用多少显存，因为它们通常很小。我们甚至曾经将嵌入模型和LLM放在同一块GPU上运行。

超过10倍：通过批处理LLM请求可提升的吞吐量

通过GPU运行一个LLM查询的延迟非常高：可能需要5秒，此时吞吐量仅为每秒0.2个请求。有趣的是，如果你同时运行两个任务，总耗时可能只会增加到5.2秒。这意味着，如果能将25个查询打包在一起，整个过程大约只需10秒，我们的吞吐量就能提升至每秒2.5个请求。不过，请参阅下一点。

约1MB：使用130亿参数模型生成1个token所需的GPU显存

所需显存与你希望生成的最大token数量成正比。例如，如果你想生成最多512个token（约380个单词）的输出，就需要512MB显存。你可能会觉得这没什么大不了——我还有24GB空余呢，区区512MB算什么？然而，当你需要处理更大的批次时，显存需求就会迅速累积。比如，如果你要执行16个并发请求的批次，就需要8GB显存。目前有一些技术正在开发以缓解这一问题，但它仍然是一个实际存在的挑战。

备忘单

下一步

请参阅我们之前关于解决生成式AI基础设施问题的博客系列以及如何将LangChain与Ray结合使用。

如果您有兴趣了解更多关于Ray的信息，请访问Ray.io和Docs.Ray.io。

如需加入Ray社区，请前往Ray Slack中的#LLM频道，或访问我们的Discuss论坛。

如果您对我们的ML训练与推理托管服务感兴趣，请访问Anyscale.com/Platform，并点击“立即试用”按钮。

Ray Summit 2023： 如果您想深入了解如何利用Ray构建高性能、可扩展的LLM应用，以及如何在Ray平台上微调、训练和部署LLM，请于9月18日至20日参加Ray Summit！本次峰会将邀请多位重量级演讲嘉宾，包括来自OpenAI的John Schulman和来自Cohere的Aidan Gomez，同时还将举办关于Ray的社区和技术分享会，以及专注于LLM的实践培训。

注释

[^3]: GPT-4：提示词为6美分/1000个token，生成部分为12美分/1000个token（窗口大小为32,000的版本；窗口大小为8,000的版本则为一半价格）。GPT-3.5 Turbo：0.2美分/1000个token。

[^5]: 100万字 / 每字0.75个token / 1000 * 0.03 = 40美元。

llm-numbers 快速上手指南

llm-numbers 并非一个需要安装运行的软件库，而是一份由 Anyscale 团队整理的大语言模型（LLM）开发关键数据速查表。它旨在帮助开发者进行成本估算、资源规划和架构决策。以下内容基于官方文档整理，助您快速掌握核心数据。

环境准备

本项目无需特定的系统环境或前置依赖。

• 适用人群：LLM 应用开发者、架构师、技术决策者。
• 阅读方式：直接浏览本指南、访问 GitHub 仓库 或查看官方 CheatSheet 图片。
• 知识储备：了解 Token、上下文窗口、微调（Fine-tuning）、嵌入（Embedding）及 GPU 显存等基本概念。

安装步骤

由于这是一份参考文档而非代码包，无需执行安装命令。

您可以直接收藏以下资源以便随时查阅：

• 中文社区版：https://github.com/NascentCore/llm-numbers-cn
• 英文原版：https://github.com/ray-project/llm-numbers

提示：建议将下方的“核心数据速查”保存为团队内部知识库，用于项目初期的预算评估。

基本使用

在实际开发中，您可以利用以下关键数据进行“信封背面”式的快速估算：

1. 提示词优化与成本节省

• 节省 40-90% 费用：在 Prompt 末尾添加 "Be Concise"（请简洁）可显著减少输出 Token 数量，从而大幅降低费用。
• 策略建议：如果需要 10 个方案，先让模型生成 5 个，往往能节省一半预算。

2. Token 换算基准

• 换算比例：1.3 : 1 (Token : 单词)。
• 估算公式：英文文档中，750 个单词约等于 1000 个 Token。非英语语言因分词差异，比例可能更高。
• 应用场景：用于计算输入文档大小是否超出模型的上下文窗口限制，以及预估 API 调用成本。

3. 模型选型与成本比率

• GPT-4 vs GPT-3.5-Turbo：成本比约为 50 : 1。
  • 建议：仅在需要高质量微调数据或自动化评估时使用 GPT-4；常规任务（如摘要）首选 GPT-3.5-Turbo。
• 生成文本 vs 向量检索：使用 GPT-3.5-Turbo 生成答案的成本是向量数据库检索的 5 倍；若是 GPT-4，则高达 250 倍。
  • 建议：优先构建 RAG（检索增强生成）架构，而非让模型凭空生成事实性知识。
• OpenAI 嵌入 vs 自建嵌入：成本比约为 10 : 1。
  • 建议：大规模数据处理时，自建嵌入服务（如使用 HuggingFace SentenceTransformers）更具性价比。
• 微调 vs 从头训练：成本比 < 0.001。
  • 数据：微调一个 6B 参数模型仅需约 $7；而从头训练一个 13B 参数模型需约 $100 万（需 2048 张 A100 运行 21 天）。
  • 建议：绝大多数场景应选择预训练模型 + 微调/Prompt 工程，避免从头训练。

4. GPU 显存规划 (自托管场景)

• 显存需求估算：推理时，显存需求约为参数量大小的 2 倍（基于 16-bit 精度）。
  • 示例：7B 参数模型 $\approx$ 14GB 显存。
• 常见显卡容量：
  • V100: 16GB
  • A10G: 24GB (性价比推荐，AWS 约 $1.5-$2/小时)
  • A100: 40GB / 80GB
• 批量处理优化：通过 Batch 处理请求，吞吐量可提升 >10 倍（例如：单次请求 5 秒，25 个请求打包仅需 10 秒）。
• 输出显存占用：对于 13B 模型，每生成 1 个 Token 约占用 1 MB 显存。若需生成 512 Token 且 Batch Size 为 16，需额外预留约 8GB 显存。

5. 快速决策口诀

• 能检索就不生成：向量查找比 LLM 生成便宜得多。
• 能微调就不重训：微调成本几乎可以忽略不计。
• 能 3.5 就不 4：除非必要，否则 GPT-3.5-Turbo 足以胜任大部分任务。
• 提示词要简短：明确约束模型输出长度可直接省钱。