LLM 引擎

🚀 用于微调和部署大型语言模型的开源引擎。🚀

Scale 的 LLM 引擎是自定义和部署 LLM 的最简单方式。在 LLM 引擎中，您可以通过 Scale 的托管版本访问模型，也可以使用本仓库中的 Helm Chart，在您自己的基础设施中运行模型推理和微调。

💻 快速安装

pip install scale-llm-engine

🤔 关于

基础模型正逐渐成为构建 AI 的基石。然而，将这些模型部署到云端并进行微调是一项成本高昂的操作，需要相应的基础设施和机器学习专业知识。此外，随着新模型的发布以及新的推理和微调技术不断涌现，长期维护也颇具挑战。

LLM 引擎是一个 Python 库、命令行工具和 Helm Chart，无论您使用 Scale 的托管基础设施，还是在自己的 Kubernetes 云基础设施上运行，它都能为您提供服务和微调基础模型所需的一切。

核心特性

🎁 开箱即用的 API，支持您喜爱的模型：部署并服务开源基础模型——包括 LLaMA、MPT 和 Falcon。您可以选择 Scale 托管的模型，也可以部署到您自己的基础设施。

🔧 微调基础模型：利用您自己的数据对开源基础模型进行微调，以获得更优的性能。

🎙️ 优化的推理：LLM 引擎提供流式响应的推理 API，并能动态批处理输入，从而提升吞吐量、降低延迟。

🤗 开源集成：只需一条命令，即可部署任何 Hugging Face 模型。

即将推出的功能

🐳 K8s 安装文档：我们正在努力编写关于在您自己的基础设施上安装和维护推理与微调功能的文档。目前，我们的文档主要介绍如何使用客户端库访问 Scale 的托管基础设施。

❄ 快速冷启动时间：为避免 GPU 空转，LLM 引擎会在模型不使用时自动缩放至零，并在几秒钟内迅速扩容，即使是大型基础模型也不例外。

💸 成本优化：相比商业解决方案，您的 AI 模型部署成本更低，包括冷启动和热缩放的时间开销。

🚀 快速入门

请先前往 Scale Spellbook 创建账户，然后在 设置 页面获取您的 API 密钥。将该 API 密钥设置为 SCALE_API_KEY 环境变量，方法是在您的 .zshrc 或 .bash_profile 文件中添加以下行：

export SCALE_API_KEY="[您的 API 密钥]"

如果遇到“无效的 API 密钥”错误，您可能需要运行 . ~/.zshrc 命令来重新加载更新后的 .zshrc 文件。

API 密钥设置完成后，您就可以使用 Python 客户端发送 LLM 引擎请求了。试试这段示例代码：

from llmengine import Completion

response = Completion.create(
    model="falcon-7b-instruct",
    prompt="我打算开一家煎饼店，主打独特形状、颜色和口味的煎饼。请列出三个有趣的店名。",
    max_new_tokens=100,
    temperature=0.2,
)

print(response.output.text)

您应该会看到针对给定提示的成功响应！

接下来呢？ 请访问 LLM 引擎文档页面 ，了解更多关于 Completion 和 FineTune API 的信息及其使用方法。您还可以查看这篇 博客文章 ，其中提供了完整的端到端示例。

LLM Engine 快速上手指南

LLM Engine 是一个开源引擎，旨在简化大语言模型（LLM）的微调与服务部署。它支持通过 Scale 托管服务或自有 Kubernetes 基础设施来运行模型推理和微调任务，兼容 LLaMA、MPT、Falcon 等主流开源模型。

环境准备

在开始之前，请确保满足以下要求：

• 操作系统：Linux、macOS 或 Windows（推荐 Linux 环境以获得最佳兼容性）。
• Python 版本：Python 3.8 及以上版本。
• Scale 账号：需要注册 Scale Spellbook 账号并获取 API Key。
• 网络环境：确保能够访问 Scale API 服务。

安装步骤

使用 pip 即可快速安装 LLM Engine Python 客户端：

pip install scale-llm-engine

提示：如果下载速度较慢，可使用国内镜像源加速安装：

pip install scale-llm-engine -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 配置 API Key

登录 Scale Spellbook Settings 页面复制您的 API Key，并将其设置为环境变量。

根据您的 Shell 类型，将以下命令添加到 ~/.zshrc 或 ~/.bash_profile 文件中：

export SCALE_API_KEY="[Your API key]"

保存文件后，执行以下命令使配置立即生效（若遇到 "Invalid API Key" 错误，请务必执行此步）：

source ~/.zshrc
# 或者
source ~/.bash_profile

2. 运行首个推理请求

配置完成后，您可以使用 Python 客户端调用模型。以下示例展示了如何使用 falcon-7b-instruct 模型生成创意内容：

from llmengine import Completion

response = Completion.create(
    model="falcon-7b-instruct",
    prompt="I'm opening a pancake restaurant that specializes in unique pancake shapes, colors, and flavors. List 3 quirky names I could name my restaurant.",
    max_new_tokens=100,
    temperature=0.2,
)

print(response.output.text)

运行上述代码，您将看到模型针对提示词生成的回复内容。

下一步：如需了解更高级的 FineTune（微调）API 用法或端到端实战案例，请访问 LLM Engine 官方文档 或参考相关技术博客。