以BitTorrent的方式，在家运行大型语言模型。
微调与推理速度比传统卸载技术最高快10倍

使用分布式Llama 3.1（高达4050亿参数）、Mixtral（8×220亿参数）、Falcon（400亿+参数）或BLOOM（1760亿参数）生成文本，并针对您的特定任务进行微调——直接在您的台式电脑或Google Colab上即可完成：

from transformers import AutoTokenizer
from petals import AutoDistributedModelForCausalLM

# 选择 https://health.petals.dev 上的任意可用模型
model_name = "meta-llama/Meta-Llama-3.1-405B-Instruct"

# 连接到托管模型各层的分布式网络
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoDistributedModelForCausalLM.from_pretrained(model_name)

# 像在本地运行一样使用该模型
inputs = tokenizer("A cat sat", return_tensors="pt")["input_ids"]
outputs = model.generate(inputs, max_new_tokens=5)
print(tokenizer.decode(outputs[0]))  # A cat sat on a mat...

🚀  立即在Colab中尝试

🦙 想运行Llama吗？ 请先申请访问权限获取其权重，然后在加载模型前在终端中运行huggingface-cli login。或者直接在我们的聊天机器人应用中试用。

🔏 隐私保护。 您的数据将由公共蜂群中的其他用户协助处理。更多关于隐私的信息，请参阅这里。对于敏感数据，您可以与信任的人建立一个私有蜂群。

💬 有任何问题吗？ 请在我们的Discord中联系我们！

连接您的GPU，提升Petals容量

Petals是一个由社区运营的系统——我们依赖于大家共享自己的GPU资源。您可以帮助提供其中一种可用模型的服务，也可以从🤗 Model Hub托管一个新的模型！

例如，以下是如何在您的GPU上托管部分Llama 3.1（4050亿参数）Instruct的方法：

🦙 想托管Llama吗？ 请先申请访问权限获取其权重，然后在加载模型前在终端中运行huggingface-cli login。

🐧 Linux + Anaconda。 对于NVIDIA GPU，请运行以下命令（AMD则请参考这篇文档）：

conda install pytorch pytorch-cuda=11.7 -c pytorch -c nvidia
pip install git+https://github.com/bigscience-workshop/petals
python -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

🪟 Windows + WSL。 请按照我们Wiki上的指南操作。

🐋 Docker。 对于NVIDIA GPU，可运行我们的Docker镜像（AMD则请参考这篇文档）：

sudo docker run -p 31330:31330 --ipc host --gpus all --volume petals-cache:/cache --rm \
    learningathome/petals:main \
    python -m petals.cli.run_server --port 31330 meta-llama/Meta-Llama-3.1-405B-Instruct

🍏 macOS + Apple M1/M2 GPU。 安装Homebrew后，运行以下命令：

brew install python
python3 -m pip install git+https://github.com/bigscience-workshop/petals
python3 -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

📚  了解更多（如何使用多块GPU、开机自启动服务器等）

🔒 安全性。 托管服务器并不会让他人在您的计算机上运行自定义代码。更多信息请参阅这里。

💬 有任何问题吗？ 请在我们的Discord中联系我们！

🏆 感谢！ 当您加载并托管超过10个区块时，我们可以在蜂群监控器上展示您的姓名或链接，以表达谢意。您可以通过--public_name YOUR_NAME来指定这些信息。

它是如何工作的？

• 您只需加载模型的一小部分，然后加入一个由其他人提供其余部分服务的网络。单批次推理速度可达Llama 2（700亿参数）每秒6个token，以及Falcon（1800亿参数）每秒4个token——足以支持聊天机器人和交互式应用。
• 您可以采用任何微调和采样方法，执行自定义的模型路径，或查看其隐藏状态。您将享受到API的便利性，同时兼具PyTorch和**🤗 Transformers**的灵活性。

📜  阅读论文            📚  查看常见问题解答

📚 教程、示例及其他资源

基础教程：

• 入门：教程
• 使用Llama-65B对文本进行语义分类的提示调优：教程
• 使用BLOOM创建个性化聊天机器人的提示调优：教程

实用工具：

• 聊天机器人Web应用（通过HTTP/WebSocket端点连接到Petals）：源代码
• 公共蜂群的监控器：源代码

进阶指南：

• 启动私有蜂群：指南
• 运行自定义模型：指南

基准测试

请参阅我们的论文中的第3.3节。

🛠️ 贡献

请参阅我们的常见问题解答，了解如何贡献。

📜 引用

Alexander Borzunov、Dmitry Baranchuk、Tim Dettmers、Max Ryabinin、Younes Belkada、Artem Chumachenko、Pavel Samygin 和 Colin Raffel。 Petals：大型模型的协作推理与微调。 《第61届计算语言学协会年会论文集（第3卷：系统演示）》。2023年。

@inproceedings{borzunov2023petals,
  title = {Petals: Collaborative Inference and Fine-tuning of Large Models},
  author = {Borzunov, Alexander and Baranchuk, Dmitry and Dettmers, Tim and Riabinin, Maksim and Belkada, Younes and Chumachenko, Artem and Samygin, Pavel and Raffel, Colin},
  booktitle = {Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)},
  pages = {558--568},
  year = {2023},
  url = {https://arxiv.org/abs/2209.01188}
}

Alexander Borzunov、Max Ryabinin、Artem Chumachenko、Dmitry Baranchuk、Tim Dettmers、Younes Belkada、Pavel Samygin 和 Colin Raffel。 互联网上的大型语言模型分布式推理与微调。 《神经信息处理系统进展》第36卷（2023年）。

@inproceedings{borzunov2023distributed,
  title = {Distributed inference and fine-tuning of large language models over the {I}nternet},
  author = {Borzunov, Alexander and Ryabinin, Max and Chumachenko, Artem and Baranchuk, Dmitry and Dettmers, Tim and Belkada, Younes and Samygin, Pavel and Raffel, Colin},
  booktitle = {Advances in Neural Information Processing Systems},
  volume = {36},
  pages = {12312--12331},
  year = {2023},
  url = {https://arxiv.org/abs/2312.08361}
}

---

本项目是 BigScience 研究研讨会的一部分。

Petals 快速上手指南

Petals 是一个去分布式的开源工具，允许你在本地电脑或 Google Colab 上以 BitTorrent 风格运行超大语言模型（如 Llama 3.1 405B、Mixtral、Falcon 等）。它通过连接公共网络中的其他用户共享的 GPU 资源，实现模型的分布式推理和微调。

环境准备

系统要求

• 操作系统：Linux (推荐), Windows (需 WSL), macOS (Apple M1/M2)
• GPU：NVIDIA GPU (推荐), AMD GPU, 或 Apple Silicon
• Python：3.8 及以上版本
• 网络：稳定的互联网连接（用于连接分布式节点）

前置依赖

• NVIDIA 用户：需安装 CUDA 驱动及 Toolkit (推荐 CUDA 11.7+)
• Hugging Face 账号：若需运行 Llama 等受限模型，需先申请权限并登录。

安装步骤

根据你的操作系统选择以下一种方式进行安装：

方案 A：Linux + Conda (推荐 NVIDIA 用户)

# 创建环境并安装 PyTorch (CUDA 11.7)
conda install pytorch pytorch-cuda=11.7 -c pytorch -c nvidia

# 安装 Petals
pip install git+https://github.com/bigscience-workshop/petals

方案 B：macOS (Apple M1/M2)

# 安装 Homebrew (如果尚未安装)
brew install python

# 安装 Petals
python3 -m pip install git+https://github.com/bigscience-workshop/petals

方案 C：Docker (通用，支持 NVIDIA GPU)

sudo docker run -p 31330:31330 --ipc host --gpus all --volume petals-cache:/cache --rm \
    learningathome/petals:main \
    python -m petals.cli.run_server --port 31330 meta-llama/Meta-Llama-3.1-405B-Instruct

(注：Windows 用户建议使用 WSL 参考 Linux 方案，或查阅官方 Wiki 使用 Docker)

注意：如果你计划运行 Llama 3.1 等受限模型，请在终端执行以下命令登录 Hugging Face：

huggingface-cli login

基本使用

以下是最简单的 Python 代码示例，展示如何加载分布式模型并生成文本。该示例将自动连接公共网络中托管 Llama-3.1-405B 模型层的节点。

from transformers import AutoTokenizer
from petals import AutoDistributedModelForCausalLM

# 选择模型名称 (可在 https://health.petals.dev 查看可用模型)
model_name = "meta-llama/Meta-Llama-3.1-405B-Instruct"

# 初始化分词器并连接分布式网络加载模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoDistributedModelForCausalLM.from_pretrained(model_name)

# 像使用本地模型一样进行推理
inputs = tokenizer("A cat sat", return_tensors="pt")["input_ids"]
outputs = model.generate(inputs, max_new_tokens=5)

# 输出结果
print(tokenizer.decode(outputs[0])) 
# 预期输出类似：A cat sat on a mat...

贡献算力（可选）

如果你想为社区贡献自己的 GPU 算力来托管模型的一部分，可以运行以下命令启动服务器：

# Linux/Mac 示例：托管 Llama 3.1 405B 的部分层级
python -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct