受合作伙伴信赖

| Gradient | 博客 | X(Twitter)(Gradient) | X(Twitter)(Parallax) | Discord | Arxiv

新闻

• [2026/2] 🦞 Parallax 现已支持 OpenClaw 集成！详情请参阅 文档
• [2025/10] 🔥 Parallax 在 Product Hunt 上荣获“今日最佳产品”第一名！
• [2025/10] 🔥 Parallax 0.0.1 版本正式发布！

关于

Parallax 是由 Gradient 开发的一款完全去中心化的推理引擎。它允许您在一组分布式节点上构建自己的 AI 集群，用于模型推理，无论这些节点的配置和物理位置如何。其核心功能包括：

• 在个人设备上托管本地 LLM
• 跨平台支持
• 流水线并行模型分片
• 适用于 Mac 的分页式 KV 缓存管理和连续批处理
• 动态请求调度与路由，以实现高性能

后端架构如下：

• 基于 Lattica 的 P2P 通信
• 基于 SGLang 和 vLLM 的 GPU 后端
• 基于 MLX LM 的 Mac 后端

用户指南

• 安装
• 快速入门
• 使用 OpenClaw 🦞

贡献

我们热烈欢迎各种形式的贡献！有关参与方式的详细说明，请参阅我们的 贡献指南。

支持的模型

Parallax 快速上手指南

Parallax 是由 Gradient 开发的全去中心化推理引擎。它允许你将个人设备（如笔记本电脑、台式机）组成一个分布式 AI 集群，通过流水线并行（Pipeline Parallelism）技术跨设备运行大型语言模型（LLM），即使这些设备的配置和物理位置各不相同。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

系统要求

• 操作系统：支持 macOS (Apple Silicon) 和 Linux。Windows 用户建议使用 WSL2。
• 硬件：
  • GPU 节点：配备 NVIDIA GPU 的设备（用于 SGLang/vLLM 后端）。
  • Mac 节点：配备 M1/M2/M3 系列芯片的 Mac（用于 MLX LM 后端）。
  • 网络环境需支持 P2P 通信（基于 Lattica）。

前置依赖

• Python: 版本 >= 3.9
• 包管理器: pip 或 conda
• 网络: 稳定的互联网连接以下载模型权重和建立节点连接。

提示：由于涉及大模型下载，国内开发者建议配置 Hugging Face 镜像源以加速下载：

export HF_ENDPOINT=https://hf-mirror.com

2. 安装步骤

你可以通过 PyPI 直接安装 Parallax 的核心库。

使用 pip 安装

打开终端，执行以下命令：

pip install parallax-ai

验证安装

安装完成后，检查版本以确保安装成功：

parallax --version

注意：如果你计划贡献代码或使用最新特性，也可以从源码安装：

git clone https://github.com/GradientHQ/parallax.git
cd parallax
pip install -e .

3. 基本使用

Parallax 的核心用法是将多个设备连接成一个集群来共同推理一个大模型。以下是启动一个简单分布式推理会话的流程。

步骤一：启动主节点（Coordinator）

在一台性能较好的设备上启动主节点，它将负责调度请求和管理 KV Cache。

parallax serve --model deepseek-ai/DeepSeek-V3.2 --role coordinator --host 0.0.0.0 --port 8080

步骤二：加入工作节点（Worker）

在其他设备（如另一台带有 GPU 的机器或 Mac）上启动工作节点，并指向主节点的地址。

# 在第二台设备上执行
parallax serve --model deepseek-ai/DeepSeek-V3.2 --role worker --coordinator-address <主节点 IP>:8080

注：--model 参数在所有节点上必须保持一致，Parallax 会自动处理模型分片。

步骤三：发送推理请求

集群组建完成后，你可以像使用普通 API 一样发送请求。Parallax 会自动将计算任务分发到所有可用节点。

import requests

url = "http://<主节点 IP>:8080/v1/chat/completions"
payload = {
    "model": "deepseek-ai/DeepSeek-V3.2",
    "messages": [
        {"role": "user", "content": "你好，请介绍一下 Parallax 的工作原理。"}
    ]
}

response = requests.post(url, json=payload)
print(response.json()['choices'][0]['message']['content'])

支持的主流模型

Parallax 原生支持多种主流开源模型，包括但不限于：

• DeepSeek: DeepSeek-V3.2, DeepSeek-R1
• Qwen: Qwen3, Qwen2.5
• MiniMax: MiniMax-M2
• GLM: GLM-4.7
• Llama: Meta Llama 3.1/3.2/3.3
• Kimi: Kimi-K2

只需将 --model 参数替换为对应的 HuggingFace 模型 ID 即可自动加载。