OpenBuddy - 面向所有人的开源多语言聊天机器人

中文 | English

微信公众号、微信群：

搜索“开源智友”，关注公众号并发送“加群”即可获得微信群邀请、参与新模型内测等活动

欢迎关注我们的 ModelScope 社区，体验精选模型的高速下载和一键部署：

https://modelscope.cn/organization/OpenBuddy

Website: https://openbuddy.ai

GitHub: https://github.com/OpenBuddy/OpenBuddy

Huggingface: https://huggingface.co/OpenBuddy

OpenBuddy 是一款功能强大的开源多语言聊天机器人模型，面向全球用户，专注于对话式 AI，并提供英语、中文及其他语言的无缝多语言支持。

OpenBuddy 基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型构建，经过微调以包含扩展词汇表、额外常用字符以及增强的标记嵌入。通过利用这些改进和多轮对话数据集，OpenBuddy 提供了一个强大的模型，能够回答问题并执行多种语言的翻译任务。

我们推出 OpenBuddy 的使命是提供一个免费、开源且可在本地离线运行的 AI 模型，无论用户的语言或文化背景如何，都可以在他们的设备上使用。我们致力于让全球各地的人们都能访问并受益于 AI 技术。

在线演示

目前，OpenBuddy 的演示已在我们的 Discord 服务器上开放。请加入我们的 Discord 服务器来体验吧！

Discord：

核心特性

• 多语言 对话式 AI，支持中文、英文、日文、韩文、法文、德文等多种语言！
• 扩展词汇表及对常见中日韩字符的支持
• 使用多轮对话数据集进行微调，性能更佳
• 多种模型尺寸满足不同需求：3B、7B、13B、30B、40B、65B、70B 等！
• 支持 3/4/5 位量化，可通过 llama.cpp 在 CPU 上部署（输出质量略有下降）
• 积极规划未来功能与改进

未来计划

• 提升多语言性能
• 优化量化后的模型质量
• 开发内容质量、安全性及推理能力评估机制
• 研究人类反馈强化学习 (RLHF)
• 探索为带有图像上下文的对话添加多模态能力

模型下载

OpenBuddy 目前在 HuggingFace 和 ModelScope 上提供模型下载。

更多关于模型下载的信息，请参阅 模型页面。

提示格式

对于版本 ≥ 21.1 的模型，提示格式已在模型卡片中定义。

对于版本 < 21.1 的模型：请参考：旧版提示格式

使用 Ollama 进行推理（推荐个人用户）

Ollama 是一个用于在消费级硬件上本地部署大型模型的平台。它支持 CPU、CUDA、ROCm 等多种推理方式，并会根据实际情况自动选择最佳硬件加速器。Ollama 支持模型量化部署，这意味着即使是内存较小的设备也能运行大型模型。

Ollama 实现了一站式的模型下载、本地部署和运行。在 安装 Ollama 后，您只需一条命令即可部署 8B 模型的 4 位量化版本：

ollama run openbuddy/openbuddy-llama3-8b-v21.1-8k

更多我们的模型可以在：https://ollama.com/openbuddy 查看。

在 Linux + CUDA GPU 环境下使用 vllm 进行高并发推理

自 v21 版本起，OpenBuddy 模型的提示格式已在 tokenizer_config.json 文件中定义，因此可以直接使用 vllm 部署，提供与 OpenAI 兼容的 API 服务。

更多信息请参阅 vllm 文档。

vllm 更适合高并发、多用户、长上下文等场景。通过 FP8 KV Cache 等技术，可以进一步提升并发能力和长文本处理性能。vllm 目前仅支持 Linux 操作系统，通常需要配备 CUDA GPU。

免责声明

所有 OpenBuddy 模型都存在固有局限性，可能会产生错误、有害、冒犯或其他不良输出。用户不应将这些模型用于可能导致人身伤害、财产损失或重大损失的关键或高风险场景。此类场景包括但不限于医疗领域、控制可能造成危害的软硬件系统，以及做出重要的金融或法律决策。

OpenBuddy 按“原样”提供，不提供任何形式的明示或暗示担保，包括但不限于适销性、特定用途适用性和非侵权的暗示担保。在任何情况下，作者、贡献者或版权所有者均不对因软件或其使用或其他相关行为而产生的任何索赔、损害赔偿或其他责任承担法律责任，无论该责任是基于合同、侵权或其他原因。

通过使用 OpenBuddy，您即表示同意这些条款和条件，并确认您了解使用该软件可能存在的风险。您还同意就因您使用 OpenBuddy 而产生的任何索赔、损害赔偿或责任，对作者、贡献者和版权所有者进行赔偿并使其免受损害。

许可限制

OpenBuddy-LLaMA 系列模型受 Meta 的许可协议约束。这些模型仅供已获得 Meta 批准并有资格下载 LLaMA 的个人使用。如果您尚未获得 Meta 的批准，请访问 https://ai.meta.com/llama/ 页面，阅读并同意模型的许可协议，提交申请，并等待 Meta 的批准后方可从模型页面下载该模型。

对于 OpenBuddy-Falcon-7B/40B、OpenBuddy-Mistral、OpenBuddy-Zephyr 和 OpenBuddy-OpenLLaMA 系列模型，它们采用 Apache 2.0 许可证发布。请参阅 Apache 2.0 许可证以了解适用范围和限制。

对于其他模型，它们通常采用与基础模型相同的许可证发布。更多信息请参阅模型卡片。

关于 OpenBuddy 开源项目相关的源代码（包括但不限于示例代码），它们采用 Apache 2.0 许可证发布。

致谢

我们向开源社区致以最深切的感谢，感谢他们为 OpenBuddy 项目提供的无私帮助与贡献。

首先，我们要特别感谢 WeiKe Software 在模型训练方面给予的坚实支持与协助。同时，我们也感谢 AIOS.club 提供的宝贵支持。

我们感谢 苏建林先生 在模型训练过程中提出的宝贵建议。他不仅提供了专业的指导，还提出了多种上下文扩展方法，使开源模型能够支持长上下文推理，这对我们的工作产生了深远的影响。

此外，我们还要感谢 flysnow 和 jstzwj。他们在模型开发的早期阶段提供了宝贵的建议，并在模型推理方面给予了大力的支持与帮助。

与此同时，我们也向关注相机及其他开源语言模型的爱好者们表示感谢。他们的建议对模型的优化起到了关键作用。

再次感谢所有为 OpenBuddy 项目作出贡献的人士。我们的成功离不开你们的支持与鼓励。

OpenBuddy 快速上手指南

OpenBuddy 是一款强大的开源多语言聊天机器人模型，支持中文、英文等多种语言，旨在为用户提供免费、开放且可离线运行的 AI 体验。

环境准备

系统要求

• 操作系统：Linux（推荐用于高性能部署）、macOS 或 Windows。
• 硬件配置：
  • CPU 推理：适用于低显存设备，建议使用支持 AVX2 指令集的现代 CPU。
  • GPU 推理：推荐使用 NVIDIA GPU（支持 CUDA）以获得最佳性能；AMD GPU 需支持 ROCm。
  • 内存/显存：根据模型大小不同，建议至少 8GB RAM（3B 模型量化版）至 80GB+ VRAM（70B 全精度版）。

前置依赖

• Python 3.8+
• Git
• Ollama（个人用户推荐）或 vllm（高并发场景）
• 若使用 Hugging Face 下载模型，建议配置国内镜像加速（如 ModelScope）。

国内加速推荐：优先访问 ModelScope 社区 获取高速模型下载与一键部署服务。

---

安装步骤

方案一：使用 Ollama（推荐个人用户）

Ollama 支持一键下载、量化部署和本地运行，自动适配 CPU/GPU 硬件。

1. 安装 Ollama
   访问官网或 GitHub 下载安装包：

   curl -fsSL https://ollama.com/install.sh | sh
   

2. 运行 OpenBuddy 模型
   直接拉取并运行 4-bit 量化的 8B 模型：

   ollama run openbuddy/openbuddy-llama3-8b-v21.1-8k
   

   更多模型请访问：https://ollama.com/openbuddy

方案二：使用 vllm（Linux + CUDA GPU 高并发场景）

适用于需要高吞吐量、长上下文或多用户服务的场景。

1. 安装 vllm

   pip install vllm
   

2. 启动 OpenAI 兼容 API 服务
   OpenBuddy v21+ 模型已在 tokenizer_config.json 中定义提示格式，可直接部署：

   python -m vllm.entrypoints.openai.api_server --model OpenBuddy/openbuddy-llama3-8b-v21.1-8k
   

   详细参数参考：https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html

---

基本使用

通过 Ollama 交互式对话

安装完成后，在终端执行以下命令即可开始对话：

ollama run openbuddy/openbuddy-llama3-8b-v21.1-8k

进入交互界面后，直接输入中文或英文问题，例如：

你好，请介绍一下你自己。

模型将实时返回多语言回复。

通过 API 调用（vllm 部署后）

使用 curl 发送请求：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openbuddy-llama3-8b-v21.1-8k",
    "messages": [{"role": "user", "content": "请用中文写一首关于春天的诗"}]
  }'

---

注意：使用前请仔细阅读 免责声明 与 许可证限制，特别是 LLaMA 系列模型需获得 Meta 官方授权方可使用。