[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-OpenBuddy--OpenBuddy":3,"similar-OpenBuddy--OpenBuddy":81},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":6,"owner_name":6,"owner_avatar_url":14,"owner_bio":15,"owner_company":16,"owner_location":16,"owner_email":17,"owner_twitter":16,"owner_website":16,"owner_url":18,"languages":16,"stars":19,"forks":20,"last_commit_at":21,"license":22,"difficulty_score":23,"env_os":24,"env_gpu":25,"env_ram":26,"env_deps":27,"category_tags":35,"github_topics":16,"view_count":23,"oss_zip_url":16,"oss_zip_packed_at":16,"status":37,"created_at":38,"updated_at":39,"faqs":40,"releases":80},2908,"OpenBuddy\u002FOpenBuddy","OpenBuddy","Open Multilingual Chatbot for Everyone","OpenBuddy 是一款面向全球用户的开源多语言聊天机器人模型，致力于提供自由、开放且支持离线运行的 AI 对话体验。它基于 Falcon 和 LLaMA 等主流基座模型进行深度微调，重点解决了传统模型在多语言支持（尤其是中日韩字符）及多轮对话连贯性上的不足，让用户能够用母语流畅地进行问答、翻译和交流。\n\n无论是希望保护隐私、在本地设备运行 AI 的普通用户，还是需要灵活定制模型的开发者与研究人员，OpenBuddy 都能满足需求。其独特亮点在于扩展了词汇表以更好地支持常见字符，并提供了从 3B 到 70B 多种参数量版本。特别值得一提的是，它支持通过 llama.cpp 进行低比特量化，使得大模型能在消费级硬件甚至 CPU 上高效运行；同时兼容 Ollama 和 vllm 框架，实现了“一键部署”和高并发服务搭建。OpenBuddy 旨在打破语言与技术门槛，让每个人都能轻松受益于人工智能技术。","# OpenBuddy - Open Multilingual Chatbot for Everyone\r\n\r\n\u003Cdiv align=\"center\">\r\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenBuddy_OpenBuddy_readme_862d887a6517.png\" width=\"300px\">\r\n\u003C\u002Fdiv>\r\n\r\n[中文](README.zh.md) | [English](README.md)\r\n\r\n微信公众号、微信群：\r\n\r\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenBuddy_OpenBuddy_readme_4560335f4b5b.jpg\" width=\"285\">\r\n\r\n搜索“**开源智友**”，关注公众号并发送“加群”即可获得微信群邀请、参与新模型内测等活动\r\n\r\n欢迎关注我们的 ModelScope 社区，体验精选模型的高速下载和一键部署：\r\n\r\nhttps:\u002F\u002Fmodelscope.cn\u002Forganization\u002FOpenBuddy\r\n\r\nWebsite: [https:\u002F\u002Fopenbuddy.ai](https:\u002F\u002Fopenbuddy.ai)\r\n\r\nGitHub: [https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy](https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy)\r\n\r\nHuggingface: https:\u002F\u002Fhuggingface.co\u002FOpenBuddy\r\n\r\n![Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenBuddy_OpenBuddy_readme_a3b7b04b5fa9.png)\r\n\r\nOpenBuddy is a powerful open multilingual chatbot model aimed at global users, emphasizing conversational AI and seamless multilingual support for English, Chinese, and other languages.\r\n\r\nBuilt upon Tii's Falcon model and Facebook's LLaMA model, OpenBuddy is fine-tuned to include an extended vocabulary, additional common characters, and enhanced token embeddings. By leveraging these improvements and multi-turn dialogue datasets, OpenBuddy offers a robust model capable of answering questions and performing translation tasks across various languages.\r\n\r\nOur mission with OpenBuddy is to provide a free, open, and offline-capable AI model that operates on users' devices, irrespective of their language or cultural background. We strive to empower individuals worldwide to access and benefit from AI technology.\r\n\r\n## Online Demo\r\n\r\nCurrently, the OpenBuddy demo is available on our Discord server. Please join our Discord server to try it out!\r\n\r\nDiscord: [![Discord](https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F1100710961549168640?color=blueviolet&label=Discord)](https:\u002F\u002Fdiscord.gg\u002F6fU2s9cGjA)\r\n\r\n## Key Features\r\n\r\n- **Multilingual** conversational AI, Chinese, English, Japanese, Korean, French, Germany and more!\r\n- Enhanced vocabulary and support for common CJK characters\r\n- Fine-tuned with multi-turn dialogue datasets for improved performance\r\n- Various model sizes to suit your needs: 3B, 7B, 13B, 30B, 40B, 65B, 70B and more!\r\n- 3\u002F4\u002F5-bit quantization for CPU deployment via llama.cpp (with slightly reduced output quality)\r\n- Active development plans for future features and improvements\r\n\r\n## Future Plans\r\n\r\n- Enhancing multilingual performance\r\n- Optimizing model quality post-quantization\r\n- Developing a mechanism to assess content quality, safety, and inference capabilities\r\n- Investigating Reinforcement Learning with Human Feedback (RLHF)\r\n- Exploring the addition of multimodal capabilities for dialogues with image context\r\n\r\n## Model Download\r\n\r\nOpenBuddy currently offers model downloads on HuggingFace and ModelScope.\r\n\r\nMore information about downloading the models can be found in the [Models](models.md) page.\r\n\r\n## Prompt Format\r\n\r\nFor models with versions >= 21.1, the prompt format is defined in the model card.\r\n\r\nFor models \u003C 21.1: refer to: [Legacy Prompt Format](legacy-prompt-format.md)\r\n\r\n## Inference with Ollama (recommended for personal users)\r\n\r\nOllama is a platform for locally deploying large models on consumer-grade hardware. It supports various inference methods such as CPU, CUDA, ROCm, and automatically selects the best hardware accelerator based on the actual situation. Ollama supports model quantization deployment, which means that large models can also run on devices with small memory.\r\n\r\nOllama implements one-stop model download, local deployment, and running. After [installing Ollama](https:\u002F\u002Fgithub.com\u002Follama\u002Follama), you can deploy the 4-bit quantized version of the 8B model with just one command:\r\n\r\n```sh\r\nollama run openbuddy\u002Fopenbuddy-llama3-8b-v21.1-8k\r\n```\r\n\r\nMore of our models can be found at: https:\u002F\u002Follama.com\u002Fopenbuddy\r\n\r\n## High-concurrency Inference using `vllm` in Linux + CUDA GPU environment\r\n\r\nStarting form v21, OpenBuddy models have their prompt formats defined in the `tokenizer_config.json` file, allowing for direct deployment using `vllm` to provide an OpenAI-compatible API service.\r\n\r\nFor more information, please refer to the [vllm documentation](https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Fserving\u002Fopenai_compatible_server.html).\r\n\r\n`vllm` is more suitable for high concurrency, multiple users, long context and other scenarios. Through technologies such as `FP8 KV Cache`, the concurrency and long text performance can be further improved. `vllm` currently only supports the Linux operating system and usually requires a CUDA GPU.\r\n\r\n## Disclaimer\r\n\r\nAll OpenBuddy models have inherent limitations and may potentially produce outputs that are erroneous, harmful, offensive, or otherwise undesirable. Users should not use these models in critical or high-stakes situations that may lead to personal injury, property damage, or significant losses. Examples of such scenarios include, but are not limited to, the medical field, controlling software and hardware systems that may cause harm, and making important financial or legal decisions.\r\n\r\nOpenBuddy is provided \"as-is\" without any warranty of any kind, either express or implied, including, but not limited to, the implied warranties of merchantability, fitness for a particular purpose, and non-infringement. In no event shall the authors, contributors, or copyright holders be liable for any claim, damages, or other liabilities, whether in an action of contract, tort, or otherwise, arising from, out of, or in connection with the software or the use or other dealings in the software.\r\n\r\nBy using OpenBuddy, you agree to these terms and conditions, and acknowledge that you understand the potential risks associated with its use. You also agree to indemnify and hold harmless the authors, contributors, and copyright holders from any claims, damages, or liabilities arising from your use of OpenBuddy.\r\n\r\n## License Restrictions\r\n\r\nOpenBuddy-LLaMA series models are subject to Meta's licensing agreement. These models are intended for use only by individuals who have obtained approval from Meta and are eligible to download LLaMA. If you have not obtained approval from Meta, you must visit the https:\u002F\u002Fai.meta.com\u002Fllama\u002F page, read and agree to the model's licensing agreement, submit an application, and wait for approval from Meta before downloading the model from the model page.\r\n\r\nFor the OpenBuddy-Falcon-7B\u002F40B, OpenBuddy-Mistral, OpenBuddy-Zephyr and OpenBuddy-OpenLLaMA series models, they are released under the Apache 2.0 License. Please refer to the Apache 2.0 License for applicable scope and restrictions.\r\n\r\nFor other models, they are usually released under the same license as the base model. Please refer to the Model Card for more information.\r\n\r\nRegarding the source code related to the OpenBuddy open-source project (including, but not limited to, example code), they are released under the Apache 2.0 License.\r\n\r\n## Acknowledgements\r\n\r\nWe extend our deepest gratitude to the open-source community for their selfless assistance and contributions to the OpenBuddy project.\r\n\r\nFirstly, we would like to specifically thank WeiKe Software for their robust support and help in the aspect of model training. We also want to thank [AIOS.club](https:\u002F\u002Fgithub.com\u002Faios-club) for their invaluable support.\r\n\r\nWe thank [Mr. Su Jianlin](https:\u002F\u002Fkexue.fm\u002F) for his valuable advice during the model training process. Not only did he provide professional advice, but he also proposed several methods for context expansion, enabling open models to support inference with long context, which has had a profound impact on our work.\r\n\r\nOur appreciation goes to [flysnow](https:\u002F\u002Fwww.flysnow.org\u002Fabout\u002F) and [jstzwj](https:\u002F\u002Fgithub.com\u002Fjstzwj). They provided valuable advice during the early stages of model development and extended substantial support and assistance in model inference.\r\n\r\nAt the same time, we also wish to express our gratitude to camera and other enthusiasts of open language models. Their suggestions played a pivotal role in improving the model.\r\n\r\nOnce again, we thank everyone who has contributed to the OpenBuddy project. Our success is inseparable from your support and encouragement.","# OpenBuddy - 面向所有人的开源多语言聊天机器人\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenBuddy_OpenBuddy_readme_862d887a6517.png\" width=\"300px\">\n\u003C\u002Fdiv>\n\n[中文](README.zh.md) | [English](README.md)\n\n微信公众号、微信群：\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenBuddy_OpenBuddy_readme_4560335f4b5b.jpg\" width=\"285\">\n\n搜索“**开源智友**”，关注公众号并发送“加群”即可获得微信群邀请、参与新模型内测等活动\n\n欢迎关注我们的 ModelScope 社区，体验精选模型的高速下载和一键部署：\n\nhttps:\u002F\u002Fmodelscope.cn\u002Forganization\u002FOpenBuddy\n\nWebsite: [https:\u002F\u002Fopenbuddy.ai](https:\u002F\u002Fopenbuddy.ai)\n\nGitHub: [https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy](https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy)\n\nHuggingface: https:\u002F\u002Fhuggingface.co\u002FOpenBuddy\n\n![Demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenBuddy_OpenBuddy_readme_a3b7b04b5fa9.png)\n\nOpenBuddy 是一款功能强大的开源多语言聊天机器人模型，面向全球用户，专注于对话式 AI，并提供英语、中文及其他语言的无缝多语言支持。\n\nOpenBuddy 基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型构建，经过微调以包含扩展词汇表、额外常用字符以及增强的标记嵌入。通过利用这些改进和多轮对话数据集，OpenBuddy 提供了一个强大的模型，能够回答问题并执行多种语言的翻译任务。\n\n我们推出 OpenBuddy 的使命是提供一个免费、开源且可在本地离线运行的 AI 模型，无论用户的语言或文化背景如何，都可以在他们的设备上使用。我们致力于让全球各地的人们都能访问并受益于 AI 技术。\n\n## 在线演示\n\n目前，OpenBuddy 的演示已在我们的 Discord 服务器上开放。请加入我们的 Discord 服务器来体验吧！\n\nDiscord：[![Discord](https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F1100710961549168640?color=blueviolet&label=Discord)](https:\u002F\u002Fdiscord.gg\u002F6fU2s9cGjA)\n\n## 核心特性\n\n- **多语言** 对话式 AI，支持中文、英文、日文、韩文、法文、德文等多种语言！\n- 扩展词汇表及对常见中日韩字符的支持\n- 使用多轮对话数据集进行微调，性能更佳\n- 多种模型尺寸满足不同需求：3B、7B、13B、30B、40B、65B、70B 等！\n- 支持 3\u002F4\u002F5 位量化，可通过 llama.cpp 在 CPU 上部署（输出质量略有下降）\n- 积极规划未来功能与改进\n\n## 未来计划\n\n- 提升多语言性能\n- 优化量化后的模型质量\n- 开发内容质量、安全性及推理能力评估机制\n- 研究人类反馈强化学习 (RLHF)\n- 探索为带有图像上下文的对话添加多模态能力\n\n## 模型下载\n\nOpenBuddy 目前在 HuggingFace 和 ModelScope 上提供模型下载。\n\n更多关于模型下载的信息，请参阅 [模型页面](models.md)。\n\n## 提示格式\n\n对于版本 ≥ 21.1 的模型，提示格式已在模型卡片中定义。\n\n对于版本 \u003C 21.1 的模型：请参考：[旧版提示格式](legacy-prompt-format.md)\n\n## 使用 Ollama 进行推理（推荐个人用户）\n\nOllama 是一个用于在消费级硬件上本地部署大型模型的平台。它支持 CPU、CUDA、ROCm 等多种推理方式，并会根据实际情况自动选择最佳硬件加速器。Ollama 支持模型量化部署，这意味着即使是内存较小的设备也能运行大型模型。\n\nOllama 实现了一站式的模型下载、本地部署和运行。在 [安装 Ollama](https:\u002F\u002Fgithub.com\u002Follama\u002Follama) 后，您只需一条命令即可部署 8B 模型的 4 位量化版本：\n\n```sh\nollama run openbuddy\u002Fopenbuddy-llama3-8b-v21.1-8k\n```\n\n更多我们的模型可以在：https:\u002F\u002Follama.com\u002Fopenbuddy 查看。\n\n## 在 Linux + CUDA GPU 环境下使用 `vllm` 进行高并发推理\n\n自 v21 版本起，OpenBuddy 模型的提示格式已在 `tokenizer_config.json` 文件中定义，因此可以直接使用 `vllm` 部署，提供与 OpenAI 兼容的 API 服务。\n\n更多信息请参阅 [vllm 文档](https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Fserving\u002Fopenai_compatible_server.html)。\n\n`vllm` 更适合高并发、多用户、长上下文等场景。通过 `FP8 KV Cache` 等技术，可以进一步提升并发能力和长文本处理性能。`vllm` 目前仅支持 Linux 操作系统，通常需要配备 CUDA GPU。\n\n## 免责声明\n\n所有 OpenBuddy 模型都存在固有局限性，可能会产生错误、有害、冒犯或其他不良输出。用户不应将这些模型用于可能导致人身伤害、财产损失或重大损失的关键或高风险场景。此类场景包括但不限于医疗领域、控制可能造成危害的软硬件系统，以及做出重要的金融或法律决策。\n\nOpenBuddy 按“原样”提供，不提供任何形式的明示或暗示担保，包括但不限于适销性、特定用途适用性和非侵权的暗示担保。在任何情况下，作者、贡献者或版权所有者均不对因软件或其使用或其他相关行为而产生的任何索赔、损害赔偿或其他责任承担法律责任，无论该责任是基于合同、侵权或其他原因。\n\n通过使用 OpenBuddy，您即表示同意这些条款和条件，并确认您了解使用该软件可能存在的风险。您还同意就因您使用 OpenBuddy 而产生的任何索赔、损害赔偿或责任，对作者、贡献者和版权所有者进行赔偿并使其免受损害。\n\n## 许可限制\n\nOpenBuddy-LLaMA 系列模型受 Meta 的许可协议约束。这些模型仅供已获得 Meta 批准并有资格下载 LLaMA 的个人使用。如果您尚未获得 Meta 的批准，请访问 https:\u002F\u002Fai.meta.com\u002Fllama\u002F 页面，阅读并同意模型的许可协议，提交申请，并等待 Meta 的批准后方可从模型页面下载该模型。\n\n对于 OpenBuddy-Falcon-7B\u002F40B、OpenBuddy-Mistral、OpenBuddy-Zephyr 和 OpenBuddy-OpenLLaMA 系列模型，它们采用 Apache 2.0 许可证发布。请参阅 Apache 2.0 许可证以了解适用范围和限制。\n\n对于其他模型，它们通常采用与基础模型相同的许可证发布。更多信息请参阅模型卡片。\n\n关于 OpenBuddy 开源项目相关的源代码（包括但不限于示例代码），它们采用 Apache 2.0 许可证发布。\n\n## 致谢\n\n我们向开源社区致以最深切的感谢，感谢他们为 OpenBuddy 项目提供的无私帮助与贡献。\n\n首先，我们要特别感谢 WeiKe Software 在模型训练方面给予的坚实支持与协助。同时，我们也感谢 [AIOS.club](https:\u002F\u002Fgithub.com\u002Faios-club) 提供的宝贵支持。\n\n我们感谢 [苏建林先生](https:\u002F\u002Fkexue.fm\u002F) 在模型训练过程中提出的宝贵建议。他不仅提供了专业的指导，还提出了多种上下文扩展方法，使开源模型能够支持长上下文推理，这对我们的工作产生了深远的影响。\n\n此外，我们还要感谢 [flysnow](https:\u002F\u002Fwww.flysnow.org\u002Fabout\u002F) 和 [jstzwj](https:\u002F\u002Fgithub.com\u002Fjstzwj)。他们在模型开发的早期阶段提供了宝贵的建议，并在模型推理方面给予了大力的支持与帮助。\n\n与此同时，我们也向关注相机及其他开源语言模型的爱好者们表示感谢。他们的建议对模型的优化起到了关键作用。\n\n再次感谢所有为 OpenBuddy 项目作出贡献的人士。我们的成功离不开你们的支持与鼓励。","# OpenBuddy 快速上手指南\n\nOpenBuddy 是一款强大的开源多语言聊天机器人模型，支持中文、英文等多种语言，旨在为用户提供免费、开放且可离线运行的 AI 体验。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**：Linux（推荐用于高性能部署）、macOS 或 Windows。\n- **硬件配置**：\n  - **CPU 推理**：适用于低显存设备，建议使用支持 AVX2 指令集的现代 CPU。\n  - **GPU 推理**：推荐使用 NVIDIA GPU（支持 CUDA）以获得最佳性能；AMD GPU 需支持 ROCm。\n  - **内存\u002F显存**：根据模型大小不同，建议至少 8GB RAM（3B 模型量化版）至 80GB+ VRAM（70B 全精度版）。\n\n### 前置依赖\n- Python 3.8+\n- Git\n- [Ollama](https:\u002F\u002Fgithub.com\u002Follama\u002Follama)（个人用户推荐）或 [vllm](https:\u002F\u002Fdocs.vllm.ai)（高并发场景）\n- 若使用 Hugging Face 下载模型，建议配置国内镜像加速（如 ModelScope）。\n\n> **国内加速推荐**：优先访问 [ModelScope 社区](https:\u002F\u002Fmodelscope.cn\u002Forganization\u002FOpenBuddy) 获取高速模型下载与一键部署服务。\n\n---\n\n## 安装步骤\n\n### 方案一：使用 Ollama（推荐个人用户）\n\nOllama 支持一键下载、量化部署和本地运行，自动适配 CPU\u002FGPU 硬件。\n\n1. **安装 Ollama**  \n   访问官网或 GitHub 下载安装包：  \n   ```bash\n   curl -fsSL https:\u002F\u002Follama.com\u002Finstall.sh | sh\n   ```\n\n2. **运行 OpenBuddy 模型**  \n   直接拉取并运行 4-bit 量化的 8B 模型：  \n   ```sh\n   ollama run openbuddy\u002Fopenbuddy-llama3-8b-v21.1-8k\n   ```\n\n   更多模型请访问：https:\u002F\u002Follama.com\u002Fopenbuddy\n\n### 方案二：使用 vllm（Linux + CUDA GPU 高并发场景）\n\n适用于需要高吞吐量、长上下文或多用户服务的场景。\n\n1. **安装 vllm**  \n   ```bash\n   pip install vllm\n   ```\n\n2. **启动 OpenAI 兼容 API 服务**  \n   OpenBuddy v21+ 模型已在 `tokenizer_config.json` 中定义提示格式，可直接部署：  \n   ```bash\n   python -m vllm.entrypoints.openai.api_server --model OpenBuddy\u002Fopenbuddy-llama3-8b-v21.1-8k\n   ```\n\n   详细参数参考：https:\u002F\u002Fdocs.vllm.ai\u002Fen\u002Flatest\u002Fserving\u002Fopenai_compatible_server.html\n\n---\n\n## 基本使用\n\n### 通过 Ollama 交互式对话\n\n安装完成后，在终端执行以下命令即可开始对话：\n\n```sh\nollama run openbuddy\u002Fopenbuddy-llama3-8b-v21.1-8k\n```\n\n进入交互界面后，直接输入中文或英文问题，例如：\n\n```text\n你好，请介绍一下你自己。\n```\n\n模型将实时返回多语言回复。\n\n### 通过 API 调用（vllm 部署后）\n\n使用 `curl` 发送请求：\n\n```bash\ncurl http:\u002F\u002Flocalhost:8000\u002Fv1\u002Fchat\u002Fcompletions \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -d '{\n    \"model\": \"openbuddy-llama3-8b-v21.1-8k\",\n    \"messages\": [{\"role\": \"user\", \"content\": \"请用中文写一首关于春天的诗\"}]\n  }'\n```\n\n---\n\n> **注意**：使用前请仔细阅读 [免责声明](https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy#disclaimer) 与 [许可证限制](https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy#license-restrictions)，特别是 LLaMA 系列模型需获得 Meta 官方授权方可使用。","一位跨境电商运营专员需要快速处理来自全球客户的非英语咨询，并生成符合当地文化习惯的多语言回复。\n\n### 没有 OpenBuddy 时\n- **语言壁垒高**：面对日语、韩语或小语种客户留言，必须依赖多个在线翻译工具拼接意思，极易丢失语境和语气。\n- **数据隐私风险**：敏感的客户订单信息或投诉内容需上传至公有云翻译平台，存在商业数据泄露隐患。\n- **回复生硬机械**：通用翻译软件无法理解多轮对话逻辑，生成的回复缺乏人情味，容易引发客户误解。\n- **部署成本高昂**：若想私有化部署大模型，往往受限于显存需求，普通办公电脑无法运行高性能模型。\n- **响应速度慢**：在不同工具间切换复制粘贴，处理单个复杂咨询耗时过长，严重影响客服效率。\n\n### 使用 OpenBuddy 后\n- **原生多语言支持**：OpenBuddy 内置增强的多语种词表，能直接理解并流畅输出中、英、日、韩等数十种语言，精准捕捉文化细微差别。\n- **本地离线运行**：借助量化技术，OpenBuddy 可直接在普通笔记本电脑的 CPU 上离线运行，确保所有客户数据不出本地设备。\n- **智能多轮对话**：基于多轮对话数据集微调，OpenBuddy 能记住上下文语境，生成自然、礼貌且具同理心的定制化回复。\n- **低门槛部署**：通过 Ollama 一键命令即可在消费级硬件上启动 4-bit 量化版本，无需昂贵显卡即可享受大模型能力。\n- **工作流一体化**：直接在本地终端与 OpenBuddy 交互，瞬间完成从“理解诉求”到“生成回复”的全流程，效率提升数倍。\n\nOpenBuddy 让每一位用户都能在保护隐私的前提下，低成本拥有懂全球语言、知人情世故的专属 AI 助手。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FOpenBuddy_OpenBuddy_862d887a.png","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FOpenBuddy_9d4f9368.png","",null,"oss@openbuddy.ai","https:\u002F\u002Fgithub.com\u002FOpenBuddy",1277,74,"2026-02-25T20:28:43","Apache-2.0",2,"Linux, macOS, Windows","高并发场景必需 (NVIDIA CUDA GPU)；个人用户可通过 Ollama 使用 CPU、CUDA 或 ROCm 运行，支持量化以降低显存需求","未说明 (取决于模型大小及是否量化，3B-70B 多种尺寸可选)",{"notes":28,"python":29,"dependencies":30},"推荐使用 Ollama 进行本地一键部署（支持 4-bit 量化，适合消费级硬件）；高并发场景推荐在 Linux + CUDA 环境下使用 vllm；OpenBuddy-LLaMA 系列模型需获得 Meta 官方授权方可使用；提供 3\u002F4\u002F5-bit 量化版本以适配低显存设备。","未说明",[31,32,33,34],"ollama","vllm","llama.cpp","transformers",[36],"语言模型","ready","2026-03-27T02:49:30.150509","2026-04-06T06:44:44.118180",[41,46,51,56,60,65,70,75],{"id":42,"question_zh":43,"answer_zh":44,"source_url":45},13458,"如何解决加载模型时出现的 'Input length... but max_length is set to...' 警告？","需要将参数改为使用 `max_new_tokens`。关于显存不足的问题，建议尝试以 fp16 精度加载模型，并参考项目中最新的 `hello.py` 脚本进行配置。","https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\u002Fissues\u002F18",{"id":47,"question_zh":48,"answer_zh":49,"source_url":50},13459,"在 Hugging Face 加载模型时报错 'Can't load the configuration' 或路径错误怎么办？","请确保使用最新版本的 `hello.py` 脚本。如果使用本地路径，路径前可能需要添加 `.\u002F`，且路径文件夹名称中不能包含小数点（例如避免使用 v1.5 这样的命名，或将其重命名）。直接加载远程模型时，请使用正确的模型标识符（如 `OpenBuddy\u002Fopenbuddy-falcon-7b-v5-fp16`）。","https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\u002Fissues\u002F17",{"id":52,"question_zh":53,"answer_zh":54,"source_url":55},13460,"OpenBuddy 模型微调（SFT）时使用的 Prompt 格式是什么？","System prompt 通常为 \"You are a helpful assistant.\"。在多轮对话格式中，仅在第一个 System 提示前添加 BOS (Begin of Sequence) token，后续每一轮对话的 User 输入前添加 BOS，Assistant 的回答后添加 EOS (End of Sequence)。不要在每一轮消息前都重复添加 BOS。","https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\u002Fissues\u002F38",{"id":57,"question_zh":58,"answer_zh":59,"source_url":45},13461,"Falcon 架构的模型在回答中文传统文化问题时出现幻觉或逻辑不佳的原因是什么？","这可能是因为 Falcon 预训练阶段缺少足够的中文领域知识。测试显示其在计算机专业知识上表现与 LLaMA 接近，但在中文特定知识上较弱。团队正在考虑改进方案以增强中文知识能力。",{"id":61,"question_zh":62,"answer_zh":63,"source_url":64},13462,"如何提升模型对德语等非英语语言的支持效果？","虽然训练集中包含部分德语数据，但由于语言复杂性，模型可能无法达到母语者水平。若需更好的德语性能，建议使用自定义德语数据集对模型进行继续训练（Fine-tuning），而不仅仅是依赖内置的多语言能力。","https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\u002Fissues\u002F50",{"id":66,"question_zh":67,"answer_zh":68,"source_url":69},13463,"如何扩展模型的上下文长度（超过默认限制）？","可以尝试使用 NTK aware scaled RoPE 方法，实验表明在 2 倍扩展时能力下降不明显。此外，也可以关注科学空间博客中关于 RoPE Scaling 的最新方法。如果不考虑不同上下文间的关联性，NBCE 方法也有一定效果。","https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\u002Fissues\u002F53",{"id":71,"question_zh":72,"answer_zh":73,"source_url":74},13464,"OpenBuddy 扩展了哪些词表？多语言支持能力来自哪里？","词表扩展主要针对 CJK（中、日、韩）字符集中的常用字。模型强大的跨语言对话能力（包括非印欧语系）主要来源于针对多种语言进行的专门调优。用户可以通过载入 `tokenizer.json` 查看详细的词表内容。","https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\u002Fissues\u002F13",{"id":76,"question_zh":77,"answer_zh":78,"source_url":79},13465,"如何获取早期访问（Early Access）的大模型（如 13B 版本）？","需要填写申请表单并提供正确的 Hugging Face ID。维护者会将该 ID 添加到 Early Access 组织中，之后用户即可访问受限的模型资源（如 https:\u002F\u002Fhuggingface.co\u002FOpenBuddyEA）。如果 ID 填写错误会导致无法找到用户。","https:\u002F\u002Fgithub.com\u002FOpenBuddy\u002FOpenBuddy\u002Fissues\u002F1",[],[82,92,100,114,123,131],{"id":83,"name":84,"github_repo":85,"description_zh":86,"stars":87,"difficulty_score":23,"last_commit_at":88,"category_tags":89,"status":37},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,"2026-04-05T11:33:21",[90,91,36],"开发框架","Agent",{"id":93,"name":94,"github_repo":95,"description_zh":96,"stars":97,"difficulty_score":23,"last_commit_at":98,"category_tags":99,"status":37},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[90,36],{"id":101,"name":102,"github_repo":103,"description_zh":104,"stars":105,"difficulty_score":23,"last_commit_at":106,"category_tags":107,"status":37},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[108,109,110,111,91,112,36,90,113],"图像","数据工具","视频","插件","其他","音频",{"id":115,"name":116,"github_repo":117,"description_zh":118,"stars":119,"difficulty_score":120,"last_commit_at":121,"category_tags":122,"status":37},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[91,108,90,36,112],{"id":124,"name":125,"github_repo":126,"description_zh":127,"stars":128,"difficulty_score":120,"last_commit_at":129,"category_tags":130,"status":37},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[36,108,90,112],{"id":132,"name":133,"github_repo":134,"description_zh":135,"stars":136,"difficulty_score":120,"last_commit_at":137,"category_tags":138,"status":37},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[36,91,90,111]]