https://github.com/user-attachments/assets/8a7705e1-6f0e-4374-8784-62b95816aebc

轻松搭建本地LLM环境。

# 启动已完全配置的Open WebUI和Ollama
harbor up

# 现在，Open WebUI可以进行网络检索增强和TTS/STT
harbor up searxng speaches

Harbor是一款CLI工具及配套应用，能够帮助您快速搭建完整的本地大模型运行环境——包括后端如Ollama、llama.cpp或vLLM，前端如Open WebUI，以及支持服务如用于网络搜索的SearXNG、用于语音对话的Speaches和用于图像生成的ComfyUI等。所有组件都预先配置好，只需一条harbor up命令即可实现无缝协作。无需手动设置：您只需选择所需的服务，Harbor便会自动完成Docker Compose编排、配置及各服务间的互联互通，让您专注于实际使用模型。

新闻

• v0.4.10 - 修复了 SearXNG 的 JSON 格式和工作区配置，解决了 CDI 种子脚本跳过构建变体的问题
• v0.4.9 - 新增两个 Boost 模块（analogical、deaf），Open WebUI 原生函数调用默认启用，修复了 CLI 验证问题
• v0.4.8 - 单独的 CLI 和 ROS MCP 服务器服务，新增 MiniMax 云提供商，文档进行了大量更新
• v0.4.7 - Hermes Agent 服务，支持从源码构建 llama.cpp，更新了 llama.cpp 文档
• v0.4.6 - SillyTavern 服务，修复了 llama.cpp 缓存路径，改进了 Jupyter 工作区
• v0.4.5 - Harbor App：内置终端、服务日志、模型管理
• v0.4.4 - Harbor 集成测试套件，使用模拟的 OpenAI 接口，增强了服务管理 UI

文档

• 安装 Harbor
  安装 Harbor CLI 和 App 的指南
• Harbor 用户指南
  使用 Harbor 的高级概述
• Harbor App
  Harbor 伴侣应用的概述和手册
• Harbor 服务
  Harbor 中可用的服务目录
• Harbor CLI 参考
  了解更多关于 Harbor CLI 命令和选项的信息。 阅读支持的服务以及如何配置它们的内容。
• 加入我们的 Discord
  获取帮助、分享经验并为项目贡献力量。

维护者：重新生成文档

在 Harbor 仓库根目录下运行文档工作流：

harbor dev docs

新维护者的前提条件：

• 将 wiki 仓库克隆到父级目录 ../harbor.wiki 中，因为文档脚本会将生成的 wiki 页面复制到那里。

  git clone https://github.com/av/harbor.wiki.git ../harbor.wiki
  

• 使用此仓库中的 Harbor CLI。如果 harbor 尚未在您的 PATH 中，您可以直接运行本地入口点：

  ./harbor.sh dev docs
  

  或者先链接该仓库，再使用上述维护者命令：

  ./harbor.sh link
  harbor dev docs
  

• 在重新生成文档之前，必须确保 Docker Engine 和 docker compose 正常工作。文档脚本会调用 harbor run boost uv run ... 来重建由 Boost 生成的页面，因此即使 Harbor 回退到容器化的 Deno 运行时，也需要 Docker。

此工作流会更新 docs/ 目录，同步兄弟 wiki 仓库，刷新应用文档副本，并重写生成的软件包 README 文件。

Harbor 能做什么？

✦ 本地 LLM

在本地运行 LLM 和相关服务，几乎无需或只需少量配置，通常只需一个命令或一次点击即可。

# 所有后端都已预先连接到 Open WebUI
harbor up ollama
harbor up llamacpp
harbor up vllm

# 设置并记住 llama.cpp 的参数
harbor llamacpp args -ngl 32

最前沿的推理

Harbor 支持大多数主流的推理引擎，同时也支持一些不太知名的引擎。

# 我们真诚地希望您不会尝试同时运行所有这些引擎
harbor up vllm llamacpp tgi litellm tabbyapi aphrodite sglang ktransformers mistralrs airllm

工具使用

享受 MCP 生态系统带来的好处，并将其扩展到您的应用场景中。

# 使用便捷的 Web UI 管理 MCP
harbor up metamcp

# 将 MCP 连接到 Open WebUI
harbor up metamcp mcpo

图像生成

Harbor 包含 ComfyUI + Flux + Open WebUI 的集成。

# 通过一个命令即可在 Open WebUI 中使用 FLUX
harbor up comfyui

本地 Web RAG / 深度研究

Harbor 内置 SearXNG，它开箱即用，预连接了许多服务：Perplexica、ChatUI、Morphic、本地深度研究等。

# SearXNG 已预先连接到 Open WebUI
harbor up searxng

# 并且连接到许多其他服务
harbor up searxng chatui
harbor up searxng morphic
harbor up searxng perplexica
harbor up searxng ldr

LLM 工作流

Harbor 包括多个用于构建基于 LLM 的数据和聊天工作流的服务：Dify、LitLytics、n8n、Open WebUI 流水线、FloWise、LangFlow。

# 在 Open WebUI 中使用 Dify
harbor up dify

与您的 LLM 对话

只需一个命令即可设置与您的 LLM 的语音聊天。Open WebUI + Speaches

# Speaches 包含兼容 OpenAI 的 SST 和 TTS
# 并且开箱即用连接到 Open WebUI
harbor up speaches

通过手机聊天

您可以通过二维码从手机访问 Harbor 服务。轻松获取本地、局域网或 Docker 访问的链接。

# 打印一个二维码，以便在手机上打开服务
harbor qr
# 打印一个链接，以便在手机上打开服务
harbor url webui

随时随地聊天

Harbor 内置一个 内建隧道服务，可将您的 Harbor 暴露到互联网上。

[!WARN] 请谨慎对待将您的计算机暴露到互联网上的行为，这并不安全。

# 将默认界面暴露到互联网
harbor tunnel

# 将特定服务暴露到互联网
# ⚠️ 请务必为该服务配置身份验证
harbor tunnel vllm

# Harbor 自带 Traefik，并已为所有包含的服务预配置好
harbor up traefik

LLM 脚本编写

Harbor Boost 允许您 轻松编写工作流脚本以及与下游 LLM 的交互。

# 使用 Harbor Boost 编写 LLM 工作流
harbor up boost

配置文件

保存和管理不同场景下的配置文件。例如，为不同的模型和上下文保存 llama.cpp 参数，并轻松切换。

# 保存和使用配置文件
harbor profile save llama4
harbor profile use default

# 从 URL 导入配置文件
harbor profile use https://example.com/path/to/harbor-profile.env

命令历史

Harbor 保留一份 仅限本地的最近命令历史。您可以轻松查找并重新执行命令，而无需依赖系统的 shell 历史记录。

# 查看最近使用的 Harbor 命令
harbor history

迁出

准备好迁移到您自己的设置了吗？Harbor 会为您提供一个 docker-compose 文件，以复制您的当前设置。

# 从 Harbor 中弹出并迁移到独立的 Docker Compose 配置
# 将相关服务和变量导出到一个独立的文件中。
harbor eject searxng llamacpp > docker-compose.harbor.yml

---

服务

前端界面

Open WebUI ⦁︎ ComfyUI ⦁︎ LibreChat ⦁︎ HuggingFace ChatUI ⦁︎ Lobe Chat ⦁︎ Hollama ⦁︎ parllama ⦁︎ BionicGPT ⦁︎ AnythingLLM ⦁︎ Chat Nio ⦁︎ mikupad ⦁︎ oterm ⦁︎ omnichain ⦁︎ ol1

后端服务

Ollama ⦁︎ llama.cpp ⦁︎ vLLM ⦁︎ TabbyAPI ⦁︎ Aphrodite Engine ⦁︎ mistral.rs ⦁︎ openedai-speech ⦁︎ Speaches ⦁︎ Parler ⦁︎ text-generation-inference ⦁︎ LMDeploy ⦁︎ AirLLM ⦁︎ SGLang ⦁︎ KTransformers ⦁︎ Nexa SDK ⦁︎ KoboldCpp ⦁︎ Modular MAX

卫星项目

Harbor Bench ⦁︎ Harbor Boost ⦁︎ SearXNG ⦁︎ Perplexica ⦁︎ Dify ⦁︎ Plandex ⦁︎ LiteLLM ⦁︎ LangFuse ⦁︎ Open Interpreter ⦁ ︎cloudflared ⦁︎ cmdh ⦁︎ fabric ⦁︎ txtai RAG ⦁︎ TextGrad ⦁︎ Aider ⦁︎ aichat ⦁︎ autogpt ⦁︎ lm-evaluation-harness ⦁︎ JupyterLab ⦁︎ ol1 ⦁︎ OpenHands ⦁︎ LitLytics ⦁︎ Repopack ⦁︎ n8n ⦁︎ Bolt.new ⦁︎ Open WebUI Pipelines ⦁︎ Qdrant ⦁︎ K6 ⦁︎ Promptfoo ⦁︎ Webtop ⦁︎ OmniParser ⦁︎ Flowise ⦁︎ Langflow ⦁︎ OptiLLM ⦁︎ Morphic ⦁︎ SQL Chat ⦁︎ gptme ⦁︎ traefik ⦁︎ Latent Scope ⦁︎ RAGLite ⦁︎ llama-swap ⦁︎ LibreTranslate ⦁︎ MetaMCP ⦁︎ mcpo ⦁︎ SuperGateway ⦁︎ Local Deep Research ⦁︎ LocalAI ⦁︎ AgentZero ⦁︎ Airweave ⦁︎ Docling ⦁︎ Browser Use ⦁︎ Unsloth ⦁︎ Windmill

有关每个项目的简要介绍，请参阅 服务文档。

CLI 使用指南

# 使用默认服务运行 Harbor：
# Open WebUI 和 Ollama
harbor up

# 使用附加服务运行 Harbor
# 运行 SearXNG 会自动在 Open WebUI 中启用 Web RAG 功能
harbor up searxng

# Speaches 包含与 OpenAI 兼容的 SST 和 TTS
# 并开箱即用地连接到 Open WebUI
harbor up speaches

# 运行额外的或替代的 LLM 推理后端
# Open Webui 会自动连接到这些后端。
harbor up llamacpp tgi litellm vllm tabbyapi aphrodite sglang ktransformers

# 运行不同的前端
harbor up librechat chatui bionicgpt hollama

# 通过内置优化代理获得免费的质量提升
harbor up boost

# 使用一条命令在 Open WebUI 中使用 FLUX
harbor up comfyui

# 为支持的后端使用自定义模型
harbor llamacpp model https://huggingface.co/user/repo/model.gguf

# 无需安装即可访问服务的 CLI
# 在可能的情况下，服务之间共享缓存
harbor hf scan-cache
harbor hf download google/gemma-2-2b-it
harbor ollama list

# 快速查找 HF Hub 上的模型
harbor hf find gguf gemma-2
# 使用 HFDownloader 和官方 HF CLI 下载模型
harbor hf dl -m google/gemma-2-2b-it -c 10 -s ./hf
harbor hf download google/gemma-2-2b-it

# 在可能的情况下，服务之间共享缓存
harbor tgi model google/gemma-2-2b-it
harbor vllm model google/gemma-2-2b-it
harbor aphrodite model google/gemma-2-2b-it
harbor tabbyapi model google/gemma-2-2b-it-exl2
harbor mistralrs model google/gemma-2-2b-it
harbor opint model google/gemma-2-2b-it
harbor sglang model google/gemma-2-2b-it

# 用于 Docker 设置的便捷工具
harbor logs llamacpp
harbor exec llamacpp ./scripts/llama-bench --help
harbor shell vllm

# 向你的 Shell 表达你的真实想法
harbor opint
harbor aider
harbor aichat
harbor cmdh

# 使用 Fabric 将你的 Linux 管道 LLM 化
cat ./file.md | harbor fabric --pattern extract_extraordinary_claims | grep "LK99"

# 从 CLI 打开服务
harbor open webui
harbor open llamacpp
# 打印一个二维码，以便快速在手机上打开服务
harbor qr
# 想要冒险吗？将你的 Harbor 暴露到互联网上
harbor tunnel

# 配置管理
harbor config list
harbor config set webui.host.port 8080

# 创建和管理配置文件
harbor profile save l370b
harbor profile use default
# 从 URL 导入配置文件
harbor profile use https://example.com/path/to/harbor-profile.env

# 查看最近使用的 Harbor 命令
harbor history

# 从 Harbor 中退出，进入独立的 Docker Compose 设置
# 会将相关服务和变量导出到一个独立的文件中。
harbor eject searxng llamacpp > docker-compose.harbor.yml

# 使用你自己的任务运行内置的 LLM 基准测试
harbor bench run

# 花样/趣味区

# 参数乱序，以下命令都与上面相同
# Harbor 不在乎是“vllm model”还是“model vllm”，它都会搞定。
harbor model vllm
harbor vllm model

harbor config get webui.name
harbor get config webui_name

harbor tabbyapi shell
harbor shell tabbyapi

# 50% 花样，50% 实用
# 向 Harbor 询问关于它自身的问题
harbor how to ping ollama container from the webui?

## Harbor 应用演示

https://github.com/user-attachments/assets/a5cd2ef1-3208-400a-8866-7abd85808503

在演示中，Harbor 应用被用来启动一个默认堆栈，包含 [Ollama](./2.2.1-Backend:-Ollama) 和 [Open WebUI](./2.1.1-Frontend:-Open-WebUI) 服务。随后，[SearXNG](./2.3.1-Satellite:-SearXNG) 也被启动，WebUI 可以直接连接到它，实现开箱即用的 Web RAG 功能。之后，[Harbor Boost](./5.2.-Harbor-Boost) 也被启动，并自动连接到 WebUI，以产生更具创造性的输出。最后一步，在应用中调整了 Harbor 的配置，针对 [Harbor Boost](./5.2.-Harbor-Boost) 中的 [`klmbr`](./5.2.-Harbor-Boost#klmbr---boost-llm-creativity) 模块，使输出对 LLM 来说变得无法解析（但仍然可以被人理解）。

## 为什么？

- 如果你已经熟悉 Docker 和 Linux 管理，那么你可能并不需要 Harbor 来管理你的本地 LLM 环境。然而，在搭建和扩展这个环境的过程中，你最终很可能会得到类似的解决方案。这一点我深有体会，因为 Harbor 正是这样诞生的。
- Harbor 并不是作为一个部署解决方案设计的，而是作为本地 LLM 开发环境的辅助工具。它是尝试 LLM 和相关服务的一个良好起点。
- 工作流/设置的集中化——你可以确切知道在哪里找到特定的配置或服务、日志、数据和配置文件。
- 便利性——单一的 CLI 提供大量服务和功能，可以从主机上的任何位置访问。

## 支持者

![@av 的妻子](https://oss.gittoolsai.com/images/av_harbor_readme_5cdfc756d246.png)
![@burnth3heretic](https://oss.gittoolsai.com/images/av_harbor_readme_1b635c469880.png)
![@vood](https://oss.gittoolsai.com/images/av_harbor_readme_02ece01155dd.png)
![@anonymous](https://oss.gittoolsai.com/images/av_harbor_readme_ee9c17179741.png)
<a href="https://x.com/TheAhmadOsman"><img src="https://oss.gittoolsai.com/images/av_harbor_readme_78c67947c9ef.png" width="32" height="32" alt="@TheAhmadOsman" /></a>

Harbor 快速上手指南

Harbor 是一个命令行工具（CLI）及配套应用，旨在帮助用户一键部署完整的本地大语言模型（LLM）栈。它自动编排 Docker Compose，将后端（如 Ollama、vLLM）、前端（如 Open WebUI）以及辅助服务（如 SearXNG 网页搜索、Speaches 语音交互、ComfyUI 图像生成）预配置并互联，无需手动调整配置文件。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux、macOS 或 Windows (需安装 WSL2)。
• 核心依赖：
  • Docker Engine：必须已安装并正在运行。
  • Docker Compose：必须支持 docker compose 命令（通常包含在现代 Docker Desktop 或 Docker Engine 插件中）。
• 硬件建议：运行本地 LLM 需要较高的 GPU 显存或较大的系统内存。建议至少 16GB RAM，若运行大模型推荐配备 NVIDIA GPU。
• 网络环境：首次运行需要下载较大的 Docker 镜像和模型文件，请确保网络连接稳定。
  • 国内用户提示：建议配置 Docker 镜像加速器（如阿里云、腾讯云等）以加快镜像拉取速度。

安装步骤

Harbor 提供了一键安装脚本，会自动检测环境并完成 CLI 及必要组件的安装。

在终端中执行以下命令：

curl -fsSL https://raw.githubusercontent.com/av/harbor/main/install.sh | sh

安装完成后，建议重启终端或运行以下命令使环境变量生效：

source ~/.bashrc  # 如果使用 zsh，请改为 source ~/.zshrc

验证安装是否成功：

harbor --version

基本使用

Harbor 的核心理念是通过简单的命令启动复杂的服务栈。所有服务默认通过 Docker Compose orchestration 自动连接。

1. 启动基础 LLM 环境

启动默认的完整栈（包含 Open WebUI 前端和 Ollama 后端）：

harbor up

等待服务启动完成后，终端会显示访问地址（通常为 http://localhost:33801），直接在浏览器打开即可使用。

2. 添加特定功能模块

您可以随时通过追加服务名称来扩展功能，Harbor 会自动处理服务间的连接配置。

启用网页搜索 (RAG) 和语音功能：

harbor up searxng speaches

• searxng: 提供本地网页搜索能力，支持深度研究。
• speaches: 提供语音转文字 (STT) 和文字转语音 (TTS) 功能，并已预连接至 Open WebUI。

启用图像生成 (ComfyUI + Flux)：

harbor up comfyui

切换或添加其他推理后端： Harbor 支持多种推理引擎，可按需启动：

# 启动 llama.cpp
harbor up llamacpp

# 启动 vLLM
harbor up vllm

# 同时启动多个后端（不建议同时运行所有以节省资源）
harbor up ollama vllm llamacpp

3. 移动端访问与内网穿透

在手机端访问： 生成二维码以便在局域网内的手机浏览器直接访问：

harbor qr

或直接获取访问链接：

harbor url webui

配置模型参数： 例如，为 llama.cpp 设置 GPU 层数并保存配置：

harbor llamacpp args -ngl 32

4. 停止服务

停止当前运行的所有 Harbor 服务：

harbor down

---

更多高级用法、服务目录及详细配置请参考官方文档或运行 harbor --help。