运行您自己的 GaiaNet 节点

日语(日本語) | 中文(中文) | 韩语(한국어) | 土耳其语 (Türkçe) | 波斯语(فارسی) | 阿拉伯语 (العربية) | 印尼语 | 俄语 (русскийة) | 葡萄牙语 (português) | 我们需要您的帮助，将本 README 翻译成您的母语。 喜欢我们的工作吗？⭐ 请给我们加星标！

查看我们的官方文档以及一本关于如何自定义开源模型的Manning 电子书。

快速入门

在 Mac、Linux 或 Windows WSL 上，只需一行命令即可安装默认节点软件栈。

curl -sSfL 'https://github.com/GaiaNet-AI/gaianet-node/releases/latest/download/install.sh' | bash

随后，请按照屏幕上的提示设置环境路径。命令行将以 source 开头。

初始化节点。它会下载 $HOME/gaianet/config.json 文件中指定的模型文件和向量数据库文件，由于文件较大，可能需要几分钟时间。

gaianet init

启动节点。

gaianet start

脚本会在控制台上打印出官方节点地址，如下所示： 您可以打开浏览器访问该 URL，查看节点信息，并与节点上的 AI 代理进行对话。

... ... https://0xf63939431ee11267f4855a166e11cc44d24960c0.us.gaianet.network

要停止节点，可以运行以下脚本。

gaianet stop

安装指南

curl -sSfL 'https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/install.sh' | bash

[+] 下载默认配置文件 ...

[+] 下载 nodeid.json ...

[+] 使用 wasi-nn_ggml 插件安装 WasmEdge ...

信息：检测到 Linux-x86_64

信息：WasmEdge 安装于 /home/azureuser/.wasmedge

信息：正在获取 WasmEdge-0.13.5

/tmp/wasmedge.2884467 ~/gaianet
######################################################################## 100.0%
~/gaianet
信息：正在获取 WasmEdge-GGML-插件

信息：检测到 CUDA 版本：

/tmp/wasmedge.2884467 ~/gaianet
######################################################################## 100.0%
~/gaianet
WasmEdge-0.13.5 安装成功
WasmEdge 二进制文件可访问

    WasmEdge Runtime wasmedge 版本 0.13.5 已安装在 /home/azureuser/.wasmedge/bin/wasmedge 中。


[+] 安装 Qdrant 二进制文件...
    * 下载 Qdrant 二进制文件
################################################################################################## 100.0%

    * 初始化 Qdrant 目录

[+] 下载 rag-api-server.wasm ...
################################################################################################## 100.0%

[+] 下载仪表盘 ...
################################################################################################## 100.0%

默认情况下，它会安装到 $HOME/gaianet 目录。您也可以选择安装到其他目录。

curl -sSfL 'https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/install.sh' | bash -s -- --base $HOME/gaianet.alt

初始化节点

gaianet init

[+] 下载 Llama-2-7b-chat-hf-Q5_K_M.gguf ...
############################################################################################################################## 100.0%############################################################################################################################## 100.0%

[+] 下载 all-MiniLM-L6-v2-ggml-model-f16.gguf ...

############################################################################################################################## 100.0%############################################################################################################################## 100.0%

[+] 在 Qdrant 实例中创建“default”集合 ...

    * 启动 Qdrant 实例 ...

    * 删除已存在的“default”Qdrant 集合 ...

    * 下载 Qdrant 集合快照 ...
############################################################################################################################## 100.0%############################################################################################################################## 100.0%

    * 导入 Qdrant 集合快照 ...

    * 恢复成功完成

init 命令会根据 $HOME/gaianet/config.json 文件初始化节点。您可以使用我们预设的一些配置。例如，以下命令会初始化一个搭载 llama-3 8B 模型、以伦敦旅游指南为知识库的节点。

gaianet init --config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/llama-3-8b-instruct_london/config.json

要查看预设配置列表，可以执行 gaianet init --help。 除了像 gaianet_docs 这样的预设配置外，您还可以传递您自己的 config.json 的 URL，使节点初始化为您期望的状态。

如果您需要在其他目录下安装的节点上执行 init 操作，请这样做：

gaianet init --base $HOME/gaianet.alt

启动节点

gaianet start

[+] 启动 Qdrant 实例 ...

    Qdrant 实例已启动，进程 ID 为：39762

[+] 启动 LlamaEdge API 服务器 ...

    运行以下命令以启动 LlamaEdge API 服务器：

wasmedge --dir .:./dashboard --nn-preload default:GGML:AUTO:Llama-2-7b-chat-hf-Q5_K_M.gguf --nn-preload embedding:GGML:AUTO:all-MiniLM-L6-v2-ggml-model-f16.gguf rag-api-server.wasm --model-name Llama-2-7b-chat-hf-Q5_K_M,all-MiniLM-L6-v2-ggml-model-f16 --ctx-size 4096,384 --prompt-template llama-2-chat --qdrant-collection-name default --web-ui ./ --socket-addr 0.0.0.0:8080 --log-prompts --log-stat --rag-prompt "请使用以下上下文信息回答用户的问题。\n如果您不知道答案，请直接说明您不知道，不要尝试编造答案。\n----------------\n"


    LlamaEdge API 服务器已启动，进程 ID 为：39796

您可以启动用于本地使用的节点。该节点仅可通过 localhost 访问，不会在 GaiaNet 域名的任何公共 URL 上可用。

gaianet start --local-only

您也可以启动安装在替代基础目录中的节点。

gaianet start --base $HOME/gaianet.alt

停止节点

gaianet stop

[+] 停止 WasmEdge、Qdrant 和 frpc ...

停止安装在替代基础目录中的节点。

gaianet stop --base $HOME/gaianet.alt

更新配置

使用 gaianet config 子命令可以更新 config.json 文件中定义的关键字段。在更新配置后，您必须再次运行 gaianet init。

例如，要更新 chat 字段，可使用以下命令：

gaianet config --chat-url "https://huggingface.co/second-state/Llama-2-13B-Chat-GGUF/resolve/main/Llama-2-13b-chat-hf-Q5_K_M.gguf"

再如，要更新 chat_ctx_size 字段，可使用以下命令：

gaianet config --chat-ctx-size 5120

以下是 config 子命令的所有选项。

$ gaianet config --help

用法：gaianet config [选项]

选项：
  --chat-url <url>               更新聊天模型的 URL。
  --chat-ctx-size <val>          更新聊天模型的上下文大小。
  --embedding-url <url>          更新嵌入模型的 URL。
  --embedding-ctx-size <val>     更新嵌入模型的上下文大小。
  --prompt-template <val>        更新聊天模型的提示模板。
  --port <val>                   更新 LlamaEdge API 服务器的端口。
  --system-prompt <val>          更新系统提示。
  --rag-prompt <val>             更新 RAG 提示。
  --rag-policy <val>             更新 RAG 策略 [可能值：system-message, last-user-message]。
  --reverse-prompt <val>         更新反向提示。
  --domain <val>                 更新 GaiaNet 节点的域名。
  --snapshot <url>               更新 Qdrant 快照。
  --qdrant-limit <val>           更新返回结果的最大数量。
  --qdrant-score-threshold <val> 更新结果的最低得分阈值。
  --base <path>                  GaiaNet 节点的基础目录。
  --help                         显示此帮助信息

祝您玩得开心！

资源与贡献回馈

正在寻找文档吗？请查看 文档 或 贡献指南。我们还建议阅读 Awesome-Gaia，其中收录了 Gaia 社区精选的工具、项目和资源。

想与社区交流吗？欢迎加入我们的 Telegram，分享您的想法以及您使用 GaiaNet 构建的内容。

发现 bug 了吗？请前往我们的 问题追踪器，我们会尽力协助解决。我们也非常欢迎 Pull Request！

我们期望所有 GaiaNet 贡献者遵守我们的 行为准则。

→ 开始在 GitHub 上贡献

贡献者

GaiaNet Node 快速上手指南

GaiaNet Node 允许你在本地计算机上运行自己的 AI 节点，部署开源大语言模型（LLM）和向量数据库，构建具备知识库检索能力（RAG）的 AI 智能体。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统：macOS、Linux 或 Windows (需使用 WSL2)。
• 硬件建议：
  • CPU：支持 AVX2 指令集的现代处理器。
  • 内存：建议至少 8GB RAM（运行 7B 参数模型），更大模型需更多内存。
  • 磁盘：预留至少 10GB 可用空间用于存放模型文件和向量数据库。
  • GPU (可选)：若拥有 NVIDIA GPU 并安装了 CUDA，可显著加速推理过程。
• 网络：需要稳定的互联网连接以下载模型文件和组件。
• 前置依赖：无需手动安装复杂依赖，安装脚本会自动配置 WasmEdge、Qdrant 等运行时环境。

安装步骤

1. 一键安装

在终端中运行以下命令，自动下载并安装默认的节点软件栈：

curl -sSfL 'https://github.com/GaiaNet-AI/gaianet-node/releases/latest/download/install.sh' | bash

注意：安装完成后，终端会提示你配置环境变量路径。请根据提示执行以 source 开头的命令（例如 source ~/.bashrc 或 source ~/.zshrc），以便在任意目录使用 gaianet 命令。

(可选) 自定义安装目录 如果你希望将节点安装到非默认目录（默认为 $HOME/gaianet），可以使用以下命令：

curl -sSfL 'https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/install.sh' | bash -s -- --base $HOME/gaianet.alt

2. 初始化节点

初始化过程会根据配置文件下载对应的 LLM 模型文件和向量数据库文件（文件较大，请耐心等待）：

gaianet init

(可选) 使用预设配置初始化 你可以指定特定的模型和知识库配置进行初始化。例如，初始化一个基于 Llama-3 8B 模型且包含伦敦指南知识库的节点：

gaianet init --config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/llama-3-8b-instruct_london/config.json

查看可用的预设配置列表：

gaianet init --help

基本使用

启动节点

运行以下命令启动你的 AI 节点：

gaianet start

启动成功后，终端会输出节点的访问地址，格式如下：

... ... https://0xf63939431ee11267f4855a166e11cc44d24960c0.us.gaianet.network

复制该 URL 到浏览器打开，即可看到节点信息面板并与 AI 智能体进行对话。

(可选) 仅本地模式 如果你只想在本地测试，不暴露公网地址，可使用：

gaianet start --local-only

停止节点

需要停止服务时，运行：

gaianet stop

更新配置

若需更换模型或调整参数，可使用 gaianet config 命令修改 config.json 中的关键字段。修改配置后必须重新运行 gaianet init 才能生效。

示例：更新聊天模型地址

gaianet config --chat-url "https://huggingface.co/second-state/Llama-2-13B-Chat-GGUF/resolve/main/Llama-2-13b-chat-hf-Q5_K_M.gguf"

示例：更新上下文窗口大小

gaianet config --chat-ctx-size 5120

查看所有配置选项：

gaianet config --help