柳树推理服务器已发布！

柳树用户现在可以自行部署 柳树推理服务器，以极快的速度在柳树及其他应用（甚至 WebRTC）中执行语言推理任务，包括自动语音识别 (STT)、文本转语音 (TTS)、大型语言模型 (LLM) 等！

柳树用户们，大家好！

许多用户通过各种论坛、社交媒体等渠道已经开始收到他们的硬件设备了！为此，我已在 GitHub 上启用了 讨论区，以便将这些精彩的交流集中起来——欢迎大家前往自我介绍，并分享您使用柳树的体验！借助 GitHub 讨论区和问题反馈功能，我们能够携手合作，确保首批用户获得最佳的使用体验！

文档

请访问官方文档：heywillow.io。

Willow 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 硬件设备：已收到并准备好 Willow 专用硬件设备。
• 操作系统：支持 Linux 或 macOS 的开发环境（推荐 Ubuntu 20.04+）。
• 前置依赖：
  • Git
  • Docker 及 Docker Compose（用于运行推理服务器）
  • 稳定的网络连接（用于拉取镜像和克隆仓库）

注意：本项目主要围绕自托管推理服务器展开，请确保您的机器具备运行容器化应用的能力。

安装步骤

1. 克隆推理服务器仓库

首先，从 GitHub 获取 Willow 推理服务器的源代码：

git clone https://github.com/toverainc/willow-inference-server.git
cd willow-inference-server

2. 配置环境变量

复制示例配置文件并根据您的需求进行修改（如需连接特定的 STT、TTS 或 LLM 服务）：

cp .env.example .env
# 使用编辑器修改 .env 文件中的配置项
nano .env

3. 启动服务

使用 Docker Compose 一键启动推理服务器及相关依赖：

docker compose up -d

启动完成后，您可以通过以下命令查看服务运行状态：

docker compose ps

基本使用

Willow 推理服务器启动后，即可通过 API 接口进行高速语言推理任务。它支持语音识别 (STT)、语音合成 (TTS)、大语言模型 (LLM) 以及 WebRTC 实时通信。

简单测试示例

假设服务默认运行在本地 8080 端口，您可以使用 curl 发送一个简单的测试请求（具体端点请参考 .env 配置或官方文档）：

curl -X POST http://localhost:8080/infer \
  -H "Content-Type: application/json" \
  -d '{"text": "Hello Willow", "task": "tts"}'

接入应用

• WebRTC: 配置您的前端应用连接到服务器的 WebSocket 端点进行实时音频流处理。
• 其他应用: 通过标准的 HTTP/REST API 将 Willow 集成到您的现有工作流中。

提示：更多详细的 API 定义、参数说明及高级配置，请访问官方文档中心 heywillow.io 或参与 GitHub Discussions 社区交流。