RWKV Runner

提示

• 你可以将 backend-python 部署在服务器上，仅将本程序用作客户端。只需在设置中填写你的服务器地址到 API URL 即可。

• 如果你正在部署并对外提供公共服务，请通过 API 网关限制请求大小，以防止因提交过长的提示（prompt）而导致资源过度消耗。此外，请根据实际情况限制请求中 max_tokens 的上限：https://github.com/josStorer/RWKV-Runner/blob/master/backend-python/utils/rwkv.py#L567，默认值设为 le=102400，在极端情况下可能导致单次响应消耗大量资源。

• 默认配置已启用自定义 CUDA kernel 加速，速度更快且显存（VRAM）占用更低。如果你遇到可能的兼容性问题（如输出乱码），请前往 Configs 页面关闭 Use Custom CUDA kernel to Accelerate（使用自定义 CUDA kernel 加速）选项，或尝试升级你的 GPU 驱动。

• 如果 Windows Defender 报告此程序为病毒，你可以尝试下载 v1.3.7_win.zip，让它自动更新至最新版本；或者将其添加到信任列表中（Windows 安全中心 → 病毒和威胁防护 → 管理设置 → 排除项 → 添加或删除排除项 → 添加排除项 → 文件夹 → 选择 RWKV-Runner 文件夹）。

• 针对不同任务，调整 API 参数可以获得更好的效果。例如，在翻译任务中，可以尝试将 Temperature 设为 1，Top_P 设为 0.3。

功能特性

• RWKV 模型管理与一键启动。
• 前后端分离架构：如果你不想使用客户端，也可以单独部署前端服务、后端推理服务，或带 WebUI 的后端推理服务。
  简易部署示例 | 服务器部署示例
• 兼容 OpenAI API，使每个 ChatGPT 客户端都能成为 RWKV 客户端。启动模型后，打开 http://127.0.0.1:8000/docs 查看更多详情。
• 自动安装依赖，仅需一个轻量级可执行程序。
• 预设多级显存（VRAM）配置，几乎可在所有电脑上良好运行。在 Configs 页面将 Strategy 切换为 WebGPU，也可在 AMD、Intel 等显卡上运行。
• 内置用户友好的聊天、补全和创作交互界面，支持聊天预设、附件上传、MIDI 硬件输入和音轨编辑。
  预览 | MIDI 硬件输入
• 内置 WebUI 选项，一键启动 Web 服务，共享你的硬件资源。
• 参数配置清晰易懂，附带多种操作引导提示。
• 内置模型转换工具。
• 内置下载管理与远程模型检查功能。
• 内置一键 LoRA 微调功能。（仅限 Windows）
• 也可作为 OpenAI ChatGPT、GPT-Playground、Ollama 等客户端使用。（在设置页面填写 API URL 和 API Key 即可）
• 多语言本地化支持。
• 主题切换。
• 自动更新。

简易部署示例

git clone https://github.com/josStorer/RWKV-Runner

# 然后
cd RWKV-Runner
python ./backend-python/main.py # 后端推理服务已启动，调用 /switch-model API 加载模型，参考 API 文档：http://127.0.0.1:8000/docs

# 或者
cd RWKV-Runner/frontend
npm ci
npm run build # 编译前端
cd ..
python ./backend-python/webui_server.py # 单独启动前端服务
# 或者
python ./backend-python/main.py --webui # 同时启动前后端服务

# 帮助信息
python ./backend-python/main.py -h

API 并发压力测试

ab -p body.json -T application/json -c 20 -n 100 -l http://127.0.0.1:8000/chat/completions

body.json:

{
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ]
}

Embeddings API 示例

注意：v1.4.0 版本改进了 embeddings API 的质量。生成的结果与之前版本不兼容。如果你使用 embeddings API 生成知识库或类似内容，请重新生成。

如果你使用 langchain，只需使用 OpenAIEmbeddings(openai_api_base="http://127.0.0.1:8000", openai_api_key="sk-")

import numpy as np
import requests


def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))


values = [
    "I am a girl",
    "我是个女孩",
    "私は女の子です",
    "广东人爱吃福建人",
    "我是个人类",
    "I am a human",
    "that dog is so cute",
    "私はねこむすめです、にゃん♪",
    "宇宙级特大事件！号外号外！"
]

embeddings = []
for v in values:
    r = requests.post("http://127.0.0.1:8000/embeddings", json={"input": v})
    embedding = r.json()["data"][0]["embedding"]
    embeddings.append(embedding)

compared_embedding = embeddings[0]

embeddings_cos_sim = [cosine_similarity(compared_embedding, e) for e in embeddings]

for i in np.argsort(embeddings_cos_sim)[::-1]:
    print(f"{embeddings_cos_sim[i]:.10f} - {values[i]}")

MIDI 输入

提示：你可以下载 https://github.com/josStorer/sgm_plus 并将其解压到程序的 assets/sound-font 目录中，作为离线音源使用。请注意，如果你是从源代码编译程序，请不要将其放在源代码目录中。

如果你没有 MIDI 键盘，可以使用虚拟 MIDI 输入软件（如 Virtual Midi Controller 3 LE）配合 loopMIDI，将普通电脑键盘用作 MIDI 输入。

USB MIDI 连接

• USB MIDI 设备即插即用，你可以在“作曲”页面中选择输入设备
• 

Mac MIDI 蓝牙连接

• 对于希望使用蓝牙输入的 Mac 用户， 请安装 Bluetooth MIDI Connect，启动后点击系统托盘图标进行连接， 之后即可在“作曲”页面中选择输入设备。
• 

Windows MIDI 蓝牙连接

• Windows 似乎仅对 UWP（通用 Windows 平台）应用实现了蓝牙 MIDI 支持。因此，建立连接需要多个步骤。我们需要创建一个本地虚拟 MIDI 设备，然后启动一个 UWP 应用程序。通过该 UWP 应用程序，将蓝牙 MIDI 输入重定向到虚拟 MIDI 设备，然后本软件监听来自该虚拟 MIDI 设备的输入。
• 首先，你需要下载 loopMIDI 来创建虚拟 MIDI 设备。点击左下角的加号创建设备。
• 
• 接下来，你需要下载 Bluetooth LE Explorer 来发现并连接蓝牙 MIDI 设备。点击“Start”搜索设备，然后点击“Pair”绑定 MIDI 设备。
• 
• 最后，你需要安装 MIDIberry， 这个 UWP 应用程序可以将蓝牙 MIDI 输入重定向到虚拟 MIDI 设备。启动后，在输入字段中双击你的实际蓝牙 MIDI 设备名称，在输出字段中双击我们之前创建的虚拟 MIDI 设备名称。
• 
• 现在，你可以在“作曲”页面中选择虚拟 MIDI 设备作为输入。Bluetooth LE Explorer 不再需要运行，你也可以关闭 loopMIDI 窗口，它会在后台自动运行。只需保持 MIDIberry 打开即可。
• 

相关仓库：

• RWKV-5-World: https://huggingface.co/BlinkDL/rwkv-5-world/tree/main
• RWKV-4-World: https://huggingface.co/BlinkDL/rwkv-4-world/tree/main
• RWKV-4-Raven: https://huggingface.co/BlinkDL/rwkv-4-raven/tree/main
• ChatRWKV: https://github.com/BlinkDL/ChatRWKV
• RWKV-LM: https://github.com/BlinkDL/RWKV-LM
• RWKV-LM-LoRA: https://github.com/Blealtan/RWKV-LM-LoRA
• RWKV-v5-lora: https://github.com/JL-er/RWKV-v5-lora
• MIDI-LLM-tokenizer: https://github.com/briansemrau/MIDI-LLM-tokenizer
• ai00_rwkv_server: https://github.com/cgisky1980/ai00_rwkv_server
• rwkv.cpp: https://github.com/saharNooby/rwkv.cpp
• web-rwkv-py: https://github.com/cryscan/web-rwkv-py
• web-rwkv: https://github.com/cryscan/web-rwkv

预览

首页

聊天

补全

作曲

提示：你可以下载 https://github.com/josStorer/sgm_plus 并将其解压到程序的 assets/sound-font 目录中，作为离线音源使用。请注意，如果你是从源代码编译程序，请不要将其放在源代码目录中。

配置

模型管理

下载管理

LoRA 微调

设置

RWKV-Runner 快速上手指南

环境准备

• 操作系统：支持 Windows、macOS 和 Linux
• 硬件要求：
  • 推荐 NVIDIA GPU（启用 CUDA 加速）
  • 无独立显卡也可运行（自动切换至 CPU 或 WebGPU 模式，支持 AMD/Intel 显卡）
• 前置依赖：
  • 若从源码部署，需安装 Python 3.8+ 和 Node.js（仅前端构建需要）
  • 官方提供免依赖的轻量级可执行程序（几 MB），无需手动安装依赖

💡 提示：国内用户建议使用 GitHub Release 下载安装包，或配置镜像加速 git clone。

安装步骤

方式一：直接下载可执行程序（推荐）

1. 访问 Release 页面
2. 根据系统下载对应版本：
   • Windows：下载 .exe 或 .zip 文件
   • macOS：下载 .dmg 文件
   • Linux：下载 AppImage 或 tar.gz 包
3. 解压后直接运行主程序（首次启动会自动安装所需依赖）

⚠️ 若 Windows Defender 报毒，可将程序目录加入排除列表，或先下载 v1.3.7_win.zip 再自动更新。

方式二：从源码部署（适合开发者）

git clone https://github.com/josStorer/RWKV-Runner
cd RWKV-Runner

启动后端服务（推理 API）

python ./backend-python/main.py

启动带 WebUI 的完整服务

# 先构建前端
cd frontend
npm ci
npm run build
cd ..

# 启动集成服务
python ./backend-python/main.py --webui

服务启动后，默认访问地址为 http://127.0.0.1:8000。

基本使用

1. 本地使用图形界面

• 启动程序后，在 模型管理 页面下载或导入 RWKV 模型（如 RWKV-5-World）
• 点击 一键启动 加载模型
• 切换到 Chat、Completion 或 Composition 页面即可开始交互

2. 调用 OpenAI 兼容 API（最简示例）

确保服务已运行（默认端口 8000），发送请求：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "rwkv",
    "messages": [{"role": "user", "content": "你好"}]
  }'

✅ 所有支持 OpenAI API 的客户端（如 ChatGPT 前端、LangChain 等）均可直接对接 RWKV-Runner。

3. 使用 Embeddings API（示例）

import requests

r = requests.post("http://127.0.0.1:8000/embeddings", json={"input": "我是人类"})
embedding = r.json()["data"][0]["embedding"]
print(embedding)

---

📌 默认已启用 CUDA 自定义内核加速（更快、更省显存）。若输出乱码，请在设置中关闭 Use Custom CUDA kernel to Accelerate 或升级显卡驱动。