AI00 RWKV 服务器 是一个基于 web-rwkv 推理引擎的、用于 RWKV 语言模型 的推理 API 服务器。

它支持 Vulkan 并行与并发批处理推理，可在所有支持 Vulkan 的 GPU 上运行。无需英伟达显卡！！！AMD 显卡甚至集成显卡也能加速！！！

无需臃肿的 PyTorch、CUDA 等运行时环境，体积小巧，开箱即用！

兼容 OpenAI 的 ChatGPT API 接口。

100% 开源且可商业使用，采用 MIT 许可证。

如果您正在寻找一个快速、高效、易用的 LLM API 服务器，那么 AI00 RWKV 服务器 就是您的最佳选择。它可以用于多种任务，包括聊天机器人、文本生成、翻译和问答等。

立即加入 AI00 RWKV 服务器 社区，体验 AI 的魅力吧！

交流 QQ 群：30920262

💥特性

• 基于 RWKV 模型，性能和准确性高
• 支持 Vulkan 推理加速，无需 CUDA 即可享受 GPU 加速！支持 AMD 显卡、集成显卡以及所有支持 Vulkan 的 GPU
• 无需臃肿的 PyTorch、CUDA 等运行时环境，体积小巧，开箱即用！
• 兼容 OpenAI 的 ChatGPT API 接口

⭕用途

• 聊天机器人
• 文本生成
• 翻译
• 问答
• LLM 可以完成的任何其他任务

👻其他

• 基于 web-rwkv 项目
• 模型下载：V5、V6、V7

安装、编译与使用

📦下载预编译的可执行文件

1. 直接从 Release 下载最新版本

2. 在 下载模型 后，将模型放置在 assets/models/ 路径下，例如 assets/models/RWKV-x060-World-3B-v2-20240228-ctx4096.st

3. 可选地修改 assets/configs/Config.toml，以配置模型路径、量化层等参数

4. 在命令行中运行

   $ ./ai00_rwkv_server
   

5. 打开浏览器，访问 WebUI：http://localhost:65530（如果启用了 tls，则为 https://localhost:65530）

📜（可选）从源码构建

1. 安装 Rust

2. 克隆本仓库

   $ git clone https://github.com/cgisky1980/ai00_rwkv_server.git
   $ cd ai00_rwkv_server
   

3. 在 下载模型 后，将模型放置在 assets/models/ 路径下，例如 assets/models/RWKV-x060-World-3B-v2-20240228-ctx4096.st

4. 编译

   $ cargo build --release
   

5. 编译完成后，运行

   $ cargo run --release
   

6. 打开浏览器，访问 WebUI：http://localhost:65530（如果启用了 tls，则为 https://localhost:65530）

📒模型转换

目前仅支持 .st 扩展名的 Safetensors 模型。使用 PyTorch 保存的 .pth 格式模型需要在使用前进行转换。

1. 下载 .pth 模型

2. （推荐）运行 Python 脚本 convert_safetensors.py：

   $ python assets/scripts/convert_safetensors.py --input /path/to/model.pth --output /path/to/model.st
   

   需要：Python，并已安装 torch 和 safetensors。

3. 如果不想安装 Python，在 Release 中可以找到名为 converter 的可执行文件，运行：

   $ ./converter --input /path/to/model.pth --output /path/to/model.st
   

4. 如果您是从源码构建的，请运行：

   $ cargo run --release --package converter -- --input /path/to/model.pth --output /path/to/model.st
   

5. 就像上述步骤一样，将 .st 格式的模型放入 assets/models/ 路径，并在 assets/configs/Config.toml 中修改模型路径。

📝支持的参数

• --config：配置文件路径（默认：assets/configs/Config.toml）
• --ip：服务器绑定的 IP 地址
• --port：运行端口

📙当前可用的 API

API 服务启动在端口 65530，数据输入和输出格式遵循 OpenAI API 规范。 请注意，某些 API（如 chat 和 completions）具有用于高级功能的额外可选字段。有关 API 模式的详细信息，请访问 http://localhost:65530/api-docs。

• /api/oai/v1/models
• /api/oai/models
• /api/oai/v1/chat/completions
• /api/oai/chat/completions
• /api/oai/v1/completions
• /api/oai/completions
• /api/oai/v1/embeddings
• /api/oai/embeddings

以下是 Python 中调用 Ai00 API 的开箱即用示例：

import openai

class Ai00:
    def __init__(self, model="model", port=65530, api_key="JUSTSECRET_KEY") :
        openai.api_base = f"http://127.0.0.1:{port}/api/oai"
        openai.api_key = api_key
        self.ctx = []
        self.params = {
            "system_name": "System",
            "user_name": "User", 
            "assistant_name": "Assistant",
            "model": model,
            "max_tokens": 4096,
            "top_p": 0.6,
            "temperature": 1,
            "presence_penalty": 0.3,
            "frequency_penalty": 0.3,
            "half_life": 400,
            "stop": ['\x00','\n\n']
        }
        
    def set_params(self, **kwargs):
        self.params.update(kwargs)
        
    def clear_ctx(self):
        self.ctx = []
        
    def get_ctx(self):
        return self.ctx
    
    def continuation(self, message):
        response = openai.Completion.create(
            model=self.params['model'],
            prompt=message,
            max_tokens=self.params['max_tokens'],
            half_life=self.params['half_life'],
            top_p=self.params['top_p'],
            temperature=self.params['temperature'],
            presence_penalty=self.params['presence_penalty'],
            frequency_penalty=self.params['frequency_penalty'],
            stop=self.params['stop']
        )
        result = response.choices[0].text
        return result
    
    def append_ctx(self, role, content):
        self.ctx.append({
            "role": role,
            "content": content
        })
        
    def send_message(self, message, role="user"):
        self.ctx.append({
            "role": role,
            "content": message
        })
        result = openai.ChatCompletion.create(
            model=self.params['model'],
            messages=self.ctx,
            names={
                "system": self.params['system_name'],
                "user": self.params['user_name'],
                "assistant": self.params['assistant_name']
            },
            max_tokens=self.params['max_tokens'],
            half_life=self.params['half_life'],
            top_p=self.params['top_p'],
            temperature=self.params['temperature'],
            presence_penalty=self.params['presence_penalty'],
            frequency_penalty=self.params['frequency_penalty'],
            stop=self.params['stop']
        )
        result = result.choices[0].message['content']
        self.ctx.append({
            "role": "assistant",
            "content": result
        })
        return result
    
ai00 = Ai00()
ai00.set_params(
    max_tokens = 4096,
    top_p = 0.55,
    temperature = 2,
    presence_penalty = 0.3,
    frequency_penalty = 0.8,
    half_life = 400,
    stop = ['\x00','\n\n']
)
print(ai00.send_message("how are you?"))
print(ai00.send_message("me too!"))
print(ai00.get_ctx())
ai00.clear_ctx()
print(ai00.continuation("i like"))

BNF 采样

自 v0.5 版本起，Ai00 引入了一项独特的功能——BNF 采样。BNF 通过限制模型可选择的下一个标记，强制模型按照指定的格式（例如包含特定字段的 JSON 或 Markdown）进行输出。

以下是一个包含“name”、“age”和“job”字段的 JSON 的 BNF 示例：

start ::= json_object;
json_object ::= "{\n" object_members "\n}";
object_members ::= json_member | json_member ",\n" object_members;
json_member ::= "\t" json_key ": " json_value;
json_key ::= '"' "name" '"' | '"' "age" '"' | '"' "job" '"';
json_value ::= json_string | json_number;
json_string ::= '"'content'"';
content ::= #"\\w*";
json_number ::= positive_digit digits|'0';
digits ::= digit|digit digits;
digit ::= '0'|positive_digit;
positive_digit::="1"|"2"|"3"|"4"|"5"|"6"|"7"|"8"|"9";

📙WebUI 截图

聊天

续写

论文（并行推理演示）

📝待办事项清单

• 支持 text_completions 和 chat_completions
• 支持 SSE 推送
• 集成基础前端
• 通过 batch serve 实现并行推理
• 支持 int8 量化
• 支持 NF4 量化
• 支持 LoRA 模型
• 支持微调的初始状态
• 热加载和切换 LoRA 模型
• 热加载和切换微调的初始状态
• BNF 采样

👥加入我们

我们始终欢迎对改进项目感兴趣的人士。如果您对以下任何一项感兴趣，请加入我们！

• 💀编写代码
• 💬提供反馈
• 🔆提出想法或需求
• 🔍测试新功能
• ✏翻译文档
• 📣推广项目
• 🏅任何其他对我们有帮助的事情

无论您的技能水平如何，我们都欢迎您加入。您可以通过以下方式加入我们：

• 加入我们的 Discord 频道
• 加入我们的 QQ 群
• 在 GitHub 上提交问题或拉取请求
• 在我们的网站上留下反馈

我们迫不及待地想与您合作，共同让这个项目变得更好！希望该项目能对您有所帮助！

致谢

感谢这些富有洞察力且杰出的个人，他们对本项目给予了支持，并无私奉献！

顾真牛 📖 💻 🖋 🎨 🧑‍🏫	研究社交 💻 💡 🤔 🚧 👀 📦	josc146 🐛 💻 🤔 🔧	l15y 🔧 🔌 💻	Cahya Wirawan 🐛	yuunnn_w 📖 ⚠️	longzou 💻 🛡️
luoqiqi 📖

星标数量随时间变化

import openai

# 配置 API 地址指向本地服务
openai.api_base = "http://127.0.0.1:65530/api/oai"
openai.api_key = "JUSTSECRET_KEY"  # 密钥可随意填写，服务端默认不校验

response = openai.ChatCompletion.create(
    model="model",  # 模型名称，对应配置文件中的设置
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你好，请介绍一下你自己。"}
    ],
    max_tokens=512,
    temperature=0.7
)

print(response.choices[0].message['content'])