NobodyWho 是一个库，使您能够在任何设备上本地且高效地运行大型语言模型。

我们目前支持 Python、Flutter 和 Godot，并且还在不断推出更多集成。

一览

• 🏃 在本地、离线免费运行任何 LLM
• ⚒️ 快速、简单的工具调用——只需传递一个普通函数
• 👌 每次都能完美调用工具，自动从您的函数签名中推导出语法
• 🗨️ 具备对话感知的抢先上下文切换功能，实现无“脑切”式的无限长度对话
• 💻 可为多个平台（Windows、Linux、macOS、Android）生成优化的原生代码
• ⚡ 基于 Vulkan 或 Metal 的 GPU 加速，推理速度极快
• 🤖 兼容数千个预训练的 LLM——可使用任何 GGUF 格式的 LLM
• 🦙 由优秀的 llama.cpp 提供支持

Flutter

快速入门

安装库：

flutter pub add nobodywho

下载一个模型文件，例如：Qwen3 0.6B。

然后开始与模型聊天：

import 'package:nobodywho/nobodywho.dart' as nobodywho;

void main() async {
  await nobodywho.NobodyWho.init();
  final chat = await nobodywho.Chat.fromPath(modelPath: './model.gguf');
  final msg = await chat.ask('水是湿的吗？').completed();
  print(msg); // 是的，水确实是湿的！
}

查看 入门示例应用，在两分钟内测试该库，并探索嵌入、工具调用和 RAG 等高级功能。

更多内容请参阅我们的 Flutter 文档 和 pub.dev。

Python

快速入门

首先安装 NobodyWho。这非常简单：

pip install nobodywho

接下来下载一个模型。为了快速上手，我们推荐这个模型：这里。它体积很小，但足以完成任务。

然后您可以使用以下代码片段从模型生成响应：

from nobodywho import Chat
chat = Chat("./path/to/your/model.gguf")
response = chat.ask("水是湿的吗？")
for token in response:
    print(token, end="", flush=True)

如果您希望阻塞并等待完整的字符串形式响应，可以使用 .completed()：

full_response = chat.ask("水是湿的吗？").completed()

您还可以使用下面的代码片段快速搭建一个基本的交互式聊天机器人：

from nobodywho import Chat, TokenStream
chat = Chat("./path/to/your/model.gguf")
while True:
    prompt = input("请输入您的提示：")
    response: TokenStream = chat.ask(prompt)
    for token in response:
        print(token, end="", flush=True)
    print()

工具调用

一旦聊天启动并运行，您可能希望为其添加工具访问权限。在 NobodyWho 中，这非常简单：

import math
from nobodywho import tool, Chat

@tool(description="根据半径计算圆的面积")
def circle_area(radius: float) -> str:
    area = math.pi * radius ** 2
    return f"半径为 {radius} 的圆面积为 {area:.2f}"

chat = Chat("./path/to/your/model.gguf", tools=[circle_area])

像上面这样为聊天添加工具后，这些工具将自动对模型可用。 关于工具的使用方法有很多，我们的文档中有详细介绍。

Godot

您可以在 Godot 编辑器内直接安装：在 Godot 4.5+ 中，前往 AssetLib 并搜索“NobodyWho”。

或者您也可以从我们的 GitHub 发布页面 获取特定版本。您可以将这些 ZIP 文件导入到 Godot 的“AssetLib”选项卡中进行安装。 请确保在导入对话框中启用“忽略资源根目录”选项。

有关如何在 Godot 中设置 NobodyWho 的更多说明，请参阅我们的文档。

文档

文档 包含您可能需要了解的一切：https://docs.nobodywho.ooo/

如何帮助

• ⭐ 星标仓库并宣传 NobodyWho！
• 加入我们的 Discord 或 Matrix 社区
• 发现了 bug？提交一个问题！
• 提交您自己的 PR——欢迎贡献
• 帮助改进文档或撰写教程

我可以导出到 HTML5 或 iOS 吗？

目前仅支持 Linux、MacOS、Android 和 Windows 平台。

iOS 导出看起来非常可行。请参阅问题 #114。

Web 导出则会稍微复杂一些。请参阅问题 #111。

许可证

关于 NobodyWho 的许可证条款存在一些混淆。澄清如下：

将两个程序链接起来，或将现有软件与您的作品链接起来——至少在欧洲法律下——并不会产生衍生作品，也不会将被链接软件的许可证范围扩展到您的作品上。[1]

您可以在专有和商业项目中免费使用此插件。 如果您分发此仓库中代码的修改版本，则必须将其开源。 您可以自由地使用 NobodyWho 构建专有项目，但请勿创建 NobodyWho 的专有分支。

NobodyWho 快速上手指南

NobodyWho 是一个高效的本地大语言模型（LLM）推理库，支持在 Windows、Linux、macOS 和 Android 上离线运行。它基于 llama.cpp，支持 Python、Flutter 和 Godot 引擎，具备极速的 GPU 推理（Vulkan/Metal）和完美的工具调用（Tool Calling）能力。

环境准备

• 操作系统：Windows, Linux, macOS, Android (暂不支持 iOS 和 Web/HTML5)。
• 硬件要求：
  • 支持 CPU 推理（通用）。
  • 支持 GPU 加速（需具备 Vulkan 或 Metal 支持的显卡）。
• 模型格式：仅支持 GGUF 格式的预训练模型。
  • 推荐起步模型：Qwen3 0.6B (GGUF)（体积小，适合测试）。
• 前置依赖：
  • Python 用户：已安装 Python 环境。
  • Flutter 用户：已安装 Flutter SDK。
  • Godot 用户：Godot Engine 4.5+ 版本。

提示：国内用户下载模型文件时，若 HuggingFace 连接缓慢，建议使用镜像站（如 hf-mirror.com）或国内加速链接下载 .gguf 文件至本地项目目录。

---

安装步骤

请根据你的开发语言选择对应的安装方式：

1. Python

使用 pip 安装：

pip install nobodywho

2. Flutter

在项目的根目录下执行：

flutter pub add nobodywho

3. Godot

• 方法一（推荐）：打开 Godot 编辑器 (4.5+)，进入 AssetLib 标签页，搜索 "NobodyWho" 并点击安装。
• 方法二：从 GitHub Releases 下载对应版本的 zip 文件。在 Godot 中点击 AssetLib -> Import，选择下载的 zip 文件。注意：在导入对话框中务必勾选 "Ignore Asset Root" 选项。

---

基本使用

确保你已将下载的 .gguf 模型文件放置在项目路径中（以下示例假设文件名为 model.gguf）。

Python 示例

流式输出对话：

from nobodywho import Chat

# 初始化聊天对象
chat = Chat("./path/to/your/model.gguf")

# 生成响应并流式打印
response = chat.ask("Is water wet?")
for token in response:
    print(token, end="", flush=True)

获取完整回复字符串：

full_response = chat.ask("Is water wet?").completed()
print(full_response)

交互式命令行机器人：

from nobodywho import Chat, TokenStream

chat = Chat("./path/to/your/model.gguf")
while True:
    prompt = input("Enter your prompt: ")
    response: TokenStream = chat.ask(prompt)
    for token in response:
        print(token, end="", flush=True)
    print()

Flutter 示例

基础对话：

import 'package:nobodywho/nobodywho.dart' as nobodywho;

void main() async {
  // 初始化库
  await nobodywho.NobodyWho.init();
  
  // 加载模型
  final chat = await nobodywho.Chat.fromPath(modelPath: './model.gguf');
  
  // 发送消息并等待完成
  final msg = await chat.ask('Is water wet?').completed();
  print(msg); 
}

高级功能：工具调用 (Tool Calling)

NobodyWho 支持通过函数签名自动生成语法约束，实现完美的工具调用。

Python 示例：

import math
from nobodywho import tool, Chat

# 定义工具函数
@tool(description="Calculates the area of a circle given its radius")
def circle_area(radius: float) -> str:
    area = math.pi * radius ** 2
    return f"Circle with radius {radius} has area {area:.2f}"

# 将工具注册到聊天对象
chat = Chat("./path/to/your/model.gguf", tools=[circle_area])

# 模型现在可以自动调用 circle_area 函数来回答相关问题
response = chat.ask("What is the area of a circle with radius 5?")

更多高级用法（如嵌入向量 Embeddings、RAG 等）请参考官方文档：https://docs.nobodywho.ooo