NexaSDK

NexaSDK 让您以最少的能耗构建最智能、最快的设备端 AI。 它是一个高性能的本地推理框架，只需几行代码，即可在 NPU、GPU 和 CPU 上本地运行最新的多模态 AI 模型——适用于 Android、Windows 和 Linux 设备。

NexaSDK 比其他任何平台都早数周甚至数月支持最新模型——Qwen3-VL、DeepSeek-OCR、Gemma3n（Vision）等。

⭐ 星标本仓库，以便及时了解关于最新设备端 AI 功能的精彩更新和新发布。

🏆 值得瞩目的里程碑

• Qualcomm 在官方博客中三次重点介绍了我们。
  • 在 Qualcomm Hexagon NPU 上创新多模态 AI。
  • 首次在 Qualcomm Hexagon NPU 上实现计算与移动平台、汽车及物联网的 Day-0 模型支持。
  • 通过 Snapdragon 轻松将设备端 AI 引入智能手机

🚀 快速入门

平台	链接
🖥️ CLI	快速入门 ｜ 文档
🐍 Python	快速入门 ｜ 文档
🤖 Android	快速入门 ｜ 文档
🐳 Linux Docker	快速入门 ｜ 文档

---

🖥️ CLI

下载：

Windows	Linux
arm64 (Qualcomm NPU)	arm64
x64	x64

NPU 访问令牌（NPU 模型所需）：

注意： 我们的旧版令牌验证服务已弃用。对于所有 NPU 使用场景，只需设置以下访问令牌即可——无需额外注册或验证。

适用于 Windows：

$env:NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE4YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M3ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="

适用于 Linux / Android adb shell：

export NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE4YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M3ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="

运行您的第一个模型：

# 与 Qwen3 对话
nexa infer ggml-org/Qwen3-1.7B-GGUF

# 多模态：将图片拖入 CLI
nexa infer NexaAI/Qwen3-VL-4B-Instruct-GGUF

# NPU（Windows arm64，搭载 Snapdragon X Elite）
nexa infer NexaAI/OmniNeural-4B

• 模型： LLM、多模态、ASR、OCR、重排序、目标检测、图像生成、嵌入
• 格式： GGUF、NEXA
• 📖 CLI 参考文档

---

🐍 Python SDK

pip install nexaai

from nexaai import LLM, GenerationConfig, ModelConfig, LlmChatMessage

llm = LLM.from_(model="NexaAI/Qwen3-0.6B-GGUF", config=ModelConfig())

conversation = [
    LlmChatMessage(role="user", content="你好，给我讲个笑话")
]
prompt = llm.apply_chat_template(conversation)
for token in llm.generate_stream(prompt, GenerationConfig(max_tokens=100)):
    print(token, end="", flush=True)

• 模型： LLM、多模态、ASR、OCR、重排序、目标检测、图像生成、嵌入
• 格式： GGUF、NEXA
• 📖 Python SDK 文档

---

🤖 Android SDK

在你的 app/AndroidManifest.xml 中添加：

<application android:extractNativeLibs="true">

在你的 build.gradle.kts 中添加：

dependencies {
    implementation("ai.nexa:core:0.0.19")
}

// 初始化 SDK
NexaSdk.getInstance().init(this)

// 加载并运行模型
VlmWrapper.builder()
    .vlmCreateInput(VlmCreateInput(
        model_name = "omni-neural",
        model_path = "/data/data/your.app/files/models/OmniNeural-4B/files-1-1.nexa",
        plugin_id = "npu",
        config = ModelConfig()
    ))
    .build()
    .onSuccess { vlm ->
        vlm.generateStreamFlow("Hello!", GenerationConfig()).collect { print(it) }
    }

• 要求：Android minSdk 27，高通骁龙8代4芯片
• 模型：LLM、多模态、ASR、OCR、重排序、嵌入
• NPU模型：支持的模型
• 📖 Android SDK 文档

---

🐳 Linux Docker

docker pull nexa4ai/nexasdk:latest

export NEXA_TOKEN="your_token_here"
docker run --rm -it --privileged \
  -e NEXA_TOKEN \
  nexa4ai/nexasdk:latest infer NexaAI/Granite-4.0-h-350M-NPU

• 要求：Qualcomm Dragonwing IQ9，ARM64系统
• 模型：LLM、VLM、ASR、CV、重排序、嵌入
• NPU模型：支持的模型
• 📖 Linux Docker 文档

---

⚙️ 功能与对比

🙏 致谢

我们感谢以下项目：

• ggml
• mlx-lm
• mlx-vlm
• mlx-audio

📄 许可证

NexaSDK 采用双重许可模式：

CPU/GPU 组件

根据 Apache License 2.0 许可。

NPU 组件

• 个人使用：可从 Nexa AI 模型中心 获取免费许可证密钥。每个密钥可激活一台设备用于 NPU 使用。
• 商业使用：请联系 hello@nexa.ai 获取许可。

🤝 联系方式与社区支持

希望获得更多模型支持、后端支持、设备支持或其他功能吗？我们非常期待您的反馈！

欢迎随时在我们的 GitHub 仓库中提交 问题，提出您的需求、建议或意见。您的反馈将帮助我们确定下一步的开发重点。

NexaSDK 快速上手指南

NexaSDK 是一个高性能的本地推理框架，支持在 NPU、GPU 和 CPU 上运行最新的多模态 AI 模型。它专为 Android、Windows 和 Linux 设备设计，只需几行代码即可实现端侧智能。

环境准备

系统要求

• Windows: x64 或 arm64 (推荐 Qualcomm Snapdragon X Elite 以启用 NPU)
• Linux: x64 或 arm64 (Docker 环境需 Qualcomm Dragonwing IQ9 或 ARM64 系统)
• Android: minSdk 27+, 推荐 Qualcomm Snapdragon 8 Gen 4 芯片以启用 NPU
• macOS: 暂不支持 (主要聚焦 Windows/Android/Linux)

前置依赖

• NPU 访问令牌: 运行 NPU 模型必须设置环境变量 NEXA_TOKEN (见下文安装步骤)
• Python SDK: Python 3.8+
• Android SDK: Android Studio, Gradle
• Docker: Docker Engine (Linux 环境)

安装步骤

1. 命令行工具 (CLI)

下载对应平台的可执行文件：

• Windows (x64):

  # 手动下载或使用 PowerShell
  Invoke-WebRequest -Uri "https://public-storage.nexa4ai.com/nexa_sdk/downloads/nexa-cli_windows_x86_64.exe" -OutFile "nexa-cli.exe"
  

• Windows (arm64/NPU):

  Invoke-WebRequest -Uri "https://public-storage.nexa4ai.com/nexa_sdk/downloads/nexa-cli_windows_arm64.exe" -OutFile "nexa-cli.exe"
  

• Linux (x64):

  curl -LO https://github.com/NexaAI/nexa-sdk/releases/latest/download/nexa-cli_linux_x86_64.sh
  chmod +x nexa-cli_linux_x86_64.sh
  

• Linux (arm64):

  curl -LO https://github.com/NexaAI/nexa-sdk/releases/latest/download/nexa-cli_linux_arm64.sh
  chmod +x nexa-cli_linux_arm64.sh
  

配置 NPU 访问令牌 (必需):

注意：无需额外注册，直接使用下方令牌即可启用 NPU 功能。

• Windows (PowerShell):

  $env:NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE0YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M2ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="
  

• Linux / macOS / Android ADB:

  export NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE4YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M2ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="
  

2. Python SDK

pip install nexaai

提示：国内用户可使用清华源加速安装：pip install nexaai -i https://pypi.tuna.tsinghua.edu.cn/simple

3. Android SDK

在 app/build.gradle.kts 中添加依赖：

dependencies {
    implementation("ai.nexa:core:0.0.19")
}

并在 AndroidManifest.xml 中确保包含：

<application android:extractNativeLibs="true">

4. Linux Docker

docker pull nexa4ai/nexasdk:latest

基本使用

CLI 使用示例

运行纯文本模型对话：

nexa infer ggml-org/Qwen3-1.7B-GGUF

运行多模态模型（支持拖入图片）：

nexa infer NexaAI/Qwen3-VL-4B-Instruct-GGUF

在支持 NPU 的设备上运行优化模型：

nexa infer NexaAI/OmniNeural-4B

Python SDK 使用示例

from nexaai import LLM, GenerationConfig, ModelConfig, LlmChatMessage

# 初始化模型
llm = LLM.from_(model="NexaAI/Qwen3-0.6B-GGUF", config=ModelConfig())

# 构建对话
conversation = [
    LlmChatMessage(role="user", content="Hello, tell me a joke")
]

# 生成回复
prompt = llm.apply_chat_template(conversation)
for token in llm.generate_stream(prompt, GenerationConfig(max_tokens=100)):
    print(token, end="", flush=True)

Android SDK 使用示例

// 初始化 SDK
NexaSdk.getInstance().init(this)

// 加载并运行模型
VlmWrapper.builder()
    .vlmCreateInput(VlmCreateInput(
        model_name = "omni-neural",
        model_path = "/data/data/your.app/files/models/OmniNeural-4B/files-1-1.nexa",
        plugin_id = "npu",
        config = ModelConfig()
    ))
    .build()
    .onSuccess { vlm ->
        vlm.generateStreamFlow("Hello!", GenerationConfig()).collect { print(it) }
    }

Docker 使用示例

export NEXA_TOKEN="your_token_here"
docker run --rm -it --privileged \
  -e NEXA_TOKEN \
  nexa4ai/nexasdk:latest infer NexaAI/Granite-4.0-h-350M-NPU

支持模型类型: LLM, 多模态 (Vision), ASR, OCR, Rerank, 目标检测, 图像生成, Embedding
支持格式: GGUF, NEXA