⚡ FastFlowLM (FLM) — 解锁 Ryzen™ AI NPUs

在几分钟内即可在 AMD Ryzen™ AI NPUs 上运行大型语言模型——现支持 视觉、音频、嵌入 和 MoE 功能。
无需 GPU。速度更快，能效提升超 10 倍。支持高达 256k 个 token 的上下文长度。超轻量级（17 MB）。安装仅需 20 秒。

📦 唯一一款开箱即用、以 NPU 为先的运行时，专为 Ryzen™ AI 打造。
🤝 就像 Ollama 一样，但针对 NPU 进行了深度优化。
✨ 从闲置的硅片到即时算力——FastFlowLM 让 Ryzen™ AI 大放异彩。

FastFlowLM (FLM) 支持所有配备 XDNA2 NPU 的 Ryzen™ AI 系列芯片（Strix、Strix Halo、Kraken 和 Gorgon Point）。

---

🔗 快速链接

🔽 下载 | 📊 基准测试 | 📦 模型列表

🐧 Linux 入门指南

📖 文档 | 📺 演示 | 🧪 试用 | 💬 Discord

---

🚀 快速入门

此处提供打包好的 FLM Windows 安装程序：flm-setup.exe。更多详情请参阅 发布说明。

📺 观看快速入门视频（Windows）

[!重要提示]
⚠️ 请确保 NPU 驱动程序版本 ≥ 32.0.203.304（.304 是最低要求，但建议使用 .311；可通过任务管理器→性能→NPU 或设备管理器进行检查）。
⚙️ 提示：

• 推荐：尝试运行 Windows 更新 或 驱动程序下载。
• AMD 官方安装文档 (需要 AMD 账户)。
• 非官方论坛下载 (请注意，我们对您在此处下载的内容不承担任何责任)。

安装完成后，打开 PowerShell（Win + X → I）。要在终端中运行模型（CLI 模式）：

flm run llama3.2:1b

注意事项：

• 需要访问互联网以从 HuggingFace 下载优化后的模型内核。
• 有时从 HuggingFace 下载的文件可能会损坏。如果发生这种情况，请运行 flm pull <model_tag> --force（例如 flm pull llama3.2:1b --force）以重新下载并修复。
• 默认情况下，模型存储位置如下：
  • Windows: C:\Users\<USER>\Documents\flm\models\
  • Linux: ~/.config/flm/
• 在 Windows 上安装时，您可以选择不同的基础文件夹（例如，如果您选择 C:\Users\<USER>\flm，模型将保存在 C:\Users\<USER>\flm\models\ 中）。
• 在 Linux 上，您可以通过设置 FLM_MODEL_PATH 环境变量来覆盖默认位置。
• ⚠️ 如果您所在地区无法访问 HuggingFace，请手动下载模型（查看此问题），并将其放置在您选择的目录中。

🎉🚀 FastFlowLM (FLM) 已准备就绪——您的 NPU 已解锁，您可以立即开始与模型对话！

打开 任务管理器（Ctrl + Shift + Esc）。转到 性能 选项卡→点击 NPU 以监控使用情况。

⚡ 小贴士：

• 在会话中使用 /verbose 可开启性能报告功能（再次输入 /verbose 即可关闭）。
• 输入 /bye 可退出对话。
• 在 PowerShell 中运行 flm list 可显示所有可用模型。

要启动本地服务器（服务器模式）：

flm serve llama3.2:1b

模型标签（如 llama3.2:1b）用于设置初始模型，但这并非必需。如果请求其他模型，FastFlowLM 会自动切换到该模型。本地服务器默认端口为 52625。

---

📰 新闻动态

• 2026 年 3 月 11 日 🎉 FLM 现已支持 Linux 🐧！要开始使用，请查看 快速入门指南 或 Lemonade Server 文档，并观看 短视频，了解如何通过 Lemonade 🍋 在 Linux 上快速上手 FLM。

• 2025 年 10 月 1 日 🎉 FLM 已集成到 AMD 的 Lemonade Server 🍋。观看此 简短演示，了解如何在 Lemonade 中使用 FLM。

---

🧠 NPU 上的本地 AI

FLM 让您轻松在本地运行前沿的 LLMs（现在还包括 VLMs），具备以下优势：

• ⚡ 速度快、功耗低
• 🧰 简单的 CLI 和 API（REST 以及 OpenAI API）
• 🔐 完全私密且离线

无需重写模型，无需调优——开箱即用。

---

✅ 亮点

• 完全基于 AMD Ryzen™ AI NPU 运行——无需 GPU 或 CPU 负荷
• 轻量级运行时（17 MB）——可在 20 秒内 安装完毕，易于集成
• 开发者优先的工作流——类似 Ollama，但专为 NPU 优化
• 支持长上下文窗口——最高可达 256k 个 token（例如 Qwen3-4B-Thinking-2507）
• 无需底层调优——您只需专注于应用开发，其余交给我们处理

---

📄 许可证

• 所有编排代码和 CLI 工具均采用 MIT 许可证 开源。
• NPU 加速的内核为 专有二进制文件，允许在公司年收入不超过 1000 万美元 的情况下免费用于商业用途。
• 对于年收入超过此门槛（1000 万美元）的企业，需获得商业许可。详细信息请参阅 LICENSE_BINARY.txt 和 TERMS.md。
• 免费用户： 请在您的 README/项目页面（或产品）中注明：

  Powered by [FastFlowLM](https://github.com/FastFlowLM/FastFlowLM)
  

如需商业授权，请发送邮件至 info@fastflowlm.com。

---

💬 您有 反馈/问题，或希望提前体验我们的新版本吗？请 提交问题 或加入我们的 Discord 社区 https://discord.gg/z24t23HsHF。

---

🙏 致谢

• 由先进的 AMD Ryzen™ AI NPU 架构 提供支持
• 灵感源自广泛使用的 llama.cpp 和 Ollama
• 分词加速由 MLC-ai/tokenizers-cpp 实现
• 对话格式化通过 Google/minja 完成
• 低层内核使用强大的 IRON+AIE-MLIR 进行优化

---

🛠️ 从源码构建

对于希望从源码构建 FastFlowLM 的开发者，我们提供了 CMake 预设，以提供便捷且一致的构建体验。

先决条件

• Git
• CMake（版本 3.22 或更高）
• 支持 C++20 的编译器（例如 GCC、Clang、MSVC）
• Ninja（推荐）

构建说明

有关具体步骤及 Linux 系统下所需安装的依赖项的更多详细信息，请参阅 linux-getting-started.md。

1. 克隆仓库：

   git clone --recursive https://github.com/FastFlowLM/FastFlowLM.git
   cd FastFlowLM/src
   

2. 使用预设配置 CMake：

   • 对于 Linux：

     cmake --preset linux-default
     

     这将配置构建过程，以便将其安装到 /opt/fastflowlm。

   • 对于 Windows（在开发者命令提示符中）：

     cmake --preset windows-default
     

3. 构建项目：

   cmake --build build
   

4. 安装项目（可选）：

   • 对于 Linux：

     sudo cmake --install build
     

   • 对于 Windows（需管理员权限）：

     cmake --install build
     

FastFlowLM 快速上手指南

FastFlowLM (FLM) 是一款专为 AMD Ryzen™ AI NPU 打造的轻量级大模型运行时。它无需 GPU，即可在几分钟内运行支持视觉、音频、嵌入和 MoE 的大语言模型，具有超低功耗（比 GPU 节能 10 倍以上）和超长上下文（最高 256k tokens）特性。

环境准备

系统要求

• 硬件：搭载 XDNA2 NPU 的 AMD Ryzen™ AI 系列芯片（包括 Strix, Strix Halo, Kraken, Gorgon Point 等）。
• 操作系统：Windows 10/11 或 Linux。
• 驱动程序：NPU 驱动版本必须 >= 32.0.203.304（推荐 .311 或更高）。
  • 检查方法：任务管理器 → 性能 → NPU，或设备管理器。
  • 更新建议：优先运行 Windows Update 或前往 AMD 官网下载驱动。

前置依赖

• 网络连接：首次运行需访问 HuggingFace 下载优化后的模型内核。
  • 注意：若国内网络无法直接访问 HuggingFace，需手动下载模型文件并放置到指定目录（详见下文“基本使用”中的注意事项）。
• 终端工具：Windows 用户需使用 PowerShell，Linux 用户需使用 Bash。

安装步骤

Windows 用户

1. 下载安装包：flm-setup.exe
2. 双击运行安装程序，按照提示完成安装（默认约 20 秒）。
   • 可选：安装时可自定义基础文件夹路径（默认为 C:\Users\<USER>\Documents\flm）。

Linux 用户

请参考官方提供的 Linux 入门指南 或通过 AMD Lemonade Server 进行集成安装。

基本使用

安装完成后，打开终端（Windows: Win + X → 选择 PowerShell / Linux: 终端），即可开始使用。

1. 命令行模式 (CLI Mode)

直接运行模型进行对话：

flm run llama3.2:1b

使用说明与注意事项：

• 模型下载：首次运行会自动从 HuggingFace 下载模型。若下载失败或文件损坏，请执行以下命令强制重新下载：

  flm pull llama3.2:1b --force
  

• 国内网络适配：若无法连接 HuggingFace，请手动下载模型文件，并放入以下目录：
  • Windows: C:\Users\<USER>\Documents\flm\models\ (若安装时自定义了路径，则位于 <自定义路径>\models\)
  • Linux: ~/.config/flm/ (可通过设置环境变量 FLM_MODEL_PATH 修改路径)
• 常用指令：
  • /verbose：切换性能报告显示（再次输入可关闭）。
  • /bye：退出当前对话。
  • flm list：查看本地已可用的模型列表。

2. 服务器模式 (Server Mode)

启动本地 API 服务（默认端口 52625），兼容 OpenAI API 格式：

flm serve llama3.2:1b

• 模型标签（如 llama3.2:1b）为初始加载模型，可选。若请求其他模型，FLM 会自动切换。

3. 监控 NPU 状态

打开 任务管理器 (Ctrl + Shift + Esc)，进入 性能 选项卡，点击 NPU 即可实时查看利用率。

---

更多详细文档请访问：FastFlowLM Docs