mnn-llm

1.6k 179 较难 1 次阅读昨天Apache-2.0语言模型

AI 解读由 AI 自动生成，仅供参考

mnn-llm 是一个基于阿里巴巴 MNN 深度学习框架的大语言模型（LLM）部署项目，旨在让大模型在各类设备上高效运行。值得注意的是，该项目的核心代码已正式合并至 MNN 官方仓库，成为其生态的一部分。

它主要解决了大模型在资源受限的边缘设备（如手机、平板）及不同操作系统上部署难、推理慢的问题。通过提供从命令行、Web 界面到 Android 和 iOS 原生应用的全套示例工程，mnn-llm 极大地降低了将大模型集成到实际产品中的技术门槛。项目支持多种后端加速（如 CUDA、OpenCL、Metal），并具备视觉处理能力，同时提供了便捷的 Python 封装，方便开发者快速调用。

这款工具非常适合移动端开发者、嵌入式工程师以及希望将大模型落地到本地设备的 AI 研究人员使用。无论是想在安卓或苹果手机上运行私有化大模型，还是希望探索端侧 AI 应用的创新者，都能通过 mnn-llm 获得开箱即用的编译脚本和完整的演示代码，轻松实现跨平台的高效模型推理。

使用场景

某嵌入式开发团队希望将智能客服大模型部署到离线运行的工业手持终端（Android/iOS）上，以解决现场无网环境下的设备故障问答需求。

没有 mnn-llm 时

依赖云端服务：必须通过网络调用云端 API，一旦工厂车间信号屏蔽或断网，智能助手即刻瘫痪，无法响应工人提问。
硬件门槛极高：传统推理框架对算力要求苛刻，普通手持终端的 CPU 无法承载，强行运行会导致设备严重发热、卡顿甚至死机。
跨端适配困难：需要为 Android 和 iOS 分别编写复杂的底层推理代码，维护两套完全不同的技术栈，开发周期长达数月。
模型体积庞大：未经优化的模型文件动辄数 GB，远超移动设备的存储限额，且加载时间过长影响用户体验。

使用 mnn-llm 后

纯本地离线运行：利用 mnn-llm 将大模型直接部署在设备端，无需网络连接即可实时回答故障处理方案，保障生产连续性。
极致性能优化：依托 MNN 引擎的深度量化与算子优化，在低功耗 ARM 芯片上也能流畅运行 1.5B 参数量级模型，电量消耗降低 60%。
一套代码多端通用：通过 mnn-llm 提供的统一接口，同一套 C++ 逻辑可轻松编译至 Android 和 iOS 端，甚至支持 Web 演示，研发效率提升 3 倍。
轻量化部署：导出的 MNN 模型体积大幅压缩，秒级启动，完美适配存储空间有限的工业手持设备。

mnn-llm 的核心价值在于打破了大模型对云端算力的依赖，让高性能 AI 能够低成本、低延迟地运行在资源受限的边缘设备上。

运行环境要求

操作系统

Linux
macOS
Windows
Android
iOS

GPU

非必需（默认使用 CPU）
可选后端：NVIDIA GPU (需编译时开启 -DMNN_CUDA=ON), OpenCL, Apple Metal (需编译时开启 -DMNN_METAL=ON)
具体显存和 CUDA 版本未说明，取决于所选大语言模型的大小

内存

未说明（取决于运行的具体大语言模型大小，如 Qwen2-1.5B, Llama-3-8B 等）

依赖

notes该项目代码已合并至 MNN 主仓库。支持多平台编译（Linux, macOS, Windows, Android, iOS）。默认使用 CPU 推理，若需使用 GPU 加速，需在编译 MNN 时添加特定宏（如 -DMNN_CUDA=ON）。模型需先通过 llm-export 工具导出为 ONNX 或 MNN 格式方可使用。支持视觉处理能力（需开启 LLM_SUPPORT_VISION 宏）。

python未说明（提供 Python 封装 mnnllm，但未指定具体版本要求）

MNN

cpp-httplib

nlohmann/json

快速开始

mnn-llm

English

该项目代码已经Merge到MNN.

示例工程

cli: 使用命令行编译，android编译参考android_build.sh
web: 使用命令行编译，运行时需要指定web资源
android: 使用Android Studio打开编译；
ios: 使用Xcode打开编译；🚀🚀🚀该示例代码100%由ChatGPT生成🚀🚀🚀
python: 对mnn-llm的python封装mnnllm；
other: 新增文本embedding；

模型导出与下载

llm模型导出onnx和mnn模型请使用llm-export

模型下载

构建

CI构建状态：

本地编译

# 克隆
git clone --recurse-submodules https://github.com/wangzhaode/mnn-llm.git
cd mnn-llm

# linux
./script/build.sh

# macos
./script/build.sh

# windows msvc
./script/build.ps1

# python wheel
./script/py_build.sh

# android
./script/android_build.sh

# android apk
./script/android_app_build.sh

# ios
./script/ios_build.sh

一些编译宏：

BUILD_FOR_ANDROID: 编译到Android设备；
LLM_SUPPORT_VISION: 是否支持视觉处理能力；
DUMP_PROFILE_INFO: 每次对话后dump出性能数据到命令行中；

默认使用CPU，如果使用其他后端或能力，可以在编译MNN时添加MNN编译宏

cuda: -DMNN_CUDA=ON
opencl: -DMNN_OPENCL=ON
metal: -DMNN_METAL=ON

4. 执行

# linux/macos
./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json # cli demo
./web_demo ./Qwen2-1.5B-Instruct-MNN/config.json ../web # web ui demo

# windows
.\Debug\cli_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json
.\Debug\web_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json ../web

# android
adb push android_build/MNN/OFF/arm64-v8a/libMNN.so /data/local/tmp
adb push android_build/MNN/express/OFF/arm64-v8a/libMNN_Express.so /data/localtmp
adb push android_build/libllm.so android_build/cli_demo /data/localtmp
adb push Qwen2-1.5B-Instruct-MNN /data/localtmp
adb shell "cd /data/localtmp && export LD_LIBRARY_PATH=. && ./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json"

参考

mnn-llm 快速上手指南

mnn-llm 是一个基于 MNN 推理引擎的大语言模型（LLM）部署项目，支持在 Linux、macOS、Windows、Android 和 iOS 等多平台运行。该项目代码已合并至官方 MNN 仓库。

1. 环境准备

系统要求

操作系统：Linux, macOS, Windows (MSVC), Android, iOS
编译器：GCC/Clang (Linux/macOS), MSVC (Windows), NDK (Android), Xcode (iOS)
依赖管理：Git (需支持子模块)

前置依赖

本项目采用子模块方式管理依赖，克隆时需注意参数。若需使用 GPU 加速，请确保已安装对应驱动及开发库：

CUDA: 需安装 NVIDIA CUDA Toolkit
OpenCL/Metal: 需对应平台支持

2. 安装与构建

步骤一：克隆项目

务必使用 --recurse-submodules 参数拉取代码，以获取完整依赖。

git clone --recurse-submodules https://github.com/wangzhaode/mnn-llm.git
cd mnn-llm

提示：国内开发者若遇到拉取速度慢的问题，可配置 Git 代理或使用 Gitee 镜像（如有）。

步骤二：编译构建

根据目标平台执行对应的构建脚本：

Linux / macOS

./script/build.sh

Windows (MSVC)

./script/build.ps1

Python Wheel 包

./script/py_build.sh

Android (SO 库)

./script/android_build.sh

Android (APK)

./script/android_app_build.sh

iOS

./script/ios_build.sh

高级编译选项

默认使用 CPU 后端。如需启用其他后端或功能，可在编译 MNN 时添加以下宏定义：

GPU 加速：
- CUDA: -DMNN_CUDA=ON
- OpenCL: -DMNN_OPENCL=ON
- Metal: -DMNN_METAL=ON
特定功能：
- Android 专用：-DBUILD_FOR_ANDROID
- 视觉能力：-DLLM_SUPPORT_VISION
- 性能分析：-DDUMP_PROFILE_INFO

3. 模型准备

在运行前，需先将大模型转换为 MNN 格式。

导出模型：使用 llm-export 工具将 ONNX 或原始模型转换为 MNN 模型。
下载示例：可直接下载已转换好的模型配置文件（如 Qwen2 系列），参考模型下载文档。

假设已准备好 Qwen2-1.5B-Instruct-MNN 文件夹，其中包含 config.json 及模型权重文件。

4. 基本使用

命令行交互 (CLI)

最基础的文本对话方式。

Linux / macOS

./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json

Windows

.\Debug\cli_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json

Web 界面交互

启动本地 Web 服务，通过浏览器进行对话（需指定 web 资源目录）。

Linux / macOS

./web_demo ./Qwen2-1.5B-Instruct-MNN/config.json ../web

Windows

.\Debug\web_demo.exe ./Qwen2-1.5B-Instruct-MNN/config.json ../web

Android 设备运行

将编译好的库、可执行文件及模型推送到 Android 设备并运行：

adb push android_build/MNN/OFF/arm64-v8a/libMNN.so /data/local/tmp
adb push android_build/MNN/express/OFF/arm64-v8a/libMNN_Express.so /data/local/tmp
adb push android_build/libllm.so android_build/cli_demo /data/local/tmp
adb push Qwen2-1.5B-Instruct-MNN /data/local/tmp

adb shell "cd /data/local/tmp && export LD_LIBRARY_PATH=. && ./cli_demo ./Qwen2-1.5B-Instruct-MNN/config.json"

Python 调用

项目提供了 mnnllm Python 封装，具体用法请参考 ./python/README.md。

版本历史

mnn-llm-apk2023/12/25

qwen-1.8b-apk2023/12/06

chatglm3-6b-mnn2023/10/27

chatglm-6b-mnn2023/09/14

v0.42023/03/29

v0.12023/03/24

常见问题

如何在最新版本的 cli_demo 中指定模型路径？

Linux 上运行 int4 模型时报错 'Segmentation fault' 或 'Not Enough Memory' 如何解决？

项目中的 ONNX 模型是如何生成的？单个文件约 768MB 代表什么？

Android 端运行 Qwen2.5 等模型时出现闪退或 'unordered_map::at: key not found' 错误怎么办？

为什么运行时显示 'support fp16:0'，如何启用 FP16 加速？

运行 llama2-7b-chat 或其他模型时报 'Broad cast error' 和 'Segmentation fault' 是什么原因？

相似工具推荐

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 156.8k|★★☆☆☆|今天

开发框架Agent语言模型

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备

★ 90.1k|★★★☆☆|1周前

语言模型图像Agent

NextChat

NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。

★ 87.6k|★★☆☆☆|1周前

开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。

★ 85.1k|★★☆☆☆|5天前

图像数据工具视频

funNLP

funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。

★ 79.9k|★☆☆☆☆|1周前

语言模型数据工具其他

gpt4all

GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。

★ 77.3k|★☆☆☆☆|4天前

语言模型开发框架