面向初学者的边缘人工智能

请按照以下步骤开始使用这些资源：

1. 复刻仓库：点击
2. 克隆仓库：git clone https://github.com/microsoft/edgeai-for-beginners.git
3. 加入 Azure AI Foundry Discord，与专家和开发者交流

🌐 多语言支持

通过 GitHub Action 自动化实现并保持最新

阿拉伯语 (Arabic) | 孟加拉语 (Bengali) | 保加利亚语 (Bulgarian) | 缅甸语 (Burmese) | 中文（简体） | 中文（繁体，香港） | 中文（繁体，澳门） | 中文（繁体，台湾） | 克罗地亚语 (Croatian) | 捷克语 (Czech) | 丹麦语 (Danish) | 荷兰语 (Dutch) | 爱沙尼亚语 (Estonian) | 芬兰语 (Finnish) | 法语 (French) | 德语 (German) | 希腊语 (Greek) | 希伯来语 (Hebrew) | 印地语 (Hindi) | 匈牙利语 (Hungarian) | 印度尼西亚语 (Indonesian) | 意大利语 (Italian) | 日语 (Japanese) | 卡纳达语 (Kannada) | 韩语 (Korean) | 立陶宛语 (Lithuanian) | 马来语 (Malay) | 马拉雅拉姆语 (Malayalam) | 马拉地语 (Marathi) | 尼泊尔语 (Nepali) | 尼日利亚皮钦语 (Nigerian Pidgin) | 挪威语 (Norwegian) | 波斯语 (Persian) | 波兰语 (Polish) | 葡萄牙语（巴西） | 葡萄牙语（葡萄牙） | 旁遮普语（古木基文字） | 罗马尼亚语 (Romanian) | 俄语 (Russian) | 塞尔维亚语（西里尔字母） | 斯洛伐克语 (Slovak) | 斯洛文尼亚语 (Slovenian) | 西班牙语 (Spanish) | 斯瓦希里语 (Swahili) | 瑞典语 (Swedish) | 他加禄语（菲律宾语） | 泰米尔语 (Tamil) | 泰卢固语 (Telugu) | 泰语 (Thai) | 土耳其语 (Turkish) | 乌克兰语 (Ukrainian) | 乌尔都语 (Urdu) | 越南语 (Vietnamese)

更倾向于本地克隆吗？

此仓库包含50多种语言的翻译，这会显著增加下载大小。若要不包含翻译而克隆，请使用稀疏检出：

git clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git
cd edgeai-for-beginners
git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'

这样可以快速下载所需内容，完成课程学习。

如果您希望支持更多翻译语言，可参阅此处。

引言

欢迎来到《面向初学者的边缘人工智能》——这是一段全面探索边缘人工智能变革性世界的旅程。本课程弥合了强大的人工智能能力与在边缘设备上实际部署之间的鸿沟，使您能够在数据生成和决策制定的地方直接发挥人工智能的潜力。

您将掌握的内容

本课程从基础概念逐步深入到生产级实现，涵盖：

• 针对边缘部署优化的小型语言模型 (SLMs)
• 跨不同平台的硬件感知优化
• 具有隐私保护功能的实时推理
• 面向企业应用的生产级部署策略

为什么边缘人工智能至关重要？

边缘人工智能代表了一种范式转变，能够解决现代的关键挑战：

• 隐私与安全：在本地处理敏感数据，无需上传至云端
• 实时性能：消除网络延迟，适用于时间敏感的应用
• 成本效益：降低带宽和云计算支出
• 稳健运行：在网络中断时仍能保持功能
• 合规性：满足数据主权要求

边缘人工智能

边缘人工智能是指在靠近数据源的硬件上本地运行人工智能算法和语言模型，而无需依赖云资源进行推理。它能够减少延迟、增强隐私保护，并实现实时决策。

核心原则：

• 设备端推理：人工智能模型直接在边缘设备上运行（如手机、路由器、微控制器、工业PC）
• 离线能力：无需持续的互联网连接即可工作
• 低延迟：适合实时系统的即时响应
• 数据主权：将敏感数据保留在本地，提升安全性并符合合规要求

小型语言模型（SLMs）

Phi-4、Mistral-7B 和 Gemma 等小型语言模型是大型语言模型的优化版本，经过训练或蒸馏，旨在：

• 减少内存占用：高效利用边缘设备有限的内存
• 降低计算需求：针对 CPU 和边缘 GPU 性能进行优化
• 更快的启动时间：快速初始化以支持响应式应用

它们在满足以下场景限制的同时，释放出强大的自然语言处理能力：

• 嵌入式系统：物联网设备和工业控制器
• 移动设备：具备离线功能的智能手机和平板电脑
• 物联网设备：资源受限的传感器和智能设备
• 边缘服务器：GPU 资源有限的本地处理单元
• 个人电脑：台式机和笔记本电脑部署场景

课程模块与导航

模块	主题	重点领域	核心内容	难度	时长
📖 00	EdgeAI 导论	基础与背景	EdgeAI 概述 • 行业应用 • SLM 介绍 • 学习目标	初级	1–2 小时
📚 01	EdgeAI 基础	云端与边缘 AI 对比	EdgeAI 基础 • 实际案例研究 • 实施指南 • 边缘部署	初级	3–4 小时
🧠 02	SLM 模型基础	模型家族与架构	Phi 家族 • Qwen 家族 • Gemma 家族 • BitNET • μModel • Phi-Silica	初级	4–5 小时
🚀 03	SLM 部署实践	本地与云端部署	高级学习 • 本地环境 • 云端部署	中级	4–5 小时
⚙️ 04	模型优化工具集	跨平台优化	介绍 • Llama.cpp • Microsoft Olive • OpenVINO • Apple MLX • 工作流整合	中级	5–6 小时
🔧 05	SLMOps 生产	生产运营	SLMOps 介绍 • 模型蒸馏 • 微调 • 生产部署	高级	5–6 小时
🤖 06	AI 代理与函数调用	代理框架与 MCP	代理介绍 • 函数调用 • 模型上下文协议	高级	4–5 小时
💻 07	平台实现	跨平台示例	AI 工具包 • Foundry Local • Windows 开发	高级	3–4 小时
🏭 08	Foundry Local 工具包	生产就绪示例	示例应用（详情见下文）	专家级	8–10 小时

🏭 模块 08：示例应用

• 01: REST 聊天快速入门
• 02: OpenAI SDK 集成
• 03: 模型发现与基准测试
• 04: Chainlit RAG 应用程序
• 05: 多代理编排
• 06: 模型即工具路由器
• 07: 直接 API 客户端
• 08: Windows 11 聊天应用
• 09: 高级多代理系统
• 10: Foundry 工具框架

🎓 研讨会：动手学习路径

全面的动手实践材料，包含生产就绪的实现：

• 研讨会指南 - 完整的学习目标、成果及资源导航
• Python 示例（6 节课） - 更新了最佳实践、错误处理及完整文档
• Jupyter 笔记本（8 个交互式） - 分步教程，附带基准测试和性能监控
• 会话指南 - 每节研讨会的详细 Markdown 指南
• 验证工具 - 用于验证代码质量和运行冒烟测试的脚本

你将构建的内容：

• 支持流式传输的本地 AI 聊天应用
• 具有质量评估功能的 RAG 流程（RAGAS）
• 多模型基准测试与比较工具
• 多代理编排系统
• 基于任务选择的智能模型路由

🎙️ Workshop For Agentic：动手实践——AI 播客工作室

从零开始构建一个由 AI 驱动的播客制作流水线！本次沉浸式研讨会将教你创建一个完整的多代理系统，将创意转化为专业的播客节目。

🎬 开始 AI 播客工作室研讨会

你的任务：推出“Future Bytes”——一个完全由你亲手构建的 AI 代理驱动的技术播客。无需云端依赖，无 API 成本——一切都在你的本地机器上运行。

独特之处：

• 🤖 真正的多代理编排 - 构建专门的 AI 代理，负责研究、撰写和制作音频
• 🎯 完整的生产流水线 - 从选题到最终播客音频输出
• 💻 100% 本地部署 - 使用 Ollama 和本地模型（Qwen-3-8B），确保完全的隐私和控制
• 🎤 文本转语音集成 - 将脚本转换为自然流畅的多角色对话
• ✋ 人机协作工作流 - 通过审批环节保证质量，同时保持自动化

三幕式学习之旅：

幕	重点	关键技能	时长
第一幕：认识你的 AI 助手	构建第一个 AI 代理	工具集成 • 网络搜索 • 问题解决 • 代理式推理	2–3 小时
第二幕：组建你的制作团队	编排多个代理	团队协调 • 审批工作流 • DevUI 界面 • 人工监督	3–4 小时
第三幕：让你的播客栩栩如生	生成播客音频	文本转语音 • 多角色合成 • 长篇音频 • 全自动	2–3 小时

使用的技术：

• Microsoft Agent Framework - 多代理编排与协调
• Ollama - 本地 AI 模型运行时（无需云端）
• Qwen-3-8B - 面向代理任务优化的开源语言模型
• 文本转语音 API - 用于播客生成的自然语音合成

硬件支持：

• ✅ CPU 模式 - 适用于任何现代计算机（建议 8GB+ 内存）
• 🚀 GPU 加速 - 使用 NVIDIA/AMD 显卡可显著提升推理速度
• ⚡ NPU 支持 - 下一代神经网络处理器加速

适合人群：

• 学习多代理 AI 系统的开发者
• 对 AI 自动化和工作流感兴趣的人士
• 探索 AI 辅助创作的内容创作者
• 研究实用 AI 编排模式的学生

立即开始构建：🎙️ AI 播客工作室研讨会 →

📊 学习路径总结

• 总时长: 36–45小时
• 初级路径: 模块01–02（7–9小时）
• 中级路径: 模块03–04（9–11小时）
• 高级路径: 模块05–07（12–15小时）
• 专家路径: 模块08（8–10小时）

你将构建的内容

🎯 核心能力

• 边缘AI架构: 设计本地优先的AI系统，并与云端集成
• 模型优化: 对模型进行量化和压缩，以适应边缘部署（速度提升85%，体积减少75%）
• 多平台部署: 支持Windows、移动端、嵌入式设备以及云边协同系统
• 生产运维: 在生产环境中监控、扩展和维护边缘AI系统

🏗️ 实战项目

• Foundry Local聊天应用: Windows 11原生应用，支持模型切换
• 多智能体系统: 协调器与专业智能体协作，完成复杂工作流
• RAG应用: 本地文档处理与向量检索结合
• 模型路由: 根据任务分析智能选择不同模型
• API框架: 生产就绪的客户端，支持流式传输和健康监测
• 跨平台工具: LangChain/Semantic Kernel集成模式

🏢 行业应用

制造业 • 医疗健康 • 自动驾驶 • 智慧城市 • 移动应用

快速入门

推荐学习路径（共20–30小时）：

0. 📖 引言（Introduction.md）: 边缘AI基础 + 行业背景 + 学习框架
1. 📚 基础（模块01–02）: 边缘AI概念 + SLM模型家族
2. ⚙️ 优化（模块03–04）: 部署 + 量化框架
3. 🚀 生产（模块05–06）: SLMOps + AI智能体 + 函数调用
4. 💻 实现（模块07–08）: 平台示例 + Foundry Local工具包

每个模块都包含理论讲解、动手练习和可直接用于生产的代码示例。

职业影响

技术岗位: 边缘AI解决方案架构师 • 边缘ML工程师 • 物联网AI开发者 • 移动端AI开发者

行业领域: 工业4.0 • 医疗科技 • 自动驾驶系统 • 金融科技 • 消费电子

作品集项目: 多智能体系统 • 生产级RAG应用 • 跨平台部署 • 性能优化

仓库结构

edgeai-for-beginners/
├── 📖 introduction.md  # 基础：边缘AI概述与学习框架
├── 📚 Module01-04/     # 基础知识 → SLM模型 → 部署 → 优化  
├── 🔧 Module05-06/     # SLMOps → AI智能体 → 函数调用
├── 💻 Module07/        # 平台示例（VS Code、Windows、Jetson、移动端）
├── 🏭 Module08/        # Foundry Local工具包 + 10个综合示例
│   ├── samples/01-06/  # 基础：REST、SDK、RAG、智能体、路由
│   └── samples/07-10/  # 高级：API客户端、Windows应用、企业级智能体、工具
├── 🌐 translations/    # 多语言支持（8种以上）
└── 📋 STUDY_GUIDE.md   # 结构化学习路径与时间分配

课程亮点

✅ 循序渐进的学习: 理论 → 实践 → 生产级部署
✅ 真实案例研究: 微软、日本航空及多家企业的实际落地案例
✅ 实战示例: 50+个示例，10个完整的Foundry Local演示
✅ 性能优化: 速度提升85%，体积缩减75%
✅ 多平台支持: Windows、移动端、嵌入式设备以及云边协同
✅ 生产就绪: 监控、扩展、安全与合规框架

📖 学习指南可用: 结构化的20小时学习路径，提供时间分配指导与自我评估工具。

---

边缘AI代表了AI部署的未来方向: 本地优先、隐私保护且高效。掌握这些技能，你将能够构建下一代智能应用。

其他课程

我们的团队还推出了其他课程！请查看以下内容：

LangChain

Azure / 边缘 / MCP / 智能体

---

生成式AI系列

---

核心学习

---

Copilot系列

获取帮助

如果您在构建AI应用时遇到困难或有任何疑问，请加入：

如果您在构建过程中遇到产品反馈或错误，请访问：

EdgeAI for Beginners 快速上手指南

本指南旨在帮助中国开发者快速开始微软 EdgeAI for Beginners 课程的学习，掌握在边缘设备部署小型语言模型（SLM）的核心技能。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows 10/11, macOS (Intel/Apple Silicon), 或 Linux (Ubuntu 20.04+)。
• Git：已安装并配置好环境变量。
• Python：推荐版本 3.9 - 3.11（部分新特性可能需要 3.10+）。
• 硬件建议：
  • 内存：至少 8GB（运行大模型建议 16GB+）。
  • GPU（可选但推荐）：NVIDIA GPU (CUDA 支持) 或 Apple M 系列芯片，用于加速推理。
• 网络工具：由于仓库包含 50+ 种语言的翻译文件，体积较大，建议配置 Git 稀疏检出（Sparse Checkout）以加速下载。

国内加速提示：如果访问 GitHub 速度较慢，建议使用国内镜像源（如 Gitee 镜像，若有）或配置代理。克隆时务必使用下方的“稀疏检出”命令以避免下载不必要的多语言文件。

2. 安装步骤

第一步：克隆仓库（推荐稀疏检出）

为了跳过庞大的 translations 文件夹，显著减少下载时间，请使用以下命令：

git clone --filter=blob:none --sparse https://github.com/microsoft/edgeai-for-beginners.git
cd edgeai-for-beginners
git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'

如果您希望 Fork 后自行修改或贡献代码，请先在 GitHub 网页端点击 "Fork"，然后将上述 URL 替换为您自己的仓库地址。

第二步：加入社区（可选）

加入 Azure AI Foundry Discord 社区与专家及其他开发者交流（需网络工具访问）： 加入 Discord

第三步：配置 Python 环境与依赖

进入具体模块目录（以 Module 03 为例）安装依赖。不同模块可能有不同的 requirements.txt，请根据您学习的章节进入对应目录：

# 示例：进入第三个模块进行实践
cd Module03

# 创建虚拟环境 (推荐)
python -m venv venv

# 激活虚拟环境
# Windows:
venv\Scripts\activate
# macOS/Linux:
source venv/bin/activate

# 安装依赖
pip install -r requirements.txt

注意：部分模块（如 Module 04 优化套件）可能需要安装特定的推理后端（如 llama-cpp-python, onnxruntime, openvino 等），请严格参照各模块 README.md 中的具体依赖说明。

3. 基本使用

本课程采用模块化学习路径，从理论基础到生产级应用。以下是快速体验一个本地 AI 聊天应用的流程（基于 Module 08 示例）：

启动本地聊天示例

假设您已完成环境配置并进入示例目录：

cd Module08/samples/01

运行快速启动脚本（具体文件名请参考该目录下的说明，通常为 main.py 或 app.py）：

python main.py

系统将自动加载预设的小型语言模型（如 Phi-4 或 Qwen 系列），并在终端或本地 Web 界面启动聊天服务。

核心学习路径导航

您可以按照以下顺序深入学习：

1. 基础概念：阅读 Module 00 了解 EdgeAI 概述。
2. 模型选型：在 Module 02 学习 Phi, Qwen, Gemma 等 SLM 家族。
3. 部署实践：通过 Module 03 在本地环境运行模型。
4. 性能优化：利用 Module 04 中的工具（Llama.cpp, Olive, OpenVINO）进行跨平台优化。
5. 高级应用：在 Module 06 和 Module 08 构建多智能体系统和 RAG 应用。

实战工作坊

想要直接动手构建完整项目？推荐尝试 AI Podcast Studio 工作坊：

cd WorkshopForAgentic
# 按照 README.md 指引，使用 Ollama 和本地模型构建全自动播客生成管线

此项目将带您从零开始构建一个完全在本地运行、无云依赖的多智能体系统，实现从选题到音频生成的全流程。