大型語言模型工程——掌握人工智能與LLM

您的8週精通之旅，從今天開始

如果您正在 Cursor 中查看此文件，請在左側的資源管理器中右鍵單擊文件名，然後選擇「開啟預覽」，以查看格式化後的版本。

很高興您能與我一起踏上這段旅程。接下來的幾週裡，我們將共同打造令人極其滿意的專案。有些簡單易行，有些則充滿挑戰，而更多專案將讓您驚歎不已！這些專案彼此相輔相成，讓您每週都能不斷深化專業知識。可以肯定的是，這一路走來，您一定會樂趣無窮。

重要公告——2025年12月——請仔細閱讀

課程內容已全面更新，所有週次均為全新設計。若您希望繼續使用原始影片中的程式碼，只需在 Anaconda Prompt 或終端機中執行以下指令：
git fetch
git checkout original

如有任何問題，歡迎在 Udemy 上或透過 ed@edwarddonner.com 與我聯繫。更多詳細資訊請參閱課程資源頁頂部的連結。

在開始之前

我致力於協助您取得最佳學習成效。若您遇到任何困難，或對課程有任何改進建議，請隨時透過平台留言或直接發送電子郵件至 ed@edwarddonner.com 與我溝通。我也非常樂意與大家在 LinkedIn 上交流，共同建立社群——您可在此找到我：
https://www.linkedin.com/in/eddonner/
此外，我最近也在 X/Twitter 上嘗試與大家互動，帳戶是@edwarddonner——如果您也在 X 上，歡迎教教我怎麼玩 😂

課程配套資源，包括投影片及實用連結，請見：
https://edwarddonner.com/2024/11/13/llm-engineering-resources/

常見問題解答也在此處：
https://edwarddonner.com/faq/

第1週第1天的快速上手指南——使用 Llama 3.2，而非 Llama 3.3

重要提示：請留意下方關於 Llama 3.3 的警告——該模型過大，不適合家用電腦！請堅持使用 Llama 3.2；已有數位學員錯過了這一提醒……

我們將從安裝 Ollama 開始，讓您立即看到成果！

1. 請從 https://ollama.com 下載並安裝 Ollama。注意，在 Windows 系統上，您可能需要以管理員身份運行安裝程序才能正常完成。
2. 在 Windows 系統上，打開命令提示字元或 PowerShell（按下 Win + R，輸入 cmd，並按 Enter）。在 Mac 上，則打開終端機（應用程式 > 常用工具 > 終端機）。
3. 執行 ollama run llama3.2，或若您的設備較為輕量，可嘗試 ollama run llama3.2:1b——請務必注意，避免使用 Meta 最新的 Llama 3.3 模型，因為其參數量高達 700 億，對於大多數家用電腦而言都過於龐大！
4. 若上述操作無法成功，您可能需要在另一個 PowerShell（Windows）或終端機（Mac）中先執行 ollama serve，再重新嘗試第3步。在 Windows 系統上，您可能還需以管理員權限運行 PowerShell。
5. 如果您的設備仍無法運作，我已在雲端搭建了一個環境。該環境基於 Google Colab，您需要一個 Google 帳戶進行登入，但完全免費： https://colab.research.google.com/drive/1-_f5XZPsChvfU1sJ0QqCePtIuc55LSdu?usp=sharing

若有任何問題，請隨時與我聯繫！

在設定說明之前——特別說明

課程初期（第2天），我會演示一款非常酷炫且廣受歡迎的產品——Claude Code。這是一款類似於我們課程中使用的 Cursor 的 AI 編程工具。我介紹它僅作為代理型 AI 實際應用的一個範例，本課程並未明確涵蓋該工具，尤其是我們主要使用的是 Cursor。不過，若您想自行體驗 Claude Code，Anthropic 提供的快速入門指南可在這裡找到。

好了——現在進入設定說明

在完成 Ollama 快速專案，並在我自我介紹及課程簡介之後，我們將正式開始完整的環境設置工作。

我希望這些指南已經盡可能完善，萬無一失——但若您遇到任何障礙，請立即與我聯繫：

設定說明：各平台設定說明

關於 API 收費的重要說明（可選！無需支付亦可）

在課程中，我會建議您嘗試當前最前沿的領先模型，即所謂的「前沿模型」。同時，我也會推薦您使用 Google Colab 來運行開源模型。這些服務確實會產生一些費用，但我會盡量將成本控制在最低限度——每次僅需幾美分左右。此外，若您不想使用這些服務，我亦會提供替代方案。

請務必留意您的 API 使用情況，確保支出在您的承受範圍內；相關連結已附於下方。整體課程期間，您無需支付超過幾美元的費用。部分 AI 供應商，例如 OpenAI，可能會要求您先存入至少 5 美元或等值當地貨幣的額度；我們實際使用的金額僅為其中一小部分，且您將有充分機會在自己的專案中加以運用。到了第7週，若您對學習過程感到滿意，也可酌情增加一點支出——我自己通常會花費約 10 美元，而最終的成果讓我十分欣喜！不過，這並非必要；最重要的是專注於學習本身。

免費替代付費 API 的方法

詳情請參閱指南目錄中的指南9，其中提供了使用 Ollama、Gemini、OpenRouter 等工具的詳細步驟及完整程式碼！

本倉庫的組織結構

倉庫內按「週次」劃分資料夾，代表課程的各個模組。最終在第8週，我們將完成一個強大的自主代理型 AI 解決方案，該方案整合了此前多週所學的內容。
請依照上述設定說明進行操作，然後打開第1週的資料夾，準備迎接學習的樂趣吧。

最重要的部分

本課程的核心理念是：最好的學習方式就是——動手實踐。我在課程中並不會逐行敲入所有程式碼，而是親自執行，讓您觀看結果。請您在每節課後，跟著我的步驟逐一運行代碼單元，仔細檢查變量和物件，深入理解背後的運作原理。接著您可以根據自己的需求調整程式碼，使其成為屬於您的作品。整個課程中，您將面臨許多富有挑戰性的任務。如果您願意，歡迎提交 Pull Request 將您的程式碼貢獻到本倉庫中——這樣不僅能使您的成果與他人共享，促進共同進步，還能在 GitHub 上獲得認可，彰顯您對本倉庫的貢獻。這些專案固然有趣，但它們的首要目標始終是教育意義，旨在幫助您掌握可在工作中實際應用的商業技能。

从第3周开始，我们还将使用 Google Colab 来利用 GPU 运行代码

你可以使用免费层级或最低消费额度来完成课程中的所有项目。我个人订阅了 Colab Pro+，用起来非常顺手——不过这并不是必需的。

请在此处了解 Google Colab 并注册一个 Google 账号（如果你还没有的话）：这里

第3周和第7周的文件夹中都提供了 Colab 链接；打开每天的实验课内容，你就能找到对应的 Colab 直接链接。

监控 API 费用

在整个课程中，你的 API 使用费用都可以保持很低。你可以在以下仪表板上监控费用：OpenAI 的 这里，Anthropic 的 这里。

本课程中的练习所产生的费用通常都很低。但如果你想进一步降低费用，请务必始终选择最经济的模型版本：

1. 对于 OpenAI：在代码中始终使用 gpt-4.1-nano 模型。
2. 对于 Anthropic：在代码中始终使用 claude-3-haiku-20240307 模型，而非其他 Claude 模型。
3. 在第7周，请留意我的指示，以使用更便宜的数据集。

如果遇到任何问题，或者需要我的帮助，请随时通过消息或发送邮件至 ed@edwarddonner.com 联系我。我非常期待听到你的学习进展！

其他资源 我整理了一个包含课程实用资源的网页，其中包含了所有幻灯片的链接。 https://edwarddonner.com/2024/11/13/llm-engineering-resources/ 请将此页面添加书签，我会持续在此页面上更新更多有用的链接。

LLM Engineering 快速上手指南

本指南旨在帮助开发者快速搭建 llm_engineering 课程环境，通过 8 周的实战项目掌握大语言模型（LLM）工程化技能。核心理念是“在做中学”（Learning by Doing）。

环境准备

在开始之前，请确保满足以下基础要求：

• 操作系统：Windows (需管理员权限)、macOS 或 Linux。
• Python 环境：建议安装 Anaconda 或使用标准的 Python 3.9+ 环境。
• Google 账号：部分章节（如第 3 周和第 7 周）需要使用 Google Colab 运行 GPU 任务（免费层级即可，可选 Pro+）。
• 代码编辑器：推荐使用 Cursor 或 VS Code 以获得最佳体验。
• 网络环境：访问 Hugging Face、Ollama 及各大模型 API 可能需要稳定的网络连接。

注意：本课程涉及少量 API 调用费用（可选）。若希望零成本学习，可完全使用本地开源模型（Ollama）或 Google Colab 免费额度。如需调用商业 API，请务必监控用量（OpenAI 和 Anthropic 均提供用量仪表盘）。

安装步骤

1. 获取项目代码

克隆仓库并进入目录：

git clone https://github.com/ed-donner/llm_engineering.git
cd llm_engineering

注：如果您希望使用原始视频对应的旧版代码，可执行 git fetch 后运行 git checkout original。当前默认分支为 2025 年更新后的全新内容。

2. 安装核心依赖 (Ollama)

课程第一天将通过 Ollama 运行本地模型以获得即时反馈。

1. 下载并安装 Ollama：

   • 访问官网：https://ollama.com
   • Windows 用户请以管理员身份运行安装程序。
   • macOS/Linux 用户按官网提示执行终端命令。

2. 验证并拉取模型： 打开终端（Windows 使用 CMD 或 PowerShell，Mac 使用 Terminal），执行以下命令。

   重要提示：请使用 llama3.2 系列。切勿尝试 llama3.3 (70B 参数)，该模型过大，不适合大多数家用电脑。

   # 推荐：运行 Llama 3.2 (标准版)
   ollama run llama3.2
   
   # 备选：如果机器配置较低，运行 1B 轻量版
   ollama run llama3.2:1b
   

   故障排除：如果上述命令无响应，请新开一个终端窗口运行 ollama serve，然后重试拉取命令。Windows 用户如遇权限问题，请尝试以管理员身份运行 PowerShell。

   云端备选方案：若本地无法运行，可使用免费的 Google Colab 环境：Colab 快速启动链接

3. 完整环境配置

完成 Ollama 测试后，请按照项目内的详细文档配置完整的 Python 开发环境（包括 Jupyter、各类 AI SDK 等）：

• 通用设置指南：setup/SETUP-new.md

基本使用

本课程按“周”组织文件夹，每周包含独立的模块和实战项目。

第一步：启动第一个项目

进入 Week 1 文件夹，打开对应的 Jupyter Notebook 文件（通常以 Day 1 开头）。

第二步：运行代码

课程强调动手实践。请不要仅阅读代码，务必逐个单元格（Cell）执行：

1. 执行代码：运行提供的示例代码，观察输出结果。
2. 检查对象：打印关键变量，深入理解数据结构。
3. 修改实验：尝试调整参数或提示词（Prompt），观察模型反应的变化。

第三步：进阶探索 (API 与 Colab)

• 使用低成本 API：在代码中指定轻量级模型以控制成本：
  • OpenAI: 使用 gpt-4.1-nano
  • Anthropic: 使用 claude-3-haiku-20240307
• GPU 加速：从第 3 周开始，打开对应文件夹中的 Notebook，点击顶部的 "Open in Colab" 链接，在云端 GPU 环境中运行更复杂的训练或推理任务。

第四步：贡献与分享

鼓励在完成挑战后提交 Pull Request，将您的解决方案分享给社区，并在 GitHub 上获得贡献者认可。

---

资源链接：

• 课程幻灯片与补充资源：https://edwarddonner.com/2024/11/13/llm-engineering-resources/
• 详细 API 替代方案指南：参见项目内 guides/09_ai_apis_and_ollama.ipynb