[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-decodingai-magazine--llm-twin-course":3,"tool-decodingai-magazine--llm-twin-course":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",146793,2,"2026-04-08T23:32:35",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":102,"env_os":103,"env_gpu":104,"env_ram":105,"env_deps":106,"category_tags":121,"github_topics":122,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":138,"updated_at":139,"faqs":140,"releases":176},5746,"decodingai-magazine\u002Fllm-twin-course","llm-twin-course","🤖 𝗟𝗲𝗮𝗿𝗻 for 𝗳𝗿𝗲𝗲 how to 𝗯𝘂𝗶𝗹𝗱 an end-to-end 𝗽𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻-𝗿𝗲𝗮𝗱𝘆 𝗟𝗟𝗠 & 𝗥𝗔𝗚 𝘀𝘆𝘀𝘁𝗲𝗺 using 𝗟𝗟𝗠𝗢𝗽𝘀 best practices: ~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 𝘩𝘢𝘯𝘥𝘴-𝘰𝘯 𝘭𝘦𝘴𝘴𝘰𝘯𝘴","llm-twin-course 是一门免费的实战课程，旨在指导开发者从零构建一个端到端、可投入生产的\"LLM 分身”系统。这个 AI 分身能够学习并模仿特定用户的写作风格与个性，解决传统机器学习教程中代码碎片化、缺乏工程落地场景的痛点，帮助学习者掌握从数据采集到模型部署的全流程 LLMOps 最佳实践。\n\n本课程特别适合希望提升大模型工程化能力的开发者、数据科学家及 AI 研究人员。其核心亮点在于将复杂的系统架构拆解为四个清晰的 Python 微服务：数据收集流水线负责从社交媒体抓取并清洗数据；特征流水线利用 Bytewax 进行实时流处理并向量化存储；训练流水线演示了如何使用 LoRA\u002FQLoRA 微调模型并结合 Comet ML 与 Opik 进行实验追踪与评估；推理流水线则展示了如何通过 AWS SageMaker 部署可扩展的 API 并集成高级 RAG 技术。\n\n通过 12 节动手课程，学员不仅能获得完整源码，还能深入理解向量数据库、流式计算、模型注册及提示词监控等关键技术，最终独立搭建出具备生产级稳定性的个性化大语言模型应用。","\u003Cdiv align=\"center\">\n    \u003Ch2>LLM Twin Course: Building Your Production-Ready AI Replica\u003C\u002Fh2>\n    \u003Ch1>Learn to architect and implement a production-ready LLM & RAG system by building your LLM Twin\u003C\u002Fh1>\n    \u003Ch3>From data gathering to productionizing LLMs using LLMOps good practices.\u003C\u002Fh3>\n    \u003Ci>by \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\">Decoding ML\u003C\u002Fi>\n\u003C\u002Fdiv>\n\n\u003C\u002Fbr>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_dc78637a980d.png\" alt=\"Your image description\">\n\u003C\u002Fp>\n\n## 🎯 What you'll learn\n\n*By finishing the **\"LLM Twin: Building Your Production-Ready AI Replica\"** free course, you will learn how to design, train, and deploy a production-ready LLM twin of yourself powered by LLMs, vector DBs, and LLMOps good practices.*\n\n**No more isolated scripts or Notebooks!** Learn production ML by building and deploying an end-to-end production-grade LLM system.\n\n## 📖 About this course\n\nYou will **learn** how to **architect** and **build a real-world LLM system** from **start** to **finish** - from **data collection** to **deployment**.\n\nYou will also **learn** to **leverage MLOps best practices**, such as experiment trackers, model registries, prompt monitoring, and versioning.\n\n**The end goal?** Build and deploy your own LLM twin.\n\n**What is an LLM Twin?** It is an AI character that learns to write like somebody by incorporating its style and personality into an LLM.\n\n## 🪈 The architecture of the LLM Twin is split into 4 Python microservices\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_f9c58fd37d5a.png\" alt=\"LLM Twin Architecture\">\n\u003C\u002Fp>\n\n### The data collection pipeline\n\n- Crawl your digital data from various social media platforms, such as Medium, Substack and GitHub.\n- Clean, normalize and load the data to a [Mongo NoSQL DB](https:\u002F\u002Fwww.mongodb.com\u002F) through a series of ETL pipelines.\n- Send database changes to a [RabbitMQ](https:\u002F\u002Fwww.rabbitmq.com\u002F) queue using the CDC pattern.\n- Learn to package the crawlers as AWS Lambda functions.\n\n### The feature pipeline\n\n- Consume messages in real-time from a queue through a [Bytewax](https:\u002F\u002Fgithub.com\u002Fbytewax\u002Fbytewax?utm_source=github&utm_medium=decodingml&utm_campaign=2024_q1) streaming pipeline.\n- Every message will be cleaned, chunked, embedded and loaded into a [Qdrant](https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course) vector DB.\n- In the bonus series, we refactor the cleaning, chunking, and embedding logic using [Superlinked](https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse), a specialized vector compute engine. We will also load and index the vectors to a [Redis vector DB](https:\u002F\u002Fredis.io\u002Fsolutions\u002Fvector-search\u002F).\n\n### The training pipeline\n\n- Create a custom instruction dataset based on your custom digital data to do SFT.\n- Fine-tune an LLM using LoRA or QLoRA.\n- Use [Comet ML's](https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github) experiment tracker to monitor the experiments.\n- Evaluate the LLM using [Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik)\n- Save and version the best model to the [Hugging Face model registry](https:\u002F\u002Fhuggingface.co\u002Fmodels).\n- Run and automate the training pipeline using [AWS SageMaker](https:\u002F\u002Faws.amazon.com\u002Fsagemaker\u002F).\n\n### The inference pipeline\n\n- Load the fine-tuned LLM from the [Hugging Face model registry](https:\u002F\u002Fhuggingface.co\u002Fmodels).\n- Deploy the LLM as a scalable REST API using [AWS SageMaker inference endpoints](https:\u002F\u002Faws.amazon.com\u002Fsagemaker\u002Fdeploy\u002F).\n- Enhance the prompts using advanced RAG techniques.\n- Monitor the prompts and LLM generated results using [Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik)\n- In the bonus series, we refactor the advanced RAG layer to write more optimal queries using [Superlinked](https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse).\n- Wrap up everything with a Gradio UI (as seen below) where you can start playing around with the LLM Twin to generate content that follows your writing style.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_1cb1179b66e1.png\" alt=\"Gradio UI\">\n\u003C\u002Fp>\n\nAlong the 4 microservices, you will learn to integrate 4 serverless tools:\n\n* [Comet ML](https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github) as your experiment tracker and data registry;\n* [Qdrant](https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course) as your vector DB;\n* [AWS SageMaker](https:\u002F\u002Faws.amazon.com\u002Fsagemaker\u002F) as your ML infrastructure;\n* [Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) as your prompt evaluation and monitoring tool.\n\n----\n\n\u003Ctable style=\"border-collapse: collapse; border: none;\">\n  \u003Ctr style=\"border: none;\">\n    \u003Ctd width=\"20%\" style=\"border: none;\">\n      \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\" aria-label=\"Decoding ML\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_00e6b82e7dba.png\" alt=\"Decoding ML Logo\" width=\"150\"\u002F>\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd width=\"80%\" style=\"border: none;\">\n      \u003Cdiv>\n        \u003Ch2>📬 Stay Updated\u003C\u002Fh2>\n        \u003Cp>\u003Cb>\u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">Join Decoding ML\u003C\u002Fa>\u003C\u002Fb> for proven content on designing, coding, and deploying production-grade AI systems with software engineering and MLOps best practices to help you ship AI applications. Every week, straight to your inbox.\u003C\u002Fp>\n      \u003C\u002Fdiv>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"Subscribe Now\" height=\"40\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 👥 Who should join?\n\n**This course is ideal for:**\n- ML\u002FAI engineers who want to learn to engineer production-ready LLM & RAG systems using LLMOps good principles\n- Data Engineers, Data Scientists, and Software Engineers wanting to understand the engineering behind LLM & RAG systems\n\n**Note:** This course focuses on engineering practices and end-to-end system implementation rather than theoretical model optimization or research.\n\n## 🎓 Prerequisites\n\n| Category | Requirements |\n|----------|-------------|\n| **Skills** | Basic understanding of Python and Machine Learning |\n| **Hardware** | Any modern laptop\u002Fworkstation will do the job, as the LLM fine-tuning and inference will be done on AWS SageMaker. |\n| **Level** | Intermediate |\n\n## 💰 Cost structure\n\nAll tools used throughout the course will stick to their free tier, except:\n\n- OpenAI's API, which will cost ~$1\n- AWS for fine-tuning and inference, which will cost \u003C $10 depending on how much you play around with our scripts and your region.\n\n## 🥂 Open-source course: Participation is open and Free\n\nAs an open-source course, you don't have to enroll. Everything is self-paced, free of charge and with its resources freely accessible as follows:\n- **code**: this GitHub repository\n- **articles**: [Decoding ML](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fllm-twin-course\u002Fhome)\n\n## 📚 How will you learn?\n\nThe course contains **10 hands-on written lessons** and the **open-source code** you can access on GitHub, showing how to build an end-to-end LLM system.\n\nAlso, it includes **2 bonus lessons** on how to **improve the RAG system**.\n\nYou can read everything at your own pace.\n\n## Lessons\n\nThis self-paced course consists of 12 comprehensive lessons covering theory, system design, and hands-on implementation.\n\nOur recommendation for each module:\n1. Read the article\n2. Run the code to replicate our results\n3. Go deeper into the code by reading the `src` Python modules\n\n> [!NOTE]\n> Check the [INSTALL_AND_USAGE](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fblob\u002Fmain\u002FINSTALL_AND_USAGE.md) doc for a step-by-step installation and usage guide.\n\n| Lesson | Article | Category | Description | Source Code |\n|--------|---------|----------|-------------|-------------|\n| 1 | [An End-to-End Framework for Production-Ready LLM Systems](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fan-end-to-end-framework-for-production-ready-llm-systems-by-building-your-llm-twin-2cc6bb01141f) | System Design | Learn the overall architecture and design principles of production LLM systems. | No code |\n| 2 | [Data Crawling](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fyour-content-is-gold-i-turned-3-years-of-blog-posts-into-an-llm-training-d19c265bdd6e) | Data Engineering | Learn to crawl and process social media content for LLM training. | `src\u002Fdata_crawling` |\n| 3 | [CDC Magic](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fi-replaced-1000-lines-of-polling-code-with-50-lines-of-cdc-magic-4d31abd3bc3b) | Data Engineering | Learn to implement Change Data Capture (CDC) for syncing two data sources. | `src\u002Fdata_cdc` |\n| 4 | [Feature Streaming Pipelines](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fsota-python-streaming-pipelines-for-fine-tuning-llms-and-rag-in-real-time-82eb07795b87) | Feature Pipeline | Build real-time streaming pipelines for LLM and RAG data processing. | `src\u002Ffeature_pipeline` |\n| 5 | [Advanced RAG Algorithms](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fthe-4-advanced-rag-algorithms-you-must-know-to-implement-5d0c7f1199d2) | Feature Pipeline | Implement advanced RAG techniques for better retrieval. | `src\u002Ffeature_pipeline` |\n| 6 | [Generate Fine-Tuning Instruct Datasets](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fturning-raw-data-into-fine-tuning-datasets-dc83657d1280) | Training Pipeline | Create custom instruct datasets for LLM fine-tuning. | `src\u002Ffeature_pipeline\u002Fgenerate_dataset` |\n| 7 | [LLM Fine-tuning Pipeline](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002F8b-parameters-1-gpu-no-problems-the-ultimate-llm-fine-tuning-pipeline-f68ef6c359c2) | Training Pipeline | Build an end-to-end LLM fine-tuning pipeline and deploy it to AWS SageMaker. | `src\u002Ftraining_pipeline` |\n| 8 | [LLM & RAG Evaluation](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fthe-engineers-framework-for-llm-rag-evaluation-59897381c326) | Training Pipeline | Learn to evaluate LLM and RAG system performance. | `src\u002Finference_pipeline\u002Fevaluation` |\n| 9 | [Implement and Deploy the RAG Inference Pipeline](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fbeyond-proof-of-concept-building-rag-systems-that-scale-e537d0eb063a) | Inference Pipeline | Design,  implement and deploy the RAG inference to AWS SageMaker. | `src\u002Finference_pipeline` |\n| 10 | [Prompt Monitoring](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fthe-ultimate-prompt-monitoring-pipeline-886cbb75ae25) | Inference Pipeline | Build the prompt monitoring and production evaluation pipeline. | `src\u002Finference_pipeline` |\n| 11 | [Refactor the RAG module using 74.3% Less Code ](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fbuild-a-scalable-rag-ingestion-pipeline-using-74-3-less-code-ac50095100d6) | Bonus on RAG | Optimize the RAG system. | `src\u002Fbonus_superlinked_rag` |\n| 12 | [Multi-Index RAG Apps](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fbuild-multi-index-advanced-rag-apps-bd33d2f0ec5c) | Bonus on RAG | Build advanced multi-index RAG apps. | `src\u002Fbonus_superlinked_rag` |\n\n----\n\n\u003Ctable style=\"border-collapse: collapse; border: none;\">\n  \u003Ctr style=\"border: none;\">\n    \u003Ctd width=\"20%\" style=\"border: none;\">\n      \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\" aria-label=\"Decoding ML\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_00e6b82e7dba.png\" alt=\"Decoding ML Logo\" width=\"150\"\u002F>\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd width=\"80%\" style=\"border: none;\">\n      \u003Cdiv>\n        \u003Ch2>📬 Stay Updated\u003C\u002Fh2>\n        \u003Cp>\u003Cb>\u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">Join Decoding ML\u003C\u002Fa>\u003C\u002Fb> for proven content on designing, coding, and deploying production-grade AI systems with software engineering and MLOps best practices to help you ship AI applications. Every week, straight to your inbox.\u003C\u002Fp>\n      \u003C\u002Fdiv>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"Subscribe Now\" height=\"40\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🏗️ Project Structure\n\nAt Decoding ML we teach how to build production ML systems, thus the course follows the structure of a real-world Python project:\n\n```text\nllm-twin-course\u002F\n├── src\u002F                     # Source code for all the ML pipelines and services\n│ ├── data_crawling\u002F         # Data collection pipeline code\n│ ├── data_cdc\u002F              # Change Data Capture (CDC) pipeline code\n│ ├── feature_pipeline\u002F      # Feature engineering pipeline code\n│ ├── training_pipeline\u002F     # Training pipeline code\n│ ├── inference_pipeline\u002F    # Inference service code\n│ └── bonus_superlinked_rag\u002F # Bonus RAG optimization code\n├── .env.example             # Example environment variables template\n├── Makefile                 # Commands to build and run the project\n├── pyproject.toml           # Project dependencies\n```\n\n\n## 🚀 Install & Usage\n\nTo understand how to **install and run the LLM Twin code end-to-end**, go to the [INSTALL_AND_USAGE](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fblob\u002Fmain\u002FINSTALL_AND_USAGE.md) dedicated document.\n\n> [!NOTE]\n> Even though you can run everything solely using the [INSTALL_AND_USAGE](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fblob\u002Fmain\u002FINSTALL_AND_USAGE.md) dedicated document, we recommend that you read the articles to understand the LLM Twin system and design choices fully.\n\n\n## 💡 Questions and troubleshooting\n\nHave questions or running into issues? We're here to help!\n\nOpen a [GitHub issue](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fissues) for:\n- Questions about the course material\n- Technical troubleshooting\n- Clarification on concepts\n\n\n## 🥂 Contributing\n\nAs an open-source course, we may not be able to fix all the bugs that arise.\n\nIf you find any bugs and know how to fix them, support future readers by contributing to this course with your bug fix.\n\nWe will deeply appreciate your support for the AI community and future readers 🤗\n\n\n## Contributors\n\nA big \"Thank you 🙏\" to all our contributors! This course is possible only because of their efforts.\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fgraphs\u002Fcontributors\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_a6342ff81cf9.png\" \u002F>\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n## Sponsors\n\nAlso, another big \"Thank you 🙏\" to all our sponsors who supported our work and made this course possible. \n\n\u003Ctable>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github\" target=\"_blank\">Comet\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\" target=\"_blank\">Opik\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbytewax\u002Fbytewax?utm_source=github&utm_medium=decodingml&utm_campaign=2024_q1\" target=\"_blank\">Bytewax\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course\" target=\"_blank\">Qdrant\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse\" target=\"_blank\">Superlinked\u003C\u002Fa>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github\" target=\"_blank\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_e581d3b64541.png\" width=\"150\" alt=\"Comet\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\" target=\"_blank\">\n        \u003Cimg src=\"media\u002Fsponsors\u002Fopik.svg\" width=\"150\" alt=\"Opik\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbytewax\u002Fbytewax?utm_source=github&utm_medium=decodingml&utm_campaign=2024_q1\" target=\"_blank\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_5adb0255c951.png\" width=\"150\" alt=\"Bytewax\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course\" target=\"_blank\">\n        \u003Cimg src=\"media\u002Fsponsors\u002Fqdrant.svg\" width=\"150\" alt=\"Qdrant\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse\" target=\"_blank\">\n        \u003Cimg src=\"media\u002Fsponsors\u002Fsuperlinked.svg\" width=\"150\" alt=\"Superlinked\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## Next steps\n\nOur **LLM Engineer’s Handbook** inspired the **open-source LLM Twin course**.\n\nConsider supporting our work by getting our book to **learn** a **complete framework** for **building and deploying production LLM & RAG systems** — from data to deployment.\n\nPerfect for practitioners who want **both theory** and **hands-on** expertise by connecting the dots between DE, research, MLE and MLOps:\n\n**[Buy the LLM Engineer’s Handbook](https:\u002F\u002Fwww.amazon.com\u002FLLM-Engineers-Handbook-engineering-production\u002Fdp\u002F1836200072\u002F)**\n\n* [On Amazon](https:\u002F\u002Fwww.amazon.com\u002FLLM-Engineers-Handbook-engineering-production\u002Fdp\u002F1836200072\u002F)\n* [On Packt](https:\u002F\u002Fwww.packtpub.com\u002Fen-us\u002Fproduct\u002Fllm-engineers-handbook-9781836200062)\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fwww.amazon.com\u002FLLM-Engineers-Handbook-engineering-production\u002Fdp\u002F1836200072\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_855fa73e767b.png\" alt=\"LLM Engineer's Handbook\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## License\n\nThis course is an open-source project released under the MIT license. Thus, as long you distribute our LICENSE and acknowledge our work, you can safely clone or fork this project and use it as a source of inspiration for whatever you want (e.g., university projects, college degree projects, personal projects, etc.).\n\n----\n\n\u003Ctable style=\"border-collapse: collapse; border: none;\">\n  \u003Ctr style=\"border: none;\">\n    \u003Ctd width=\"20%\" style=\"border: none;\">\n      \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\" aria-label=\"Decoding ML\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_00e6b82e7dba.png\" alt=\"Decoding ML Logo\" width=\"150\"\u002F>\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd width=\"80%\" style=\"border: none;\">\n      \u003Cdiv>\n        \u003Ch2>📬 Stay Updated\u003C\u002Fh2>\n        \u003Cp>\u003Cb>\u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">Join Decoding ML\u003C\u002Fa>\u003C\u002Fb> for proven content on designing, coding, and deploying production-grade AI systems with software engineering and MLOps best practices to help you ship AI applications. Every week, straight to your inbox.\u003C\u002Fp>\n      \u003C\u002Fdiv>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"Subscribe Now\" height=\"40\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n","\u003Cdiv align=\"center\">\n    \u003Ch2>LLM双生课程：构建你的生产就绪AI副本\u003C\u002Fh2>\n    \u003Ch1>通过构建你的LLM双生，学习如何架构并实现一个生产就绪的LLM与RAG系统\u003C\u002Fh1>\n    \u003Ch3>从数据收集到使用LLMOps最佳实践将LLM投入生产。\u003C\u002Fh3>\n    \u003Ci>由 \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\">Decoding ML\u003C\u002Fi>\n\u003C\u002Fdiv>\n\n\u003C\u002Fbr>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_dc78637a980d.png\" alt=\"Your image description\">\n\u003C\u002Fp>\n\n## 🎯 你将学到什么\n\n*完成免费课程 **“LLM双生：构建你的生产就绪AI副本”** 后，你将学会如何利用LLM、向量数据库和LLMOps最佳实践，设计、训练并部署一个属于你自己的、具备生产级标准的LLM双生模型。*\n\n**不再局限于孤立的脚本或Notebook！** 通过构建并部署一个端到端的生产级LLM系统，掌握生产环境下的机器学习开发。\n\n## 📖 关于本课程\n\n你将 **学习** 如何从 **起点** 到 **终点**，**架构** 并 **构建一个真实的LLM系统**——从 **数据收集** 到 **部署**。\n\n你还将 **学习** 如何 **运用MLOps最佳实践**，例如实验跟踪器、模型注册表、提示监控和版本管理等。\n\n**最终目标？** 构建并部署属于你自己的LLM双生。\n\n**什么是LLM双生？** 它是一个能够模仿某人写作风格和个性的AI角色，通过将这些特征融入LLM中来实现。\n\n## 🪈 LLM双生的架构分为4个Python微服务\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_f9c58fd37d5a.png\" alt=\"LLM Twin Architecture\">\n\u003C\u002Fp>\n\n### 数据收集管道\n\n- 从Medium、Substack和GitHub等多种社交媒体平台抓取你的数字数据。\n- 通过一系列ETL管道对数据进行清洗、归一化处理，并加载到[Mongo NoSQL数据库](https:\u002F\u002Fwww.mongodb.com\u002F)中。\n- 使用CDC模式将数据库变更发送到[RabbitMQ](https:\u002F\u002Fwww.rabbitmq.com\u002F)队列中。\n- 学习如何将爬虫封装为AWS Lambda函数。\n\n### 特征提取管道\n\n- 通过[Bytewax](https:\u002F\u002Fgithub.com\u002Fbytewax\u002Fbytewax?utm_source=github&utm_medium=decodingml&utm_campaign=2024_q1)流式处理管道实时消费队列中的消息。\n- 每条消息都会被清洗、分块、嵌入并向量数据库[Qdrant](https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course)中加载。\n- 在附加章节中，我们将使用[Superlinked](https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse)，一种专门的向量计算引擎，重构清洗、分块和嵌入逻辑。我们还将把向量加载并索引到[Redis向量数据库](https:\u002F\u002Fredis.io\u002Fsolutions\u002Fvector-search\u002F)中。\n\n### 训练管道\n\n- 基于你的自定义数字数据创建一个定制指令数据集，用于监督微调（SFT）。\n- 使用LoRA或QLoRA对LLM进行微调。\n- 使用[Comet ML](https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github)的实验跟踪器监控实验过程。\n- 使用[Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik)评估LLM性能。\n- 将最佳模型保存并版本化至[Hugging Face模型注册表](https:\u002F\u002Fhuggingface.co\u002Fmodels)。\n- 使用[AWS SageMaker](https:\u002F\u002Faws.amazon.com\u002Fsagemaker\u002F)运行并自动化训练管道。\n\n### 推理管道\n\n- 从[Hugging Face模型注册表](https:\u002F\u002Fhuggingface.co\u002Fmodels)加载微调后的LLM。\n- 使用[AWS SageMaker推理端点](https:\u002F\u002Faws.amazon.com\u002Fsagemaker\u002Fdeploy\u002F)将LLM部署为可扩展的REST API。\n- 通过高级RAG技术增强提示。\n- 使用[Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik)监控提示及LLM生成的结果。\n- 在附加章节中，我们将使用[Superlinked](https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse)重构高级RAG层，以编写更优化的查询。\n- 最后，通过一个Gradio UI界面（如下所示）完成整个流程，你可以开始与LLM双生互动，生成符合你写作风格的内容。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_1cb1179b66e1.png\" alt=\"Gradio UI\">\n\u003C\u002Fp>\n\n在四个微服务的过程中，你还将学习如何集成以下四种无服务器工具：\n\n* [Comet ML](https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github) 作为你的实验跟踪器和数据注册表；\n* [Qdrant](https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course) 作为你的向量数据库；\n* [AWS SageMaker](https:\u002F\u002Faws.amazon.com\u002Fsagemaker\u002F) 作为你的机器学习基础设施；\n* [Opik](https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik) 作为你的提示评估与监控工具。\n\n----\n\n\u003Ctable style=\"border-collapse: collapse; border: none;\">\n  \u003Ctr style=\"border: none;\">\n    \u003Ctd width=\"20%\" style=\"border: none;\">\n      \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\" aria-label=\"Decoding ML\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_00e6b82e7dba.png\" alt=\"Decoding ML Logo\" width=\"150\"\u002F>\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd width=\"80%\" style=\"border: none;\">\n      \u003Cdiv>\n        \u003Ch2>📬 保持更新\u003C\u002Fh2>\n        \u003Cp>\u003Cb>\u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">加入Decoding ML\u003C\u002Fa>\u003C\u002Fb>，获取关于如何运用软件工程和MLOps最佳实践设计、编码并部署生产级AI系统的实用内容，助你成功交付AI应用。每周直接发送到你的邮箱。\u003C\u002Fp>\n      \u003C\u002Fdiv>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"立即订阅\" height=\"40\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 👥 谁适合参加？\n\n**本课程非常适合：**\n- 希望学习如何基于LLMOps原则构建生产就绪LLM与RAG系统的ML\u002FAI工程师\n- 想要理解LLM与RAG系统背后工程原理的数据工程师、数据科学家和软件工程师\n\n**注意：** 本课程侧重于工程实践和端到端系统实现，而非理论模型优化或研究。\n\n## 🎓 入门要求\n\n| 类别 | 要求 |\n|----------|-------------|\n| **技能** | 对Python和机器学习有基本了解 |\n| **硬件** | 任何现代笔记本电脑或工作站均可，因为LLM的微调和推理将在AWS SageMaker上完成。 |\n| **水平** | 中级 |\n\n## 💰 成本结构\n\n课程中使用的工具大多会遵循其免费层级，例外情况如下：\n\n- OpenAI的API，费用约为1美元；\n- AWS用于微调和推理，根据你使用脚本的频率以及所在地区，费用不超过10美元。\n\n## 🥂 开源课程：参与开放且免费\n\n作为一门开源课程，你无需报名。所有内容均为自主学习，完全免费，资源也可自由访问，具体如下：\n- **代码**：本GitHub仓库\n- **文章**：[Decoding ML](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fllm-twin-course\u002Fhome)\n\n## 📚 你将如何学习？\n\n本课程包含**10节实践性书面课程**以及可在GitHub上获取的**开源代码**，演示如何构建一个端到端的LLM系统。\n\n此外，还包含**2节关于如何改进RAG系统的附加课程**。\n\n你可以按照自己的节奏阅读所有内容。\n\n## 课程\n\n本自学课程由12节全面的课程组成，涵盖理论、系统设计和动手实现。\n\n我们对每个模块的建议：\n1. 阅读文章\n2. 运行代码以复现我们的结果\n3. 通过阅读`src`目录下的Python模块深入理解代码\n\n> [!NOTE]\n> 请查看[INSTALL_AND_USAGE](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fblob\u002Fmain\u002FINSTALL_AND_USAGE.md)文档，获取分步安装和使用指南。\n\n| 课程 | 文章 | 类别 | 描述 | 源代码 |\n|--------|---------|----------|-------------|-------------|\n| 1 | [用于生产就绪LLM系统的端到端框架](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fan-end-to-end-framework-for-production-ready-llm-systems-by-building-your-llm-twin-2cc6bb01141f) | 系统设计 | 学习生产级LLM系统的整体架构和设计原则。 | 无代码 |\n| 2 | [数据爬取](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fyour-content-is-gold-i-turned-3-years-of-blog-posts-into-an-llm-training-d19c265bdd6e) | 数据工程 | 学习如何爬取和处理社交媒体内容以用于LLM训练。 | `src\u002Fdata_crawling` |\n| 3 | [CDC魔法](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fi-replaced-1000-lines-of-polling-code-with-50-lines-of-cdc-magic-4d31abd3bc3b) | 数据工程 | 学习实现变更数据捕获（CDC），用于同步两个数据源。 | `src\u002Fdata_cdc` |\n| 4 | [特征流式管道](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fsota-python-streaming-pipelines-for-fine-tuning-llms-and-rag-in-real-time-82eb07795b87) | 特征管道 | 构建用于LLM和RAG数据处理的实时流式管道。 | `src\u002Ffeature_pipeline` |\n| 5 | [高级RAG算法](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fthe-4-advanced-rag-algorithms-you-must-know-to-implement-5d0c7f1199d2) | 特征管道 | 实现先进的RAG技术以提升检索效果。 | `src\u002Ffeature_pipeline` |\n| 6 | [生成微调指令数据集](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fturning-raw-data-into-fine-tuning-datasets-dc83657d1280) | 训练管道 | 创建用于LLM微调的自定义指令数据集。 | `src\u002Ffeature_pipeline\u002Fgenerate_dataset` |\n| 7 | [LLM微调管道](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002F8b-parameters-1-gpu-no-problems-the-ultimate-llm-fine-tuning-pipeline-f68ef6c359c2) | 训练管道 | 构建端到端的LLM微调管道，并将其部署到AWS SageMaker。 | `src\u002Ftraining_pipeline` |\n| 8 | [LLM与RAG评估](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fthe-engineers-framework-for-llm-rag-evaluation-59897381c326) | 训练管道 | 学习如何评估LLM和RAG系统的性能。 | `src\u002Finference_pipeline\u002Fevaluation` |\n| 9 | [实施并部署RAG推理管道](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fbeyond-proof-of-concept-building-rag-systems-that-scale-e537d0eb063a) | 推理管道 | 设计、实施并将RAG推理服务部署到AWS SageMaker。 | `src\u002Finference_pipeline` |\n| 10 | [提示监控](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fthe-ultimate-prompt-monitoring-pipeline-886cbb75ae25) | 推理管道 | 构建提示监控和生产评估管道。 | `src\u002Finference_pipeline` |\n| 11 | [使用74.3%更少的代码重构RAG模块](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fbuild-a-scalable-rag-ingestion-pipeline-using-74-3-less-code-ac50095100d6) | RAG附加课程 | 优化RAG系统。 | `src\u002Fbonus_superlinked_rag` |\n| 12 | [多索引RAG应用](https:\u002F\u002Fmedium.com\u002Fdecodingml\u002Fbuild-multi-index-advanced-rag-apps-bd33d2f0ec5c) | RAG附加课程 | 构建先进的多索引RAG应用。 | `src\u002Fbonus_superlinked_rag` |\n\n----\n\n\u003Ctable style=\"border-collapse: collapse; border: none;\">\n  \u003Ctr style=\"border: none;\">\n    \u003Ctd width=\"20%\" style=\"border: none;\">\n      \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\" aria-label=\"Decoding ML\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_00e6b82e7dba.png\" alt=\"Decoding ML Logo\" width=\"150\"\u002F>\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd width=\"80%\" style=\"border: none;\">\n      \u003Cdiv>\n        \u003Ch2>📬 保持更新\u003C\u002Fh2>\n        \u003Cp>\u003Cb>\u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">加入Decoding ML\u003C\u002Fa>\u003C\u002Fb>，获取经过验证的内容，介绍如何运用软件工程和MLOps最佳实践来设计、编码和部署生产级AI系统，帮助你成功交付AI应用。每周直接发送到你的邮箱。\u003C\u002Fp>\n      \u003C\u002Fdiv>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=Subscribe%20Now&style=for-the-badge&color=black&scale=2\" alt=\"立即订阅\" height=\"40\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🏗️ 项目结构\n\n在Decoding ML，我们教授如何构建生产级ML系统，因此本课程遵循真实Python项目的结构：\n\n```text\nllm-twin-course\u002F\n├── src\u002F                     # 所有ML管道和服务的源代码\n│ ├── data_crawling\u002F         # 数据采集管道代码\n│ ├── data_cdc\u002F              # 变更数据捕获（CDC）管道代码\n│ ├── feature_pipeline\u002F      # 特征工程管道代码\n│ ├── training_pipeline\u002F     # 训练管道代码\n│ ├── inference_pipeline\u002F    # 推理服务代码\n│ └── bonus_superlinked_rag\u002F # RAG优化附加代码\n├── .env.example             # 环境变量模板示例\n├── Makefile                 # 用于构建和运行项目的命令\n├── pyproject.toml           # 项目依赖项\n```\n\n\n## 🚀 安装与使用\n\n要了解如何**端到端地安装和运行LLM Twin代码**，请访问专门的[INSTALL_AND_USAGE](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fblob\u002Fmain\u002FINSTALL_AND_USAGE.md)文档。\n\n> [!NOTE]\n> 尽管你仅凭[INSTALL_AND_USAGE](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fblob\u002Fmain\u002FINSTALL_AND_USAGE.md)文档就能运行所有内容，但我们仍建议你阅读相关文章，以便充分理解LLM Twin系统及其设计决策。\n\n\n## 💡 问题与故障排除\n\n遇到问题或疑问？我们随时为您提供帮助！\n\n请在[GitHub问题](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fissues)中提出：\n- 关于课程内容的问题\n- 技术故障排除\n- 对概念的澄清\n\n\n## 🥂 贡献\n\n作为一门开源课程，我们可能无法修复所有出现的bug。\n\n如果你发现了bug并知道如何修复，请通过贡献你的修复补丁来支持未来的读者。\n\n我们将非常感谢你对AI社区和未来读者的支持 🤗\n\n## 贡献者\n\n向所有贡献者致以诚挚的感谢 🙏！本课程的完成离不开他们的辛勤付出。\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fgraphs\u002Fcontributors\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_a6342ff81cf9.png\" \u002F>\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 赞助商\n\n同时，我们也向所有支持我们工作、使本课程得以实现的赞助商表示衷心的感谢 🙏。\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github\" target=\"_blank\">Comet\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\" target=\"_blank\">Opik\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbytewax\u002Fbytewax?utm_source=github&utm_medium=decodingml&utm_campaign=2024_q1\" target=\"_blank\">Bytewax\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course\" target=\"_blank\">Qdrant\u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse\" target=\"_blank\">Superlinked\u003C\u002Fa>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fwww.comet.com\u002Fsignup\u002F?utm_source=decoding_ml&utm_medium=partner&utm_content=github\" target=\"_blank\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_e581d3b64541.png\" width=\"150\" alt=\"Comet\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcomet-ml\u002Fopik\" target=\"_blank\">\n        \u003Cimg src=\"media\u002Fsponsors\u002Fopik.svg\" width=\"150\" alt=\"Opik\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbytewax\u002Fbytewax?utm_source=github&utm_medium=decodingml&utm_campaign=2024_q1\" target=\"_blank\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_5adb0255c951.png\" width=\"150\" alt=\"Bytewax\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fqdrant.tech\u002F?utm_source=decodingml&utm_medium=referral&utm_campaign=llm-course\" target=\"_blank\">\n        \u003Cimg src=\"media\u002Fsponsors\u002Fqdrant.svg\" width=\"150\" alt=\"Qdrant\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd align=\"center\">\n      \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fsuperlinked\u002Fsuperlinked?utm_source=community&utm_medium=github&utm_campaign=oscourse\" target=\"_blank\">\n        \u003Cimg src=\"media\u002Fsponsors\u002Fsuperlinked.svg\" width=\"150\" alt=\"Superlinked\">\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## 后续步骤\n\n我们的《LLM 工程师手册》启发了这门开源的 LLM Twin 课程。\n\n请考虑通过购买我们的书籍来支持我们的工作，学习一套完整的框架，用于构建和部署生产级的 LLM 和 RAG 系统——从数据准备到上线部署。本书非常适合希望将理论与实践相结合，并在数据工程、研究、机器学习工程和 MLOps 之间建立联系的从业者：\n\n**[购买《LLM 工程师手册》](https:\u002F\u002Fwww.amazon.com\u002FLLM-Engineers-Handbook-engineering-production\u002Fdp\u002F1836200072\u002F)**\n\n* [亚马逊](https:\u002F\u002Fwww.amazon.com\u002FLLM-Engineers-Handbook-engineering-production\u002Fdp\u002F1836200072\u002F)\n* [Packt 出版社](https:\u002F\u002Fwww.packtpub.com\u002Fen-us\u002Fproduct\u002Fllm-engineers-handbook-9781836200062)\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fwww.amazon.com\u002FLLM-Engineers-Handbook-engineering-production\u002Fdp\u002F1836200072\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_855fa73e767b.png\" alt=\"LLM 工程师手册\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 许可证\n\n本课程是一个基于 MIT 许可证发布的开源项目。因此，只要您分发我们的 LICENSE 文件并注明我们的工作出处，就可以安全地克隆或 fork 该项目，并将其作为灵感来源，用于任何用途（例如：大学项目、毕业设计、个人项目等）。\n\n----\n\n\u003Ctable style=\"border-collapse: collapse; border: none;\">\n  \u003Ctr style=\"border: none;\">\n    \u003Ctd width=\"20%\" style=\"border: none;\">\n      \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\" aria-label=\"Decoding ML\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_readme_00e6b82e7dba.png\" alt=\"Decoding ML Logo\" width=\"150\"\u002F>\n      \u003C\u002Fa>\n    \u003C\u002Ftd>\n    \u003Ctd width=\"80%\" style=\"border: none;\">\n      \u003Cdiv>\n        \u003Ch2>📬 保持更新\u003C\u002Fh2>\n        \u003Cp>\u003Cb>\u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">加入 Decoding ML\u003C\u002Fa>\u003C\u002Fb>，获取关于如何运用软件工程和 MLOps 最佳实践来设计、编码并部署生产级 AI 系统的实用内容，助您顺利交付 AI 应用。每周一次，直接发送到您的邮箱。\u003C\u002Fp>\n      \u003C\u002Fdiv>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fdecodingml.substack.com\u002F\">\n    \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label&logo=substack&message=立即订阅&style=for-the-badge&color=black&scale=2\" alt=\"立即订阅\" height=\"40\">\n  \u003C\u002Fa>\n\u003C\u002Fp>","# LLM Twin Course 快速上手指南\n\n本指南帮助你快速搭建并运行 **LLM Twin** 项目，构建一个基于你个人数据风格的生产级 LLM 与 RAG 系统。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n### 系统要求\n- **操作系统**: Linux, macOS 或 Windows (推荐 WSL2)\n- **硬件**: 任意现代笔记本电脑或工作站即可。\n  - *注意*: 模型的微调（Fine-tuning）和推理（Inference）将在 AWS SageMaker 云端运行，本地无需高性能 GPU。\n- **Python 版本**: Python 3.9+\n\n### 前置依赖与账号\n你需要准备以下云服务和工具账号（大部分提供免费层级）：\n1. **AWS 账号**: 用于 SageMaker 训练、推理及 Lambda 函数（预计成本 \u003C $10）。\n2. **Hugging Face 账号**: 用于模型注册表及访问 Token。\n3. **Comet ML 账号**: 用于实验追踪（免费层可用）。\n4. **Qdrant 账号\u002F实例**: 用于向量数据库（可使用本地 Docker 或云服务）。\n5. **OpenAI API Key**: 用于部分数据处理流程（预计成本 ~$1）。\n6. **基础技能**: 具备基本的 Python 和机器学习知识。\n\n## 安装步骤\n\n### 1. 克隆项目代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course.git\ncd llm-twin-course\n```\n\n### 2. 创建虚拟环境\n推荐使用 `venv` 或 `conda` 隔离环境：\n```bash\npython -m venv venv\nsource venv\u002Fbin\u002Factivate  # Windows 用户请使用: venv\\Scripts\\activate\n```\n\n### 3. 安装依赖\n安装项目所需的核心 Python 包：\n```bash\npip install -r requirements.txt\n```\n*(注：如果下载速度慢，可添加国内镜像源，例如：`pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`)*\n\n### 4. 配置环境变量\n复制示例配置文件并根据实际情况填入你的 API Keys 和云凭证：\n```bash\ncp .env.example .env\n```\n编辑 `.env` 文件，确保填入以下关键信息：\n- `AWS_ACCESS_KEY_ID` \u002F `AWS_SECRET_ACCESS_KEY`\n- `HUGGINGFACE_TOKEN`\n- `COMET_API_KEY`\n- `OPENAI_API_KEY`\n- `QDRANT_URL` (如果使用本地 Docker，通常为 `http:\u002F\u002Flocalhost:6333`)\n\n### 5. 启动本地基础设施 (可选)\n如果你选择在本地运行向量数据库和消息队列，可以使用 Docker Compose：\n```bash\ndocker-compose up -d\n```\n这将启动 Qdrant (向量库) 和 RabbitMQ (消息队列)。\n\n> **提示**: 详细的分步安装和特定模块的配置说明，请参考项目根目录下的 [INSTALL_AND_USAGE.md](https:\u002F\u002Fgithub.com\u002Fdecodingml\u002Fllm-twin-course\u002Fblob\u002Fmain\u002FINSTALL_AND_USAGE.md) 文档。\n\n## 基本使用\n\n本项目由 4 个微服务管道组成，建议按照课程顺序依次运行。以下是最核心的**数据抓取**与**推理演示**流程示例。\n\n### 第一步：运行数据抓取管道 (Data Crawling)\n从社交媒体（如 Medium, GitHub, Substack）抓取你的数字足迹并清洗数据。\n\n```bash\n# 进入数据抓取模块目录\ncd src\u002Fdata_crawling\n\n# 运行爬虫脚本 (请确保已在 .env 中配置好相关平台 Token)\npython main.py --platforms medium,github --user YOUR_USERNAME\n```\n*执行后，数据将被清洗并存入 MongoDB，变更将通过 CDC 模式发送至 RabbitMQ。*\n\n### 第二步：运行特征工程管道 (Feature Pipeline)\n消费消息队列中的数据，进行分块（Chunking）、嵌入（Embedding）并加载到向量数据库。\n\n```bash\ncd ..\u002Ffeature_pipeline\n\n# 启动流式处理管道\npython main.py\n```\n\n### 第三步：微调与部署 (Training & Inference)\n由于微调和推理主要在 AWS SageMaker 上运行，你需要通过脚本触发云端任务。\n\n**触发微调任务：**\n```bash\ncd ..\u002Ftraining_pipeline\n\n# 提交训练作业到 SageMaker\npython submit_training_job.py --model_name llama-3-8b --lora_r 16\n```\n\n**部署推理端点并测试：**\n当模型训练完成并注册到 Hugging Face 后，部署推理服务：\n```bash\ncd ..\u002Finference_pipeline\n\n# 部署 SageMaker 端点\npython deploy_endpoint.py --model_id YOUR_HF_MODEL_ID\n\n# 调用端点进行简单测试\npython test_inference.py --prompt \"写一篇关于机器学习的文章，模仿我的风格\"\n```\n\n### 第四步：启动交互界面 (Gradio UI)\n项目提供了一个 Gradio 界面，让你可以直接与训练好的 \"LLM Twin\" 对话。\n\n```bash\n# 在项目根目录或 inference_pipeline 目录下运行\npython app.py\n```\n运行后，终端会显示一个本地 URL（通常是 `http:\u002F\u002F127.0.0.1:7860`），在浏览器中打开即可开始体验生成符合你写作风格的内容。\n\n---\n**学习建议**：\n本项目包含 12 节配套教程。最佳学习路径是：阅读对应章节的文章 -> 运行上述代码复现结果 -> 深入阅读 `src` 目录下的源码理解实现细节。","某科技博主希望构建一个能模仿其写作风格、自动回答粉丝提问的 AI 助手，但缺乏将分散数据转化为生产级系统的工程经验。\n\n### 没有 llm-twin-course 时\n- **数据孤岛严重**：手动从 Medium、GitHub 等平台复制粘贴文章，清洗和格式化数据耗时且容易出错，无法形成自动化流。\n- **原型难以落地**：代码仅停留在 Jupyter Notebook 中的实验脚本，缺乏微服务架构设计，无法应对真实并发请求。\n- **模型迭代黑盒**：微调过程没有实验追踪和版本管理，一旦效果不佳，难以复现问题或对比不同参数策略。\n- **监控缺失**：部署后无法监测 Prompt 质量和生成内容的准确性，出现“幻觉”或风格偏差时只能被动等待用户反馈。\n\n### 使用 llm-twin-course 后\n- **自动化数据流水线**：通过课程提供的 ETL 管道和 CDC 模式，自动抓取多平台数据并实时流入 Qdrant 向量库，确保知识库动态更新。\n- **生产级微服务架构**：直接复用包含数据、特征、训练和推理四大微服务的完整架构，快速将系统部署为可扩展的 AWS SageMaker API。\n- **标准化 LLMOps 流程**：利用 Comet ML 和 Opik 全程监控微调实验与评估指标，轻松管理模型版本，确保每次迭代都有据可依。\n- **全链路可观测性**：内置的 Prompt 监控机制实时分析生成结果，结合 RAG 技术显著降低幻觉，保证输出内容高度契合个人风格。\n\nllm-twin-course 将零散的 AI 实验转化为具备工业级鲁棒性的端到端系统，让开发者能专注于业务逻辑而非重复造轮子。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdecodingai-magazine_llm-twin-course_dc78637a.png","decodingai-magazine","Decoding AI Magazine","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdecodingai-magazine_78ec59f3.png","Proven content on designing, building, and shipping AI software that works.",null,"p.b.iusztin@gmail.com","pauliusztin_","www.decodingai.com","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine",[82,86,90,94],{"name":83,"color":84,"percentage":85},"Python","#3572A5",96.2,{"name":87,"color":88,"percentage":89},"Makefile","#427819",2.1,{"name":91,"color":92,"percentage":93},"Dockerfile","#384d54",1,{"name":95,"color":96,"percentage":97},"Shell","#89e051",0.6,4315,716,"2026-04-08T15:24:44","MIT",4,"Linux, macOS, Windows","本地无需 GPU（微调与推理在 AWS SageMaker 云端进行）；若本地运行实验，建议使用支持 CUDA 的 NVIDIA GPU","任何现代笔记本电脑或工作站即可（具体数值未说明，建议 16GB+ 以流畅运行数据处理流程）",{"notes":107,"python":108,"dependencies":109},"本课程架构设计为云端优先，核心计算任务（LLM 微调、推理部署）均在 AWS SageMaker 上执行，因此对本地硬件要求极低。主要依赖包括向量数据库 Qdrant\u002FRedis、流处理框架 Bytewax、优化引擎 Superlinked 以及监控工具 Opik\u002FComet ML。用户需准备 AWS 账户并配置相关凭证，预计产生少量云服务费用（约 10 美元以内）。","3.8+",[110,111,112,113,114,115,116,117,118,119,120],"bytewax","qdrant-client","superlinked","comet_ml","opik","transformers","peft","aws-sagemaker","mongo","rabbitmq","gradio",[14,35],[123,110,124,125,126,127,128,129,130,131,112,132,133,134,135,136,137],"aws","comet-ml","generative-ai","large-language-models","machine-learning-engineering","ml-system-design","mlops","qdrant","qwak","course","docker","infrastructure-as-code","llmops","pulumi","rag","2026-03-27T02:49:30.150509","2026-04-09T10:12:52.391267",[141,146,151,156,161,166,171],{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},26075,"我应该从哪里开始学习本课程（Course 1）？","最简单的方法是跟随系列文章进行学习。为了方便运行，维护者还添加了 INSTALL_AND_USAGE.md 文档。另外，建议先学习第 1 课的内容，然后进入仓库检查 course 文件夹，从那里开始编码练习。","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine\u002Fllm-twin-course\u002Fissues\u002F25",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},26076,"这个仓库的项目与书中的项目有什么区别？哪个更完整或更新？","此仓库中的代码是书中项目的一个子集。两者有一些重叠，但代码库不同。某些部分（例如流式管道）仅在此仓库中找到，而书中没有。总体而言，书的内容更全面，但此仓库包含一些独有的更新内容。","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine\u002Fllm-twin-course\u002Fissues\u002F50",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},26077,"我应该遵循哪个目录下的源代码？根目录的 1-6 文件夹还是 \u002Fcourse 目录？","根目录下编号为 1 到 6 的文件夹都是有效且最新的。位于 \u002Fcourse 目录下的模块已过时，很快将被删除，请不要参考该目录。","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine\u002Fllm-twin-course\u002Fissues\u002F32",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},26078,"运行 docker logs 时出现 Rust panic 错误或队列获取消息错误，如何解决？","该问题已通过代码更新修复。请执行以下步骤：1. 拉取最新代码 (git pull)；2. 重新构建 Docker 镜像；3. 重新启动容器。完成后问题应已解决。","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine\u002Fllm-twin-course\u002Fissues\u002F34",{"id":162,"question_zh":163,"answer_zh":164,"source_url":165},26079,"在本地运行数据爬虫测试（make local-test-github）时遇到 500 错误怎么办？","这通常是因为本地环境与最新代码不同步。请按以下步骤操作：1. 删除所有 Docker 容器；2. 拉取最新更改 (git pull)；3. 重新运行所有启动命令。如果问题仍然存在，请确保使用的是 Mac M1 等兼容架构并已按照 INSTALL_AND_USAGE.md 更新了基础设施。","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine\u002Fllm-twin-course\u002Fissues\u002F33",{"id":167,"question_zh":168,"answer_zh":169,"source_url":170},26080,"教程文章中提到的推理管道（Inference Pipeline）代码在仓库中找不到，是否缺失？","代码并未缺失，但课程最近进行了重构和升级。请参考更新后的第 9 课文章，并查看具体的部署代码位置：src\u002Finference_pipeline\u002Faws\u002Fdeploy_sagemaker_endpoint.py。现在的版本运行起来更加流畅和简单。","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine\u002Fllm-twin-course\u002Fissues\u002F46",{"id":172,"question_zh":173,"answer_zh":174,"source_url":175},26081,"教程文章链接与当前代码库不匹配，指令和代码对不上怎么办？","这是因为仓库进行了重构以简化结构，导致旧链接失效。维护者已经更新了相关文章以指向最新的链接和资源。请查阅最新发布的文章获取对应的代码指引。","https:\u002F\u002Fgithub.com\u002Fdecodingai-magazine\u002Fllm-twin-course\u002Fissues\u002F31",[]]