[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-DataExpert-io--llm-driven-data-engineering":3,"tool-DataExpert-io--llm-driven-data-engineering":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160015,2,"2026-04-18T11:30:52",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":77,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":77,"difficulty_score":10,"env_os":89,"env_gpu":90,"env_ram":90,"env_deps":91,"category_tags":101,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":102,"updated_at":103,"faqs":104,"releases":105},9051,"DataExpert-io\u002Fllm-driven-data-engineering","llm-driven-data-engineering","This is a public repository to go over all the LLM-driven data engineering concepts. ","llm-driven-data-engineering 是一个专注于探索大语言模型（LLM）如何重塑数据工程领域的开源学习项目。它通过系统的课程与实战练习，展示了如何利用 AI 自动化处理传统数据工作中繁琐的环节，例如自动生成 SQL 查询、构建智能反馈系统以及开发基于检索增强生成（RAG）技术的专属问答机器人。\n\n该项目主要解决了数据工程师在面对复杂数据建模和业务需求时，手动编写代码效率低、门槛高的问题。通过集成 LangChain、LlamaIndex 等主流框架，并结合 PostgreSQL 和 Pinecone 向量数据库，它提供了一套从理论讲解到代码落地的完整路径，帮助用户快速掌握将 LLM 转化为实际业务价值的技能。\n\n这套资源特别适合希望转型或提升技能的数据工程师、后端开发者以及机器学习研究人员。如果你熟悉 Python 基础并想了解如何在数据管道中融入 AI 能力，这里提供了清晰的指引。其独特亮点在于“边学边做”的模式：从第一天的基础概念，到后续利用 LangChain 自动写 SQL、模仿特定风格撰写内容，再到最终构建个性化的\"ZachGPT\"，每个阶段都配有详细的视","llm-driven-data-engineering 是一个专注于探索大语言模型（LLM）如何重塑数据工程领域的开源学习项目。它通过系统的课程与实战练习，展示了如何利用 AI 自动化处理传统数据工作中繁琐的环节，例如自动生成 SQL 查询、构建智能反馈系统以及开发基于检索增强生成（RAG）技术的专属问答机器人。\n\n该项目主要解决了数据工程师在面对复杂数据建模和业务需求时，手动编写代码效率低、门槛高的问题。通过集成 LangChain、LlamaIndex 等主流框架，并结合 PostgreSQL 和 Pinecone 向量数据库，它提供了一套从理论讲解到代码落地的完整路径，帮助用户快速掌握将 LLM 转化为实际业务价值的技能。\n\n这套资源特别适合希望转型或提升技能的数据工程师、后端开发者以及机器学习研究人员。如果你熟悉 Python 基础并想了解如何在数据管道中融入 AI 能力，这里提供了清晰的指引。其独特亮点在于“边学边做”的模式：从第一天的基础概念，到后续利用 LangChain 自动写 SQL、模仿特定风格撰写内容，再到最终构建个性化的\"ZachGPT\"，每个阶段都配有详细的视频讲座和可运行的实验室代码，让抽象的 AI 概念变得触手可及。","# LLM-driven Data Engineering\n\n## Accounts to Follow\n\nPeople\n- [Li Yin](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fli-yin-ai)\n- [Chip Huyen](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fchiphuyen\u002F)\n- [Zach Wilson](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Feczachly)\n\nLibraries\n- [AdalFlow](https:\u002F\u002Fgithub.com\u002FSylphAI-Inc\u002FAdalFlow)\n- [LangChain](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain)\n- [LlamaIndex](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_index)\n\n## Getting Started\n\nMake an OpenAI account [here](https:\u002F\u002Fplatform.openai.com\u002F) and then generate an API Key.\nFor Day 4, you'll need a [Pinecone](https:\u002F\u002Fwww.pinecone.io) account and API key. \n\n- Day 1 (LLM-driven data engineering\n  - Lecture Video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-1-lecture)\n  - Lab video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-1-lab)\n- Day 2 (LLM dev with LangChain)\n  - Lecture Video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-2-lecture)\n  - Lab Video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-2-lab)\n- Day 3 (Using LLM to provide business value)\n  - Auto Feedback Repo [here](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fauto-feedback-example)\n  - Lecture Video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-1-lecture-v4)\n  - Lab Video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-1-lab-v4)\n- Day 4 (Creating ZachGPT with RAG)\n  - Vector Database Repo [here](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fvector-database-example)\n  - Lecture Video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-2-lecture-v4)\n  - Lab Video is [here](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-2-lab-v4)\n\n## Setup\n\nThis project use [PostgreSQL](https:\u002F\u002Fwww.postgresql.org\u002Fdownload\u002Fmacosx\u002F)\n\nStore the API key as an environment variable like:\n`export OPENAI_API_KEY=\u003Cyour_api_key>`\nOr set it in Windows\n\nThe easiest way to install the dependencies is uv. [Install](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002Fgetting-started\u002Finstallation\u002F) it.\n\nRun the command `uv sync` to install the python environment and all of the libraries under `.venv` folder.\n\nYou should configure your IDE to select the interpreter under the .venv folder, or activate it through the command on your terminal:\n```sh\nsource .venv\u002Fbin\u002Factivate\n```\n\nPS: If you don't want to use uv, run\n```sh\npip install .\n```\n\n## Day 1 Lab\n\nWe'll be using the schemas from Dimensional Data Modeling Week 1 and generating the queries from the homework and labs except this time we'll do it via LLMs\n\n## Day 2 Lab\n\nWe'll be using Langchain to auto generate SQL queries for us based on tables and writing LinkedIn posts in Zach Wilson's voice\n### Setup\n\nIf you are watching live, you will be given a cloud database URL to use.\n`export LANGCHAIN_DATABASE_URL=\u003Cvalue zach gives in Zoom>`\n\nIf you aren't watching live, you'll need to use the `halo_data_dump.dump` file located in the `data` folder\n\nRunning `pg_restore` with your local database should get you up and running pretty quickly. \n\n- example command, assuming you got Postgres up and running either via Homebrew or Docker:\n - `pg_restore -h localhost -p 5432  -d postgres -U \u003Cyour laptop username> halo_data_dump.dump`\n\n## Day 3 Lab\n\nThis lab leverages this [repo](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fauto-feedback-example)\n\n## Day 4 Lab\nThis lab leverages this [repo](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fvector-database-example)\n\nAdd it to the environment `export PINECONE_API_KEY=\u003Cyour pinecone API key>`\n\n\n","# LLM驱动的数据工程\n\n## 关注的账号\n\n人物\n- [李音](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fli-yin-ai)\n- [奇普·休恩](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fchiphuyen\u002F)\n- [扎克·威尔逊](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Feczachly)\n\n库\n- [AdalFlow](https:\u002F\u002Fgithub.com\u002FSylphAI-Inc\u002FAdalFlow)\n- [LangChain](https:\u002F\u002Fgithub.com\u002Flangchain-ai\u002Flangchain)\n- [LlamaIndex](https:\u002F\u002Fgithub.com\u002Frun-llama\u002Fllama_index)\n\n## 入门指南\n\n在[这里](https:\u002F\u002Fplatform.openai.com\u002F)注册一个OpenAI账户，然后生成API密钥。\n对于第4天，你需要一个[Pinecone](https:\u002F\u002Fwww.pinecone.io)账户和API密钥。\n\n- 第1天（LLM驱动的数据工程）\n  - 讲座视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-1-lecture)\n  - 实验室视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-1-lab)\n- 第2天（使用LangChain进行LLM开发）\n  - 讲座视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-2-lecture)\n  - 实验室视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-2-lab)\n- 第3天（利用LLM创造商业价值）\n  - 自动反馈仓库[在这里](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fauto-feedback-example)\n  - 讲座视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-1-lecture-v4)\n  - 实验室视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-1-lab-v4)\n- 第4天（使用RAG创建ZachGPT）\n  - 向量数据库仓库[在这里](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fvector-database-example)\n  - 讲座视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-2-lecture-v4)\n  - 实验室视频[在这里](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Fmachine-learning-day-2-lab-v4)\n\n## 环境搭建\n\n该项目使用[PostgreSQL](https:\u002F\u002Fwww.postgresql.org\u002Fdownload\u002Fmacosx\u002F)。\n\n将API密钥存储为环境变量，例如：\n`export OPENAI_API_KEY=\u003Cyour_api_key>`\n或者在Windows中设置。\n\n安装依赖最简单的方式是使用uv。请按照[文档](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002Fgetting-started\u002Finstallation\u002F)进行安装。\n\n运行命令 `uv sync` 来安装Python环境以及`.venv`文件夹下的所有库。\n\n你应该配置你的IDE以选择`.venv`文件夹下的解释器，或者通过终端命令激活它：\n```sh\nsource .venv\u002Fbin\u002Factivate\n```\n\n提示：如果你不想使用uv，可以运行\n```sh\npip install .\n```\n\n## 第1天实验室\n\n我们将使用维度数据建模第1周的模式，并从作业和实验中生成查询，只不过这次将通过LLM来完成。\n\n## 第2天实验室\n\n我们将使用LangChain根据表自动生成SQL查询，并以扎克·威尔逊的口吻撰写LinkedIn帖子。\n### 环境准备\n\n如果你是现场观看，将会获得一个云端数据库的URL供你使用。\n`export LANGCHAIN_DATABASE_URL=\u003Czach在Zoom中提供的值>`\n\n如果你不是现场观看，则需要使用位于`data`文件夹中的`halo_data_dump.dump`文件。\n\n使用`pg_restore`工具与本地数据库配合，应该能很快让你的环境运行起来。\n- 示例命令，假设你已经通过Homebrew或Docker成功启动了PostgreSQL：\n  - `pg_restore -h localhost -p 5432  -d postgres -U \u003Cyour laptop username> halo_data_dump.dump`\n\n## 第3天实验室\n\n本实验室将基于这个[仓库](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fauto-feedback-example)进行。\n\n## 第4天实验室\n本实验室将基于这个[仓库](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fvector-database-example)进行。\n\n将其添加到环境变量中：`export PINECONE_API_KEY=\u003Cyour pinecone API key>`","# LLM-driven Data Engineering 快速上手指南\n\n本指南旨在帮助开发者快速搭建基于大语言模型（LLM）的数据工程实验环境，涵盖从环境配置到核心实验（SQL 生成、RAG 应用等）的基础流程。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求并准备好必要的账号密钥：\n\n### 系统要求\n- **操作系统**：macOS, Linux 或 Windows (需配置相应环境变量)\n- **数据库**：[PostgreSQL](https:\u002F\u002Fwww.postgresql.org\u002Fdownload\u002Fmacosx\u002F) (需本地运行或通过 Docker 启动)\n- **包管理工具**：推荐安装 [uv](https:\u002F\u002Fdocs.astral.sh\u002Fuv\u002Fgetting-started\u002Finstallation\u002F) 以加速依赖安装；若不使用，需确保已安装 `pip` 和 `python`。\n\n### 前置账号与密钥\n您需要注册以下服务并获取 API Key：\n1. **OpenAI**: 访问 [OpenAI Platform](https:\u002F\u002Fplatform.openai.com\u002F) 注册并生成 `OPENAI_API_KEY`。\n2. **Pinecone** (仅第 4 天实验需要): 访问 [Pinecone](https:\u002F\u002Fwww.pinecone.io) 注册并生成 `PINECONE_API_KEY`。\n\n## 安装步骤\n\n### 1. 克隆项目与安装依赖\n推荐使用 `uv` 进行环境管理，它比传统 pip 更快且更可靠。\n\n```bash\n# 使用 uv 同步环境并安装所有依赖（推荐）\nuv sync\n\n# 或者，如果不使用 uv，使用传统 pip 安装\npip install .\n```\n\n### 2. 配置环境变量\n根据您的操作系统设置必要的 API Key。\n\n**macOS \u002F Linux:**\n```bash\nexport OPENAI_API_KEY=\u003Cyour_openai_api_key>\n# 第 4 天实验额外需要\nexport PINECONE_API_KEY=\u003Cyour_pinecone_api_key>\n# 第 2 天实验若非直播观看，需配置本地数据库连接（可选，见下文）\n```\n\n**Windows (PowerShell):**\n```powershell\n$env:OPENAI_API_KEY=\"\u003Cyour_openai_api_key>\"\n$env:PINECONE_API_KEY=\"\u003Cyour_pinecone_api_key>\"\n```\n\n### 3. 激活虚拟环境\n如果使用了 `uv sync` 或创建了 `.venv` 文件夹，请在终端激活环境：\n\n```bash\nsource .venv\u002Fbin\u002Factivate\n```\n*(Windows CMD 用户请使用 `.venv\\Scripts\\activate`)*\n\n### 4. 数据库初始化 (第 2 天实验必备)\n如果您无法获取直播提供的云数据库 URL，需使用本地 PostgreSQL 恢复数据转储文件。\n\n确保 PostgreSQL 服务已启动，然后执行以下命令导入 `data\u002Fhalo_data_dump.dump`：\n\n```bash\npg_restore -h localhost -p 5432 -d postgres -U \u003Cyour_laptop_username> data\u002Fhalo_data_dump.dump\n```\n*注：请将 `\u003Cyour_laptop_username>` 替换为您的实际数据库用户名。*\n\n## 基本使用\n\n本项目按天数划分为不同的实验模块，以下是核心实验的简要运行指引：\n\n### Day 1: LLM 驱动的数据建模\n利用 LLM 根据维度数据模型（Dimensional Data Modeling）的模式生成 SQL 查询。\n- **操作**: 运行对应的 Lab 脚本，输入自然语言需求，观察 LLM 生成的 SQL 语句。\n- **参考资源**: [Lecture Video](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-1-lecture) | [Lab Video](https:\u002F\u002Fwww.dataexpert.io\u002Flesson\u002Flarge-language-models-day-1-lab)\n\n### Day 2: 基于 LangChain 的自动 SQL 生成\n使用 LangChain 框架，根据表结构自动生成 SQL 查询，并模拟特定风格（如 Zach Wilson）撰写 LinkedIn 帖子。\n- **配置**: 若使用本地数据库，确保已完成上述“数据库初始化”步骤。若跟随直播，需导出 `LANGCHAIN_DATABASE_URL`。\n- **运行**: 执行 Day 2 Lab 脚本，测试文本到 SQL 的转换功能。\n- **参考资源**: [Auto Feedback Repo](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fauto-feedback-example) (部分逻辑复用)\n\n### Day 3: 业务价值实现 (自动反馈)\n本实验独立于主仓库，需克隆专用示例库。\n- **步骤**:\n  1. 克隆仓库：`git clone https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fauto-feedback-example`\n  2. 进入目录并按照该仓库的 README 运行演示，体验 LLM 如何提供自动化业务反馈。\n\n### Day 4: 构建带有 RAG 的 ZachGPT\n结合向量数据库 (Pinecone) 和检索增强生成 (RAG) 技术构建问答机器人。\n- **配置**: 确保已设置 `PINECONE_API_KEY` 环境变量。\n- **步骤**:\n  1. 克隆向量数据库示例库：`git clone https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fvector-database-example`\n  2. 运行脚本将数据嵌入向量库。\n  3. 启动问答接口，测试基于私有数据的检索与回答能力。\n- **参考资源**: [Vector Database Repo](https:\u002F\u002Fgithub.com\u002FDataExpert-io\u002Fvector-database-example)\n\n---\n*提示：详细的教学视频和代码细节请参考各实验对应的链接地址。*","某电商公司的数据分析师需要快速从复杂的用户行为日志中提取关键指标，并生成面向管理层的业务洞察报告。\n\n### 没有 llm-driven-data-engineering 时\n- 分析师需手动编写繁琐的 SQL 查询语句来关联多张维度表，耗时且容易因字段理解偏差导致逻辑错误。\n- 面对非技术背景的业务方提出的模糊需求（如“最近销量怎么怪怪的”），难以快速转化为具体的数据提取任务。\n- 生成的原始数据报表缺乏自然语言解读，业务方阅读门槛高，沟通成本巨大，往往需要反复开会确认含义。\n- 每次新增数据源或调整表结构，都需要重新硬编码处理逻辑，维护成本高且响应速度慢。\n\n### 使用 llm-driven-data-engineering 后\n- 利用 LangChain 组件自动解析业务问题并生成准确的 SQL 查询，直接对接 PostgreSQL 数据库，将取数时间从小时级缩短至分钟级。\n- 通过 LLM 驱动的数据工程流程，能自动理解模糊的自然语言指令，将其映射为具体的数据过滤和聚合操作。\n- 系统不仅输出数据表格，还能自动生成类似“本周销量异常主要源于某地区促销结束”的自然语言结论，直接赋能业务决策。\n- 结合向量数据库（如 Pinecone）构建 RAG 应用，让模型能基于历史数据文档回答复杂问题，新数据源接入只需更新元数据描述即可。\n\nllm-driven-data-engineering 将原本割裂的数据提取、分析与解释过程整合为自动化流，让数据团队从繁琐的编码中解放出来，专注于高价值的业务洞察。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FDataExpert-io_llm-driven-data-engineering_3cf07fbb.png","DataExpert-io","DataExpert.io","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FDataExpert-io_1153b6bd.png","The absolute best place to learn data engineering and AI engineering",null,"support@dataexpert.io","https:\u002F\u002Fwww.dataexpert.io","https:\u002F\u002Fgithub.com\u002FDataExpert-io",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,1142,229,"2026-04-17T19:34:00","macOS, Windows, Linux","未说明",{"notes":92,"python":93,"dependencies":94},"1. 需要 OpenAI API Key，第 4 天实验额外需要 Pinecone API Key。2. 推荐使用 'uv' 工具同步安装依赖（运行 uv sync），也可使用 pip install .。3. 需要本地安装并运行 PostgreSQL 数据库，可通过 Homebrew 或 Docker 部署，并使用 pg_restore 导入提供的数据转储文件。4. 需配置环境变量 OPENAI_API_KEY、LANGCHAIN_DATABASE_URL（如非直播课）和 PINECONE_API_KEY。","未说明 (通过 uv 或 pip 自动管理)",[95,96,97,98,99,100],"AdalFlow","LangChain","LlamaIndex","PostgreSQL","Pinecone","OpenAI API",[35,14,16],"2026-03-27T02:49:30.150509","2026-04-18T22:31:46.508510",[],[]]