LLM驱动的数据工程

关注的账号

人物

• 李音
• 奇普·休恩
• 扎克·威尔逊

库

• AdalFlow
• LangChain
• LlamaIndex

入门指南

在这里注册一个OpenAI账户，然后生成API密钥。 对于第4天，你需要一个Pinecone账户和API密钥。

• 第1天（LLM驱动的数据工程）
  • 讲座视频在这里
  • 实验室视频在这里
• 第2天（使用LangChain进行LLM开发）
  • 讲座视频在这里
  • 实验室视频在这里
• 第3天（利用LLM创造商业价值）
  • 自动反馈仓库在这里
  • 讲座视频在这里
  • 实验室视频在这里
• 第4天（使用RAG创建ZachGPT）
  • 向量数据库仓库在这里
  • 讲座视频在这里
  • 实验室视频在这里

环境搭建

该项目使用PostgreSQL。

将API密钥存储为环境变量，例如： export OPENAI_API_KEY=<your_api_key> 或者在Windows中设置。

安装依赖最简单的方式是使用uv。请按照文档进行安装。

运行命令 uv sync 来安装Python环境以及.venv文件夹下的所有库。

你应该配置你的IDE以选择.venv文件夹下的解释器，或者通过终端命令激活它：

source .venv/bin/activate

提示：如果你不想使用uv，可以运行

pip install .

第1天实验室

我们将使用维度数据建模第1周的模式，并从作业和实验中生成查询，只不过这次将通过LLM来完成。

第2天实验室

我们将使用LangChain根据表自动生成SQL查询，并以扎克·威尔逊的口吻撰写LinkedIn帖子。

环境准备

如果你是现场观看，将会获得一个云端数据库的URL供你使用。 export LANGCHAIN_DATABASE_URL=<zach在Zoom中提供的值>

如果你不是现场观看，则需要使用位于data文件夹中的halo_data_dump.dump文件。

使用pg_restore工具与本地数据库配合，应该能很快让你的环境运行起来。

• 示例命令，假设你已经通过Homebrew或Docker成功启动了PostgreSQL：
  • pg_restore -h localhost -p 5432 -d postgres -U <your laptop username> halo_data_dump.dump

第3天实验室

本实验室将基于这个仓库进行。

第4天实验室

本实验室将基于这个仓库进行。

将其添加到环境变量中：export PINECONE_API_KEY=<your pinecone API key>

LLM-driven Data Engineering 快速上手指南

本指南旨在帮助开发者快速搭建基于大语言模型（LLM）的数据工程实验环境，涵盖从环境配置到核心实验（SQL 生成、RAG 应用等）的基础流程。

环境准备

在开始之前，请确保您的系统满足以下要求并准备好必要的账号密钥：

系统要求

• 操作系统：macOS, Linux 或 Windows (需配置相应环境变量)
• 数据库：PostgreSQL (需本地运行或通过 Docker 启动)
• 包管理工具：推荐安装 uv 以加速依赖安装；若不使用，需确保已安装 pip 和 python。

前置账号与密钥

您需要注册以下服务并获取 API Key：

1. OpenAI: 访问 OpenAI Platform 注册并生成 OPENAI_API_KEY。
2. Pinecone (仅第 4 天实验需要): 访问 Pinecone 注册并生成 PINECONE_API_KEY。

安装步骤

1. 克隆项目与安装依赖

推荐使用 uv 进行环境管理，它比传统 pip 更快且更可靠。

# 使用 uv 同步环境并安装所有依赖（推荐）
uv sync

# 或者，如果不使用 uv，使用传统 pip 安装
pip install .

2. 配置环境变量

根据您的操作系统设置必要的 API Key。

macOS / Linux:

export OPENAI_API_KEY=<your_openai_api_key>
# 第 4 天实验额外需要
export PINECONE_API_KEY=<your_pinecone_api_key>
# 第 2 天实验若非直播观看，需配置本地数据库连接（可选，见下文）

Windows (PowerShell):

$env:OPENAI_API_KEY="<your_openai_api_key>"
$env:PINECONE_API_KEY="<your_pinecone_api_key>"

3. 激活虚拟环境

如果使用了 uv sync 或创建了 .venv 文件夹，请在终端激活环境：

source .venv/bin/activate

(Windows CMD 用户请使用 .venv\Scripts\activate)

4. 数据库初始化 (第 2 天实验必备)

如果您无法获取直播提供的云数据库 URL，需使用本地 PostgreSQL 恢复数据转储文件。

确保 PostgreSQL 服务已启动，然后执行以下命令导入 data/halo_data_dump.dump：

pg_restore -h localhost -p 5432 -d postgres -U <your_laptop_username> data/halo_data_dump.dump

注：请将 <your_laptop_username> 替换为您的实际数据库用户名。

基本使用

本项目按天数划分为不同的实验模块，以下是核心实验的简要运行指引：

Day 1: LLM 驱动的数据建模

利用 LLM 根据维度数据模型（Dimensional Data Modeling）的模式生成 SQL 查询。

• 操作: 运行对应的 Lab 脚本，输入自然语言需求，观察 LLM 生成的 SQL 语句。
• 参考资源: Lecture Video | Lab Video

Day 2: 基于 LangChain 的自动 SQL 生成

使用 LangChain 框架，根据表结构自动生成 SQL 查询，并模拟特定风格（如 Zach Wilson）撰写 LinkedIn 帖子。

• 配置: 若使用本地数据库，确保已完成上述“数据库初始化”步骤。若跟随直播，需导出 LANGCHAIN_DATABASE_URL。
• 运行: 执行 Day 2 Lab 脚本，测试文本到 SQL 的转换功能。
• 参考资源: Auto Feedback Repo (部分逻辑复用)

Day 3: 业务价值实现 (自动反馈)

本实验独立于主仓库，需克隆专用示例库。

• 步骤:
  1. 克隆仓库：git clone https://github.com/DataExpert-io/auto-feedback-example
  2. 进入目录并按照该仓库的 README 运行演示，体验 LLM 如何提供自动化业务反馈。

Day 4: 构建带有 RAG 的 ZachGPT

结合向量数据库 (Pinecone) 和检索增强生成 (RAG) 技术构建问答机器人。

• 配置: 确保已设置 PINECONE_API_KEY 环境变量。
• 步骤:
  1. 克隆向量数据库示例库：git clone https://github.com/DataExpert-io/vector-database-example
  2. 运行脚本将数据嵌入向量库。
  3. 启动问答接口，测试基于私有数据的检索与回答能力。
• 参考资源: Vector Database Repo

---

提示：详细的教学视频和代码细节请参考各实验对应的链接地址。