llm-python

一组教学材料、代码示例和 Python 脚本，重点介绍使用 LLM（如 GPT 等）并通过 llamaindex、LangChain、OpenAI 的 Agent SDK、Chroma (Chromadb)、Pinecone 等接口实现的应用。

这些代码示例旨在帮助您学习如何使用 Python 构建 LLM 应用程序和智能体。代码设计为自包含且目标单一，您可以根据自身需求选择最相关的使用模式。

许多示例都配有视频，可在我的 YouTube 频道观看：samuelchan。

通过我的 YouTube 频道学习 LangChain（约 9 小时的 LLM 实战构建教程）；每节课都附有本仓库中的对应代码，并且设计为自包含——同时聚焦于 LLM（大型语言模型）开发与工具链中的关键概念。

请根据您的学习目标自由选择起点：

部分	LLM 教程	链接	视频时长
1	OpenAI 教程及视频演示	教程视频	26 分 56 秒
2	LangChain + OpenAI 教程：基于自有文本数据构建问答系统	教程视频	20 分钟
3	LangChain + OpenAI 与自有数据库/CSV 对话	教程视频	19 分 30 秒
4	LangChain + HuggingFace 推理 API（无需 OpenAI 积分！）	教程视频	24 分 36 秒
5	理解 LLM 中的嵌入技术	教程视频	29 分 22 秒
6	使用 LlamaIndex + GPT3 查询任意网站（结合 Chromadb、Trafilatura）	教程视频	11 分 11 秒
7	使用 LlamaIndex + OPT 在本地部署离线 LLM（开源、指令微调 LLM）	教程视频	32 分 27 秒
8	构建 AI 语言辅导助手：Pinecone + LlamaIndex + GPT-3 + BeautifulSoup	教程视频	51 分 08 秒
9	使用 OpenAI、Markdown 和 LlamaIndex 🦙 构建可查询的日志 💬	教程视频	40 分 29 秒
10	使用 Cohere LLM + Stability.ai 制作科幻游戏：生成式 AI 教程	教程视频	1 小时 02 分 20 秒
11	GPT 根据提示词构建完整的派对邀请应用（联合 SMOL Developer）	教程视频	41 分 33 秒
12	一种用于 LLM 提示词设计的语言：指导原则	教程视频	43 分 15 秒
13	您应该使用 LangChain 的缓存功能！	教程视频	25 分 37 秒
14	使用 Streamlit + LangChain 构建聊天 AI 应用	教程视频	32 分 11 秒

完整课程播放列表请见：这里。

更新

多智能体与代理模式更新：2025 年 5 月 3 日

我向仓库推送了 6 个新脚本，从 19_agents_handsoff.py 到 24_agents_guardrails.py，旨在作为本公开课程的代码参考：

• 代理模式：为期两天的工作坊

这些新增内容展示了构建 AI 智能体（尤其是多智能体系统）的 6 种关键模式，并采用了截至 2025 年 5 月的最新版 OpenAI Agent SDK (openai-agents)。

这 6 种代理模式按在本仓库中的出现顺序如下：

• 1 手动交接与委派模式 (19_agents_handsoff.py)
• 2 工具使用与函数调用模式 (20_agents_tooluse.py)
• 3 确定性与顺序链模式 (21_agents_deterministic.py)
• 4 评判与批评模式 (22_agents_critic.py)
• 5 并行化模式 (23_agents_parallelization.py)
• 6 安全约束模式 (24_agents_guardrails.py)

更新：2025 年 2 月 5 日

我向仓库推送了 4 个新脚本，从 15_sql.py 到 18_chroma.py，旨在作为以下公开课程的代码参考：

• AI 时代下的搜索引擎构建：完整课程资料（免费）
• AI 时代下的搜索引擎构建：为期两天的工作坊

此外，我还在此仓库中托管了 Sectors 发布的 生成式 AI 系列 的示例代码。

1. 金融领域的生成式 AI：概述了为金融行业设计生成式 AI 系统的方法，以及检索增强生成（RAG）系统的动机。

2. 工具使用型检索增强生成（RAG）：利用信息检索工具构建 RAG 系统的实用指南（在 LLM 中称为“工具使用”或“函数调用”）。

3. AI 的结构化输出：从使用生成式 AI 从非结构化数据中提取信息，到执行数据库查询、API 调用、JSON 解析等操作，AI 的输出都需要明确的模式和结构。

4. 带有流式处理的 ReAct 智能体：针对 LangChain v0.3.2 进行了更新，我们探讨了流式处理、LCEL 表达式以及 ReAct 智能体，遵循创建对话型 AI 智能体的最新实践。

5. 具有会话记忆的 AI 智能体：针对 LangChain v0.2.3 进行了更新，深入探讨了具有会话记忆的 AI 智能体的创建方法。

以上两个系列均为公开且免费开放。本仓库中的代码旨在作为这些课程的参考。

快速入门

1. 克隆此仓库
2. 安装依赖：pip install -r requirements.txt
3. news 文件夹中提供了一些示例数据，但你也可以用自己的数据替换（或添加）文本文件。
4. 创建一个 .env 文件，其中包含你的 OpenAI API 密钥。你可以从 这里 获取。HUGGINGFACEHUB_API_TOKEN 和 PINECONE_API_KEY 是可选的，但在部分课程中会用到。
   • 第 10 课 使用了 Cohere 和 Stability AI，两者都提供免费层级（无需信用卡）。你可以在 .env 文件中添加相应的密钥：COHERE_API_KEY 和 STABILITY_API_KEY。
   • 一些涉及工具使用和函数调用智能体的高级示例，需要与真实的金融数据 API 集成。我和 Supertype 团队构建了一个以 LLM 为核心的金融 API 平台 Sectors。你可以注册一个免费账户，阅读我们的 API 文档和生成式 AI 五课系列，学习如何使用该 API 构建复杂的 LLM 应用程序。这些应用的示例都包含在本仓库中。

你的 .env 文件应如下所示：

# 推荐
OPENAI_API_KEY=...

# 可选但有用
SECTORS_API_KEY=...
GROQ_API_KEY=...

# 完全可选（根据需求选择）
HUGGINGFACEHUB_API_TOKEN=...
PINECONE_API_KEY=...
DEEPSEEK_API_KEY=...
COHERE_API_KEY=...
STABILITY_API_KEY=...

HuggingFace 和 Pinecone 是可选的，但如果你希望使用推理 API 并探索 OpenAI 生态之外的模型，建议安装。这在教程系列的第 3 部分中有演示。 5. 按任意顺序运行示例。例如，python 6_team.py 将运行网站问答示例，该示例使用 GPT-3 回答关于公司及 Supertype.ai 团队成员的问题。观看对应的视频，可以跟随每个示例的操作步骤。

依赖项

💡 感谢 @VanillaMacchiato 的工作，该项目已于 2023-06-30 更新至使用最新版本的 LlamaIndex (0.6.31) 和 LangChain (0.0.209)。安装依赖只需执行 pip install -r requirements.txt 即可。如遇任何问题，请随时告知我。

如果你正在观看 LLM 视频教程，它们可能与本仓库中的代码存在细微差异（通常只需更改 1-2 行代码），因为这些视频是在录制时使用相应版本发布的（LlamaIndex 0.5.7 和 LangChain 0.0.157）。请参考本仓库中的代码以获取最新版本。

我会尽量保持本仓库与最新库版本同步，但如果你遇到任何问题，请：(1) 通过 Issues 提出讨论；或 (2) 自愿提交 PR 来更新代码。

注意：triton 包仅支持 x86_64 架构。如果安装遇到问题，请参阅 triton 兼容性指南。常见错误包括：ERROR: Could not find a version that satisfies the requirement triton (from versions: none) ERROR: No matching distribution found for triton。 运行 uname -p 命令可查看处理器名称。

导师指导与支持

我在 Supertype Fellowship 下运营一个导师计划。该计划为自定进度、免费形式，拥有来自全球各地（英语使用者）的学习者和从业者社区。你还可以选择预约与我的导师团队进行一对一辅导，获得视频教学和代码审查的帮助。

许可证

MIT © Supertype 2024

llm-python 快速上手指南

llm-python 是一个包含丰富教学材料、代码示例和 Python 脚本的开源项目，旨在帮助开发者利用 LlamaIndex、LangChain、OpenAI Agent SDK、Chroma、Pinecone 等工具构建大语言模型（LLM）应用和智能体（Agents）。本项目代码独立且专注，适合按需选取学习。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux、macOS 或 Windows。
  • 注意：部分依赖（如 triton）仅支持 x86_64 架构。若使用 ARM 架构（如 Apple M1/M2/M3），安装 triton 时可能会报错，可根据需求选择性安装或跳过相关示例。
• Python 版本：建议 Python 3.9 或更高版本。
• API Keys：
  • 必需：OpenAI API Key (OPENAI_API_KEY)。
  • 可选：根据您想运行的具体示例，可能需要配置 HuggingFace Token、Pinecone Key、Cohere Key 或 Sectors API Key 等。

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/samuelchan/llm-python.git
   cd llm-python
   

2. 安装依赖 推荐使用国内镜像源加速安装（如清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：若遇到 triton 安装失败且您不需要运行本地离线模型示例，可尝试手动移除 requirements.txt 中的 triton 后重新安装。

3. 配置环境变量 在项目根目录下创建 .env 文件，并填入您的 API 密钥。

   touch .env
   

   编辑 .env 文件，内容如下（至少需配置 OPENAI_API_KEY）：

   # 推荐配置 (必需)
   OPENAI_API_KEY=sk-...
   
   # 可选配置 (根据具体示例需求添加)
   SECTORS_API_KEY=...
   GROQ_API_KEY=...
   HUGGINGFACEHUB_API_TOKEN=...
   PINECONE_API_KEY=...
   COHERE_API_KEY=...
   STABILITY_API_KEY=...
   

4. 准备数据（可选） 项目 news 文件夹中已提供示例文本数据。您可以直接运行示例，或替换该文件夹内容为自己的文本文件以测试私有数据问答。

基本使用

本项目包含多个独立的脚本，每个脚本对应一个特定的 LLM 应用场景（如问答系统、数据库查询、多智能体协作等）。

运行示例： 您可以直接运行任意脚本。例如，运行第 6 个示例（基于 GPT-3 的网站/团队问答系统）：

python 6_team.py

探索更多场景：

• 构建问答系统：参考 2_qa_system.py (配合自有文本数据)。
• 查询数据库/CSV：参考 3_csv_db.py。
• 使用开源模型 (无需 OpenAI)：参考 4_huggingface.py。
• 多智能体模式 (2025 更新)：运行 19_agents_handsoff.py 至 24_agents_guardrails.py 体验最新的智能体协作模式（如任务移交、工具调用、并行处理等）。

建议结合项目对应的 YouTube 教程视频（需网络访问）或 Sectors 文档进行深入学习，视频链接通常位于各脚本的注释或项目 README 表格中。