LLM-从零到一百

本仓库展示了大型语言模型聊天机器人的多种应用场景，并提供了关于训练和微调语言模型的成熟方法的全面见解。

项目列表：

• AI代理背后隐藏的技术债务
• WebGPT
• RAG-GPT
• WebRAGQuery
• LLM全量微调
• RAG-Master：LlamaIndex vs Langchain
• 开源RAG-GEMMA
• HUMAIN：高级多模态、多任务聊天机器人

教程列表

• LLM函数调用教程
• 向量化教程

项目的通用结构：

项目文件夹
  ├── README.md           <- 面向使用该项目的开发者的顶级README文件。
  ├── HELPER.md           <- 包含执行项目时可能有用的一些额外信息。
  ├── .env                <- 用于本地配置的dotenv文件。
  ├── .here               <- 项目根目录标记。
  ├── configs             <- 存放项目配置的yml文件。
  ├── data                <- 包含项目的示例数据。
  ├── src                 <- 包含用于执行项目的源代码。
  |   └── utils           <- 包含项目所需的所有模块。 
  └── images              <- 包含用户界面和README文件中使用的所有图片。 

注意：这是项目的通用结构，但根据每个项目的具体需求，可能会有一些细微的调整。

项目描述：

高级多模态聊天机器人：

本项目涵盖的内容：

• 基于LangGraph的智能体式聊天机器人
• 使用真实数据库实现生产级设计
• 微服务架构（Docker Compose）
• 自动化向量数据库创建（容器内完成）
• 使用Weave Scope进行可视化监控
• 开发最佳实践

YouTube视频：链接

高级多模态聊天机器人：

功能特点：

• 类似ChatGPT的交互体验：聊天机器人可作为普通AI助手使用。
• RAG（检索增强生成）能力：支持三种不同的RAG方式
  1. 使用预处理文档
  2. 用户在对话过程中上传的文档
  3. 用户指定的任意网站内容
• 图像生成：利用稳定扩散模型生成图像。
• 图像理解：通过LLaVA模型理解图像内容，并根据图像信息回答用户问题。
• DuckDuckGo集成：必要时调用DuckDuckGo搜索引擎，基于搜索结果提供答案。
• 内容摘要：可根据用户请求总结网站内容或文档。
• 文本与语音交互：支持文本和语音两种输入方式与机器人交互。
• 记忆功能：聊天机器人中的GPT模型能够访问当前会话中用户的过往提问记录。

注意：该聊天机器人基于RAG-GPT和WebRAGQuery项目构建。

YouTube视频：链接

开源RAG-GEMMA：

在该项目中，我展示了如何将开源LLM部署到本地环境中。为此，我将RAG-GPT项目改造为一个完全开源的RAG聊天机器人。该开源聊天机器人采用Google Gemma7B LLM和BAAI/bge-large-en作为嵌入模型。

YouTube视频：链接

RAGMaster - LlamaIndex vs Langchain：

在该项目中，我比较了Langchain和Llama-index提出的5种著名RAG技术的性能。测试基于5份不同文档的40个问题展开。此外，该项目还提供了两个独立的RAG聊天机器人，分别实现了来自这两个框架的8种RAG技术。

YouTube视频：链接

LLM微调：

在该项目中，我们以一家名为Cubetriangle的虚构公司为例，设计了一条数据处理流水线，用于对其原始数据进行处理，并在此基础上对3个大型语言模型（LLM）进行微调，最终选择最佳模型构建聊天机器人。

YouTube视频：链接

相关库：Hugging Face - OpenAI - Chainlit

WebGPT：

WebGPT是一款强大的工具，使用户能够提出需要互联网搜索的问题。它利用GPT模型：

• 根据用户查询，识别并执行最相关的Python函数。
• 第二个GPT模型结合用户查询和从网络搜索引擎获取的内容生成响应。
• 友好易用的界面由Streamlit构建。
• 网络搜索支持多种类型，包括文本、新闻、PDF、图片、视频、地图等，并能即时响应。
• 克服知识截止期限制，聊天机器人能够基于最新的互联网内容提供答案。

YouTube视频：链接

相关库：OpenAI（使用GPT模型的函数调用功能） - duckduckgo-search - streamlit

RAG-GPT：

RAG-GPT是一款聊天机器人，允许用户与其文档（PDF和Doc文件）进行对话。该机器人提供三种不同的使用方式：

1. 离线文档：与您预先处理并向量化过的文档互动。这些文档可以无缝融入您的对话会话中。
2. 实时上传：在对话过程中轻松上传文档，机器人可即时处理并回应文档内容。
3. 摘要请求：只需一次交互，即可请求机器人为您生成整份PDF或文档的综合摘要，从而简化信息获取流程。

相关库：OpenAI - Langchain - ChromaDB - Gradio

YouTube视频：链接

WebRAGQuery：（结合WebGPT和RAG-GPT）

WebRAGQuery是一款基于WebGPT和RAG-GPT构建的聊天机器人。该项目让用户能够同时利用LLM的预训练知识、DuckDuckGo网络搜索引擎以及与网站进行对话的能力。

主要特点：

• 智能决策：GPT模型会智能判断是基于自身知识库回答用户问题，还是调用相关Python函数并访问互联网来获取答案。
• 整合网络响应：第二个GPT模型将用户查询与网络搜索结果无缝结合，提供丰富且上下文感知的回答。WebRAGQuery支持多种类型的搜索，包括文本、新闻、PDF、图片、视频、地图等，并能即时响应。
• 网站特定查询：当用户询问某个特定网站时，模型会动态调用函数加载该网站内容，将其向量化并创建向量数据库，从而使用户能够就网站内容提问。用户可以通过在问题前加上来触发针对该网站向量数据库的RAG问答；若省略，则退出RAG对话。**可触发第三个GPT模型进行RAG问答。
• 网站内容摘要：根据需求，该聊天机器人能够浏览整个网站并为用户提供内容摘要。
• 记忆功能：WebRAGQuery具备记忆功能，能够保留用户交互信息，从而通过跟踪之前的提问和回答，实现更连贯、更具上下文意识的对话。
• Chainlit界面：友好的用户界面由Chainlit构建。
• 突破知识截止期限制：这款聊天机器人超越了知识截止期的限制，能够基于最新的互联网内容提供答案，甚至允许用户就网页内容提问。

YouTube视频：链接

相关库：OpenAI - Langchain - ChromaDB - chainlit

教程描述：

LLM 函数调用教程：

该项目展示了 GPT 模型以 JSON 格式生成可执行函数的能力。通过一个结合 Python 与 GPT 模型的实际示例，直观地说明了这一功能。

使用的库：OpenAI

YouTube 视频： 链接

文本向量化可视化：

本项目全面展示了文本向量化的可视化过程，并演示了向量搜索的强大能力。此外，还分别使用 OpenAI 的 `text-embedding-ada-002` 和开源的 `BAAI/bge-large-zh-v1.5` 模型进行了向量化实验。

使用的库：OpenAI - HuggingFace

YouTube 视频： 链接

幻灯片： 链接

运行每个项目

要运行这些项目，您需要先安装所需的库。请按照以下步骤开始：

1. 克隆仓库并进入项目目录。

git clone https://github.com/Farzad-R/LLM-Zero-to-Hundred.git
cd LLM-Zero-to-Hundred

2. 使用 virtualenv 或 conda 等工具创建一个新的虚拟环境，并激活该环境：

conda create --name projectenv python=3.11
conda activate projectenv

3. 切换到您想要运行的项目目录，并使用以下命令安装所需的库： 例如：

cd WebRAGQuery
pip install -r requirements.txt

LLM-Zero-to-Hundred 快速上手指南

LLM-Zero-to-Hundred 是一个综合性的开源项目集合，涵盖了从大语言模型（LLM）的微调、RAG（检索增强生成）、Agent 构建到多模态聊天机器人的完整开发流程。本指南将帮助你快速搭建环境并运行核心示例。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python: 版本 3.9 或更高 (推荐 3.10+)
• Git: 用于克隆代码仓库
• API Keys:
  • OpenAI API Key: 大部分项目（如 WebGPT, RAG-GPT）依赖 OpenAI 模型。
  • Hugging Face Token: 如果使用开源模型（如 Gemma, LLava）需准备。
• Docker & Docker Compose: 部分高级项目（如 Hidden-Technical-Debt-Behind-AI-Agents）需要 Docker 环境。

国内开发者提示：

• 克隆仓库或下载模型时若遇网络问题，建议使用国内镜像源（如 Gitee 镜像站克隆代码，或使用 Hugging Face 国内镜像 hf-mirror.com）。
• Python 包安装推荐使用清华源或阿里源加速。

2. 安装步骤

2.1 克隆项目

首先将仓库克隆到本地：

git clone https://github.com/Farzad-R/LLM-Zero-to-Hundred.git
cd LLM-Zero-to-Hundred

2.2 创建虚拟环境

建议为每个子项目或整体环境创建独立的虚拟环境。以根目录为例：

python -m venv venv
# Windows
venv\Scripts\activate
# macOS/Linux
source venv/bin/activate

2.3 安装依赖

由于该项目包含多个独立子项目（如 RAG-GPT, WebGPT, LLM-Fine-Tuning 等），每个文件夹下可能有独立的 requirements.txt。

通用安装方式（针对特定子项目）： 假设你要运行 RAG-GPT 项目：

cd RAG-GPT
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果子目录下没有单独的 requirements.txt，请参考该目录下的 HELPER.md 或 README.md 获取具体的依赖列表。核心依赖通常包括：

• openai
• langchain / llama-index
• chromadb
• streamlit / gradio / chainlit
• torch (如需微调或使用本地模型)

2.4 配置环境变量

在项目根目录或具体子项目目录下，复制环境变量模板文件：

cp .env.example .env

编辑 .env 文件，填入你的 API 密钥：

OPENAI_API_KEY=sk-your-openai-key-here
# 如果使用其他服务，按需填写
HUGGINGFACE_TOKEN=hf-your-token-here

3. 基本使用

本项目包含多个独立应用，以下是两个最经典场景的快速启动示例。

场景一：文档问答机器人 (RAG-GPT)

此项目允许你上传 PDF/Doc 文档并与之对话。

1. 进入项目目录：

   cd RAG-GPT
   

2. 确保已安装依赖并配置好 .env。
3. 启动应用（基于 Gradio）：

   python src/app.py
   # 或者根据具体文件结构运行
   streamlit run src/app.py 
   

   (注：具体启动命令请以该子目录下 HELPER.md 为准，通常为运行 src 下的主入口文件)
4. 在浏览器打开显示的本地地址（通常是 http://localhost:7860 或 8501）。
5. 使用方法：
   • 选择 "Offline Documents" 模式加载预处理数据，或直接拖拽上传新 PDF。
   • 在对话框输入问题，例如：“总结这份文档的核心观点”。

场景二：联网搜索助手 (WebGPT)

此项目利用 Function Calling 让 LLM 能够实时搜索互联网。

1. 进入项目目录：

   cd WebGPT
   

2. 安装依赖（需包含 duckduckgo-search 和 streamlit）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 启动应用：

   streamlit run src/app.py
   

4. 使用方法：
   • 在聊天框输入需要实时信息的问题，例如：“今天特斯拉的股价是多少？”或“搜索最新的 AI 新闻”。
   • 系统将自动调用搜索函数并整合结果返回答案。

场景三：全量微调 (LLM Fine-Tuning)

如果你想尝试训练自己的模型：

1. 进入目录 LLM-Fine-Tuning。
2. 准备数据：将你的训练数据放入 data 文件夹，格式需符合项目要求（通常为 JSONL）。
3. 修改 configs 目录下的 YAML 配置文件，设置模型路径（如 meta-llama/Llama-2-7b）和超参数。
4. 运行微调脚本：

   python src/train.py --config configs/default.yaml
   

5. 训练完成后，使用生成的权重启动聊天机器人进行测试。

---

提示：每个子项目文件夹内均包含 HELPER.md 文件，其中记录了该项目特有的执行细节和注意事项，遇到问题时请优先查阅该文件。