llama_index_starter_pack

此仓库提供了针对 llama_index 包的非常基础的 Flask、Streamlit 和 Docker 示例。

如果你需要快速搭建一个 POC 来给老板留下深刻印象，就从这里开始吧！

如果在依赖安装上遇到问题，我已将完整的环境导出到 requirements_full.txt 中；否则，请使用基础的 requirements.txt。

基础演示包含了来自原始 llama_index 仓库的经典“Paul Graham 论文”。一些不错的初始问题包括：

• 作者小时候都做了些什么？
• 能多介绍一下 interleaf 吗？

本地设置

conda create --name llama_index python=3.11
pip install -r requirements.txt

包含哪些内容？

主要有两个示例文件夹：

• flask_react（在 localhost:5601/5602/3000 上运行三个服务）
  • sh launch_app.sh
  • 创建一个简单的 API，从 documents 文件夹加载文本（如果有），同时启动 React 前端。
  • “/query” 端点接受包含 “text” 参数的请求，该参数用于查询索引。
  • “/upload” 端点是一个 POST 端点，用于将附带的文本文件插入索引中。
  • 索引由一个独立的服务管理，并使用锁机制，因为插入文档是可变操作，而 Flask 是多线程的。
  • 强烈建议使用 Postman 等工具来测试 API——postman_examples 文件夹中有使用 Postman 的示例截图。
  • react_frontend
    • 一个基于 React 的简单前端，调用 Flask API 来插入、查看和查询 VectorStoreIndex。
    • 前端的扩展空间几乎是无限的——此处旨在为不熟悉 Python 的用户提供一个初步的体验。

• streamlit_vector（在 localhost:8501 上运行）

  • streamlit run streamlit_demo.py
  • 使用 Streamlit 和 VectorStoreIndex 构建了一个简单的 UI。
  • 从 documents 文件夹加载文本（使用 st.cache_resource，因此只加载一次）。
  • 提供一个输入框和一个按钮来执行查询。
  • 查询完成后会显示字符串响应。

• streamlit_sql_sandbox（在 localhost:8501 上运行）

  • streamlit run streamlit_demo.py
  • 构建了一个 Streamlit 应用程序，使用关于旧金山餐厅检查的本地 SQL 数据库（数据样本）。
  • “Setup” 选项卡允许配置各种 LLM 和 Llama Index 设置。
  • “Single-Shot Query” 选项卡仅使用 Llama Index 演示了一些基本的 Text2SQL 功能。
  • “Agent + Chat History” 选项卡则使用 Llama Index 代理，并将 Llama Index 中的 SQL 索引作为对话中的工具。

• streamlit_term_definition（在 localhost:8501 上运行）

  • streamlit run streamlit_demo.py
  • 创建了一个小型应用，允许用户从文档中提取术语/定义，并对提取的信息进行查询。
  • 预先加载了纽约市维基百科页面的相关信息。
  • 支持读取上传图片中的文本。
  • 允许用户配置 LLM 设置。
  • 用户可以构建自己的术语/定义知识库，并随着添加的内容进行查询。

Docker

每个示例都包含一个 Dockerfile。你可以运行 docker build -t my_tag_name . 在目标文件夹内构建一个 python3.11-slim 的 Docker 镜像。最终镜像大小约为 600MB 至 900MB，具体取决于示例。

在 Dockerfile 中，根据示例所需的端口暴露了相应的端口。

运行镜像时，请务必使用 -p 选项以访问正确的端口（8501、5601 或 3000）。

贡献

欢迎提出任何建议或 PR，也欢迎提供更多示例！

llama_index_starter_pack 快速上手指南

llama_index_starter_pack 是一个专为快速构建 LlamaIndex 概念验证（POC）设计的开源工具包。它提供了基于 Flask+React、Streamlit 以及 Docker 的多种示例，帮助开发者快速搭建文档问答、SQL 查询及术语提取等应用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)
• Python 版本：3.11 (官方示例基于此版本)
• 包管理工具：推荐使用 conda 进行环境隔离，或使用 pip
• 可选工具：
  • Docker：用于容器化部署
  • Postman：用于测试 Flask API 接口
  • Node.js：仅在使用 flask_react 示例时需要（用于运行前端）

国内加速建议： 安装依赖时，建议使用国内镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目

首先获取源代码：

git clone <repository_url>
cd llama_index_starter_pack

2. 创建虚拟环境

推荐使用 conda 创建独立的 Python 3.11 环境：

conda create --name llama_index python=3.11
conda activate llama_index

3. 安装依赖

根据需求选择安装基础依赖或完整依赖：

• 基础安装（推荐，体积更小）：

  pip install -r requirements.txt
  

• 完整安装（若遇到依赖缺失问题，使用此文件）：

  pip install -r requirements_full.txt
  

基本使用

本工具包包含多个示例文件夹，以下是两种最常用场景的快速启动方式。

场景一：使用 Streamlit 快速构建对话界面

这是最简单的上手方式，无需配置前端，直接运行即可体验向量检索功能。

1. 进入示例目录：

   cd streamlit_vector
   

2. 启动应用：

   streamlit run streamlit_demo.py
   

3. 使用方法：
   • 浏览器自动打开 http://localhost:8501。
   • 系统会自动加载 documents 文件夹下的文本（默认包含 "Paul Graham Essay"）。
   • 在输入框中输入问题（例如：What did the author do growing up?），点击按钮即可查看 AI 基于文档生成的回答。

其他 Streamlit 示例：

• streamlit_sql_sandbox：演示基于本地 SQL 数据库的 Text-to-SQL 查询。
• streamlit_term_definition：演示从文档中提取术语定义并建立知识库。
• 启动命令同上，只需切换目录即可。

场景二：使用 Flask + React 构建全栈应用

适合需要自定义前后端交互或测试 API 的开发者。

1. 进入示例目录：

   cd flask_react
   

2. 一键启动服务： 运行脚本将同时启动后端 API 服务和前端 React 界面：

   sh launch_app.sh
   

3. 访问服务：
   • 前端界面：访问 http://localhost:3000
   • 后端 API：运行在 localhost:5601 和 localhost:5602
4. API 测试：
   • /query (GET): 传入 text 参数进行检索。
   • /upload (POST): 上传文本文件以更新索引。
   • 建议使用 postman_examples 文件夹中的配置配合 Postman 进行测试。

场景三：使用 Docker 部署

如果您希望避免本地环境配置问题，可以使用 Docker。

1. 进入任意示例文件夹（如 streamlit_vector）。
2. 构建镜像：

   docker build -t my_llama_app .
   

3. 运行容器： 注意通过 -p 映射端口（Streamlit 默认为 8501，Flask 为 5601/3000）：

   docker run -p 8501:8501 my_llama_app