ArXiv ChatGuru

ArXiv ChatGuru 是一款 Streamlit 应用，它可以将 arXiv 上的某个主题转化为一个特定领域的 Redis 向量索引。它会自动获取相关论文、将其切分成段落块，并将这些段落的嵌入向量存储到 Redis 中，从而让你能够基于已加载的论文提出有据可依的问题。

这个应用是一个用于学术领域 RAG（Retrieval-Augmented Generation）的学习项目。它的设计初衷是尽可能简单，旨在展示 Redis 如何融入论文问答的工作流中，而非作为一个生产级的研究助手。

Redis 在此应用中的作用

• 存储特定主题的论文段落及其嵌入向量
• 提供高效的向量检索功能
• 允许用户通过内置的统计页面查看当前活跃的索引状态

工作原理

1. 输入一个主题，并选择要加载的论文数量。
2. 应用从 arXiv 获取论文，并将其拆分为多个段落块。
3. 使用 OpenAI 生成这些段落块的嵌入向量。
4. Redis 将这些段落块和嵌入向量存储在一个与主题相关的索引中。
5. LangChain 会根据用户的提问检索最相关的段落块，并将这些上下文传递给聊天模型。

前置条件

• 本地开发需使用 Python 3.13
• 如果希望采用以 Docker 为主的工作流，需安装 Docker Desktop
• 需拥有 OpenAI 的 API 密钥

环境设置

首先从模板文件创建 .env 文件：

cp .env.template .env

然后至少设置以下内容：

OPENAI_API_KEY=your_key_here

默认模板中配置了：

• OPENAI_CHAT_MODEL=gpt-4.1-mini
• OPENAI_EMBEDDING_MODEL=text-embedding-3-small
• REDIS_INDEX_BASENAME=arxiv
• REDIS_URL=redis://arxivchatguru-redis:6379

使用 Docker 运行

Docker 是推荐的本地运行方式。

make docker-up

随后打开：

http://localhost:8501

停止服务时：

make docker-down

本地运行

如果尚未安装 Poetry，请先进行安装：

python3 -m pip install --user poetry

请确保使用 Python 3.13 来创建项目环境，安装依赖并启动应用：

python3 -m poetry env use python3.13
make install
make dev

之后即可访问：

http://localhost:8501

若在非 Docker 环境下本地运行，请确保 REDIS_URL 指向一个可访问的 Redis 实例，例如 redis://localhost:6379。

开发者常用命令

• make format 格式化代码及测试文件
• make test 运行测试套件
• make build 构建 Docker 镜像
• make dev 在本地启动 Streamlit 应用
• make docker-up 使用 Docker Compose 启动应用

统计页面

在主页面加载某个主题后，可以打开 Streamlit 的统计页面来查看当前活跃的 Redis 索引。该页面会显示：

• 索引元数据
• 已索引的字段
• 当前主题的查询引擎统计信息

计划中的后续改进

• 添加更精细的元数据筛选功能，如按年份或作者筛选
• 优化针对长篇论文的段落切分策略
• 仅在教程需要的情况下，添加聊天历史或记忆功能

ArXiv ChatGuru 快速上手指南

ArXiv ChatGuru 是一个基于 Streamlit 的学术 RAG（检索增强生成）学习项目。它能将 arXiv 上的特定主题论文转化为 Redis 向量索引，支持用户针对加载的论文内容进行 grounded（有依据的）问答。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows (需安装 Docker Desktop)
• Python 版本：Python 3.13 (本地开发必需)
• 容器引擎：Docker Desktop (推荐使用 Docker 方式运行)
• API 密钥：有效的 OpenAI API Key
• 包管理工具：Poetry (仅本地运行模式需要)

安装步骤

1. 配置环境变量

复制环境变量模板文件并填入您的 OpenAI 密钥：

cp .env.template .env

编辑 .env 文件，至少设置以下变量：

OPENAI_API_KEY=your_key_here

提示：默认配置中使用的模型为 gpt-4.1-mini 和 text-embedding-3-small，Redis 地址默认为 redis://arxivchatguru-redis:6379。

2. 启动应用

推荐优先使用 Docker 方式运行，这是该项目主要的本地运行路径。

方案 A：使用 Docker 运行（推荐）

一键启动包含 Redis 和 Streamlit 的应用栈：

make docker-up

启动完成后，在浏览器访问：

http://localhost:8501

如需停止服务，执行：

make docker-down

方案 B：本地直接运行

如果您未安装 Poetry，请先安装：

python3 -m pip install --user poetry

接着配置 Python 3.13 环境、安装依赖并启动开发服务器：

python3 -m poetry env use python3.13
make install
make dev

启动后访问：

http://localhost:8501

注意：若在非 Docker 环境下本地运行，请确保 .env 中的 REDIS_URL 指向可达的 Redis 实例（例如 redis://localhost:6379）。

基本使用

1. 加载主题： 在应用主页输入您感兴趣的学术主题（例如 "Large Language Models"），并选择需要加载的论文数量。

2. 自动处理： 应用将自动执行以下流程：

   • 从 arXiv 抓取相关论文。
   • 将论文内容切片（Chunking）。
   • 调用 OpenAI 生成向量嵌入（Embeddings）。
   • 将切片和向量存储到 Redis 的主题专用索引中。

3. 开始问答： 加载完成后，直接在聊天框中输入问题。系统会通过 LangChain 检索最相关的论文片段，并结合上下文由大模型生成回答。

4. 查看索引状态（可选）： 加载主题后，您可以打开 Streamlit 的 Stats page 页面，查看当前活跃的 Redis 索引元数据、字段信息及查询引擎统计信息。