RAGHub：检索增强生成（RAG）工具目录

欢迎来到RAGHub，这是一个不断更新的检索增强生成（RAG）生态系统中新兴框架、项目和资源的集合。这是一个由社区驱动的项目，面向r/RAG社区，旨在梳理快速发展的RAG工具与项目，推动该领域的边界不断拓展。

每天似乎都有新的工具或框架涌现，而如何选择合适的工具正逐渐从一门科学演变为一种艺术。三个月前的那个框架现在还适用吗？还是仅仅是一阵炒作，用新包装重新演绎旧概念？RAGHub的存在就是为了帮助您紧跟这些变化，为您提供RAG领域最新创新成果的展示平台。

如何贡献

这是一个社区共建的项目，我们欢迎所有人的参与和贡献！如果您希望添加新的框架、项目或资源，请查看我们的贡献指南，了解具体的操作步骤。

目录

• RAGHub：检索增强生成（RAG）工具目录
  • 如何贡献
  • 目录
  • RAG框架
  • RAG评估与优化框架
  • RAG引擎
  • RAG数据准备框架
  • RAG项目
  • RAG资源与网站
  • 模型排行榜
  • 许可证
  • 加入讨论

RAG框架

名称	描述	官网	Github	星数	活跃度
Dcup 开源 RAG 即服务	通过可自托管的 RAG 流程，可在几分钟内将您的应用连接到用户数据。	官网	Github		1小时前
LangChain	使用大语言模型构建应用程序	官网	Github		9小时前
Scout	使用大语言模型/向量数据库/网页抓取构建应用	官网	Github		1小时前
Haystack	用于构建基于神经网络搜索引擎的框架	官网	Github		上周
LlamaIndex	构建数据驱动的大语言模型应用的框架	官网	Github		7小时前
BentoML	构建推理 API、大语言模型应用、多模型链和 RAG	官网	Github		1小时前
Contextual AI	端到端 RAG，包括文档理解、检索、 grounded 生成和评估	官网	GitHub		--
LightRAG	简单快速的检索增强生成	官网	Github		1天前
Swarm by OpenAI	轻量级多智能体编排的教育性框架	-	Github		1天前
Langroid	用 Python 轻松构建大语言模型驱动的应用程序的框架	官网	Github		10小时前
NeMo-Guardrails	为基于大语言模型的应用添加可编程护栏	官网	Github		上周
Swiftide	用 Rust 构建快速流式大语言模型应用的库	官网	GitHub		1小时前
Korvus	将整个 RAG 流程整合到一条数据库查询中	官网	GitHub		上月
semantic-router	使用语义向量路由大语言模型请求的框架	官网	GitHub		4小时前
AWS Bedrock Knowledge Bases	用于构建、扩展和部署 RAG 驱动的应用的服务	官网	-	-	1小时前
langflow	构建、扩展和部署 RAG 及多智能体 AI 应用	官网	Github		1小时前
dspy	使用模块化编程构建语言模型应用	官网	GitHub		13小时前
mem0	您的 AI 应用的记忆层	官网	GitHub		2小时前
RAGLite	用于构建 RAG 应用的 Python 包	官网	GitHub		18小时前
cognee	用于构建 GraphRAG 应用的记忆框架	官网	GitHub		2小时前
ragbits	用于快速开发生成式 AI 应用的构建模块	官网	GitHub		1小时前
Interchange	从文档上传到搜索的端到端 RAG API	官网	GitHub		1小时前
ZeroEntropy	重排序器、嵌入及端到端检索 API	官网	GitHub	-	1小时前
memori	多智能体记忆引擎，赋予您的 AI 智能体类人记忆	官网	GitHub		3天前

RAG 评估与优化框架

名称	描述	官网	GitHub	星星	活跃度
Trulens	通过可扩展的评估反馈功能，衡量并提升 LLM 应用的质量	官网	GitHub		11小时前
Phoenix	面向实验、评估和故障排除设计的 AI 可观测性平台	官网	GitHub		1 天前
ragas	评估并量化使用外部数据增强 LLM 上下文的 RAG 流水线性能	官网	GitHub		3 小时前
LMUnit	针对自然语言单元测试评估优化的语言模型	官网	-	-	--
Deepchecks	持续验证 AI 和 ML 模型，检测数据漂移和模型问题	官网	GitHub		8 分钟前
AutoRAG	端到端 RAG 优化：解析、分块、评估数据集创建及流水线部署	官网	GitHub		1 小时前
evalmy.ai	经过微调的轻量级 RAG 评估服务 + Python 客户端库	官网	GitHub		--
TextGrad	基于 LLM 的文本优化框架，专注于减少幻觉并改进提示语	官网	GitHub		24 小时前
langfuse	跟踪、评估、提示管理及指标，用于调试和改进您的 LLM 应用。	官网	GitHub		1 小时前
Vectara HHEM	用于 RAG 的幻觉评估模型	Huggingface	--	--	--
StepsTrack	一款可观测性工具，用于跟踪、检查和可视化流水线中的每一步	-	GitHub		15 小时前
syftr	多目标端到端代理式 RAG 优化。	-	GitHub		1 小时前
zbench	用于检索和重排序的标注与评估框架	官网	GitHub	-	1 小时前
rag-select	跨 RAG 工具产品对端到端 RAG 架构进行评估/优化。	官网	GitHub		1 小时前

RAG 引擎

名称	描述	官网	GitHub	星数	活跃度
Agentset	开源的智能体式RAG平台。	官网	GitHub		1天前
Engramic	专注于长期记忆和高级上下文管理的RAG引擎	官网	Github		2小时前
TrustGraph	独立于LLM的智能体开发平台	官网	GitHub		2天前
R2R	RAG领域的Elasticsearch，帮助您快速构建和部署可扩展的RAG解决方案	官网	GitHub		6小时前
RAGFlow	基于深度文档理解的开源RAG引擎	官网	GitHub		1小时前
Liquid Index	统一的RAG平台。一个API。您所需的所有工具	官网	-	-	1小时前
Vertex AI Knowledge Engine	用于增强上下文的LLM应用的数据框架	官网	-	-	1天前
Embedchain	在不到10行代码内实现LLM响应个性化的开源框架	官网	GitHub		上周
txtai	用于语义搜索、LLM编排和RAG工作流的一体化嵌入数据库	官网	GitHub		上周
dsRAG	非结构化数据的高性能检索引擎	-	GitHub		上周
Flash-Rank	使用成对或列表排序重排器提高检索精度，再传递给LLM。	-	GitHub		2周前
Graphlit	以API优先的平台，用于构建知识驱动的AI应用和智能体	官网	GitHub		8小时前
rag-citation	将RAG与自动引用生成结合，提升内容可信度	官网	GitHub		上周
PostgresML	PostgreSQL + GPU，具备分块、嵌入、转换和排名等功能	官网	GitHub		昨天
chainlit	在几分钟内而非几周内构建生产就绪的对话式AI应用	官网	GitHub		24小时前
pathway	用于流处理、实时分析、LLM流水线和RAG的Python ETL框架。	官网	GitHub		7小时前
cognita	用于模块化、开源生产级应用的RAG框架。	官网	GitHub		2天前
FlashRAG	用于高效RAG研究的Python工具包	-	GitHub		3小时前
RAGatouille	轻松在任何RAG管道中训练和使用先进的检索方法。	-	GitHub		4个月前
pgai	一套仅在PostgreSQL中即可开发RAG、语义搜索及其他AI应用的工具套件	官网	GitHub		10小时前
Vectara	可信赖的RAG平台，用于快速构建AI助手和智能体。	官网	GitHub	-	-
mode	具有专家模型、智能聚类和小数据集高效检索功能的RAG框架。	-	GitHub		2天前
haiku.rag	开源RAG框架，支持监控、CLI、搜索、问答、MCP，并可在SQLite上运行。	-	Github		3小时前
ZeroEntropy AI	开放权重的重排序器、嵌入及端到端检索API	官网	Github	-	3小时前

RAG 数据准备框架

名称	描述	官网	GitHub	星标	活跃度
CocoIndex	用于构建全新索引的 ETL 框架	官网	Github		1 小时前
Gitana.io	面向编辑审批的内容平台，支持将训练好的数据集定时部署到 RAG 向量数据库	官网	-	-	-
Chonkie	简洁、轻量且快速的 RAG 分块库	官网	GitHub		1 小时前

RAG 项目

名称	描述	官网	GitHub	星数	活跃度
LlamaParse	原生支持生成式AI的文档解析平台	官网	GitHub		2天前
Langchain-extract	使用大语言模型从文本和文件中提取信息的Web服务器	官网	GitHub		4分钟前
Needle	开箱即用的生产级RAG流水线。	官网	GitHub		1小时前
Unstructured.io	构建用于标注、训练或生产环境的自定义预处理流水线	官网	GitHub		3天前
Verba	由Weaviate驱动的RAG聊天机器人	官网	GitHub		2周前
Unstract	无代码平台，用于部署API和ETL管道以结构化非结构化文档	官网	GitHub		4小时前
Humata.ai	跨所有文档文件提问	官网	-	-	4小时前
Kiln	构建包含评估、RAG、智能体、微调和合成数据的AI系统	官网	GitHub		12小时前
Ragie.ai	为开发者提供的完全托管的RAG即服务。	官网	GitHub	-	12小时前
Reducto	解析复杂文档并创建适合LLM使用的输入	官网	GitHub	-	2周前
Midship	直接将文档数据提取到您的电子表格/ERP/CRM	官网	-	-	-
DocuPanda	将文档转换为结构化、标准化的字段和值集合	官网	-	-	-
contextual-doc-retrieval-opneai-reranker	使用GPT-4和Cohere进行查询扩展，并结合BM25进行重排序	-	GitHub		上周
Raggenie	低代码平台，用于构建自定义的基于RAG的AI应用	官网	GitHub		10小时前
Chunkr	基于视觉模型的PDF分块和OCR，专为快速处理大规模数据集优化	官网	GitHub		11小时前
tldw	类似于NotebookLM的开源项目	官网	GitHub		昨天
Cerbos	面向RAG和LLM的访问控制。	官网	GitHub		14小时前
extractous	为您的AI应用提供极快的数据提取	官网	GitHub		-
SWIRL	面向工作场所的AI搜索与RAG。即时获取公司知识库中的AI洞察。	官网	GitHub		2周前
ChatDOC PDF Parser	高精度PDF解析，可将文档转化为适用于RAG系统的完美结构化数据。	官网	-	-	-
Gurubase	通过索引网站、PDF文档、YouTube视频和GitHub代码仓库，创建AI驱动的问答助手。	官网	GitHub		1天前
Archive Agent	开源语义文件追踪器，具备OCR + AI搜索功能。内置RAG引擎的智能索引器。	-	GitHub		-
MidrasAI	Colpali多模态检索模型的简单API。	-	Github		6分钟前
EmbeddingBridge	用于嵌入的版本控制和迁移工具	-	Github		-
Stream-Rag-Agent	面向Kafka的流式RAG代理	-	Github		-
zchunk	开源高效的基于LLM的分块方法	官网	Github	-	2小时前
hydrot	一款面向企业文档的生产就绪型检索增强生成（RAG）系统，对Markdown内容提供一流的支持。采用微服务架构，实现水平扩展和灵活性。	-	Github		-
Tensorlake	面向可引用、可追溯的RAG系统的文档解析。提取文本、表格和图像，同时保持复杂的布局，附带边界框坐标，并支持结构化输出	官网	Github		2天前

RAG 资源与站点

站点/文章	描述	链接
上下文检索	Anthropic 推出上下文检索功能	官网
Open-RAG	基于开源大语言模型的增强型检索增强推理	官网
ColPali	使用视觉语言模型实现高效文档检索	官网
RAG_Techniques	展示多种 RAG 系统的高级技术	官网
GenAI_Agents	各类 AI 代理技术的教程与实现	官网
RAG From Scratch	LangChain 官方指南：从零开始构建 RAG 流程	官网

模型排行榜

名称	描述	链接
Artificial Analysis	大语言模型比较	官网
HuggingFace/mteb	嵌入模型排行榜	官网
Vectara 幻觉排行榜	大语言模型幻觉排行榜	官网

如果您正在寻找主流的 RAG 框架和技巧，请查看 Nir Diamant 的优秀仓库：RAG Techniques。该仓库专注于已在社区中获得广泛认可的成熟工具和方法。

许可证

本项目采用 MIT 许可证。详情请参阅 LICENSE 文件。

加入讨论

本项目是 r/RAG 社区的一部分。您有任何反馈或建议吗？欢迎随时提交问题、发起讨论，或加入我们的 Discord 服务器！我们希望将此仓库打造成为所有探索 RAG 生态系统的用户的宝贵资源，您的意见对我们至关重要。

RAGHub 快速上手指南

注意：RAGHub 本身不是一个单一的软件开发工具包（SDK）或可安装的软件库，而是一个检索增强生成（RAG）生态系统的工具目录和资源列表。它旨在帮助开发者发现、比较和选择适合的 RAG 框架、引擎及评估工具。

因此，本指南将指导你如何浏览该目录并快速启动其中推荐的主流 RAG 框架（以 LangChain 和 LlamaIndex 为例），以便你立即开始构建应用。

1. 环境准备

在开始使用 RAGHub 列出的任何工具之前，请确保你的开发环境满足以下通用要求：

• 操作系统：Linux, macOS, 或 Windows (WSL2 推荐)
• Python 版本：建议安装 Python 3.9 或更高版本
• 包管理器：pip 或 conda
• 前置依赖：
  • Git (用于克隆项目代码)
  • 基础深度学习库 (如 torch, transformers，通常由具体框架自动安装)

国内加速建议： 推荐使用国内镜像源加速 Python 包的安装，例如清华大学或阿里云镜像。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

由于 RAGHub 是目录，你需要根据需求选择具体的框架进行安装。以下是两个最流行框架的安装命令：

选项 A：安装 LangChain (通用型框架)

适合需要灵活编排链式调用和集成多种模型的场景。

pip install langchain langchain-community langchain-core
# 如需向量数据库支持，可选装
pip install chromadb

选项 B：安装 LlamaIndex (数据连接型框架)

适合专注于数据索引、结构化查询和复杂数据检索的场景。

pip install llama-index

选项 C：浏览完整目录

你可以直接访问 RAGHub 的在线仓库或本地克隆以查看最新工具列表：

git clone https://github.com/ContextualAI/RAGHub.git
cd RAGHub
# 查看 README.md 获取完整工具列表

3. 基本使用

以下展示如何使用上述安装的框架运行一个最简单的 "Hello World" 级别的 RAG 流程（基于本地文本的检索与生成）。

示例 1：使用 LangChain 构建简单 RAG

from langchain.text_splitter import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain_community.llms import HuggingFacePipeline
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

# 1. 准备数据
text = "RAGHub 是一个用于检索增强生成 (RAG) 的工具目录。它帮助开发者找到最新的框架。"
loader = TextLoader.from_texts([text])
documents = loader.load()

# 2. 分割文本
text_splitter = CharacterTextSplitter(chunk_size=50, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 3. 创建嵌入和向量存储 (使用本地模型)
embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")
vectorstore = Chroma.from_documents(docs, embeddings)

# 4. 设置 LLM (此处以占位符为例，实际需加载具体模型)
# llm = HuggingFacePipeline(...) 

# 5. 构建检索链
# qa_chain = RetrievalQA.from_chain_type(llm, retriever=vectorstore.as_retriever())

# 6. 提问
# result = qa_chain.run("RAGHub 是什么？")
# print(result)
print("LangChain 环境已就绪，可开始构建 RAG 应用。")

示例 2：使用 LlamaIndex 构建简单 RAG

from llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. 设置嵌入模型
Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-zh-v1.5")

# 2. 加载文档 (假设当前目录下有 data.txt)
# documents = SimpleDirectoryReader("./").load_data()
# 模拟文档加载
from llama_index.core import Document
documents = [Document(text="RAGHub 是一个用于检索增强生成 (RAG) 的工具目录。")]

# 3. 构建索引
index = VectorStoreIndex.from_documents(documents)

# 4. 创建查询引擎
query_engine = index.as_query_engine()

# 5. 查询
# response = query_engine.query("RAGHub 是做什么的？")
# print(response)
print("LlamaIndex 环境已就绪，可开始构建 RAG 应用。")

下一步建议： 回到 RAGHub 目录，根据具体需求（如：需要评估框架、特定的 RAG 引擎或数据预处理工具）选择其他列出的项目进行深入探索。