面向大语言模型的开源、活跃维护的Web应用 💬

通过从应用程序而非框架入手，快速启动你的大语言模型项目。本仓库汇集了高质量、可运行的Web应用，适用于聊天机器人、自然语言界面、智能助手以及问答系统等场景。我们从这些应用场景的重要维度对各个项目进行了比较，帮助你为自己的应用选择合适的起点。

为确保最高质量和可用性，入选项目必须满足以下标准：

• 采用开源许可协议 💸
• 处于活跃维护状态，即在过去一个月内有更新，或处于持续监控中 🚨

这些项目涵盖了广泛的复杂度，从简单的API封装到具备多源RAG后端、对话日志记录以及身份验证和用户管理功能的生产级系统。几乎可以满足各种需求。

项目提交

贡献是本列表的核心！如果你知道符合我们标准但尚未收录的项目，欢迎告诉我们。同时，如果已列出的项目停止维护或更改了许可证，请及时通知我们。此外，若你希望对比的某个项目细节目前未被记录，也请提交一个议题。最后，如果你是已收录项目的维护者，并希望更新或修改条目信息，请重新提交包含所需变更的内容。

提交项目步骤：

1. 创建议题。
2. 确保你的提交符合上述标准，并包含所有相关详细信息。
3. 我们将在一天内审核提交内容并更新项目列表。

如果你想参与维护本项目，请通过电子邮件联系clharman。

当前征集的项目方向：

• 轻量级聊天机器人
• 具备高级提示工程的项目
• 非聊天机器人界面（如问答系统等）
• 支持图像处理的项目
• 不同编程语言实现的项目，例如仅限Python的项目

项目表格

项目	演示	简要描述	对话上下文保持	对话历史	认证	模型支持	富文本支持	图片支持	(RAG) 搜索引擎	(RAG) 显示来源	(RAG) 数据摄入	快速部署	其他特性
Hugging Face Chat UI	🟢 链接	功能齐全的聊天界面	🟢	🟢	🟢 OpenID	Hugging Face 推理 API、本地、Amazon SageMaker	🟢	🔴	🟢 Google 搜索	🟢	🔴	🟢 Hugging Face Spaces	主题配置
Weaviate Verba	🟢 链接	用于 RAG 应用的聊天界面	🔴	🔴	🔴	OpenAI	🟢	🔴	🟢 Weaviate	🟢	🟢 通过 CLI	🟢 Docker	语义缓存
Microsoft Azure Chat	🔴	基于 Azure 的私有聊天租户，可处理数据和文件	🟢	🟢	🟢 NextAuth	OpenAI	🟢	🔴	🟢 Azure Cognitive Search	🔴	🟢 UI 单文件上传	🟢 Azure
AWS GenAI LLM 聊天机器人	🔴	基于 AWS 的聊天机器人，支持 RAG 和可选 LLMs	🟢	🟢	🟢 Amazon Cognito	Bedrock、SageMaker、Hugging Face 推理端点、OpenAI、Anthropic、AI21、Cohere	🔴	🔴	🟢 Postgres/ Kendra/ OpenSearch	🟢	🟢 UI 文件上传	🟢 AWS	用户可选择模型和搜索后端
PrivateGPT	🔴	用于 RAG 应用的 API、流水线和 UI。支持私有模型。	🟢	🔴	🔴	本地、OpenAI、Sagemaker	🔴	🔴	🟢 Qdrant、Chroma	🟢	🟢 UI 文件上传	🔴
Open WebUI	🔴	专注于本地托管模型的 ChatGPT 克隆	🟢	🟢	🟢	Ollama、OpenAI	🟢	🟢	🟢 各种	🔴	🟢 UI 文件上传	🟢 Docker
Azure GPT-RAG	🔴	企业级 RAG 框架	🟢	🟢	🟢 Azure Active Directory	OpenAI	🟢	🔴	🟢 Azure Cognitive Search	🟢	🟢 数据源连接	🟢 Azure	Microsoft Teams 机器人集成、成本估算
Danswer	🔴	功能齐全的 RAG 系统，内置多种数据源连接器	🟢	🟢	🟢	OpenAI、本地	🟢	🔴	🟢 Vespa	🟢	🟢 数据连接器选择	🟢 Docker Compose、Kubernetes	Slack 机器人
LLM Answer Engine	🔴	Perplexity 风格的答案引擎，结合网络搜索	🟢	🔴	🔴	Mixtral、Ollama、OpenAI	🔴	🔴	🟢 Brave、Serper	🟢	🔴 网络搜索，非数据摄入	🔴
Dify	🔴	生成式 AI 应用开发平台	🟢	🟢	🟢	各种	🟢	🟢	🟢 各种	🟢	🟢 UI 文件上传	🟢 AWS、Kubernetes	代理、可观测性
Flowise	🔴	拖拽式 LLM 流程构建器	🟢	🟢	🟢	各种	🔴	🔴	🟢 各种	🟢	🟢 UI 文件上传	🟢 AWS、Kubernetes	GUI/无代码 LLM 应用逻辑构建器
LibreChat	🔴	功能齐全的 ChatGPT 克隆	🟢	🟢	🟢	各种	🟢	🟢	🟢 各种	🔴	🟢 UI 文件上传	🟢 Docker Compose	支持助手

星标历史

awesome-llm-webapps 快速上手指南

awesome-llm-webapps 并非单一的软件工具，而是一个精选的开源 LLM Web 应用集合仓库。它汇集了高质量、活跃维护的项目（如聊天机器人、RAG 系统、问答引擎等），旨在帮助开发者直接基于成熟的应用启动项目，而非从零构建框架。

本指南将指导你如何在该列表中选择适合的项目并完成部署。

1. 环境准备

由于列表中包含多个不同的项目，具体依赖取决于你选择的应用。但大多数现代 LLM Web 应用都遵循以下通用环境要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (建议通过 WSL2 运行)。
• 核心运行时:
  • Docker & Docker Compose: 绝大多数项目（如 Open WebUI, Danswer, Verba）首选容器化部署。
  • Python: 版本通常要求 3.10 或更高（用于本地源码安装）。
  • Node.js: 部分前端项目可能需要 v18 或更高版本。
• 硬件要求:
  • 若运行本地模型（如通过 Ollama, LocalLLM）：建议至少 16GB RAM，若需流畅运行大参数模型，推荐 NVIDIA GPU (显存 8GB+)。
  • 若仅作为API 客户端（连接 OpenAI/Azure 等）：普通开发机即可。
• 网络加速 (中国开发者推荐):
  • Docker 镜像加速: 配置国内镜像源（如阿里云、腾讯云、网易云等）以拉取 docker pull。
  • Python 包加速: 使用清华源或阿里源安装依赖。

  export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
  

  • Hugging Face 加速: 若项目涉及 HF 模型下载，建议配置镜像。

  export HF_ENDPOINT=https://hf-mirror.com
  

2. 安装步骤

请根据 awesome-llm-webapps 列表中的项目特性，选择以下两种安装方式之一。

方式 A：基于 Docker 部署（推荐，适用于大多数项目）

这是最快捷的方式，适用于 Open WebUI, Danswer, Verba, PrivateGPT 等项目。

1. 克隆目标项目仓库 从列表中选择一个项目（以 open-webui 为例）：

   git clone https://github.com/open-webui/open-webui.git
   cd open-webui
   

2. 配置国内镜像源 (可选但推荐) 编辑 docker-compose.yaml 文件，将图像地址替换为国内源（如果官方未提供，可手动添加代理前缀或在 daemon.json 配置全局加速）。

3. 启动服务

   docker compose up -d
   

   注：部分项目可能需要先复制 .env.example 到 .env 并配置 API Key。

方式 B：源码安装（适用于需要深度定制的项目）

适用于 Hugging Face Chat UI, LLM Answer Engine 等可能需要特定前端构建的项目。

1. 克隆仓库

   git clone https://github.com/huggingface/chat-ui.git
   cd chat-ui
   

2. 安装后端依赖 (Python)

   python -m venv venv
   source venv/bin/activate  # Windows 使用: venv\Scripts\activate
   pip install -r requirements.txt
   

3. 安装前端依赖 (Node.js)

   npm install
   # 若遇网络问题，可临时切换 registry
   # npm config set registry https://registry.npmmirror.com
   

4. 环境变量配置 复制示例配置并填入你的 LLM API Key：

   cp .env.local.example .env.local
   # 使用编辑器修改 .env.local，填入 MISTRAL_API_KEY 或其他所需密钥
   

5. 构建并运行

   npm run build
   npm run start
   # 或者开发模式
   npm run dev
   

3. 基本使用

部署完成后，通常可以通过浏览器访问本地服务进行配置和使用。

第一步：访问界面

在浏览器中打开默认地址（具体端口参考各项目的 README，常见如下）：

• Open WebUI / PrivateGPT: http://localhost:8080 或 http://localhost:3000
• Danswer: http://localhost:3000
• Hugging Face Chat UI: http://localhost:3000

第二步：初始配置

1. 创建管理员账户: 首次访问通常需要注册一个本地管理员账号。
2. 连接模型提供商:
   • 进入 Settings (设置) -> Models (模型) 或 Connections (连接)。
   • 输入你的 API Key（支持 OpenAI, Azure, Anthropic, 或本地 Ollama 地址 http://host.docker.internal:11434）。
   • 点击 "Save" 或 "Verify" 测试连接。

第三步：开始对话或构建 RAG

• 纯聊天模式: 直接在对话框输入问题，选择已连接的模型即可开始对话。
• RAG (知识库) 模式 (针对支持 RAG 的项目如 Danswer, Verba, PrivateGPT):
  1. 找到 "Documents" 或 "Knowledge Base" 选项卡。
  2. 上传本地文件（PDF, TXT, Markdown）或连接数据源（Notion, Slack, Web Search）。
  3. 等待索引完成（Indexing）。
  4. 在聊天界面选择对应的知识库上下文，即可基于私有数据进行问答。

示例：使用 Open WebUI 连接本地 Ollama

假设你已在本地运行了 Ollama：

1. 确保 Ollama 允许跨域访问 (设置环境变量 OLLAMA_HOST=0.0.0.0)。
2. 在 Open WebUI 设置中添加连接地址：http://<你的服务器 IP>:11434。
3. 刷新模型列表，选择 llama3 或 qwen 等已拉取的模型。
4. 在聊天框输入：“请总结这篇文档的内容”，并上传文件，系统将自动调用 RAG 流程回答。