功能特性

• 🤖 所有计算均在浏览器内完成，无需任何服务器支持，并利用 WebGPU 加速。

• ⚙️ 模型运行于 Web Worker 中，确保不会阻塞用户界面，提供流畅的使用体验。

• 🚀 通过 Vercel 一键部署，不到 1 分钟即可免费上线，拥有属于您自己的 ChatLLM Web。

• 💾 支持模型缓存，只需下载一次模型即可反复使用。

• 💬 多轮对话功能，所有数据均本地存储于浏览器中，保障隐私。

• 📝 支持 Markdown 和流式响应：数学公式、代码高亮等。

• 🎨 响应式且设计精美的 UI，包含深色模式。

• 💻 支持 PWA，可下载后完全离线运行。

使用说明

• 🌐 要使用本应用，您需要一个支持 WebGPU 的浏览器，例如 Chrome 113 或 Chrome Canary。Chrome ≤ 112 版本不支持。

• 💻 您需要一块显存约为 6.4GB 的 GPU。如果您的显存不足，应用仍可运行，但响应速度会较慢。

• 📥 首次使用时，您需要下载模型。目前我们使用的 Vicuna-7b 模型大小约为 4GB。首次下载完成后，后续将直接从浏览器缓存加载模型，以提升运行速度。

• ℹ️ 更多详情请访问 mlc.ai/web-llm。

路线图

• [✅] LLM：使用 Web Worker 创建 LLM 实例并生成回答。

• [✅] 对话：支持多轮对话。

• [✅] PWA。

• [] 设置：

  • 界面：深色/浅色主题
  • 设备：
    • 选择 GPU 设备
    • 缓存使用与管理
  • 模型：
    • 支持多模型：Vicuna-7b ✅ RedPajama-INCITE-Chat-3B []
    • 参数配置：温度、最大长度等。
    • 模型导出与导入。

部署到 Vercel

1. 点击 ，按照提示操作，仅需 1 分钟即可完成。
2. 尽情享受吧 😊

开发环境

git clone https://github.com/Ryan-yang125/ChatLLM-Web.git
cd ChatLLM-Web
npm i
npm run dev

截图

🌟 历史

许可证

MIT

ChatLLM-Web 快速上手指南

ChatLLM-Web 是一个完全在浏览器中运行的大型语言模型（LLM）聊天应用。它利用 WebGPU 技术进行加速，无需后端服务器支持，确保数据隐私安全且可离线运行。

环境准备

在开始之前，请确保您的硬件和软件环境满足以下要求：

• 浏览器：必须使用支持 WebGPU 的浏览器。
  • 推荐：Chrome 113 及以上版本，或 Chrome Canary。
  • 注意：Chrome 112 及以下版本不支持。
• 显卡 (GPU)：
  • 建议显存：6.4GB 或以上（以获得流畅体验）。
  • 最低要求：显存小于 6.4GB 也可运行，但响应速度会变慢。
• 网络：首次使用时需下载模型文件（Vicuna-7b 约 4GB），请确保网络连接稳定。后续使用将从浏览器缓存加载。
• 开发依赖（仅本地开发需要）：
  • Node.js
  • npm

安装步骤

您可以选择直接部署到 Vercel 或本地克隆代码进行开发。

方式一：一键部署到 Vercel（推荐）

无需配置本地环境，1 分钟内即可拥有自己的实例：

1. 点击下方的部署按钮：
2. 按照页面提示完成授权和配置。
3. 部署完成后，通过生成的链接即可访问。

方式二：本地开发安装

如果您希望修改代码或本地运行，请执行以下命令：

git clone https://github.com/Ryan-yang125/ChatLLM-Web.git
cd ChatLLM-Web
npm i
npm run dev

提示：如果 npm i 下载依赖较慢，可尝试配置国内镜像源（如淘宝镜像）： npm config set registry https://registry.npmmirror.com

基本使用

1. 启动应用：

   • 若使用 Vercel 部署，直接打开部署生成的网址。
   • 若本地运行，在浏览器访问 http://localhost:5173（具体端口请以终端输出为准）。

2. 加载模型：

   • 首次进入页面时，系统会自动下载默认模型（Vicuna-7b，约 4GB）。
   • 请耐心等待进度条完成，模型加载后会自动存入浏览器缓存，下次无需重新下载。

3. 开始对话：

   • 在输入框中输入您的问题（支持 Markdown、数学公式及代码高亮）。
   • 按下回车或发送按钮，AI 将在本地利用您的 GPU 实时生成回复。
   • 所有对话数据仅存储在本地浏览器中，不会上传至任何服务器。

4. 离线使用：

   • 该应用支持 PWA（渐进式 Web 应用）。加载完成后，您可以将其添加到桌面，即使断开网络也能继续使用。