Chatty

Chatty 是一款私密的 AI 工具，它利用 WebGPU 在您的浏览器中本地、私密地运行大型语言模型（LLMs），为您带来功能最丰富的浏览器内 AI 体验。

功能 ✨

• 浏览器内隐私： 所有 AI 模型都在您的设备上本地运行（客户端），确保您的数据仅在您的电脑上处理。无需服务器端处理！
• 离线使用： 一旦完成模型的初始下载，您便可在没有网络连接的情况下继续使用。
• 聊天历史： 访问并管理您的对话历史。
• 支持新的开源模型： 可与 Gemma、Llama2 和 Llama3 以及 Mistral 等热门开源模型进行对话！
• 响应式设计： 如果您的手机支持 WebGL，您就可以像在桌面端一样使用 Chatty。
• 直观的用户界面： 灵感来源于 Gemini 和 ChatGPT 等流行的 AI 界面，以提升用户体验的一致性。
• Markdown 和代码高亮： 返回的 Markdown 格式消息会原样显示，而包含代码的消息则会高亮显示，方便查看。
• 文件对话： 加载文件（PDF 及所有非二进制文件——甚至代码文件）并就这些文件向模型提问——全程本地处理！得益于 XenovaTransformerEmbeddings 和 MemoryVectorStore 的支持，您的文档永远不会被传输到本地环境之外进行处理。
• 自定义记忆支持： 添加自定义指令或记忆，使 AI 能够提供更优质、更个性化的回复。
• 导出聊天记录： 轻松将聊天记录以 JSON 或 Markdown 格式生成并保存。
• 语音输入支持： 使用语音交互与模型进行交流。
• 重新生成回复： 对回复不太满意？无需重新输入提示，即可快速重新生成。
• 浅色与深色模式： 随意切换浅色或深色模式。

预览

https://github.com/addyosmani/chatty/assets/114422072/a994cc5c-a99d-4fd2-9eab-c2d4267fcfd3

为什么？

该项目旨在尽可能地将 ChatGPT 和 Gemini 等流行 AI 界面的熟悉度和功能性带入浏览器体验中。

浏览器支持

默认情况下，WebGPU 在 Chrome 和 Edge 中均已启用并支持。不过，在 Firefox 和 Firefox Nightly 中也可以启用它。 有关更多信息，请参阅 浏览器兼容性。

如何安装

如果您只是想试用这款应用，它已上线于 此 网站。

这是一个 Next.js 应用程序，需要安装 Node.js（18+）和 npm 才能在本地运行该项目。

从源码安装

如果您希望在本地设置并运行该项目，请按照以下步骤操作：

1. 通过命令行将仓库克隆到您电脑上的某个目录：

git clone https://github.com/addyosmani/chatty

2. 进入该文件夹：

cd chatty

3. 安装依赖项：

npm install

4. 启动开发服务器：

npm run dev

5. 打开 localhost:3000 即可开始聊天！

Docker

[!注意]
目前 Dockerfile 尚未针对生产环境进行优化。如果您希望自行优化，可以参考 Next.js 示例。

docker build -t chattyui .
docker run -d -p 3000:3000 chattyui

或者使用 docker-compose：

docker compose up

如果您进行了更改并希望重新构建，只需运行 docker-compose up --build 即可。

路线图

• 多文件嵌入： 实现每次会话同时嵌入多个文件的功能。
• 提示管理系统： 提供多种系统提示供选择，并可在会话中快速添加使用。

贡献

我们非常欢迎各位的贡献！不过，请务必先阅读 贡献指南 :)

硬件要求

[!注意]
为了高效运行模型，您需要一块具有足够显存的 GPU。7B 规模的模型大约需要 6GB 显存，而 3B 规模的模型则需要约 3GB。

更小规模的模型可能无法像大模型那样高效地处理文件嵌入。

致谢与鸣谢

Chatty 基于 WebLLM 项目构建，使用了 HuggingFace 的开源 LLMs 以及 LangChain 的技术。我们在此向他们的杰出工作表示感谢，并对开源社区致以敬意。

作者

Chatty 由 Addy Osmani 和 Jakob Hoeg Mørk 创建并维护。

Chatty 快速上手指南

Chatty 是一款基于 WebGPU 技术的私有化 AI 聊天工具，支持在浏览器本地运行大语言模型（如 Llama 3、Gemma、Mistral 等），无需服务器端处理，确保数据完全隐私且支持离线使用。

环境准备

系统要求

• 操作系统：Windows、macOS 或 Linux
• 浏览器：
  • 推荐：最新版 Chrome 或 Edge（默认启用 WebGPU）
  • 可选：Firefox / Firefox Nightly（需手动开启 WebGPU 支持）
• 硬件要求：
  • 运行 7B 参数模型：建议显卡显存 ≥ 6GB
  • 运行 3B 参数模型：建议显卡显存 ≥ 3GB
  • 注：显存不足可能导致文件嵌入功能效率降低

前置依赖

若需在本地开发或部署，请确保安装以下工具：

• Node.js：版本 18 或更高
• npm：随 Node.js 自动安装
• Git：用于克隆代码仓库
• Docker（可选）：用于容器化部署

安装步骤

方式一：从源码安装（推荐开发者）

1. 克隆仓库

   git clone https://github.com/addyosmani/chatty
   

2. 进入项目目录

   cd chatty
   

3. 安装依赖

   国内用户如遇下载缓慢，可配置淘宝镜像源： npm config set registry https://registry.npmmirror.com

   npm install
   

4. 启动开发服务器

   npm run dev
   

5. 访问应用 打开浏览器访问 http://localhost:3000 即可开始使用。

方式二：Docker 部署

1. 构建并运行镜像

   docker build -t chattyui .
   docker run -d -p 3000:3000 chattyui
   

2. 或使用 Docker Compose

   docker compose up
   

   若修改了代码需重新构建，请执行：

   docker-compose up --build
   

3. 访问应用 打开浏览器访问 http://localhost:3000。

提示：若仅需体验功能，可直接访问官方在线演示站点：https://chattyui.com

基本使用

1. 加载模型

   • 首次访问时，界面会提示下载开源模型（如 Llama-3-8B、Gemma-2B 等）。
   • 根据硬件条件选择合适的模型，等待下载完成（后续可离线使用）。

2. 开始对话

   • 在输入框中输入问题，点击发送或与模型进行自然语言交互。
   • 支持 Markdown 渲染及代码高亮显示。

3. 高级功能

   • 文件问答：点击上传按钮加载 PDF 或代码文件，直接针对文件内容提问（全程本地处理）。
   • 语音输入：点击麦克风图标通过语音与模型交互。
   • 自定义记忆：在设置中添加自定义指令或背景信息，让回答更个性化。
   • 导出记录：支持将聊天记录导出为 JSON 或 Markdown 格式。
   • 主题切换：一键切换浅色/深色模式。

4. 管理历史

   • 侧边栏可查看和管理过往的对话历史记录。