LLaMA 2 聊天机器人应用 ⚡

🤔 这是什么？

这是一个为 LLaMA2（或任何其他大语言模型）构建的实验性 Streamlit 聊天机器人应用。该应用支持会话聊天历史记录，并提供在 Replicate 上选择多个 LLaMA2 API 端点的选项。

实时演示：LLaMA2.ai

有关 LLaMA2 的许可协议，请参阅 Meta Platforms, Inc. 官方网站上的许可文档。 更多信息

功能特性

• 每个会话都会保留聊天历史（刷新后聊天历史将被清空）
• 可在不同的 LLaMA2 聊天 API 端点之间进行选择（7B、13B 或 70B）。默认为 70B。
• 可通过侧边栏配置模型超参数（温度、Top P、最大序列长度）。
• 包含“用户：”和“助手：”提示，用于区分聊天对话。
• 每个模型（7B、13B 和 70B）都在 Replicate 上运行——7B 和 13B 运行在一台 A100 40Gb 显卡上，而 70B 则运行在一台 A100 80Gb 显卡上。
• 包含 Docker 镜像，可用于在 Fly.io 上部署此应用。

安装

• 克隆仓库
• [可选] 使用命令 python -m venv .venv 创建虚拟 Python 环境，并使用 source .venv/bin/activate 激活它。
• 使用 pip install -r requirements.txt 安装依赖项。
• 在 Replicate 上创建账户。
• 在 Auth0 (免费) 上创建账户并配置您的应用程序：
  • 创建单页应用程序。
  • 导航到该应用程序的“设置”选项卡。
  • 如果您在本地运行应用：将“允许的 Web 域”设置为 http://localhost:8501，并将“允许的回调 URL”设置为 http://localhost:8501/component/auth0_component.login_button/index.html。
  • 如果要在远程服务器上运行：将“允许的 Web 域”设置为 https://<your_domain>，并将“允许的回调 URL”设置为 http://<your_domain>/component/auth0_component.login_button/index.html。
  • 复制客户端 ID 和域名，以备下一步使用。
• 使用命令 cp .env_template .env 创建您自己的 .env 文件。然后编辑 .env 文件，添加您的：
  • Replicate API 令牌，命名为 REPLICATE_API_TOKEN。
  • Auth0 客户端 ID，命名为 AUTH0_CLIENTID。
  • Auth0 域名，命名为 AUTH0_DOMAIN。
  • 为方便起见，我们已在 .env_template 文件中预置了常见的模型端点。
• 使用 streamlit run llama2_chatbot.py 运行应用。
• 包含 Dockerfile，可用于在 Fly.io 上 部署此应用。

（注：如果您使用的是 Mac，可能需要使用 python3 代替 python，以及 pip3 代替 pip。）

使用方法

• 从侧边栏中选择一个 API 端点以启动聊天机器人。
• 通过侧边栏配置模型超参数。
• 在应用底部的输入框中键入问题并按回车键。

在 Fly.io 上部署

1. 首先您需要 安装 flyctl 并通过命令行登录。
2. 运行 fly launch —— 这将自动为您生成一个 fly.toml 文件。
3. 运行 fly deploy --dockerfile Dockerfile —— 这将自动打包仓库并在 Fly 上部署。如果您使用的是免费账户，可以添加 --ha=false 标志，仅启动一个实例。
4. 前往您已部署的 Fly 应用仪表板，在左侧导航栏中点击“Secrets”，然后点击“使用 Web CLI 管理您的密钥，无需离开浏览器”。进入应用的 Web CLI 后，导出所有必要的密钥，例如 export REPLICATE_API_TOKEN=your_replicate_token。请参考 .env.example 文件以获取所需密钥。

作者

• Marco Mascorro - @mascobot
• Yoko Li - @stuffyokodraws
• Rajko Radovanović - @rajko_rad
• Matt Bornstein - @BornsteinMatt
• Guido Appenzeller - @appenz

版本

0.9.0（实验版）— 2023年7月

贡献

该项目仍在开发中，欢迎贡献！

许可证

• Web 聊天机器人许可证（本仓库）：Apache 2.0
• LLaMA 模型的许可证，请参阅 Meta Platforms, Inc. 的许可协议。

致谢

特别感谢 Meta AI 团队、Replicate、a16z-infra 以及整个开源社区。

免责声明

这是一个实验版本的应用程序。请自行承担风险使用。尽管该应用已经过测试，但作者对因使用本应用程序而导致的任何损失不承担任何责任。

UI 配置

该应用经过样式化和配置，外观更加简洁。主菜单和页脚已被隐藏。您可以根据自己的需求对其进行修改。

资源

• Streamlit 备忘录
• GitHub 上用于在 Replicate 上部署 LLaMA2 的模板

LLaMA 2 Chatbot 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
  • Mac 用户注意：部分命令可能需要使用 python3 和 pip3 替代 python 和 pip。
• Python 版本：建议 Python 3.8 及以上版本。
• 账号准备：
  1. Replicate：注册账号并获取 API Token (replicate.com)。
  2. Auth0：注册免费账号用于身份验证配置 (auth0.com)。

安装步骤

1. 克隆项目

git clone https://github.com/a16z-infra/llama2-chatbot.git
cd llama2-chatbot

2. 创建虚拟环境（可选但推荐）

python -m venv .venv
source .venv/bin/activate
# Windows 用户请使用: .venv\Scripts\activate

3. 安装依赖

pip install -r requirements.txt

提示：国内开发者若下载缓慢，可添加清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 配置 Auth0

登录 Auth0 控制台创建一个新的 Single Page Application，进入 Settings 标签页进行如下配置：

• 本地运行配置：
  • Allowed Web Origins: http://localhost:8501
  • Allowed Callback URLs: http://localhost:8501/component/auth0_component.login_button/index.html
• 远程服务器部署配置：
  • Allowed Web Origins: https://<your_domain>
  • Allowed Callback URLs: http://<your_domain>/component/auth0_component.login_button/index.html

配置完成后，复制 Client ID 和 Domain 备用。

5. 配置环境变量

复制模板文件并编辑 .env：

cp .env_template .env

使用编辑器打开 .env 文件，填入以下关键信息：

• REPLICATE_API_TOKEN: 您的 Replicate API Token
• AUTH0_CLIENTID: 上一步获取的 Auth0 Client ID
• AUTH0_DOMAIN: 上一步获取的 Auth0 Domain

(注：.env_template 中已预置了常用的 LLaMA2 模型端点配置，通常无需修改)

基本使用

启动应用

在终端执行以下命令启动 Streamlit 服务：

streamlit run llama2_chatbot.py

操作指南

1. 浏览器自动打开 http://localhost:8501。
2. 选择模型：在左侧侧边栏选择所需的 LLaMA2 API 端点（默认 70B，也可选 7B 或 13B）。
3. 调整参数：可在侧边栏配置 Temperature、Top P 和 Max Sequence Length 等超参数。
4. 开始对话：在底部输入框输入问题并回车，即可与 AI 助手进行多轮对话。

注意：聊天历史记录仅在当前会话中保留，刷新页面后历史记录将清空。