苏秦（suqin） 语言大模型全工具链 WebUI 整合包

English | 中文

介绍

⛓️ 本项目目标是实现目前各大语言模型的全流程工具 WebUI 整合包。不用写代码即可拥有自己的定制模型与专属应用！

具体功能模块如下：

---

开发部署

初次使用建议查阅说明文档进行相关操作

软件需求

本项目已在 Python 3.8 - 3.10，CUDA 11.7/11.8 环境下完成测试。已在 Windows、Linux 系统中完成测试。

安装环境

1. 运行环境

# 拉取仓库
$ git clone https://github.com/wpydcr/LLM-Kit.git

# 进入目录
$ cd LLM-Kit

# 安装依赖
$ pip install -r requirements.txt

依赖也可以直接下载：Windows环境包， Linux环境包。

显卡驱动和cuda自行安装

2. 执行脚本

• win环境，双击打开 web-demo-CN.bat 脚本
• Linux环境，双击打开 web-demo-CN.sh 脚本

3. 相关演示文件

• 体验大模型连接数据库功能请先下载相关文件
• 体验角色扮演功能请先下载相关文件
• 表情包功能请先下载相关文件放入data/apply/emotion文件夹中

---

文件目录

• env ：集成包环境
• utils ：工具代码
• modules ：各模块代码
  • agent ：agent相关代码
    • chatdb : 数据库接入相关代码
    • svc : svc相关代码
    • vits : vits相关代码
  • apply ：应用demo代码
  • model ：模型相关代码
• data ：数据文件
  • apply ：应用demo相关文件
    • audio ：生成的语音文件
    • emotion ：表情包文件
    • play ：人设提示词文件
  • documents ：知识库数据文件
  • modeldata ：模型训练数据文件
    • LLM ：大模型训练数据文件
    • Embedding ：嵌入模型训练数据文件
• ui ：ui界面代码
• output ：训练中的checkpoints
• models ：模型文件
  • LLM ：语言大模型文件
  • Embedding ：嵌入模型文件
  • LoRA ：LoRA模型文件
  • live2d_models ：live2d模型文件
  • svc_models ：svc相关文件
    • hubert_model ：声音编码器模型文件
    • svc : svc模型文件
  • vits_pretrained_models : vits模型文件

---

发展路线图

• LLM API支持(无需显卡)

  • openai(支持国内中转)
  • azure openai
  • 文心一言
  • 智谱GLM
  • 通义千问
  • 讯飞星火
  • claude
  • aihubmix

• LLM 模型支持(训练/推理)

  • 4bit与8bit量化（bitsandbytes仅支持linux）
  • 使用内存替代部分显存（deepspeed训练仅支持linux，推理在windows需编译）
  • chatglm-6b
  • chatglm2-6b
  • chatglm2-6b-32k
  • moss-moon-003-sft
  • phoenix-chat-7b
  • Guanaco
  • baichuan-vicuna-chinese-7b
  • Baichuan-13B-Chat
  • internlm-chat-7b-8k
  • chinese-alpaca-2-7b(llama2)
  • Qwen-7B-Chat
  • Qwen-14B-Chat
  • Baichuan2-7B-Chat
  • Baichuan2-13B-Chat

• 多模态大模型(推理)

  • qwen-vl

• Finetune 支持

  • LoRA
  • P-Tuning
  • 全参数微调

• Embedding 模型支持(训练，推理:HuggingFaceEmbeddings能加载的都行)

  • BERT,SENTENCEBERT,COSENT架构的模型
    • shibing624/text2vec-base-chinese
    • bert-base-uncased
    • paraphrase-multilingual-MiniLM-L12-v2

• 工具

  • 聊天
    • LLM API 并行调用
    • LLM API 流式调用
    • 提示词模板
  • 图像生成
    • Midjourney(VPN)
    • GEN-2
    • Pika
  • 数据集
    • LLM训练数据集制作
    • Embedding训练数据集制作
    • LLM数据集格式转换
    • Embedding数据集格式转换
  • langchain
    • 本地知识库
      • FAISS
      • 本地模型知识库并行调用
    • 网络接入
    • mysql数据库接入
    • Agent 实现
  • 扩展插件模式

• 应用demo

  • 角色扮演
    • 记忆库
    • 背景库
    • 人设提示词
    • 时间感知
    • 表情包
  • AI 智能体
    • 单智能体设计
    • 场景设定
    • 智能体交互
    • 可视化
  • 人物形象
    • 声音
      • 在线tts
      • 本地tts
      • vits 调用
      • vits 训练
      • svc 调用
      • svc 训练
    • live2D
      • 嘴型
      • live2d 场景自定义
      • 表情
      • 动作
    • 真人
      • 嘴型
      • 表情
      • 动作
      • 场景

• 增加 API 支持

  • 利用 fastapi 实现 API 部署方式
  • 实现调用 API 的 Web UI Demo
  • VUE 页面前端

---

贡献者

吴平宇 @USTC

发起人，负责整体项目架构和技术规划

廖文彬 @中科院计算技术研究所

负责gradio，图向量数据库，Mysql数据库，api接口集成等python开发

胡钜程 @伦敦大学学院UCL

负责图向量数据库， live2D，vits, svc，gradio等python开发

李璟辉

负责大模型训练与推理的后端代码开发

---

项目招募

详见说明文档

---

参考与学习

基于ChatGLM的langchain应用（GitHub链接）

骆驼中文大模型（GitHub链接）

ChatDB

Live2d模型

Chat-Haruhi-Suzumiya

川虎Chat：为多种LLM提供Web图形界面

---

开源协议

本仓库的代码依照 AGPL-3.0 协议开源

一方面希望通过开源加强项目产品化程度；另一方面希望在社区中吸收更多的实践场景进而继续完善产品，也欢迎大家参与到项目中来。

AGPL-3.0 是 OSI 批准的许可证，符合自由和开源软件的所有标准，开源永远是我们的初心与核心，我们将始终不渝的坚持去做这件事，我们相信在社区的推动下，这件事我们一定会做的更好 。

或许很多开发者对此协议抱有一些疑问，开源社区目前也有很多采用 AGPL-3.0 协议的开源软件，例如 MongoDB、Grafana、Loki 等， 维基百科还专门有一份列表列出了哪些开源项目 采用了 AGPL-3.0 开源协议。

AGPL-3.0 协议有一个非常关键的点，即对修改上游开源项目代码后的二次分发版本必须也要开源，协议限制的是部分企业想 Folk 开源项目代码后进行闭源商业分发，跟上游开源项目的维护团队进行直接的商业竞争，如果仅仅只是企业内部自己使用而不进行任何层面修改，用户大可不必担心 AGPL-3.0 协议带来的限制， 这些条件旨在鼓励和希望修改软件的第三方也为项目和社区做出贡献。我们认为这是一种更公平的前进方式，我们相信这将有助于我们建立更强大的社区。

简单来讲：如果您修改了本项目源代码，那么您必须将这些修改贡献给社区， 绝不允许修改后和衍生的代码做为闭源的商业软件发布和销售。

我们也提供了商业授权，如果您需要将本产品进行二次开发、更改并进行任何附带商业化性质行为使用，请联系我们（wupingyu@mail.ustc.edu.cn）进行商业授权，以遵守 AGPL-3.0 协议保证您的正常使用。

除此之外，我们也会酌情接受根据个人或企业需求的定制化开发。

目前在国内 GPL 协议具备合同特征，是一种民事法律行为 ，属于我国《合同法》调整的范围。 本项目团队保留诉讼权利。

本项目开源团队拥有对本开源协议的最终解释权。

---

引用

如果您在项目中使用了我们的模型、代码或者数据，请引用下面文章。

Please cite the repo if you use the data or code in this repo.

@misc{wupingyu2023,
  author={Pingyu Wu},
  title = {LLM Kit},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/wpydcr/LLM-Kit.git}},
}

---

Starchart

LLM-Kit (苏秦) 快速上手指南

LLM-Kit 是一个集成了大语言模型全流程工具的 WebUI 整合包，支持无需代码即可定制专属模型与应用。

1. 环境准备

系统要求

• 操作系统：Windows 或 Linux
• Python 版本：3.8 - 3.10
• 显卡驱动：需安装 NVIDIA 显卡驱动
• CUDA 版本：推荐 11.7 或 11.8

前置依赖

请确保已安装以下基础软件（如未安装，请点击链接下载）：

• NVIDIA 显卡驱动
• CUDA Toolkit

提示：国内用户若无法通过 pip 正常安装依赖，可前往项目提供的百度网盘链接下载预编译好的环境包（Windows/Linux）。

2. 安装步骤

第一步：获取代码

克隆项目仓库到本地：

git clone https://github.com/wpydcr/LLM-Kit.git
cd LLM-Kit

第二步：安装依赖

使用 pip 安装所需 Python 库：

pip install -r requirements.txt

(注：如遇网络问题，建议配置国内镜像源，例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

第三步：启动服务

根据操作系统选择对应的脚本双击运行或在终端执行：

• Windows 用户：

  web-demo-CN.bat
  

• Linux 用户：

  bash web-demo-CN.sh
  

启动成功后，浏览器将自动打开或显示本地访问地址（通常为 http://127.0.0.1:xxxx）。

3. 基本使用

启动后，您将通过 Web 界面操作所有功能。以下是两种最基础的使用场景：

场景一：连接云端大模型 API（无需本地显卡）

1. 在 WebUI 左侧菜单栏选择 "LLM API" 模块。
2. 选择服务商（支持 OpenAI、文心一言、智谱 GLM、通义千问、讯飞星火等）。
3. 填入对应的 API Key 和 Secret Key。
4. 点击“连接”或“发送”，即可在对话框中与云端大模型进行对话。

场景二：加载本地模型进行推理

1. 确保已将模型文件（如 ChatGLM, Qwen, Baichuan 等）放入 models/LLM 目录。
2. 在 WebUI 中选择 "本地模型" 模块。
3. 在下拉菜单中选择已放入的模型名称。
4. 点击加载，待状态显示就绪后，即可开始本地对话。

进阶功能提示：如需体验角色扮演、数据库连接或表情包互动，请先查阅项目文档下载对应的演示数据文件，并放置于 data/apply 对应子目录中。