LoLLMs WebUI 快速上手指南

LoLLMs (Large Language Models Made Simple) WebUI 是一个功能强大的本地大语言模型部署与管理平台，支持多种后端（如 llama.cpp, exllama, vllm 等），提供友好的网页界面进行模型聊天、训练微调及插件扩展。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows 10/11, Linux (Ubuntu/Debian 推荐), macOS
• Python 版本：Python 3.8 - 3.11 (推荐 3.10)
• 硬件要求：
  • CPU 模式：任意现代 CPU，建议 8GB+ 内存。
  • GPU 模式 (推荐)：NVIDIA GPU (显存建议 6GB 以上以运行 7B 模型)，需安装对应的 CUDA 驱动。
• 前置依赖：
  • Git
  • pip (Python 包管理工具)

国内加速建议： 在中国大陆地区，建议在安装 Python 依赖时临时切换至清华或阿里镜像源，以提升下载速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
# Windows PowerShell: $env:PIP_INDEX_URL="https://pypi.tuna.tsinghua.edu.cn/simple"

安装步骤

1. 克隆项目仓库

打开终端（Terminal）或命令提示符，执行以下命令拉取代码：

git clone https://github.com/ParisNeo/lollms-webui.git
cd lollms-webui

2. 创建虚拟环境（推荐）

为了避免依赖冲突，建议创建独立的 Python 虚拟环境：

python -m venv venv

激活虚拟环境：

• Linux/macOS:

  source venv/bin/activate
  

• Windows:

  venv\Scripts\activate
  

3. 安装依赖

根据您的需求选择安装方式。

方式 A：标准安装（自动检测硬件）

pip install -r requirements.txt

方式 B：强制 GPU 支持（NVIDIA） 如果自动检测未生效或您需要明确指定 CUDA 版本，可先安装 torch 再安装依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

4. 初始化与启动

运行主程序脚本，首次运行会自动下载必要的配置文件并引导您选择模型后端：

python app.py

启动成功后，终端将显示访问地址，通常为 http://localhost:9600。

基本使用

1. 访问界面： 打开浏览器，访问 http://localhost:9600。

2. 配置模型：

   • 进入 Settings (设置) 页面。
   • 在 Model Zone 中选择您想要的模型后端（例如 llama-cpp 适合大多数用户）。
   • 点击 Install Model 或 Download Model，从列表中选择并下载一个模型（如 Llama-3-8B-Instruct）。
   • 注：若您已有 .gguf 格式的模型文件，可将其放入 models 文件夹并在界面中刷新加载。

3. 开始对话：

   • 返回 Chat (聊天) 页面。
   • 在顶部确认已选中刚才下载的模型。
   • 在输入框中输入问题，例如：

     请用中文介绍什么是 LoLLMs？
     

   • 点击发送，即可体验本地大模型的回复。

4. 进阶功能：

   • Personas (角色)：在设置中切换不同的系统提示词（System Prompt），让 AI 扮演程序员、作家等角色。
   • Plugins (插件)：在插件市场启用联网搜索、代码解释器等功能模块。