llms.py

轻量级命令行工具、API，以及类似 ChatGPT 的 Open WebUI 替代方案，用于访问多种大语言模型，完全离线运行，所有数据均保存在浏览器存储中，确保隐私安全。

llmspy.org

GitHub：llmspy.org

llms.py 快速上手指南

llms.py 是一个轻量级的命令行工具、API 及类 ChatGPT 界面，可作为 Open WebUI 的替代方案。它支持完全离线访问多种大语言模型（LLM），所有数据均私有化存储在浏览器本地，确保数据安全。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows、macOS 或 Linux。
• 运行时环境：已安装 Python 3.8 或更高版本。
• 前置依赖：无需安装复杂的数据库或后端服务，工具本身即为独立运行程序。

提示：国内用户建议配置 pip 国内镜像源以提升下载速度（如阿里云、清华大学源）。

安装步骤

您可以通过 pip 直接安装最新版本的 llms.py。

1. 使用国内镜像源安装（推荐）

pip install llms -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 标准安装方式

pip install llms

安装完成后，即可在终端中直接使用 llms 命令。

基本使用

llms.py 启动后会自动在本地浏览器中打开类 ChatGPT 的操作界面，所有交互均在本地完成。

启动服务

在终端执行以下命令启动服务：

llms

• 默认情况下，服务将运行在 http://localhost:5000（具体端口视输出日志而定）。
• 浏览器会自动弹出访问页面，若未自动打开，请手动访问上述地址。

加载本地模型

由于该工具设计为完全离线且数据私有，您需要预先在本地拥有兼容的模型文件（通常为 GGUF 格式）。

1. 在网页界面中，点击设置或模型加载选项。
2. 选择本地路径下的模型文件。
3. 加载成功后即可开始对话。

命令行模式（可选）

除了网页界面，您也可以直接在命令行中进行简单交互：

llms chat --model "path/to/your/model.gguf" --prompt "你好，请介绍一下你自己"

注意：首次运行时可能需要根据提示下载必要的运行时组件，请保持网络连接畅通。后续使用可完全断开网络。