LMQL 是一种基于 Python 超集 的大型语言模型（LLM）编程语言。LMQL 提供了一种新颖的方式，将传统编程与在代码中调用 LLM 的能力无缝结合。它超越了传统的模板语言，直接在程序代码层面原生集成 LLM 交互。

请填写 LMQL 开发者调查问卷，帮助我们塑造 LMQL 的下一个主要版本：https://forms.gle/pGvAicNpUhS1rAkK9

探索 LMQL

LMQL 程序的语法与标准 Python 几乎相同，但顶级字符串会被解释为查询字符串：它们会被传递给 LLM，其中像 [GREETINGS] 这样的模板变量会由模型自动补全：

"Greet LMQL:[GREETINGS]\n" where stops_at(GREETINGS, ".") and not "\n" in GREETINGS

if "Hi there" in GREETINGS:
    "Can you reformulate your greeting in the speech of \
     victorian-era English: [VIC_GREETINGS]\n" where stops_at(VIC_GREETINGS, ".")

"Analyse what part of this response makes it typically victorian:\n"

for i in range(4):
    "-[THOUGHT]\n" where stops_at(THOUGHT, ".")

"To summarize:[SUMMARY]"

程序输出：

LMQL 允许你编写同时包含传统算法逻辑和 LLM 调用的程序。在执行过程中的任何时刻，你都可以结合标准自然语言提示，对程序变量进行 LLM 提示，从而在你的程序上下文中利用模型的推理能力。

为了更好地控制 LLM 的行为，你可以使用 where 关键字来指定生成文本的约束条件和数据类型。这使得你可以引导模型的推理过程，并通过 表达性约束语言 来限制中间输出。

除了这种线性脚本形式之外，LMQL 还支持多种解码算法来执行你的程序，例如 argmax、sample，甚至更高级的分支解码器，如 束搜索和 best_k。

要深入了解 LMQL，请浏览 示例展示，在我们的 基于浏览器的游乐场 IDE 中运行你自己的程序，或阅读 文档。

功能概览

LMQL 旨在通过其先进的功能，使与 OpenAI 和 🤗 Transformers 等语言模型的合作更加高效和强大，这些功能包括多变量模板、条件分布、约束、数据类型和控制流。

• Python 语法：使用 熟悉的 Python 语法 编写查询，完全集成到你的 Python 环境中（类、变量捕获等）。
• 丰富的控制流：LMQL 完全支持 Python，能够在你的提示逻辑中实现强大的 控制流和逻辑。
• 高级解码：利用 束搜索、best_k 等高级解码技术。
• 强大的日志掩码约束：对模型输出应用 约束，例如指定标记长度、字符级约束、数据类型和停止短语，以更好地控制模型行为。
• 优化运行时：LMQL 利用推测执行来实现更快的推理、约束短路、更高效的标记使用以及 基于树的缓存。
• 同步与异步 API：使用 LMQL 的 异步 API，可以并行执行数百个查询，并支持跨查询批处理。
• 多模型支持：可无缝地与 OpenAI API、Azure OpenAI 和 🤗 Transformers 模型 一起使用。
• 广泛应用：使用 LMQL 实现高级应用，例如 模式安全的 JSON 解码、算法式提示、交互式聊天界面，以及 内联工具使用。
• 库集成：借助 LangChain 或 LlamaIndex，轻松将 LMQL 应用于现有堆栈。
• 灵活的工具：通过 LMQL 的交互式游乐场 IDE 和 Visual Studio Code 扩展 享受交互式的开发体验。
• 输出流式传输：可通过 WebSocket、REST 端点或服务器发送事件流 轻松流式传输模型输出。

快速入门

要安装最新版本的 LMQL，请在已安装 Python ==3.10 的环境中运行以下命令。

pip install lmql

本地 GPU 支持： 如果你想在本地 GPU 上运行模型，请确保在配备 GPU 版 PyTorch >= 1.11 的环境中安装 LMQL（参见 https://pytorch.org/get-started/locally/），并使用 pip install lmql[hf] 进行安装。

运行 LMQL 程序

安装完成后，您可以使用以下命令启动 LMQL 演示 IDE：

lmql playground

使用 LMQL 演示 IDE 需要安装 Node.js。如果您在 conda 管理的环境中，可以通过 conda install nodejs=14.20 -c conda-forge 安装 Node.js。否则，请访问 Node.js 官方网站 https://nodejs.org/en/download/，按照说明在您的系统上进行安装。

这将启动一个基于浏览器的演示 IDE，其中包含许多示例 LMQL 程序。如果 IDE 未自动启动，请访问 http://localhost:3000。

此外，您也可以使用 lmql run 来执行本地的 .lmql 文件。请注意，在演示 IDE 中或通过 lmql run 使用本地 HuggingFace Transformers 模型时，您必须先通过命令 lmql serve-model 为相应模型启动一个 LMQL 推理 API 实例。

配置 OpenAI API 凭证

如果您想使用 OpenAI 模型，需要配置您的 API 凭证。为此，您可以定义 OPENAI_API_KEY 环境变量，或者在当前工作目录下创建一个名为 api.env 的文件，内容如下：

openai-org: <组织标识符>
openai-secret: <API 密钥>

对于系统范围的配置，您还可以在 $HOME/.lmql/api.env 或 LMQL 发行版的项目根目录（例如开发副本中的 src/）中创建 api.env 文件。

另外，您也可以使用 LMQL 特定的环境变量 LMQL_OPENAI_SECRET 和 LMQL_OPENAI_ORG。

安装最新开发版本

要安装 LMQL 的最新（前沿）版本，您还可以运行以下命令：

pip install git+https://github.com/eth-sri/lmql

这将直接从该仓库的 main 分支安装 lmql 包。我们不会持续测试 main 版本，因此它可能不如最新的 PyPI 发布版本稳定。

贡献

LMQL 是一个以社区为中心的项目。如果您有兴趣为 LMQL 做贡献，请参阅 贡献指南 以获取更多信息，并通过 Discord 与我们联系。我们期待您的贡献！

设置开发环境

要设置支持 GPU 的本地 LMQL 开发 conda 环境，请运行以下命令：

# 准备 conda 环境
conda env create -f scripts/conda/requirements.yml -n lmql
conda activate lmql

# 在当前 shell 中注册 `lmql` 命令
source scripts/activate-dev.sh

操作系统：已测试支持 GPU 的 LMQL 版本可在 Ubuntu 22.04 上配合 CUDA 12.0 使用，也可在 Windows 10 的 WSL2 环境中配合 CUDA 11.7 使用。而无 GPU 版本（见下文）则已在 Ubuntu 22.04 和 macOS 13.2 Ventura，以及 Windows 10 的 WSL2 环境中进行了测试。

无 GPU 开发

本节介绍如何设置不使用本地 GPU 的 LMQL 开发环境。请注意，不使用本地 GPU 的 LMQL 仅支持使用集成到 API 中的模型，例如 openai/text-davinci-003。有关可用模型的详细信息，请参阅 OpenAI API 文档（https://platform.openai.com/docs/models/gpt-3-5）。

要设置不使用 GPU 的 LMQL conda 环境，请运行以下命令：

# 准备 conda 环境
conda env create -f scripts/conda/requirements-no-gpu.yml -n lmql-no-gpu
conda activate lmql-no-gpu

# 在当前 shell 中注册 `lmql` 命令
source scripts/activate-dev.sh

LMQL 快速上手指南

LMQL 是一种基于 Python 超集的大语言模型（LLM）编程语言。它允许你将传统的编程逻辑与大模型调用无缝结合，通过原生语法控制模型的生成过程、约束输出格式并实现复杂的推理流程。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：
  • 推荐：Ubuntu 22.04 (CUDA 12.0) 或 Windows 10 (WSL2 + CUDA 11.7)。
  • 无本地 GPU 模式：支持 Ubuntu 22.04, macOS 13.2+, 或 Windows 10 (WSL2)。此模式下主要使用 OpenAI 等 API 模型。
• Python 版本：必须安装 Python 3.10。
• Node.js（可选但推荐）：若需使用浏览器版 Playground IDE，需安装 Node.js (推荐 v14.20+)。
  • Conda 用户可执行：conda install nodejs=14.20 -c conda-forge
  • 其他用户请访问 Node.js 官网 安装。
• 本地 GPU 支持（可选）：若需在本地运行 HuggingFace 模型，需预先安装支持 GPU 的 PyTorch (>= 1.11)。

安装步骤

1. 基础安装（适用于调用 OpenAI/Azure API）

使用 pip 安装最新稳定版：

pip install lmql

国内加速提示：如果下载速度较慢，建议使用国内镜像源：

pip install lmql -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 本地 GPU 支持安装（适用于运行本地模型）

如果你需要在本地显卡上运行模型，请确保已安装正确的 PyTorch 版本，然后安装带有 hf 扩展的 LMQL：

pip install lmql[hf]

3. 安装最新开发版（可选）

如需体验最新功能（稳定性可能略低）：

pip install git+https://github.com/eth-sri/lmql

基本使用

配置 API 凭证

若使用 OpenAI 模型，需配置密钥。你可以选择以下任一方式：

方式 A：设置环境变量

export OPENAI_API_KEY="your_api_key"
export LMQL_OPENAI_ORG="your_org_id" # 可选

方式 B：创建配置文件 在当前工作目录或 $HOME/.lmql/ 下创建 api.env 文件：

openai-org: <org identifier>
openai-secret: <api secret>

运行第一个 LMQL 程序

LMQL 程序看起来像标准的 Python 代码，但顶层的字符串会被视为查询提示词（Prompt），方括号内的变量（如 [GREETINGS]）将由模型自动填充。

创建一个名为 hello.lmql 的文件，写入以下内容：

"Greet LMQL:[GREETINGS]\n" where stops_at(GREETINGS, ".") and not "\n" in GREETINGS

if "Hi there" in GREETINGS:
    "Can you reformulate your greeting in the speech of \
     victorian-era English: [VIC_GREETINGS]\n" where stops_at(VIC_GREETINGS, ".")

"Analyse what part of this response makes it typically victorian:\n"

for i in range(4):
    "-[THOUGHT]\n" where stops_at(THOUGHT, ".")

"To summarize:[SUMMARY]"

运行方式：

1. 使用命令行直接运行文件：

   lmql run hello.lmql
   

   (注：若使用本地 HuggingFace 模型，需先运行 lmql serve-model 启动推理服务)

2. 使用交互式 Playground IDE（推荐新手体验）： 启动本地 Web IDE：

   lmql playground
   

   启动后浏览器会自动打开 http://localhost:3000，你可以在其中查看示例、编写代码并实时查看流式输出结果。

核心语法简析

• 变量生成：[VAR_NAME] 标记模型需要生成的内容。
• 约束控制：使用 where 关键字限制生成行为，例如 stops_at(VAR, ".") 表示生成到句号停止，或指定数据类型。
• 逻辑控制：完全支持 Python 的 if, for, 函数调用等逻辑，可根据模型生成的中间结果动态决定后续 Prompt。