Lean Copilot：在 Lean 中作为定理证明助手的大型语言模型

🚩新闻：我们的论文已被 2025 年神经符号系统国际会议（NeuS）接收。费城见！

Lean Copilot 允许大型语言模型（LLMs）原生地集成到 Lean 中，用于证明自动化，例如建议策略/前提以及搜索证明。您可以使用来自 LeanDojo 的内置模型，也可以引入您自己的模型，这些模型可以在本地运行（无论是否有 GPU）或在云端运行。

https://github.com/lean-dojo/LeanCopilot/assets/114432581/ee0f56f8-849e-4099-9284-d8092cbd22a3

目录

1. 要求
2. 在您的项目中使用 Lean Copilot
   1. 将 Lean Copilot 添加为依赖项
   2. 开始使用 Lean Copilot
      1. 策略建议
      2. 证明搜索
      3. 前提选择
3. 高级用法
   1. 策略 API
   2. 模型 API
   3. 引入您自己的模型
4. 注意事项
5. 联系我们
6. 致谢
7. 引用

要求

• 支持的平台：Linux、macOS、Windows 和 Windows WSL。
• Git LFS。
• 可选（如果您拥有支持 CUDA 的 GPU，建议安装）：CUDA 和 cuDNN。
• 构建 Lean Copilot 本身（而非下游包）所需的条件：CMake ≥ 3.7 以及兼容 C++17 的编译器。

在您的项目中使用 Lean Copilot

:warning: 您的项目必须使用至少 lean4:v4.3.0-rc2 版本的 Lean。

将 Lean Copilot 添加为依赖项

1. 在 lakefile.lean 中添加软件包配置选项 moreLinkArgs := #["-L./.lake/packages/LeanCopilot/.lake/build/lib", "-lctranslate2"]。例如：

package «my-package» {
  moreLinkArgs := #[
    "-L./.lake/packages/LeanCopilot/.lake/build/lib",
    "-lctranslate2"
  ]
}

或者，如果您的项目使用 lakefile.toml，则应包含以下内容：

moreLinkArgs = ["-L./.lake/packages/LeanCopilot/.lake/build/lib", "-lctranslate2"]

2. 在 lakefile.lean 中添加以下一行，包括引号：

require LeanCopilot from git "https://github.com/lean-dojo/LeanCopilot.git" @ "LEAN_COPILOT_VERSION"

对于稳定的 Lean 版本（例如 v4.28.0），将 LEAN_COPILOT_VERSION 设置为该版本。对于最新的不稳定版本（例如 v4.29.0-rc1），将 LEAN_COPILOT_VERSION 设置为 main。无论哪种情况，都请确保版本与其他依赖项（如 mathlib）兼容。如果您的项目使用 lakefile.toml 而不是 lakefile.lean，则应包含：

[[require]]
name = "LeanCopilot"
git = "https://github.com/lean-dojo/LeanCopilot.git"
rev = "LEAN_COPILOT_VERSION"

3. 如果您使用的是原生 Windows，请将 <path_to_your_project>/.lake/packages/LeanCopilot/.lake/build/lib 添加到“高级系统设置”→“环境变量”→“系统变量”中的 Path 变量中。

4. 运行 lake update LeanCopilot。

5. 运行 lake exe LeanCopilot/download，以从 Hugging Face 下载内置模型到 ~/.cache/lean_copilot/。或者，您也可以手动从以下链接下载模型：

• ct2-leandojo-lean4-tacgen-byt5-small
• ct2-leandojo-lean4-retriever-byt5-small
• premise-embeddings-leandojo-lean4-retriever-byt5-small
• ct2-byt5-small

6. 运行 lake build。

这里是一个依赖 Lean Copilot 的 Lean 包示例。如果您在构建项目时遇到问题，我们的 Dockerfile、build.sh 或 build_example.sh 可能会有所帮助。

开始使用 Lean Copilot

策略建议

在 import LeanCopilot 之后，您可以使用策略 suggest_tactics 来生成策略建议。您可以点击任何一条建议的策略将其应用于证明中。

您还可以提供一个前缀（例如 simp），以限制生成的策略范围：

证明搜索

策略 search_proof 将 LLM 生成的策略与 aesop 结合起来，搜索多步策略证明。当找到证明时，您可以点击它将其插入编辑器中。

前提选择

策略 select_premises 会检索一份可能有用的前提列表。目前，它使用 LeanDojo 中的检索器，从 Lean 和 mathlib4 的固定快照中选择前提。

运行 LLMs

您还可以在 Lean 中运行任何 LLM 的推理，这可用于构建自定义的证明自动化或其他基于 LLM 的应用（不仅限于定理证明）。您可以选择在本地或远程运行任意模型（详见 引入您自己的模型）。

高级用法

本节仅适用于希望更改 suggest_tactics、search_proof 或 select_premises 默认行为的高级用户，例如使用不同的模型或超参数。

策略 API

• TacticSuggestion.lean 中的示例展示了如何配置 suggest_tactics，例如使用不同的模型或生成不同数量的策略。
• ProofSearch.lean 中的示例展示了如何使用 aesop 提供的选项来配置 search_proof。
• PremiseSelection.lean 中的示例展示了如何设置 select_premises 的前提条件检索数量。

模型 API

ModelAPIs.lean 中的示例展示了如何运行不同模型的推理，并配置其参数（温度、束宽等）。

Lean Copilot 支持两种类型的模型：生成器和编码器。生成器必须实现 TextToText 接口：

class TextToText (τ : Type) where
  generate (model : τ) (input : String) (targetPrefix : String) : IO $ Array (String × Float)

• input 是输入字符串。
• targetPrefix 用于约束生成器的输出。"" 表示无约束。
• generate 应返回一个 String × Float 数组。每个 String 是模型的输出，Float 是对应的得分。

我们提供了三种类型的生成器：

• NativeGenerator 在本地运行，由 CTranslate2 提供支持，并通过外部函数接口 (FFI) 与 Lean 链接。
• ExternalGenerator 可以托管在本地或远程。详情请参阅“自带模型”部分。
• GenericGenerator 可以是任何实现了 TextToText 类型类中 generate 函数的对象。

编码器必须实现 TextToVec：

class TextToVec (τ : Type) where
  encode : τ → String → IO FloatArray

• input 是输入字符串。
• encode 应返回由模型生成的向量嵌入。

与生成器类似，我们也提供 NativeEncoder、ExternalEncoder 和 GenericEncoder。

自带模型

原则上，可以通过 ExternalGenerator 或 ExternalEncoder 使用任何模型运行 Lean Copilot（示例见 ModelAPIs.lean）。要使用某个模型，需要对其进行适当的封装，以暴露 external_model_api.yaml 中定义的 API。作为示例，我们提供了一个 Python API 服务器，并用它来运行几个模型。

注意事项

• select_premises 始终会检索前提的原始形式。例如，Nat.add_left_comm 是下面定理的结果。在这种情况下，select_premises 会检索 Nat.mul_left_comm 而不是 Nat.add_left_comm。

@[to_additive]
theorem mul_left_comm : ∀ a b c : G, a * (b * c) = b * (a * c)

• 在某些情况下，search_proof 会生成包含错误信息（如 fail to show termination for ...）的错误证明。临时解决方法是在应用 search_proof 之前更改定理名称。待 search_proof 完成后，可以再将其改回原名。

联系我们

• 如有任何一般性问题或讨论，请使用 GitHub Discussions。
• 如需报告潜在的 bug，请提交 issue。请在 issue 中提供您的操作系统信息、在 Lean Copilot 最新稳定版本 上复现该错误的详细步骤，以及完整的日志（最好为调试模式）。重要提示：如果您的问题无法轻松复现，我们将很难为您提供帮助。
• 我们热烈欢迎功能请求和贡献。请随时发起 讨论 或提交 拉取请求。

致谢

• 我们感谢 Scott Morrison 对简化 Lean Copilot 安装流程提出的建议，以及 Mac Malone 在实施过程中的帮助。Scott 和 Mac 均就职于 Lean FRO。
• 我们感谢 Jannis Limperg 在 Aesop 中支持我们基于 LLM 的策略（https://github.com/leanprover-community/aesop/pull/70）。

引用

如果您认为我们的工作有所帮助，请考虑引用我们的论文：

@article{song2024lean,
  title={Lean copilot: Large language models as copilots for theorem proving in lean},
  author={Song, Peiyang and Yang, Kaiyu and Anandkumar, Anima},
  journal={arXiv preprint arXiv:2404.12534},
  year={2024}
}

LeanCopilot 快速上手指南

LeanCopilot 是一个允许在 Lean 证明助手中原生使用大语言模型（LLM）的工具，支持战术建议、自动证明搜索和前提选择等功能。

环境准备

系统要求

• 操作系统：Linux, macOS, Windows 或 Windows WSL。
• Lean 版本：项目必须使用 lean4:v4.3.0-rc2 或更高版本。

前置依赖

• Git LFS：必须安装 Git LFS 以拉取模型文件。
• 编译工具（仅当需要从头构建 LeanCopilot 时）：CMake >= 3.7 和支持 C++17 的编译器。
• GPU 加速（可选但推荐）：如果拥有 CUDA -enabled GPU，建议安装 CUDA 和 cuDNN 以提升推理速度。

安装步骤

1. 配置项目依赖

在你的 Lean 项目根目录下，编辑 lakefile.lean（或 lakefile.toml）。

对于 lakefile.lean： 添加链接参数并引入 LeanCopilot 依赖：

package «my-package» {
  moreLinkArgs := #[
    "-L./.lake/packages/LeanCopilot/.lake/build/lib",
    "-lctranslate2"
  ]
}

require LeanCopilot from git "https://github.com/lean-dojo/LeanCopilot.git" @ "LEAN_COPILOT_VERSION"

注意：将 LEAN_COPILOT_VERSION 替换为与你当前 Lean 版本兼容的标签。

• 稳定版 Lean (如 v4.28.0)：使用对应的版本号。
• 最新开发版 Lean (如 v4.29.0-rc1)：使用 main。

对于 lakefile.toml：

moreLinkArgs = ["-L./.lake/packages/LeanCopilot/.lake/build/lib", "-lctranslate2"]

[[require]]
name = "LeanCopilot"
git = "https://github.com/lean-dojo/LeanCopilot.git"
rev = "LEAN_COPILOT_VERSION"

2. Windows 用户额外步骤

如果你使用的是原生 Windows（非 WSL），需要将以下路径添加到系统的 Path 环境变量中： <你的项目路径>/.lake/packages/LeanCopilot/.lake/build/lib

3. 更新与构建

在项目根目录终端执行以下命令：

# 更新依赖
lake update LeanCopilot

# 下载内置模型 (默认下载至 ~/.cache/lean_copilot/)
# 如果下载速度慢，可手动从 HuggingFace 下载后放入对应目录
lake exe LeanCopilot/download

# 构建项目
lake build

提示：若 lake exe LeanCopilot/download 连接 HuggingFace 超时，可手动访问以下链接下载模型文件并放置于 ~/.cache/lean_copilot/：

• ct2-leandojo-lean4-tacgen-byt5-small
• ct2-leandojo-lean4-retriever-byt5-small
• premise-embeddings-leandojo-lean4-retriever-byt5-small

基本使用

在您的 .lean 文件顶部导入库：

import LeanCopilot

1. 战术建议 (Tactic Suggestion)

使用 suggest_tactics 让 LLM 生成下一步可能的战术。点击编辑器中生成的建议即可直接应用。

example : ∀ n : Nat, n + 0 = n := by
  intro n
  suggest_tactics -- 生成战术建议
  -- 点击建议中的 `simp` 或其他战术继续证明

你也可以指定前缀来限制生成的战术类型：

  suggest_tactics "simp" -- 仅生成以 simp 开头的战术

2. 自动证明搜索 (Proof Search)

使用 search_proof 结合 LLM 生成的战术和 aesop 进行多步证明搜索。找到证明后可一键插入。

example : ∀ n m : Nat, n + m = m + n := by
  search_proof -- 自动搜索完整证明路径

3. 前提选择 (Premise Selection)

使用 select_premises 检索当前上下文中可能有用到的引理或前提。

example : some_theorem := by
  select_premises -- 列出相关前提供选择
  -- 选择后自动引入到上下文
  sorry

4. 运行自定义模型

LeanCopilot 支持在 Lean 内部直接运行任意 LLM 推理（本地或远程），可用于构建自定义自动化流程。

-- 示例：运行模型推理
#eval LeanCopilot.Models.NativeGenerator.run "input text"