---

title: "llms.txt 文件" date: 2024-09-03 author: "Jeremy Howard" description: "一项关于标准化使用 /llms.txt 文件的提案，旨在为大型语言模型在推理时提供帮助其理解网站内容的信息。" image: "/sample.png"

背景

大型语言模型越来越多地依赖于网站信息，但面临一个关键限制：上下文窗口太小，无法完整处理大多数网站的内容。将包含导航、广告和 JavaScript 的复杂 HTML 页面转换为适合 LLM 的纯文本既困难又不精确。

虽然网站同时服务于人类读者和 LLM，但后者更需要集中在一个易于访问的位置、经过提炼且具有专业水准的信息。这一点对于开发环境等场景尤为重要，在这些场景中，LLM 需要快速获取编程文档和 API 信息。

提案

{.lightbox width=150px .floatr}

我们建议在网站上添加一个 /llms.txt Markdown 文件，用于提供适合 LLM 的内容。该文件包含简要的背景信息、使用指南以及指向详细 Markdown 文件的链接。

llms.txt 使用 Markdown 格式，既便于人类阅读，也便于 LLM 解析；同时，其格式规范，可采用固定的处理方法（如解析器和正则表达式等传统编程技术）。

此外，我们还建议那些可能对 LLM 有用的网页，应在与原页面相同的 URL 下提供一个纯净的 Markdown 版本，只需在原 URL 后加上 .md 后缀即可。对于没有明确文件名的 URL，则应附加 index.html.md。

FastHTML 项目 的文档就遵循了这两项提议。例如，这是 FastHTML 文档中的 llms.txt。而这里是一个普通的 HTML 文档页面 https://www.fastht.ml/docs/tutorials/by_example.html，以及完全相同 URL 但带有 .md 后缀的版本 https://www.fastht.ml/docs/tutorials/by_example.html.md。

本提案并未对如何处理 llms.txt 文件提出具体建议，因为这将取决于具体的应用场景。例如，FastHTML 项目选择自动将 llms.txt 展开为两个 Markdown 文件，内容来自其中链接的 URL，并采用适合 Claude 等 LLM 使用的 XML 结构。这两个文件分别是：llms-ctx.txt，不含可选的 URL；以及 llms-ctx-full.txt，包含所有 URL。它们是通过 llms_txt2ctx 命令行工具生成的，FastHTML 文档中也提供了用户如何使用它们的相关说明。

llms.txt 文件的灵活性使其能够满足多种需求——从帮助开发者熟悉软件文档，到为企业梳理组织架构，甚至为利益相关者解读复杂的法律法规。它同样适用于个人网站，可用于解答关于个人简历的问题；也可用于电商网站，以清晰地说明产品和政策；或供学校和大学快速提供课程信息及资源。

值得注意的是，所有 nbdev 项目现在都会默认生成所有页面的 .md 版本。所有使用 nbdev 的 Answer.AI 和 fast.ai 软件项目都已重新生成了包含此功能的文档。例如，可以参阅 fastcore 的文档模块的 Markdown 版本 https://fastcore.fast.ai/docments.html.md。

格式

目前，语言模型最广泛且最容易理解的格式就是 Markdown。简单地指出关键 Markdown 文件的位置，就是一个很好的开端。提供一些基本的结构，有助于语言模型找到所需信息的来源。

llms.txt 文件的独特之处在于，它使用 Markdown 来组织信息，而非传统的结构化格式（如 XML）。之所以如此，是因为我们预计许多此类文件将由语言模型和智能体读取。尽管如此，llms.txt 中的信息仍遵循特定的格式，可以使用标准的程序化工具进行解析。

llms.txt 文件的规范适用于位于网站根路径 /llms.txt（或可选地位于子路径）的文件。符合规范的文件应按以下顺序包含以下 Markdown 段落：

• 一个 H1 标题，标明项目或站点名称。这是唯一必需的部分。
• 一段引用块，包含项目的简短概述，列出理解文件其余部分所必需的关键信息。
• 零个或多个非标题类型的 Markdown 段落、列表等，提供更多关于项目及其所提供文件的详细信息。
• 零个或多个由 H2 标题分隔的 Markdown 段落，包含“文件列表”，列出可获取更多细节的 URL。
  • 每个“文件列表”都是一个 Markdown 列表，至少包含一个必填的 Markdown 超链接 [名称](网址)，随后可选地加上 : 及对该文件的注释。

以下是一个示例：

# 标题

> 可选描述放在这里

可选详细信息放在这里

## 部分名称

- [链接标题](https://链接地址): 可选链接详情

## 可选部分

- [链接标题](https://链接地址)

需要注意的是，“可选部分”具有特殊含义——如果包含这一部分，当需要较短的上下文时，其中提供的 URL 就可以被跳过。因此，建议将其用于通常可以忽略的次要信息。

现有标准

llms.txt 文件旨在与当前的 Web 标准共存。虽然站点地图为搜索引擎列出了所有页面，但 llms.txt 则为大型语言模型提供了一份精选的概览。它可以通过为允许的内容提供上下文，来补充 robots.txt 文件的功能。该文件还可以引用网站上使用的结构化数据标记，帮助大型语言模型理解如何在特定上下文中解释这些信息。

将文件路径标准化的做法，沿用了 /robots.txt 和 /sitemap.xml 的模式。robots.txt 和 llms.txt 的用途有所不同：robots.txt 通常用于告知自动化工具哪些内容可以被访问，例如用于搜索索引的爬虫；而 llms.txt 中的信息则更多是在用户明确请求相关主题信息时按需使用，比如在项目中引入某个代码库的文档，或向具备搜索功能的聊天机器人提问时。我们预计，llms.txt 主要会在推理阶段发挥作用——即用户寻求帮助的时候，而非用于训练。不过，如果 llms.txt 得到广泛应用，未来的训练过程也可能会利用其中的信息。

sitemap.xml 是网站上所有可索引的人类可读内容的列表。但这并不能替代 llms.txt，因为：

• 它通常不会列出面向大型语言模型的版本页面；
• 它不包含外部网站的 URL，尽管这些链接可能有助于理解相关信息；
• 它通常会涵盖大量文档，整体内容往往超出大型语言模型的上下文窗口限制，并且包含许多对理解网站本身并非必要的信息。

示例

以下是一个 llms.txt 文件的示例，这里是 FastHTML 项目所用文件的精简版（参见完整版）：

# FastHTML

> FastHTML 是一个 Python 库，它将 Starlette、Uvicorn、HTMX 以及 fastcore 的 `FT`“FastTags”整合在一起，用于构建服务器端渲染的超媒体应用。

重要提示：

- 尽管其部分 API 受到 FastAPI 的启发，但它*并不*兼容 FastAPI 的语法，也不以构建 API 服务为目标。
- FastHTML 兼容原生 JavaScript Web 组件和任何原生 JavaScript 库，但不兼容 React、Vue 或 Svelte。

## 文档

- [FastHTML 快速入门](https://fastht.ml/docs/tutorials/quickstart_for_web_devs.html.md)：简要概述 FastHTML 的多项功能。
- [HTMX 参考](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md)：对所有 HTMX 属性、CSS 类、HTTP 头、事件、扩展、JavaScript 库方法及配置选项的简要说明。

## 示例

- [待办事项列表应用](https://github.com/AnswerDotAI/fasthtml/blob/main/examples/adv_app.py)：详细演示一个完整的 CRUD 应用，展示 FastHTML 和 HTMX 模式的典型用法。

## 可选资源

- [Starlette 完整文档](https://gist.githubusercontent.com/jph00/809e4a4808d4510be0e3dc9565e9cbd3/raw/9b717589ca44cedc8aaf00b2b8cacef922964c0f/starlette-sml.md)：适用于 FastHTML 开发的 Starlette 文档子集。

为了创建有效的 llms.txt 文件，建议遵循以下指南：

• 使用简洁明了的语言。
• 链接资源时，附上简短而富有信息量的描述。
• 避免使用含糊不清的术语或未加解释的专业词汇。
• 使用工具将 llms.txt 文件扩展为大型语言模型的上下文文件，并测试多种语言模型，以确认它们能否回答关于您内容的问题。

目录

以下是一些列出网络上可用 llms.txt 文件的目录：

• llmstxt.site
• directory.llmstxt.cloud

集成工具

目前已有多种工具和插件可以帮助您将 llms.txt 规范集成到工作流中：

• llms_txt2ctx —— 用于解析 llms.txt 文件并生成大型语言模型上下文的命令行工具和 Python 模块。
• JavaScript 实现 —— 示例性的 JavaScript 实现。
• vitepress-plugin-llms —— 一个 VitePress 插件，可根据 llms.txt 规范自动生成适合大型语言模型的网站文档。
• docusaurus-plugin-llms —— 一个 Docusaurus 插件，用于按照 llmtxt.org 标准生成适合大型语言模型的文档。
• Drupal LLM 支持 —— 一个 Drupal 模块，可在任何运行 Drupal 10.3 及以上版本的站点上全面支持 llms.txt 提案。
• llms-txt-php —— 一个用于编写和读取 llms.txt Markdown 文件的库。
• VS Code PagePilot 扩展 —— PagePilot 是一款 VS Code 聊天插件，能够自动加载外部上下文（文档、API、README 文件），从而提供更优质的回复。

后续步骤

llms.txt 规范向社区开放，欢迎提出意见和建议。一个 GitHub 仓库 托管着这份非正式概述，便于版本控制和公开讨论。此外，还有一个社区 Discord 频道，供大家分享实施经验并探讨最佳实践。

llms.txt 快速上手指南

llms.txt 是一种为大型语言模型（LLM）设计的标准化文件规范。通过在网站根目录部署该文件，开发者可以为 LLM 提供精简、结构化的项目背景、核心文档链接及使用指南，从而解决 LLM 上下文窗口有限、难以处理复杂 HTML 的问题。

环境准备

llms.txt 本质上是一个遵循特定格式的 Markdown 文件，无需复杂的运行时环境即可创建。但为了验证文件有效性或自动生成上下文文件，建议准备以下环境：

• 操作系统：Linux, macOS, 或 Windows (WSL)
• 前置依赖：
  • 任意文本编辑器（用于编写 .md 文件）
  • Python 3.8+（可选，用于使用官方 CLI 工具 llms_txt2ctx）
  • Node.js（可选，若使用前端框架插件如 VitePress 或 Docusaurus）

安装步骤

方式一：手动创建（推荐用于静态站点）

无需安装任何软件包，直接在网站项目的根目录（或文档子目录）下创建名为 llms.txt 的文件。

方式二：使用 CLI 工具（用于生成和验证）

如果你希望将 llms.txt 扩展为包含完整内容的 LLM 上下文文件，可以安装官方提供的 Python 命令行工具：

pip install llms-txt2ctx

方式三：集成到文档框架（自动化生成）

如果你使用主流静态站点生成器，可安装对应插件自动构建 llms.txt：

• VitePress:

  npm install vitepress-plugin-llms
  

• Docusaurus:

  npm install docusaurus-plugin-llms
  

• nbdev (Python 项目): 无需额外安装，最新版本的 nbdev 默认会自动生成所有页面的 .md 版本及 llms.txt。

基本使用

1. 编写 llms.txt 文件

在项目根目录创建 llms.txt，遵循以下标准结构：

1. H1 标题：项目或网站名称（必填）。
2. 引用块：简短的项目摘要，包含理解项目所需的关键信息。
3. 详细说明：可选的段落或列表，解释如何使用提供的文件。
4. 文件列表 (H2 开头)：包含指向详细文档（通常为 .md 结尾）的链接列表。
   • 格式：- [链接标题](URL): 可选的描述
   • Optional 章节：使用 ## Optional 作为标题，其中的链接在上下文受限时可被跳过。

示例内容 (llms.txt)：

# MyProject

> MyProject 是一个基于 Python 的高效数据处理库，旨在简化 ETL 流程。

重要提示：
- 本库不兼容 Python 3.7 及以下版本。
- 需要预先安装 Pandas 和 NumPy。

## 核心文档

- [快速开始](https://example.com/docs/quickstart.md): 5 分钟内上手的核心教程
- [API 参考](https://example.com/docs/api-reference.md): 完整的函数与类定义

## 示例代码

- [数据清洗示例](https://example.com/examples/cleaning.py): 展示如何处理缺失值

## Optional

- [底层架构设计](https://example.com/docs/architecture.md): 适合高级开发者的深度解析
- [历史版本变更日志](https://example.com/changelog.md)

2. 提供 Markdown 版本的文档

为了让 LLM 更好地读取，建议网站上的关键文档页面同时提供纯 Markdown 版本。

• 规则：在原 URL 后追加 .md。
• 示例：如果原页面是 https://example.com/docs/guide.html，请确保 https://example.com/docs/guide.html.md 也可访问并返回纯文本 Markdown 内容。

3. 验证与生成上下文 (可选)

使用安装的 CLI 工具测试你的 llms.txt 是否能正确解析并生成适合 LLM 的上下文文件：

# 生成不包含 Optional 链接的精简上下文
llms_txt2ctx llms.txt --output llms-ctx.txt

# 生成包含所有链接的完整上下文
llms_txt2ctx llms.txt --full --output llms-ctx-full.txt

生成的文件可直接作为 Prompt 上下文输入给 Claude、GPT-4 等模型进行测试，确保模型能准确回答关于你项目的问题。