⚠️ 弃用通知

该 API 即将被弃用，我们建议改用我们的主端点。这里有一个用于生成 LLMs.txt 文件的示例仓库：https://github.com/mendableai/create-llmstxt-py。此 API 端点仍将继续保持活跃状态，但我们将于 2025 年 6 月 30 日之后停止维护。

llms.txt 生成器 🚀

从网站中提取内容并合并为用于 LLM 训练和推理的汇总文本文件。由 @firecrawl_dev 提供网页爬取功能，使用 GPT-4-mini 进行文本处理。

功能特性

• 爬取网站并将内容合并到单个文本文件中
• 生成标准版 (llms.txt) 和完整版 (llms-full.txt)
• 提供 Web 界面和 API 访问
• 基本使用无需 API 密钥

使用方法

Web 界面

访问 llmstxt.firecrawl.dev，通过浏览器生成文件。

API 端点

GET https://llmstxt.firecrawl.dev/[YOUR_URL_HERE]

注意：由于涉及网页爬取和 LLM 处理，整个过程可能需要几分钟时间。

本地开发

前置条件

创建一个 .env 文件，并添加以下变量：

FIRECRAWL_API_KEY=
SUPABASE_URL=
SUPABASE_KEY=
OPENAI_API_KEY=

安装与运行

npm install
npm run dev

llmstxt-generator 快速上手指南

⚠️ 重要提示：该 API 接口已宣布弃用，官方推荐使用新的 Python 仓库 create-llmstxt-py。当前接口将持续运行至 2025 年 6 月 30 日，但不再进行维护。以下指南基于现有版本整理。

llmstxt-generator 是一个用于将网站内容爬取并整合为单一文本文件（llms.txt 和 llms-full.txt）的工具，专为大语言模型（LLM）的训练和推理优化。它由 Firecrawl 提供爬虫支持，并使用 GPT-4-mini 进行文本处理。

环境准备

在本地开发之前，请确保您的系统满足以下要求：

• 运行时环境：Node.js (推荐最新 LTS 版本)
• 包管理器：npm
• API 密钥：您需要准备以下服务的 API Key（需自行申请）：
  • Firecrawl (FIRECRAWL_API_KEY)
  • Supabase (SUPABASE_URL, SUPABASE_KEY)
  • OpenAI (OPENAI_API_KEY)

安装步骤

1. 克隆项目或进入项目目录（假设您已获取源代码）。

2. 配置环境变量： 在项目根目录下创建 .env 文件，并填入您的密钥信息：

   FIRECRAWL_API_KEY=your_firecrawl_key
   SUPABASE_URL=your_supabase_url
   SUPABASE_KEY=your_supabase_key
   OPENAI_API_KEY=your_openai_key
   

3. 安装依赖： 运行以下命令安装所需节点模块：

   npm install
   

   提示：如果在国内网络环境下安装缓慢，可临时配置淘宝镜像源： npm config set registry https://registry.npmmirror.com

4. 启动开发服务：

   npm run dev
   

基本使用

本项目提供两种使用方式：无需配置的在线网页版和适合集成的 API 调用。

方式一：网页界面（最简单）

无需安装任何环境，直接访问官方提供的在线工具即可生成文件：

1. 浏览器访问：https://llmstxt.firecrawl.dev
2. 在输入框中填入目标网站 URL。
3. 点击生成，等待处理完成后下载 llms.txt 或 llms-full.txt。

方式二：API 调用

如果您已在本地运行服务或希望直接调用公共端点，可以使用 HTTP GET 请求。

请求格式：

GET https://llmstxt.firecrawl.dev/[YOUR_URL_HERE]

示例（将 [YOUR_URL_HERE] 替换为目标网址）：

curl https://llmstxt.firecrawl.dev/https://example.com

注意：由于涉及全网爬取和 LLM 文本处理，请求响应可能需要数分钟时间，请耐心等待。