一个用于网络爬取和浏览器自动化的小程序库

Crawlee 覆盖了您的爬取和数据抓取全流程，并且帮助您快速构建可靠的爬虫。

即使使用默认配置，您的爬虫也会表现得像真人一样，轻松躲过现代反爬机制的检测。Crawlee 提供了丰富的工具，让您能够抓取网页上的链接、提取数据并将其存储到本地或云端，同时保持高度可配置性，以满足不同项目的需求。

Crawlee 可通过 NPM 包 crawlee 获取。

👉 请访问 Crawlee 官网 查看完整的文档、指南和示例 👈

如果您更喜欢 🐍 Python 而不是 JavaScript？👉 试试 Crawlee for Python 👈。

安装

我们建议您阅读 Crawlee 文档中的入门教程，以获取更多信息。

Crawlee 需要 Node.js 16 或更高版本。

使用 Crawlee CLI

尝试 Crawlee 的最快方式是使用 Crawlee CLI 并选择 入门示例。CLI 会为您安装所有必要的依赖项，并添加样板代码以便您快速上手。

npx crawlee create my-crawler

cd my-crawler
npm start

手动安装

如果您希望将 Crawlee 集成到自己的项目中，可以尝试以下示例。由于这里使用了 PlaywrightCrawler，因此还需要安装 Playwright。为了减小安装包体积，Playwright 并未与 Crawlee 一同打包。

npm install crawlee playwright

import { PlaywrightCrawler, Dataset } from 'crawlee';

// PlaywrightCrawler 使用由 Playwright 库控制的无头浏览器来爬取网页。
const crawler = new PlaywrightCrawler({
    // 使用 requestHandler 处理每个被爬取的页面。
    async requestHandler({ request, page, enqueueLinks, log }) {
        const title = await page.title();
        log.info(`标题为 ${request.loadedUrl} 的页面标题是 '${title}'`);

        // 将结果以 JSON 格式保存到 ./storage/datasets/default 目录下。
        await Dataset.pushData({ title, url: request.loadedUrl });

        // 从当前页面提取链接，并将其加入待爬队列。
        await enqueueLinks();
    },
    // 取消注释此选项以显示浏览器窗口。
    // headless: false,
});

// 将第一个 URL 添加到队列并开始爬取。
await crawler.run(['https://crawlee.dev']);

默认情况下，Crawlee 会将数据存储在当前工作目录下的 ./storage 文件夹中。您可以通过 Crawlee 的配置来覆盖此路径。有关详细信息，请参阅 配置指南、请求存储指南 和 结果存储指南。

安装预发布版本

对于每次合并到主分支的代码更改，我们都会生成自动化的测试版构建。您可以在 npm 的版本列表中找到这些版本。如果您想在正式发布之前测试新功能或修复的 bug，可以这样安装测试版：

npm install crawlee@next

如果您还使用 Apify SDK，则需要在 package.json 文件中指定依赖项的覆盖规则，以避免安装多个版本的 Crawlee：

{
    "overrides": {
       "apify": {
           "@crawlee/core": "$crawlee",
           "@crawlee/types": "$crawlee",
           "@crawlee/utils": "$crawlee"
       }
    }
}

🛠 功能特性

• 统一的 HTTP 和无头浏览器 爬取接口
• 持久化的待爬 URL 队列（广度优先和深度优先）
• 可插拔的 存储 系统，支持表格数据和文件
• 自动根据可用系统资源进行 扩展
• 集成的 代理轮换 和会话管理
• 可通过 钩子 自定义生命周期
• 提供 CLI 工具以快速启动项目
• 可配置的 路由、错误处理 和 重试机制
• 准备好的 Dockerfile 便于部署
• 使用 TypeScript 编写，并支持泛型

👾 HTTP 爬取

• 零配置的 HTTP2 支持，即使是代理也能兼容
• 自动生成 类似浏览器的请求头
• 模拟浏览器的 TLS 指纹
• 集成高效的 HTML 解析器：Cheerio 和 JSDOM
• 当然，您也可以抓取 JSON API 数据

💻 真实浏览器爬取

• 支持 JavaScript 渲染 和 截图
• 同时支持 无头模式 和 有头模式
• 零配置即可生成 类似人类的指纹信息
• 自动化管理浏览器实例
• 可以使用 Playwright 和 Puppeteer，且接口一致
• 支持 Chrome、Firefox、WebKit 等多种浏览器

在 Apify 平台上的使用

Crawlee 是开源的，可以在任何地方运行，但由于它是由 Apify 开发的，因此在 Apify 平台上设置和在云端运行都非常方便。访问 Apify SDK 官网 以了解更多关于如何将 Crawlee 部署到 Apify 平台的信息。

支持

如果您在使用 Crawlee 时遇到任何 bug 或问题，请在 GitHub 上提交 issue。如有疑问，您可以在 Stack Overflow、GitHub 讨论区提问，或加入我们的 Discord 服务器。

贡献

我们非常欢迎您的代码贡献，您的贡献将永载史册！如果您有任何改进建议，可以提交 issue 或创建 pull request。有关贡献指南和行为准则，请参阅 CONTRIBUTING.md。

许可证

本项目采用 Apache License 2.0 许可证授权——详情请参阅 LICENSE.md 文件。

Crawlee 快速上手指南

Crawlee 是一个用于网页抓取和浏览器自动化的 JavaScript/TypeScript 库，能帮助你快速构建稳定、抗反爬虫的爬虫程序。

环境准备

• Node.js: 版本 16 或更高（推荐使用 LTS 版本）
• 包管理器: npm, yarn 或 pnpm
• 可选依赖: 若使用无头浏览器功能（Playwright/Puppeteer），需单独安装对应浏览器驱动

💡 国内加速建议：建议使用淘宝镜像源加速安装过程。

npm config set registry https://registry.npmmirror.com

安装步骤

方式一：使用 CLI 快速创建项目（推荐）

这是最快体验 Crawlee 的方式，CLI 会自动安装依赖并生成示例代码。

npx crawlee create my-crawler

进入项目目录并启动：

cd my-crawler
npm start

方式二：手动集成到现有项目

如果你希望将 Crawlee 添加到自己的项目中，请执行以下命令。由于示例使用了 PlaywrightCrawler，需要同时安装 playwright。

npm install crawlee playwright

基本使用

以下是一个最简单的爬虫示例，它访问指定网址，提取页面标题，并将结果保存为 JSON 文件。

import { PlaywrightCrawler, Dataset } from 'crawlee';

// 创建基于 Playwright 的爬虫实例
const crawler = new PlaywrightCrawler({
    // 定义每个页面的处理逻辑
    async requestHandler({ request, page, enqueueLinks, log }) {
        // 获取页面标题
        const title = await page.title();
        log.info(`Title of ${request.loadedUrl} is '${title}'`);

        // 将数据保存为 JSON (默认存储于 ./storage/datasets/default)
        await Dataset.pushData({ title, url: request.loadedUrl });

        // 自动提取当前页面的所有链接并加入爬取队列
        await enqueueLinks();
    },
    // 如需观察浏览器运行过程，可取消下面这行的注释
    // headless: false,
});

// 添加初始 URL 并启动爬取
await crawler.run(['https://crawlee.dev']);

运行说明：

• 将上述代码保存为 main.js (确保文件类型为 ES Module，或在 package.json 中设置 "type": "module")。
• 运行命令：node main.js
• 爬取结果默认保存在当前目录下的 ./storage 文件夹中。