🛰️ 立即抓取！

专为 AI 和简洁性设计的网页抓取工具。它以 CLI 形式运行，支持并行化，并输出高质量的 Markdown 内容。

功能

共享：

• 🏗️ 解耦架构，使用 Azure 队列存储 或本地 sqlite
• ⚙️ 幂等操作，可并行执行
• 💾 抓取内容存储在 Azure Blob 存储 或本地磁盘

抓取器：

• 🛑 如果页面未更改，则避免重复抓取
• 🚫 使用 The Block List Project 屏蔽广告以降低网络成本
• 🔗 通过检测和去重链接深入探索页面
• ✍️ 使用 Pandoc 从页面中提取 Markdown 内容
• 🏷️ 提取页面中的 元数据元素
• 🖥️ 使用 Playwright 和 Chromium 加载动态 JavaScript 内容
• 🕵️‍♂️ 通过随机用户代理、随机视口大小以及不发送客户端提示头信息来保护匿名性
• 📊 使用状态命令显示进度
• 🖼️ 存储页面上收集的图片
• 📸 存储页面截图
• 📡 跟踪总网络用量的进度

索引器：

• 🧠 自动创建 AI 搜索索引
• ✂️ 在保持内容连贯性的前提下对 Markdown 进行分块
• 📈 使用 OpenAI 嵌入技术对分块内容进行嵌入
• 🔍 索引后的内容可通过 Azure AI 搜索 进行语义搜索

安装

从 PyPI

# 安装包
python3 -m pip install scrape-it-now
# 运行 CLI
scrape-it-now --help

要配置 CLI（包括后端服务的身份验证），可以使用环境变量、.env 文件或命令行选项。

从源代码

应用程序必须使用 Python 3.13 或更高版本运行。如果尚未安装此版本，可以通过 pyenv 轻松安装。

# 下载源代码
git clone https://github.com/clemlesne/scrape-it-now.git
# 进入目录
cd scrape-it-now
# 运行安装脚本
make install dev
# 运行 CLI
scrape-it-now --help

使用方法

抓取一个网站

运行任务

使用 Azure Blob 存储和 Azure 队列存储：

# Azure 存储配置
export AZURE_STORAGE_ACCESS_KEY=xxx
export AZURE_STORAGE_ACCOUNT_NAME=xxx
# 运行任务
scrape-it-now scrape run https://nytimes.com

使用本地磁盘 Blob 和本地磁盘队列：

# 本地磁盘配置
export BLOB_PROVIDER=local_disk
export QUEUE_PROVIDER=local_disk
# 运行任务
scrape-it-now scrape run https://nytimes.com

示例：

❯ scrape-it-now scrape run https://nytimes.com
2024-11-08T13:18:49.169320Z [info     ] 开始抓取任务 lydmtyz
2024-11-08T13:18:49.169392Z [info     ] 如果需要，正在安装依赖项，这可能需要几分钟
2024-11-08T13:18:52.542422Z [info     ] 已将 1/1 个 URL 排入队列
2024-11-08T13:18:58.509221Z [info     ] 开始处理 https://nytimes.com，深度=1，进程=scrape-lydmtyz-4，任务=63dce50
2024-11-08T13:19:04.173198Z [info     ] 已加载 154554 个广告和跟踪器，进程=scrape-lydmtyz-4
2024-11-08T13:19:16.393045Z [info     ] 已将 310/311 个 URL 排入队列，深度=1，进程=scrape-lydmtyz-4，任务=63dce50
2024-11-08T13:19:16.393323Z [info     ] 已抓取，深度=1，进程=scrape-lydmtyz-4，任务=63dce50
...

常用选项如下：

选项	描述	环境变量
--azure-storage-access-key -asak	Azure 存储访问密钥	AZURE_STORAGE_ACCESS_KEY
--azure-storage-account-name -asan	Azure 存储账户名称	AZURE_STORAGE_ACCOUNT_NAME
--blob-provider -bp	Blob 提供者	BLOB_PROVIDER
--job-name -jn	任务名称	JOB_NAME
--max-depth -md	最大深度	MAX_DEPTH
--queue-provider -qp	队列提供者	QUEUE_PROVIDER
--save-images -si	保存图片	SAVE_IMAGES
--save-screenshot -ss	保存截图	SAVE_SCREENSHOT
--whitelist -w	白名单	WHITELIST

有关所有可用选项的文档，请运行：

scrape-it-now scrape run --help

显示任务状态

使用 Azure Blob 存储：

# Azure 存储配置
export AZURE_STORAGE_CONNECTION_STRING=xxx
# 显示任务状态
scrape-it-now scrape status [job_name]

使用本地磁盘 Blob：

# 本地磁盘配置
export BLOB_PROVIDER=local_disk
# 显示任务状态
scrape-it-now scrape status [job_name]

示例：

❯ scrape-it-now scrape status lydmtyz
{"created_at":"2024-11-08T13:18:52.839060Z","last_updated":"2024-11-08T13:19:16.528370Z","network_used_mb":2.6666793823242188,"processed":1,"queued":311}

常用选项如下：

选项	描述	环境变量
--azure-storage-access-key -asak	Azure 存储访问密钥	AZURE_STORAGE_ACCESS_KEY
--azure-storage-account-name -asan	Azure 存储账户名称	AZURE_STORAGE_ACCOUNT_NAME
--blob-provider -bp	Blob 提供者	BLOB_PROVIDER

有关所有可用选项的文档，请运行：

scrape-it-now scrape status --help

对抓取的网站进行索引

运行任务

使用 Azure Blob 存储、Azure 队列存储和 Azure AI 搜索：

# Azure OpenAI 配置
export AZURE_OPENAI_API_KEY=xxx
export AZURE_OPENAI_EMBEDDING_DEPLOYMENT_NAME=xxx
export AZURE_OPENAI_EMBEDDING_DIMENSIONS=xxx
export AZURE_OPENAI_EMBEDDING_MODEL_NAME=xxx
export AZURE_OPENAI_ENDPOINT=xxx

# Azure 搜索配置
export AZURE_SEARCH_API_KEY=xxx
export AZURE_SEARCH_ENDPOINT=xxx

# Azure 存储配置
export AZURE_STORAGE_ACCESS_KEY=xxx
export AZURE_STORAGE_ACCOUNT_NAME=xxx

# 运行任务
scrape-it-now index run [job_name]

使用本地磁盘 Blob、本地磁盘队列和 Azure AI 搜索：

# Azure OpenAI 配置
export AZURE_OPENAI_API_KEY=xxx
export AZURE_OPENAI_EMBEDDING_DEPLOYMENT_NAME=xxx
export AZURE_OPENAI_EMBEDDING_DIMENSIONS=xxx
export AZURE_OPENAI_EMBEDDING_MODEL_NAME=xxx
export AZURE_OPENAI_ENDPOINT=xxx
# Azure 搜索配置
export AZURE_SEARCH_API_KEY=xxx
export AZURE_SEARCH_ENDPOINT=xxx

# 本地磁盘配置
export BLOB_PROVIDER=local_disk
export QUEUE_PROVIDER=local_disk
# 运行作业
scrape-it-now index run [job_name]

示例：

❯ scrape-it-now index run lydmtyz
2024-11-08T13:20:37.129411Z [info     ] 开始索引作业 lydmtyz
2024-11-08T13:20:38.945954Z [info     ] 开始处理 https://nytimes.com process=index-lydmtyz-4 task=63dce50
2024-11-08T13:20:39.162692Z [info     ] 已分块为 7 个部分           process=index-lydmtyz-4 task=63dce50
2024-11-08T13:20:42.407391Z [info     ] 已索引 7 个块               process=index-lydmtyz-4 task=63dce50
...

最常见的选项如下：

选项	描述	环境变量
--azure-openai-api-key -aoak	Azure OpenAI API 密钥	AZURE_OPENAI_API_KEY
--azure-openai-embedding-deployment-name -aoedn	Azure OpenAI 嵌入模型部署名称	AZURE_OPENAI_EMBEDDING_DEPLOYMENT_NAME
--azure-openai-embedding-dimensions -aoed	Azure OpenAI 嵌入维度	AZURE_OPENAI_EMBEDDING_DIMENSIONS
--azure-openai-embedding-model-name -aoemn	Azure OpenAI 嵌入模型名称	AZURE_OPENAI_EMBEDDING_MODEL_NAME
--azure-openai-endpoint -aoe	Azure OpenAI 终端节点	AZURE_OPENAI_ENDPOINT
--azure-search-api-key -asak	Azure Search API 密钥	AZURE_SEARCH_API_KEY
--azure-search-endpoint -ase	Azure Search 终端节点	AZURE_SEARCH_ENDPOINT
--azure-storage-access-key -asak	Azure 存储访问密钥	AZURE_STORAGE_ACCESS_KEY
--azure-storage-account-name -asan	Azure 存储账户名称	AZURE_STORAGE_ACCOUNT_NAME
--blob-provider -bp	Blob 提供者	BLOB_PROVIDER
--queue-provider -qp	队列提供者	QUEUE_PROVIDER

如需查看所有可用选项的文档，请运行以下命令：

scrape-it-now index run --help

架构

抓取

---
title: 使用 Azure 存储的抓取流程
---
graph LR
  cli["CLI"]
  web["网站"]

  subgraph "Azure 队列存储"
    to_chunk["待分块"]
    to_scrape["待抓取"]
  end

  subgraph "Azure Blob 存储"
    subgraph "容器"
      job["作业"]
      scraped["已抓取"]
      state["状态"]
    end
  end

  cli -- (1) 拉取消息 --> to_scrape
  cli -- (2) 获取缓存 --> scraped
  cli -- (3) 浏览 --> web
  cli -- (4) 更新缓存 --> scraped
  cli -- (5) 推送状态 --> state
  cli -- (6) 添加消息 --> to_scrape
  cli -- (7) 添加消息 --> to_chunk
  cli -- (8) 更新状态 --> job

索引

---
title: 使用 Azure 存储和 Azure AI 搜索的索引流程
---
graph LR
  search["Azure AI 搜索"]
  cli["CLI"]
  embeddings["Azure OpenAI 嵌入"]

  subgraph "Azure 队列存储"
    to_chunk["待分块"]
  end

  subgraph "Azure Blob 存储"
    subgraph "容器"
      scraped["已抓取"]
    end
  end

  cli -- (1) 拉取消息 --> to_chunk
  cli -- (2) 获取缓存 --> scraped
  cli -- (3) 分块 --> cli
  cli -- (4) 嵌入 --> embeddings
  cli -- (5) 推送到搜索 --> search

设计

Blob 存储按文件夹组织：

[job_name]-scraping/            # 作业名称（由用户定义或自动生成）
    scraped/                    # 所有页面的数据
        [page_id]/              # 页面资源
            screenshot.jpeg     # 截图（若启用）
            [image_id].[ext]    # 图片二进制文件（若启用）
            [image_id].json     # 图片元数据（若启用）
        [page_id].json          # 页面数据
    state/                      # 作业状态（缓存与并行化）
        [page_id]               # 页面状态
    job.json                    # 作业状态（汇总统计）

页面数据被视为一个 API（在下一个主要版本之前不会破坏），以 JSON 格式存储：

{
  "created_at": "2024-09-11T14:06:43.566187Z",
  "redirect": "https://www.nytimes.com/interactive/2024/podcasts/serial-season-four-guantanamo.html",
  "status": 200,
  "url": "https://www.nytimes.com/interactive/2024/podcasts/serial-season-four-guantanamo.html",
  "content": "## 听听《Serial》第四季的预告片...",
  "etag": null,
  "links": [
    "https://podcasts.apple.com/us/podcast/serial/id917918570",
    "https://music.amazon.com/podcasts/d1022069-8863-42f3-823e-857fd8a7b616/serial?ref=dm_sh_OVBHkKYvW1poSzCOsBqHFXuLc",
    ...
  ],
  "metas": {
    "description": "《Serial》回归，讲述关塔那摩的历史，由那些经历过关塔那摩关键时刻的人们讲述。他们了解我们其他人所不了解的，在临时司法体系中被卷入其中的感受。",
    "articleid": "100000009373583",
    "twitter:site": "@nytimes",
    ...
  },
  "network_used_mb": 1.041460037231445,
  "raw": "<head>...</head><body>...</body>",
  "valid_until": "2024-09-11T14:11:37.790570Z"
}

随后，索引后的数据存储在 Azure AI 搜索中：

字段	类型	描述
chunck_number	Edm.Int32	分块编号，从 0 到 x
content	Edm.String	分块内容
created_at	Edm.DateTimeOffset	来源抓取日期
id	Edm.String	分块 ID
title	Edm.String	来源页面标题
url	Edm.String	来源页面 URL

高级用法

白名单

白名单选项允许限制到特定域名，并忽略子路径。它是一个正则表达式列表：

domain1,regexp1,regexp2 domain2,regexp3

例如：

要将 learn.microsoft.com 加入白名单：

learn\.microsoft\.com

要将 learn.microsoft.com 和 go.microsoft.com 加入白名单，但仅保留 /en-us 路径，忽略其他子路径：

learn\.microsoft\.com,^/(?!en-us).* go\.microsoft\.com

源环境变量

为了方便配置 CLI，可以从 .env 文件中加载环境变量。例如，对于 --azure-storage-access-key 选项：

AZURE_STORAGE_ACCESS_KEY=xxx

对于接受多个值的参数，使用空格分隔的列表。例如，对于 --whitelist 选项：

WHITELIST=learn\.microsoft\.com go\.microsoft\.com

应用程序缓存目录

缓存目录取决于操作系统：

• ~/.config/scrape-it-now（Unix）
• ~/Library/Application Support/scrape-it-now（macOS）
• C:\Users\<user>\AppData\Roaming\scrape-it-now（Windows）

浏览器二进制文件安装

浏览器二进制文件会在每次运行时自动下载或更新。浏览器为 Chromium，不可配置（如有需要其他浏览器，请提交 issue），大小约为 450MB。缓存存储在缓存目录中。

本地磁盘存储的工作原理

本地磁盘存储同时用于 Blob 和队列。不建议在生产环境中使用，因为它不易扩展且不具备容错能力。它适用于测试和开发，或者在无法使用 Azure 服务的情况下。

实现方式：

• 本地磁盘 Blob 存储使用目录结构来保存 Blob 数据。每个 Blob 都以文件的形式存储，文件名即为 Blob 的名称。租约机制通过锁文件实现。默认情况下，文件会存储在与命令执行目录相对的某个目录中。
• 本地磁盘队列使用 SQLite 数据库来存储消息。数据库文件存储在缓存目录中。SQL 数据库实现了可见性超时和删除标记功能，以确保与无状态队列服务（如 Azure 队列存储）的一致性。

使用代理实现匿名性

应用程序本身并未实现代理功能。仅靠应用层无法实现网络安全性。请使用 VPN（例如您自己的或第三方提供的）或代理服务（例如住宅代理、Tor）来确保匿名性，并配置系统防火墙以限制应用程序对网络的访问权限。

打包为容器镜像

由于该应用已发布到 PyPI，因此可以轻松地打包成容器镜像。每次启动时，应用都会下载并缓存所需的依赖项（如浏览器等）。您也可以预先下载这些依赖项，只需运行 scrape-it-now scrape install 命令即可。

为了提升性能，还可以通过运行多个容器实例来并行化爬取和索引任务。这可以通过 KEDA 实现，具体方法是配置一个 Azure 存储队列缩放器。

Scrape It Now 快速上手指南

Scrape It Now 是一款专为 AI 应用设计的网页爬虫工具。它支持并行抓取，能够自动拦截广告、处理动态 JavaScript 内容，并将网页转换为高质量的 Markdown 格式，同时支持构建语义搜索索引。

环境准备

系统要求

• Python 版本：必须使用 Python 3.13 或更高版本。
  • 提示：如果系统未安装该版本，推荐使用 pyenv 进行多版本管理。
• 操作系统：支持 Linux、macOS 和 Windows（需配置相应运行环境）。

前置依赖

• 浏览器内核：工具内部使用 Playwright 和 Chromium 处理动态内容，首次运行时会自动下载所需依赖（可能需要几分钟）。
• 存储后端（可选）：
  • 本地模式：无需额外配置，直接使用本地磁盘。
  • 云端模式：如需高性能并行处理，需准备 Azure Storage (Queue & Blob) 和 Azure AI Search 账号及密钥。

安装步骤

方式一：通过 PyPI 安装（推荐）

使用 pip 直接安装最新稳定版：

python3 -m pip install scrape-it-now

验证安装并查看帮助：

scrape-it-now --help

方式二：从源码安装

适用于需要开发或体验最新特性的用户：

# 克隆仓库
git clone https://github.com/clemlesne/scrape-it-now.git
cd scrape-it-now

# 安装依赖（需确保已安装 make 工具）
make install dev

# 验证安装
scrape-it-now --help

基本使用

本工具支持两种运行模式：本地磁盘模式（无需云账号，适合测试）和 Azure 云端模式（适合生产环境并行抓取）。以下以最简单的本地磁盘模式为例。

1. 抓取网站内容

设置环境变量启用本地存储，然后运行抓取任务。以下示例将抓取 nytimes.com 首页及其链接页面，并转换为 Markdown。

# 配置使用本地磁盘作为存储和队列
export BLOB_PROVIDER=local_disk
export QUEUE_PROVIDER=local_disk

# 执行抓取任务
scrape-it-now scrape run https://nytimes.com

运行说明：

• 首次运行会自动下载浏览器依赖。
• 工具会自动去重链接、拦截广告，并将内容保存为 Markdown。
• 默认会递归抓取一定深度的页面（可通过 --max-depth 调整）。

常用参数：

• -si / --save-images：同时保存图片资源。
• -ss / --save-screenshot：保存页面截图。
• -md / --max-depth：设置最大抓取深度（例如 -md 2）。

2. 查看任务状态

抓取过程中或完成后，可以查看当前任务的进度统计（如已处理 URL 数、网络用量等）。

# 确保环境变量一致
export BLOB_PROVIDER=local_disk

# 查看状态（[job_name] 可省略，默认显示最近的任务，或指定具体任务 ID）
scrape-it-now scrape status

输出示例：

{"created_at":"2024-11-08T13:18:52.839060Z","last_updated":"2024-11-08T13:19:16.528370Z","network_used_mb":2.67,"processed":1,"queued":311}

3. 构建 AI 搜索索引（可选）

如果你需要将抓取到的内容转换为向量索引以供 AI 检索，可以使用 index 命令。此步骤通常需要配置 Azure OpenAI 和 Azure AI Search。

# 配置 Azure OpenAI (用于生成嵌入向量)
export AZURE_OPENAI_API_KEY=xxx
export AZURE_OPENAI_ENDPOINT=xxx
export AZURE_OPENAI_EMBEDDING_DEPLOYMENT_NAME=xxx
# ... 其他 OpenAI 配置

# 配置 Azure Search
export AZURE_SEARCH_API_KEY=xxx
export AZURE_SEARCH_ENDPOINT=xxx

# 使用本地抓取的數據構建索引
export BLOB_PROVIDER=local_disk
export QUEUE_PROVIDER=local_disk

# 运行索引任务（替换 [job_name] 为实际任务 ID）
scrape-it-now index run [job_name]

数据存储结构

在本地模式下，抓取的数据将保存在当前目录下的文件夹中，结构如下：

[job_name]-scraping/
├── scraped/            # 抓取的页面数据
│   ├── [page_id]/      # 单个页面的资源
│   │   ├── screenshot.jpeg
│   │   └── [image_id].jpg
│   └── [page_id].json  # 页面元数据和 Markdown 内容
├── state/              # 任务状态缓存（用于断点续传和并行控制）
└── job.json            # 任务汇总统计

你可以直接读取 .json 文件中的 content 字段获取清洗后的 Markdown 内容。