面向现代Web的轻松网页抓取

العربيه | Español | Français | Deutsch | 简体中文 | 日本語 | Русский | 한국어

选择方法 · 采集器 · 爬虫 · 代理轮换 · 命令行工具 · MCP

Scrapling是一个自适应的网页抓取框架，能够处理从单个请求到大规模爬取的各种任务。

它的解析器会根据网站的变化不断学习，并在页面更新时自动重新定位你的元素。其采集器开箱即用，即可绕过Cloudflare Turnstile等反机器人系统。而爬虫框架则允许你通过几行Python代码，轻松实现并发、多会话的爬取，支持暂停/继续以及自动代理轮换——所有这些功能都集成在一个库中，无需任何妥协。

极速爬取，实时统计与流式输出。由网页抓取者为网页抓取者及普通用户打造，适合各类人群使用。

from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, DynamicFetcher
StealthyFetcher.adaptive = True
p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True)  # 在不被察觉的情况下抓取网站！
products = p.css('.product', auto_save=True)                                        # 抓取即使网站设计变更也能保持稳定的数据！
products = p.css('.product', adaptive=True)                                         # 如果网站结构随后发生变化，只需传入`adaptive=True`即可重新找到它们！

或者扩展到完整的爬取：

from scrapling.spiders import Spider, Response

class MySpider(Spider):
  name = "demo"
  start_urls = ["https://example.com/"]

  async def parse(self, response: Response):
      for item in response.css('.product'):
          yield {"title": item.css('h2::text').get()}

MySpider().start()

白金赞助商

	Scrapling可以处理Cloudflare Turnstile。对于企业级保护， Hyper Solutions 提供API端点，可为Akamai、DataDome、Kasada和Incapsula生成有效的反机器人令牌。只需简单的API调用，无需浏览器自动化。
	嘿，我们打造了 BirdProxies ,因为代理不应该复杂或价格过高。195+个地区的快速住宅和ISP代理，定价公道，并提供真正的支持。 在着陆页上玩我们的FlappyBird游戏，即可免费获取数据！
	Evomi ：住宅代理低至0.49美元/GB。配备完全伪造Chromium内核的爬虫浏览器，提供住宅IP、自动解决CAPTCHA以及绕过反机器人机制。 无 hassle的Scraper API，可轻松获得结果。支持MCP和N8N集成。
	TikHub.io 提供覆盖TikTok、X、YouTube和Instagram等16+平台的900+条稳定API，拥有超过4000万的数据集。 同时还提供折扣AI模型——Claude、GPT、GEMINI等最高可享71%折扣。
	Nsocks 为开发者和爬虫提供快速的住宅和ISP代理。全球IP覆盖、高度匿名性、智能轮换以及可靠的性能，适用于自动化和数据提取。使用Xcrawl 可简化大规模网页爬取。
	关上你的笔记本电脑吧。你的爬虫会一直运行下去。 PetroSky VPS ——专为不间断自动化而打造的云服务器。Windows和Linux系统，完全可控。每月仅需6.99欧元起。
	阅读关于Scrapling在The Web Scraping Club上的完整评测（2025年11月），这是专注于网络爬虫的第一号通讯。
	Proxy-Seller 为网络爬虫提供可靠的代理基础设施，涵盖IPv4、IPv6、ISP、住宅和移动代理，性能稳定、地理覆盖广泛，并提供灵活的套餐以满足商业规模的数据采集需求。
	稳定的代理适用于爬虫、自动化和多账号操作。干净的IP、快速响应，且在负载下表现可靠。专为可扩展的工作流程而设计。
	Swiftproxy 提供可扩展的住宅代理，拥有195+个国家的8000万+个IP地址，能够提供快速、可靠的连接、自动轮换以及强大的防封堵性能。现提供免费试用。

_{您想在这里展示您的广告吗？点击这里}

赞助商

_{您想在此处展示广告吗？请点击这里，选择适合您的赞助层级吧！}

---

核心功能

爬虫——完整的爬取框架

• 🕷️ 类 Scrapy 的爬虫 API：通过 start_urls、异步 parse 回调以及 Request/Response 对象定义爬虫。
• ⚡ 并发爬取：可配置的并发限制、按域名限速及下载延迟。
• 🔄 多会话支持：统一的 HTTP 请求接口，同时在单个爬虫中使用隐身无头浏览器——可根据 ID 将请求路由到不同会话。
• 💾 暂停与恢复：基于检查点的爬取持久化。按下 Ctrl+C 即可优雅关闭；重启后可从上次中断处继续。
• 📡 流式模式：通过 async for item in spider.stream() 流式输出抓取到的数据，并提供实时统计信息——非常适合 UI、数据管道和长时间运行的爬取任务。
• 🛡️ 被阻请求检测：自动检测并重试被阻断的请求，逻辑可自定义。
• 🤖 Robots.txt 合规性：可选的 robots_txt_obey 标志，尊重 Disallow、Crawl-delay 和 Request-rate 指令，并按域名缓存。
• 🧪 开发模式：首次运行时将响应缓存到磁盘，后续运行时可回放——无需再次访问目标服务器即可迭代 parse() 逻辑。
• 📦 内置导出：可通过钩子和自定义管道，或直接使用内置的 JSON/JSONL 格式（分别调用 result.items.to_json() / result.items.to_jsonl()）导出结果。

支持会话的高级网站抓取

• HTTP 请求：使用 Fetcher 类进行快速且隐蔽的 HTTP 请求。可模拟浏览器的 TLS 指纹、头部信息，并支持 HTTP/3。
• 动态加载：通过支持 Playwright 的 Chromium 和 Google Chrome 的 DynamicFetcher 类，实现对动态网站的完整浏览器自动化抓取。
• 反爬虫绕过：借助 StealthyFetcher 和指纹伪造功能，具备高级隐身能力。可轻松绕过 Cloudflare 的 Turnstile/Interstitial 等各类验证机制。
• 会话管理：提供 FetcherSession、StealthySession 和 DynamicSession 类，用于跨请求的 Cookie 和状态管理，支持持久化会话。
• 代理轮换：内置 ProxyRotator，可在所有会话类型中使用循环或自定义轮换策略，还可针对每次请求单独覆盖代理。
• 域名与广告拦截：可阻止对特定域名（及其子域名）的请求，或在基于浏览器的抓取器中启用内置广告拦截功能（约 3,500 个已知广告/追踪域名）。
• DNS 泄漏防护：可选的 DNS-over-HTTPS 支持，将 DNS 查询通过 Cloudflare 的 DoH 路由，防止使用代理时发生 DNS 泄漏。
• 异步支持：所有抓取器及专用异步会话类均完全支持异步操作。

自适应抓取与 AI 集成

• 🔄 智能元素跟踪：利用智能相似度算法，在网站内容更新后重新定位元素。
• 🎯 智能灵活选择：支持 CSS 选择器、XPath 选择器、基于筛选器的搜索、文本搜索、正则表达式搜索等多种方式。
• 🔍 查找相似元素：自动定位与已找到元素相似的其他元素。
• 🤖 MCP 服务器配合 AI 使用：内置 MCP 服务器，用于 AI 辅助的网页抓取和数据提取。该服务器具有强大的自定义功能，能够利用 Scrapling 提取目标内容后再传递给 AI（Claude/Cursor 等），从而加快处理速度并减少 token 使用量，降低成本。（演示视频）

高性能且经过实战检验的架构

• 🚀 闪电般快速：性能优化，超越大多数 Python 抓取库。
• 🔋 内存高效：优化的数据结构和懒加载设计，占用内存极低。
• ⚡ 快速 JSON 序列化：速度是标准库的 10 倍。
• 🏗️ 经受考验：Scrapling 不仅测试覆盖率高达 92%，类型注解覆盖全面，而且在过去一年中已被数百名网页抓取者每日使用。

面向开发者和网页爬虫的友好体验

• 🎯 交互式网页爬虫 Shell：可选的内置 IPython shell，集成 Scrapling，提供快捷键和新工具，以加速网页爬虫脚本的开发，例如将 curl 请求转换为 Scrapling 请求，并在浏览器中查看请求结果。
• 🚀 直接从终端使用：你也可以不写任何代码，直接用 Scrapling 抓取一个 URL！
• 🛠️ 丰富的导航 API：支持父节点、兄弟节点和子节点导航的高级 DOM 遍历方法。
• 🧬 增强的文本处理：内置正则表达式、清理方法以及优化的字符串操作。
• 📝 自动选择器生成：为任意元素生成健壮的 CSS/XPath 选择器。
• 🔌 熟悉的 API：与 Scrapy/BeautifulSoup 类似，使用与 Scrapy/Parsel 相同的伪元素。
• 📘 完整的类型覆盖：全面的类型提示，提供出色的 IDE 支持和代码补全。每次代码变更时，整个代码库都会自动使用 PyRight 和 MyPy 进行扫描。
• 🔋 现成的 Docker 镜像：每次发布时，都会自动构建并推送包含所有浏览器的 Docker 镜像。

快速入门

让我们快速了解一下 Scrapling 的功能，而无需深入探讨。

基本用法

支持会话的 HTTP 请求

from scrapling.fetchers import Fetcher, FetcherSession

with FetcherSession(impersonate='chrome') as session:  # 使用最新版本的 Chrome TLS 指纹
    page = session.get('https://quotes.toscrape.com/', stealthy_headers=True)
    quotes = page.css('.quote .text::text').getall()

# 或者使用一次性请求
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()

高级隐身模式

from scrapling.fetchers import StealthyFetcher, StealthySession

with StealthySession(headless=True, solve_cloudflare=True) as session:  # 浏览器会一直保持打开状态直到任务完成
    page = session.fetch('https://nopecha.com/demo/cloudflare', google_search=False)
    data = page.css('#padded_content a').getall()

# 或者采用一次性请求模式，浏览器仅在本次请求期间打开，完成后即关闭
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare')
data = page.css('#padded_content a').getall()

完整的浏览器自动化

from scrapling.fetchers import DynamicFetcher, DynamicSession

with DynamicSession(headless=True, disable_resources=False, network_idle=True) as session:  # 浏览器会一直保持打开状态直到任务完成
    page = session.fetch('https://quotes.toscrape.com/', load_dom=False)
    data = page.xpath('//span[@class="text"]/text()').getall()  # 如果你喜欢，也可以使用 XPath 选择器

# 或者采用一次性请求模式，浏览器仅在本次请求期间打开，完成后即关闭
page = DynamicFetcher.fetch('https://quotes.toscrape.com/')
data = page.css('.quote .text::text').getall()

爬虫

构建支持并发请求、多种会话类型以及暂停/恢复功能的完整爬虫：

from scrapling.spiders import Spider, Request, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]
    concurrent_requests = 10
    
    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }
            
        next_page = response.css('.next a')
        if next_page:
            yield response.follow(next_page[0].attrib['href'])

result = QuotesSpider().start()
print(f"已抓取 {len(result.items)} 条 quotes")
result.items.to_json("quotes.json")

在一个爬虫中使用多种会话类型：

from scrapling.spiders import Spider, Request, Response
from scrapling.fetchers import FetcherSession, AsyncStealthySession

class MultiSessionSpider(Spider):
    name = "multi"
    start_urls = ["https://example.com/"]
    
    def configure_sessions(self, manager):
        manager.add("fast", FetcherSession(impersonate="chrome"))
        manager.add("stealth", AsyncStealthySession(headless=True), lazy=True)
    
    async def parse(self, response: Response):
        for link in response.css('a::attr(href)').getall():
            # 将受保护的页面通过隐身会话处理
            if "protected" in link:
                yield Request(link, sid="stealth")
            else:
                yield Request(link, sid="fast", callback=self.parse)  # 显式回调

通过检查点实现长时间爬虫的暂停与恢复，只需这样运行爬虫即可：

QuotesSpider(crawldir="./crawl_data").start()

按下 Ctrl+C 可以优雅地暂停，进度会自动保存。之后再次启动爬虫时，传入相同的 crawldir，它就会从中断的地方继续。

高级解析与导航

from scrapling.fetchers import Fetcher

# 丰富的元素选择与导航
page = Fetcher.get('https://quotes.toscrape.com/')

# 使用多种方式获取 quotes
quotes = page.css('.quote')  # CSS 选择器
quotes = page.xpath('//div[@class="quote"]')  # XPath
quotes = page.find_all('div', {'class': 'quote'})  # 类似 BeautifulSoup 的方式
# 同样也可以说
quotes = page.find_all('div', class_='quote')
quotes = page.find_all(['div'], class_='quote')
quotes = page.find_all(class_='quote')  # 以此类推...
# 根据文本内容查找元素
quotes = page.find_by_text('quote', tag='div')

# 高级导航
quote_text = page.css('.quote')[0].css('.text::text').get()
quote_text = page.css('.quote').css('.text::text').getall()  # 链式选择器
first_quote = page.css('.quote')[0]
author = first_quote.next_sibling.css('.author::text')
parent_container = first_quote.parent

# 元素关系与相似性
similar_elements = first_quote.find_similar()
below_elements = first_quote.below_elements()

如果你不想抓取网站，也可以直接使用解析器：

from scrapling.parser import Selector

page = Selector("<html>...</html>")

其使用方式完全相同！

异步会话管理示例

import asyncio
from scrapling.fetchers import FetcherSession, AsyncStealthySession, AsyncDynamicSession

async with FetcherSession(http3=True) as session:  # `FetcherSession` 具有上下文感知能力，可在同步和异步模式下工作
    page1 = session.get('https://quotes.toscrape.com/')
    page2 = session.get('https://quotes.toscrape.com/', impersonate='firefox135')

# 异步会话使用
async with AsyncStealthySession(max_pages=2) as session:
    tasks = []
    urls = ['https://example.com/page1', 'https://example.com/page2']
    
    for url in urls:
        task = session.fetch(url)
        tasks.append(task)
    
    print(session.get_pool_stats())  # 可选 - 浏览器标签池的状态（忙碌/空闲/错误）
    results = await asyncio.gather(*tasks)
    print(session.get_pool_stats())

命令行界面与交互式 Shell

Scrapling 包含一个功能强大的命令行界面：

启动交互式网页抓取 Shell

scrapling shell

无需编程即可直接将页面内容提取到文件中（默认提取 body 标签内的内容）。如果输出文件以 .txt 结尾，则会提取目标的文本内容；如果以 .md 结尾，则会生成 HTML 内容的 Markdown 表示；如果以 .html 结尾，则会保存原始的 HTML 内容。

scrapling extract get 'https://example.com' content.md
scrapling extract get 'https://example.com' content.txt --css-selector '#fromSkipToProducts' --impersonate 'chrome'  # 提取所有匹配 CSS 选择器 '#fromSkipToProducts' 的元素
scrapling extract fetch 'https://example.com' content.md --css-selector '#fromSkipToProducts' --no-headless
scrapling extract stealthy-fetch 'https://nopecha.com/demo/cloudflare' captchas.html --css-selector '#padded_content a' --solve-cloudflare

[!NOTE] Scrapling 还有许多其他功能，但我们希望保持本页面简洁，包括 MCP 服务器和交互式网页抓取 Shell。完整的文档请参阅 这里

性能基准测试

Scrapling 不仅功能强大，而且速度极快。以下基准测试将 Scrapling 的解析器与其他流行库的最新版本进行了比较。

文本提取速度测试（5000 个嵌套元素）

序号	库	时间 (ms)	相对于 Scrapling
1	Scrapling	2.02	1.0x
2	Parsel/Scrapy	2.04	1.01
3	Raw Lxml	2.54	1.257
4	PyQuery	24.17	~12x
5	Selectolax	82.63	~41x
6	MechanicalSoup	1549.71	~767.1x
7	BS4 with Lxml	1584.31	~784.3x
8	BS4 with html5lib	3391.91	~1679.1x

元素相似度与文本搜索性能

Scrapling 的自适应元素查找能力显著优于其他工具：

库	时间 (ms)	相对于 Scrapling
Scrapling	2.39	1.0x
AutoScraper	12.45	5.209x

所有基准测试均基于 100 次以上的平均运行结果。方法论请参阅 benchmarks.py。

安装

Scrapling 需要 Python 3.10 或更高版本：

pip install scrapling

此安装仅包含解析引擎及其依赖项，不包括任何抓取器或命令行依赖。

可选依赖

1. 如果您打算使用以下任何附加功能、抓取器或其类，则需要按如下方式安装抓取器及其浏览器依赖：

   pip install "scrapling[fetchers]"
   
   scrapling install           # 正常安装
   scrapling install  --force  # 强制重新安装
   

   这将下载所有浏览器及其系统依赖和指纹伪装依赖。

   或者，您也可以通过代码而非命令来安装：

   from scrapling.cli import install
   
   install([], standalone_mode=False)          # 正常安装
   install(["--force"], standalone_mode=False) # 强制重新安装
   

2. 附加功能：

   • 安装 MCP 服务器功能：

     pip install "scrapling[ai]"
     

   • 安装 Shell 功能（网页抓取 Shell 和 extract 命令）：

     pip install "scrapling[shell]"
     

   • 安装所有功能：

     pip install "scrapling[all]"
     

     请注意，在安装这些附加功能后，仍需使用 scrapling install 来安装浏览器依赖（如果您尚未安装的话）。

Docker

您还可以从 Docker Hub 使用以下命令安装包含所有附加功能和浏览器的 Docker 镜像：

docker pull pyd4vinci/scrapling

或者从 GitHub 注册表下载：

docker pull ghcr.io/d4vinci/scrapling:latest

该镜像由 GitHub Actions 自动构建并推送到仓库的主分支。

贡献

我们欢迎您的贡献！在开始之前，请阅读我们的 贡献指南。

免责声明

[!CAUTION] 本库仅供教育和研究目的使用。使用本库即表示您同意遵守当地及国际的数据抓取和隐私法律。作者和贡献者对本软件的任何滥用概不负责。请始终尊重网站的服务条款和 robots.txt 文件。

🎓 引用

如果您在研究中使用了我们的库，请使用以下引用：

  @misc{scrapling,
    author = {Karim Shoair},
    title = {Scrapling},
    year = {2024},
    url = {https://github.com/D4Vinci/Scrapling},
    note = {一个自适应的网页抓取框架，可处理从单个请求到大规模爬取的所有任务！}
  }

许可证

本作品采用 BSD-3-Clause 许可证。

致谢

该项目包含改编自以下项目的代码：

• Parsel（BSD 许可证）——用于 translator 子模块

---

Scrapling 快速上手指南

Scrapling 是一个自适应的 Web 爬虫框架，专为现代网页设计。它能自动适应网站结构变化，内置绕过 Cloudflare Turnstile 等反机器人系统的功能，并支持从单次请求到大规模并发爬取的全流程。

环境准备

• 操作系统：Windows、macOS 或 Linux
• Python 版本：3.8 及以上（推荐 3.9+）
• 前置依赖：
  • pip 包管理工具
  • 稳定的网络连接（访问目标网站及 PyPI）

💡 国内开发者提示：若安装过程中下载缓慢，建议使用国内镜像源加速（见安装步骤）。

安装步骤

使用 pip 直接安装最新稳定版：

pip install scrapling

推荐使用国内镜像源加速安装：

pip install scrapling -i https://pypi.tuna.tsinghua.edu.cn/simple

或使用阿里云镜像：

pip install scrapling -i https://mirrors.aliyun.com/pypi/simple/

基本使用

1. 简单页面抓取（自动适应结构变化）

from scrapling.fetchers import StealthyFetcher

# 启用自适应模式
StealthyFetcher.adaptive = True

#  stealthily 获取页面（无头模式，等待网络空闲）
p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True)

# 提取产品数据，auto_save=True 可保存选择器以便后续自适应匹配
products = p.css('.product', auto_save=True)

# 若网站结构已变，可显式启用 adaptive=True 进行智能重定位
products = p.css('.product', adaptive=True)

for item in products:
    print(item.css('h2::text').get())

2. 构建简易爬虫（支持异步与并发）

from scrapling.spiders import Spider, Response

class MySpider(Spider):
    name = "demo"
    start_urls = ["https://example.com/"]

    async def parse(self, response: Response):
        for item in response.css('.product'):
            yield {
                "title": item.css('h2::text').get()
            }

# 启动爬虫
MySpider().start()

此示例将自动处理请求、解析数据，并支持后续扩展代理轮换、断点续爬等功能。

---

现在你已掌握 Scrapling 的核心用法。更多高级功能（如动态渲染、MCP 集成、CLI 工具等）请参考官方文档：https://scrapling.readthedocs.io