|logo|

.. |logo| image:: https://raw.githubusercontent.com/scrapy/scrapy/master/docs/_static/logo.svg :target: https://scrapy.org :alt: Scrapy :width: 480px

|version| |python_version| |ubuntu| |macos| |windows| |coverage| |conda| |deepwiki|

.. |version| image:: https://img.shields.io/pypi/v/Scrapy.svg :target: https://pypi.org/pypi/Scrapy :alt: PyPI 版本

.. |python_version| image:: https://img.shields.io/pypi/pyversions/Scrapy.svg :target: https://pypi.org/pypi/Scrapy :alt: 支持的 Python 版本

.. |ubuntu| image:: https://github.com/scrapy/scrapy/workflows/Ubuntu/badge.svg :target: https://github.com/scrapy/scrapy/actions?query=workflow%3AUbuntu :alt: Ubuntu

.. |macos| image:: https://github.com/scrapy/scrapy/workflows/macOS/badge.svg :target: https://github.com/scrapy/scrapy/actions?query=workflow%3AmacOS :alt: macOS

.. |windows| image:: https://github.com/scrapy/scrapy/workflows/Windows/badge.svg :target: https://github.com/scrapy/scrapy/actions?query=workflow%3AWindows :alt: Windows

.. |coverage| image:: https://img.shields.io/codecov/c/github/scrapy/scrapy/master.svg :target: https://codecov.io/github/scrapy/scrapy?branch=master :alt: 覆盖率报告

.. |conda| image:: https://anaconda.org/conda-forge/scrapy/badges/version.svg :target: https://anaconda.org/conda-forge/scrapy :alt: Conda 版本

.. |deepwiki| image:: https://deepwiki.com/badge.svg :target: https://deepwiki.com/scrapy/scrapy :alt: 咨询 DeepWiki

Scrapy_ 是一个用于从网站中提取结构化数据的网络爬虫框架。 它跨平台，需要 Python 3.10 或更高版本。该框架由 Zyte_（前身为 Scrapinghub）以及 众多其他贡献者_ 维护。

.. _众多其他贡献者: https://github.com/scrapy/scrapy/graphs/contributors .. _Scrapy: https://scrapy.org/ .. _Zyte: https://www.zyte.com/

安装方法如下：

.. code:: bash

pip install scrapy

然后请参考文档_ 以了解如何使用。

.. _文档: https://docs.scrapy.org/en/latest/

如果您希望参与贡献，请参阅贡献指南_。

.. _贡献指南: https://docs.scrapy.org/en/master/contributing.html

Scrapy 快速上手指南

Scrapy 是一个用于从网站提取结构化数据的高速、高层级的 Web 爬虫框架。它跨平台支持，广泛应用于数据采集、监控和自动化测试。

环境准备

• 操作系统：Windows、macOS 或 Linux（如 Ubuntu）
• Python 版本：Python 3.10 或更高版本
• 包管理工具：推荐使用 pip 或 conda

💡 国内用户建议使用清华或阿里云镜像源加速安装。

安装步骤

使用 pip 安装（推荐）

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

或使用阿里云镜像：

pip install scrapy -i https://mirrors.aliyun.com/pypi/simple/

使用 conda 安装（可选）

conda install -c conda-forge scrapy

基本使用

1. 创建新项目

scrapy startproject myproject
cd myproject

2. 定义爬虫

在 myproject/spiders/ 目录下创建 example_spider.py：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ['https://quotes.toscrape.com/']

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('small.author::text').get(),
            }

3. 运行爬虫

scrapy crawl example -o output.json

该命令将抓取结果保存为 output.json 文件。

---

现在你已成功使用 Scrapy 完成一次基础网页抓取。更多高级功能请参考官方文档：https://docs.scrapy.org/