Scylla

一个面向人文领域的智能代理池，用于从互联网上提取内容，并在这一人工智能新时代构建您自己的大型语言模型。

主要特性：

• 自动化代理IP抓取与验证
• 易于使用的JSON API
• 简洁美观的Web用户界面（例如代理的地理分布）
• 最少只需一条命令即可快速上手
• 简单的HTTP正向代理服务器
• 仅需一行代码即可与Scrapy和requests集成
• 无头浏览器爬虫

快速开始

安装

使用Docker安装（强烈推荐）

docker run -d -p 8899:8899 -p 8081:8081 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:latest

直接通过pip安装

pip install scylla
scylla --help
scylla # 运行爬虫和提供JSON API的Web服务器

从源码安装

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

cd frontend
npm install
cd ..

make assets-build

python -m scylla

使用方法

以下是在本地(localhost)运行服务的示例，使用端口8899。

注意：首次使用Scylla时，可能需要等待1到2分钟，以便数据库中填充一些代理IP。

JSON API

代理IP列表

http://localhost:8899/api/v1/proxies

可选URL参数：

参数	默认值	描述
page	1	当前页码
limit	20	每页显示的代理数量
anonymous	any	是否显示匿名代理。可选值：true表示仅显示匿名代理；false表示仅显示透明代理
https	any	是否显示HTTPS代理。可选值：true表示仅显示HTTPS代理；false表示仅显示HTTP代理
countries	无	按特定国家筛选代理。格式示例：US，或多国组合：US,GB

示例结果：

{
    "proxies": [{
        "id": 599,
        "ip": "91.229.222.163",
        "port": 53281,
        "is_valid": true,
        "created_at": 1527590947,
        "updated_at": 1527593751,
        "latency": 23.0,
        "stability": 0.1,
        "is_anonymous": true,
        "is_https": true,
        "attempts": 1,
        "https_attempts": 0,
        "location": "54.0451,-0.8053",
        "organization": "AS57099 Boundless Networks Limited",
        "region": "英格兰",
        "country": "GB",
        "city": "Malton"
    }, {
        "id": 75,
        "ip": "75.151.213.85",
        "port": 8080,
        "is_valid": true,
        "created_at": 1527590676,
        "updated_at": 1527593702,
        "latency": 268.0,
        "stability": 0.3,
        "is_anonymous": true,
        "is_https": true,
        "attempts": 1,
        "https_attempts": 0,
        "location": "32.3706,-90.1755",
        "organization": "AS7922 Comcast Cable Communications, LLC",
        "region": "密西西比州",
        "country": "US",
        "city": "杰克逊"
    },
    ...
    ],
    "count": 1025,
    "per_page": 20,
    "page": 1,
    "total_page": 52
}

系统统计信息

http://localhost:8899/api/v1/stats

示例结果：

{
    "median": 181.2566407083,
    "valid_count": 1780,
    "total_count": 9528,
    "mean": 174.3290085201
}

HTTP正向代理服务器

默认情况下，Scylla会在端口8081启动一个HTTP正向代理服务器。该服务器会从数据库中随机选择一个最近更新的代理作为转发代理。每当有HTTP请求到达时，代理服务器就会随机挑选一个代理进行转发。

注意：目前不支持HTTPS请求。

以下是使用此代理服务器的curl示例：

curl http://api.ipify.org -x http://127.0.0.1:8081

您也可以通过requests库使用此功能：

requests.get('http://api.ipify.org', proxies={'http': 'http://127.0.0.1:8081'})

Web 界面

在浏览器中打开 http://localhost:8899 即可查看该项目的 Web 界面。

代理 IP 列表

http://localhost:8899/

截图：

全球地理分布图

http://localhost:8899/#/geo

截图：

API 文档

请阅读 模块索引。

路线图

请参阅 项目。

开发与贡献

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

npm install
make assets-build

测试

如果您希望在本地运行测试，命令如下：

pip install -r tests/requirements-test.txt
pytest tests/

欢迎您为该项目添加更多测试用例，以提高项目的健壮性。

项目命名

Scylla 源自美国电视剧《越狱》(Prison Break) 中一组内存芯片的名称。本项目以此美剧命名，以向其致敬。

帮助

如何在 CentOS7 上安装 Python Scylla

捐赠

如果您觉得这个项目很有用，请考虑为它捐赠一些资金吗？

无论金额多少，您的捐赠都会激励作者持续开发新功能！🎉 谢谢！

捐赠方式如下：

GitHub 赞助

如果您能成为我的赞助者，我将不胜感激。

https://github.com/sponsors/imWildCat

PayPal

许可证

Apache 许可证 2.0。更多详情请参阅 LICENSE 文件。

Scylla 快速上手指南

Scylla 是一个智能代理池工具，能够自动抓取并验证代理 IP，提供易用的 JSON API 和 Web 界面，适用于数据采集及大模型训练场景。

环境准备

• 操作系统：Linux / macOS / Windows (推荐 Linux)
• 前置依赖：
  • 方案 A (推荐)：已安装 Docker 和 Docker Compose。
  • 方案 B：已安装 Python 3.6+、pip、Node.js 和 npm (用于从源码构建前端)。
• 网络要求：服务器需能访问外网以抓取代理资源。

安装步骤

方式一：使用 Docker 安装（强烈推荐）

这是最简便的方式，一键启动包含爬虫、API 服务和 Web 界面的完整环境。

docker run -d -p 8899:8899 -p 8081:8081 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:latest

方式二：使用 pip 直接安装

适合快速体验核心功能（默认启动爬虫和 JSON API 服务）。

pip install scylla
scylla

方式三：从源码安装

适合需要定制开发或修改前端代码的用户。

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

cd frontend
npm install
cd ..

make assets-build

python -m scylla

基本使用

启动服务后，请耐心等待 1-2 分钟，以便系统完成首批代理 IP 的抓取和验证入库。

1. 获取代理列表 (JSON API)

访问以下地址获取可用的代理 IP 列表：

http://localhost:8899/api/v1/proxies

常用参数示例：

• 仅获取 HTTPS 匿名代理：http://localhost:8899/api/v1/proxies?https=true&anonymous=true
• 指定国家（如美国、英国）：http://localhost:8899/api/v1/proxies?countries=US,GB

2. 使用 HTTP 转发代理服务

Scylla 默认在 8081 端口启动一个转发代理服务，它会自动从数据库中随机选择一个有效的代理进行转发。

注意：当前版本暂不支持 HTTPS 请求的转发。

使用 curl 测试：

curl http://api.ipify.org -x http://127.0.0.1:8081

在 Python 代码中使用 (requests 库)：

import requests

response = requests.get('http://api.ipify.org', proxies={'http': 'http://127.0.0.1:8081'})
print(response.text)

3. 访问 Web 管理界面

在浏览器中打开以下地址，可查看代理列表、地理分布地图及系统统计信息：

http://localhost:8899

• 代理列表页：http://localhost:8899/
• 全球地理分布图：http://localhost:8899/#/geo