scrapeghost

该项目始于 2023 年，目前已不再维护或推荐使用，作者无意继续与商业大语言模型（LLM）合作。

scrapeghost 曾是一个实验性库，用于通过 OpenAI 的 GPT 模型抓取网站内容。

源码地址：https://codeberg.org/jpt/scrapeghost

文档地址：https://jamesturk.github.io/scrapeghost/

问题反馈：https://codeberg.org/jpt/scrapeghost/issues

使用风险自负。该库会发起成本较高的 API 调用（例如，在中等大小的网页上调用一次 GPT-4 约需 $0.36）。费用估算基于 OpenAI 定价页面，但不保证完全准确。

功能特性

本库旨在为探索使用 GPT 进行网页抓取（web scraping）提供便捷的接口。

虽然主要工作由 GPT 模型完成，但 scrapeghost 提供了多项功能以简化使用流程。

基于 Python 的数据结构定义 - 使用任意 Python 对象定义你希望提取的数据结构，可详可略。

预处理（Preprocessing）

• HTML 清洗 - 移除不必要的 HTML 内容，以减少 API 请求的大小和成本。
• CSS 和 XPath 选择器 - 通过编写单个 CSS 或 XPath 选择器对 HTML 进行预过滤。
• 自动分块（Auto-splitting） - 可选地将 HTML 分割成多个请求发送给模型，从而支持抓取更大的页面。

后处理（Postprocessing）

• JSON 验证 - 确保返回结果为有效的 JSON。（若无效，可选择将其重新提交给 GPT 进行修正。）
• 结构验证（Schema validation） - 更进一步，使用 pydantic 结构对响应进行验证。
• 幻觉检查（Hallucination check） - 检查响应中的数据是否确实存在于原始页面上。

成本控制（Cost Controls）

• 抓取器会持续记录已发送和接收的 token 数量，便于追踪成本。
• 支持自动降级策略（例如，默认使用节省成本的 GPT-3.5-Turbo，必要时再回退到 GPT-4）。
• 允许设置预算，一旦超出预算即停止抓取。

scrapeghost 快速上手指南

⚠️ 注意：该项目自 2023 年起已停止维护，作者不再推荐使用，且不适用于商业 LLM 场景。使用前请评估风险与成本（例如 GPT-4 单次调用可能花费约 $0.36）。

环境准备

• 操作系统：支持 Python 的任意系统（Linux / macOS / Windows）
• Python 版本：建议 Python 3.8 或更高版本
• 依赖服务：
  • 有效的 OpenAI API Key
  • 网络可访问 OpenAI API（国内用户需配置代理或使用合规渠道）

安装步骤

推荐使用 pip 安装（可搭配国内镜像源加速）：

pip install scrapeghost -i https://pypi.tuna.tsinghua.edu.cn/simple

如需使用 Pydantic 进行结构校验，请确保已安装：

pip install pydantic

基本使用

以下是最简单的使用示例：从网页中提取标题和链接列表。

from scrapeghost import scrape

# 定义期望的数据结构（使用字典即可）
schema = {
    "title": "页面标题",
    "links": ["链接1", "链接2"]
}

# 调用 scrape 函数（需设置 OPENAI_API_KEY 环境变量）
result = scrape(
    url="https://example.com",
    schema=schema,
    model="gpt-3.5-turbo"  # 推荐优先使用低成本模型
)

print(result.data)

💡 提示：实际使用时请通过环境变量 OPENAI_API_KEY 设置密钥，避免硬编码。
示例：export OPENAI_API_KEY='your-api-key'（Linux/macOS）或 set OPENAI_API_KEY=your-api-key（Windows）