GPT-4 Vision 网页爬取

这是一个基于 GPT-4 Vision API 和 Puppeteer 的工具，能够根据网站截图回答问题。你只需提出一个问题，它就会自动浏览目标网站并截取屏幕截图，然后利用 GPT-4 Vision API 根据截图给出答案。

JavaScript 版本

JavaScript 版本（vision_crawl.js）不仅可以直接打开指定的 URL，还能点击页面上的链接。

$ npm install
$ node vision_crawl.js

Python 版本

Python 版本（vision_crawl.py）是最初的实现版本，每次只能直接打开一个 URL。该版本同样使用了 JavaScript 来处理 Puppeteer 的部分功能。

$ npm install
$ pip install -r requirements.txt
$ python3 vision_crawl.py

示例

你可以提出类似如下的问题：

• “加州现在的天气如何？”
• “世界上最新的新闻有哪些？”
• “特斯拉当前的股价是多少？”
• “Unconventional Coding 在 YouTube 上有多少订阅者？”

gpt4v-browsing 快速上手指南

gpt4v-browsing 是一款结合 GPT-4 Vision API 与 Puppeteer 的开源工具，能够自动浏览网页、截取屏幕截图，并基于视觉内容回答用户提问。

环境准备

• 操作系统：支持 Linux、macOS 或 Windows（需安装 Node.js 和 Python 环境）
• 前置依赖：
  • Node.js（推荐 v16+）
  • Python 3.8+
  • npm（随 Node.js 安装）
  • pip（Python 包管理工具）
• API 密钥：需拥有有效的 OpenAI API Key，并确保已开通 GPT-4 Vision 权限

💡 国内开发者建议使用国内镜像源加速依赖安装：

• npm: npm config set registry https://registry.npmmirror.com
• pip: pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

通用依赖安装

npm install

JavaScript 版本（支持点击链接）

无需额外 Python 依赖，直接运行：

node vision_crawl.js

Python 版本（基础单页浏览）

安装 Python 依赖：

pip install -r requirements.txt

运行脚本：

python3 vision_crawl.py

基本使用

启动脚本后，在提示框中输入自然语言问题，工具将自动访问相关网站、截图并返回答案。

示例提问：

• "What is the weather like in California?"
• "What are the latest news in the world?"
• "What is the current stock price of Tesla?"
• "How many subscribers does Unconventional Coding have on YouTube?"

⚠️ 注意：实际使用时请确保网络可访问目标网站，并在代码中配置您的 OPENAI_API_KEY 环境变量。