vimGPT

为多模态模型提供一个交互界面。

https://github.com/ishan0102/vimGPT/assets/47067154/467be2ac-7e8d-47de-af89-5bb6f51c1c31

概述

许多初创公司和开源项目正在探索如何利用大语言模型来浏览网页。在这个项目中，我感兴趣的是仅使用 GPT-4V 的视觉能力来进行网页浏览。

问题在于，在不将浏览器的 DOM 以文本形式提供给模型的情况下，很难判断模型想要点击什么。Vimium 是一款 Chrome 扩展程序，允许用户仅通过键盘导航网页。我认为，如果能利用 Vimium 为模型提供一种与网页交互的方式，将会非常有趣。

使用方法

安装 Python 依赖：

pip install -r requirements.txt

在本地下载 Vimium（运行 Playwright 时需要手动加载扩展）：

./setup.sh

运行脚本：

python main.py

语音模式

语音模式：通过语音命令与浏览器互动。只需说出你的目标，vimGPT 就会实时执行相应操作。

python main.py --voice

创意想法

欢迎与我合作，我有一些想法：

• 一旦 Assistant API 发布，就使用它自动获取上下文。Assistant API 会创建一个线程，我们可以向其中添加消息以保留操作历史，但目前还不支持 Vision API。
• 分支 Vimium，实现元素叠加功能。开发一个根据上下文有选择性地叠加元素的专用版本，可以有效根据用户查询进行修剪。不妨测试不同大小或颜色的方框是否有所帮助。
• 使用更高分辨率的图像，因为低分辨率时似乎效果不佳。我发现当分辨率低于某个阈值时，模型就无法检测到任何内容。提高分辨率可能会改善这一问题，但这会增加 token 的消耗。
• 对 LLaVa 或 CogVLM 进行微调，使其完成这项任务，或者尝试 Fuyu-8B。这样可能会更快、更便宜。CogVLM 能够准确指定像素坐标，这或许可以很好地补充当前方案。
• 一旦 Vision API 支持 JSON 模式，就加以利用。目前 Vision API 还不支持 JSON 模式或函数调用，因此我们只能依赖较为原始的提示方式。
• 让 Vision API 返回通用指令，并通过调用 API 的 JSON 模式版本将其正式化。这是一种针对 JSON 模式问题的变通方案，但需要额外调用一次 LLM，速度较慢且成本较高。
• 添加语音转文字功能，使用 Whisper 或其他模型，以消除文本输入，使系统更加易用。
• 让这个工具直接作用于你自己的浏览器，而不是启动一个虚拟浏览器。我希望可以用我的信用卡点外卖。
• 提供启用和未启用 Vimium 时的画面，以防模型看不到黄色方框下的内容。
• 除了图像之外，还将 Chrome 的无障碍树作为输入传递。这提供了交互元素的布局信息，可以映射到 Vimium 的快捷键上。
• 根据页面上下文生成更长的内容，或根据用户的查询返回相关信息。例如回复电子邮件、总结新闻文章等。还可以进行视觉问答。
• 通过添加语音模式和一个用于为特定页面创建 Assistant API 的按键，将此工具打造成对视障人士有用的辅助工具。让用户能够用自然语言“与代理交谈”，了解页面内容。
• 使用 JavaScript 为 DOM 元素添加彩色方框标记，类似于 这个。
• 构建基于图的重试机制，确保不会陷入循环，即反复点击同一个元素。

致谢

• HackerNews：https://news.ycombinator.com/item?id=38200308
• VisualWebArena - 在真实的视觉网络任务上评估多模态智能体（第 9 页）：https://arxiv.org/abs/2401.13649
• WIRED：https://www.wired.com/story/fast-forward-tested-next-gen-ai-assistant/

参考资料

• https://github.com/Globe-Engineer/globot
• https://github.com/nat/natbot

vimGPT 快速上手指南

vimGPT 是一个利用 GPT-4V 视觉能力结合 Vimium 扩展，实现通过自然语言或语音指令控制浏览器进行网页浏览的开源项目。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Python 版本：推荐 Python 3.8 及以上版本。
• 浏览器：已安装 Google Chrome 或 Chromium。
• API Key：拥有有效的 OpenAI API Key（需支持 GPT-4V 模型），并已在环境变量中配置 OPENAI_API_KEY。
• 依赖管理：已安装 pip。

注意：本项目依赖 Playwright 进行浏览器自动化，首次运行时可能自动下载浏览器内核，请确保网络通畅。国内开发者若遇下载缓慢，可配置 Playwright 镜像源。

安装步骤

1. 克隆项目代码

   git clone https://github.com/ishan0102/vimGPT.git
   cd vimGPT
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

   (国内用户推荐使用清华或阿里镜像加速安装：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 配置 Vimium 扩展 运行设置脚本以本地下载 Vimium 扩展（由于 Playwright 运行时需要手动加载扩展，此步骤必不可少）：

   ./setup.sh
   

   注：如果提示权限不足，请先执行 chmod +x setup.sh。

基本使用

1. 启动文本交互模式

运行主脚本即可启动 vimGPT。程序将打开一个浏览器窗口，您可以通过终端输入指令，模型将识别屏幕内容并操作 Vimium 快捷键完成浏览任务。

python main.py

2. 启动语音交互模式（可选）

如果您希望直接使用语音命令控制浏览器，请添加 --voice 参数。说出您的目标，vimGPT 将实时执行操作。

python main.py --voice

使用提示

• 运行后请耐心等待浏览器启动及初始画面分析。
• 确保终端中输入的指令清晰明确，例如：“搜索最新的 AI 新闻”或“点击登录按钮”。
• 项目目前处于实验阶段，复杂页面可能需要更高分辨率的截图支持（可在代码中调整相关参数）。