WebRover

概述

WebRover 是一款 AI 驱动的网页智能体，将自主浏览与高级研究能力相结合。在保持自动化网页任务核心能力的同时，2.0 版本引入了复杂的研究工作流，包括多源分析、学术论文生成和深度主题探索。系统能够在任务自动化和研究模式之间智能路由查询，为快速操作和全面研究提供多功能工具。

动机

传统的网页自动化工具擅长任务执行，搜索引擎有助于信息检索，但人们越来越需要能够同时处理两者并专注于深度研究工作流的工具。WebRover 通过提供任务自动化和智能研究能力来弥补这一差距，特别侧重于全面的信息收集、分析和综合。这种双重用途的方法旨在改变我们与网页内容的交互方式，使任务执行和研究都更加高效和彻底。

演示视频 - 深度研究智能体

https://github.com/user-attachments/assets/325c6c55-9384-4939-a912-3b1d13635799

观看 WebRover 深度研究智能体如何探索主题、收集信息并生成学术论文。

演示视频 - 任务智能体

https://github.com/user-attachments/assets/95ae9afb-3fdf-47f8-857e-f6a1a0d94df5

观看 WebRover 任务智能体如何浏览网站并执行任务。

核心功能

智能体能力

• 三种专用智能体，适用于不同场景（任务、研究、深度研究）
• 基于任务复杂度的动态智能体选择
• 实时智能体状态可视化
• 智能体操作和思考的流式传输

浏览器集成

• 本地浏览器实例，确保隐私和控制
• 多标签页管理
• PDF 文档处理
• 安全浏览会话

用户界面

• 现代聊天界面，实时更新
• 交互式智能体选择
• 操作流式传输，带视觉反馈
• 实时页面注释和高亮

输出选项

• 直接聊天回复
• 一键导出 Google Docs
• PDF 下载功能
• 复制到剪贴板支持

研究工具

• 向量存储（Vector Store）用于信息保留
• 多源验证
• 学术论文生成
• 参考文献管理

技术特性

• 最先进的 LLM（Large Language Model，大语言模型）集成（GPT-4o、o3-mini-high、Claude-3.5 sonnet）
• RAG（Retrieval Augmented Generation，检索增强生成）管道用于增强回复
• LangGraph 用于状态管理
• Playwright 用于可靠的网页自动化

智能体类型

1. 任务智能体（Task Agent）

用于执行网页任务和工作流的专用自动化智能体。

• 多步骤任务的自定义行动计划
• 基于上下文的动态元素交互
• 实时任务进度监控

2. 研究智能体（Research Agent）

具有智能内容处理的信息收集专家。

• 智能来源选择和验证
• 自适应搜索优化
• 单次遍历全面信息收集

3. 深度研究智能体（Deep Research Agent）（新功能！🎉）

通过系统化主题探索生成学术级内容的高级研究智能体。

• 自动主题分解和结构化研究
• 独立子主题探索
• 带正确引用的学术论文生成
• 交叉引用参考文献汇编

智能体架构图

深度研究智能体流程

深度研究智能体用于全面研究和内容生成的工作流

研究智能体流程

研究智能体用于信息收集和综合的工作流

任务智能体流程

任务智能体用于自动化网页交互的工作流

架构

系统基于现代技术栈构建，包含三种不同的智能体类型，每种均由以下技术驱动：

1. 状态管理

   • LangGraph 用于维护智能体状态
   • 处理复杂的导航流程和决策制定
   • 结构化工作流管理

2. 浏览器自动化

   • Playwright 用于可靠的网页交互
   • 自定义元素检测和交互系统
   • 自动导航和内容提取

3. 内容处理

   • RAG（Retrieval Augmented Generation，检索增强生成）管道
   • 向量存储（Vector Store）集成，实现高效信息存储
   • PDF 和网页内容提取
   • 自动内容结构化和组织

4. AI 决策制定

   • 多 LLM（Large Language Model，大语言模型）集成（GPT-4、Claude）
   • 上下文感知导航
   • 自我审查机制
   • 结构化输出生成

设置说明

后端设置

1. 克隆仓库

   git clone https://github.com/hrithikkoduri18/WebRover.git
   cd WebRover
   cd backend
   

2. 安装 Poetry（如果尚未安装）

   Mac/Linux:

   curl -sSL https://install.python-poetry.org | python3 -
   

   Windows:

   (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | python -
   

3. 为 Poetry 设置 Python 版本

   poetry env use python3.12
   

4. 激活 Poetry shell： 对于 Unix/Linux/MacOS：

   poetry shell
   # 或手动激活
   source $(poetry env info --path)/bin/activate
   

   对于 Windows：

   poetry shell
   # 或手动激活
   & (poetry env info --path)\Scripts\activate
   

5. 使用 Poetry 安装依赖：

   poetry install
   

6. 在 .env 中设置环境变量：

   OPENAI_API_KEY="your_openai_api_key"
   LANGCHAIN_API_KEY="your_langchain_api_key"
   LANGCHAIN_TRACING_V2="true"
   LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
   LANGCHAIN_PROJECT="your_project_name"
   ANTHROPIC_API_KEY="your_anthropic_api_key"
   

7. 运行后端：

   确保你位于 backend 文件夹中

   uvicorn app.main:app --reload --port 8000 
   

   对于 Windows 用户：

   uvicorn app.main:app --port 8000
   

8. 在 http://localhost:8000 访问 API

前端设置

1. 打开新终端并确保你位于 WebRover 文件夹中：

   cd frontend
   

2. 安装依赖：

   npm install
   

3. 运行前端：

   npm run dev
   

4. 在 http://localhost:3000 访问前端

对于 Mac 用户：

尝试在 Safari 浏览器中运行 http://localhost:3000。 如果在连接浏览器时遇到任何问题，打开终端并运行：

pkill -9 "Chrome"

然后重试。

如果仍然遇到问题，尝试将 backend/Browser 文件夹中 webrover_browser.py 文件的 WebSocket 端口从 9222 改为 9223。

贡献

1. Fork 本仓库
2. 创建你的功能分支（git checkout -b feature/AmazingFeature）
3. 提交你的更改（git commit -m 'Add some AmazingFeature'）
4. 推送到分支（git push origin feature/AmazingFeature）
5. 打开 Pull Request

许可证

本项目采用 MIT 许可证 - 详情请参见 LICENSE 文件。

---

由 @hrithikkoduri 用 ❤️ 制作

WebRover 快速上手指南

环境准备

系统要求

• 操作系统: macOS / Linux / Windows
• Python: 3.12
• Node.js: 18+（推荐 20 LTS）
• 浏览器: Chrome / Edge（用于自动化控制）

前置依赖

组件	用途	安装方式
Poetry	Python 依赖管理	见下方安装步骤
npm	前端包管理	随 Node.js 安装
Git	代码克隆	系统自带或官网下载

---

安装步骤

1. 克隆仓库

git clone https://github.com/hrithikkoduri18/WebRover.git
cd WebRover

2. 后端安装

cd backend

# 安装 Poetry（如未安装）
# macOS/Linux:
curl -sSL https://install.python-poetry.org | python3 -
# Windows:
(Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | python -

# 配置 Python 环境
poetry env use python3.12

# 激活虚拟环境
poetry shell

# 安装依赖（国内用户可配置清华源加速）
poetry install

配置环境变量：创建 .env 文件

OPENAI_API_KEY="your_openai_api_key"
ANTHROPIC_API_KEY="your_anthropic_api_key"
LANGCHAIN_API_KEY="your_langchain_api_key"
LANGCHAIN_TRACING_V2="true"
LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
LANGCHAIN_PROJECT="webrover"

启动后端服务：

# macOS/Linux
uvicorn app.main:app --reload --port 8000

# Windows
uvicorn app.main:app --port 8000

服务地址：http://localhost:8000

3. 前端安装

# 新开终端，进入前端目录
cd frontend

# 安装依赖（国内用户可使用 npm 淘宝镜像）
npm install

# 启动开发服务器
npm run dev

服务地址：http://localhost:3000

macOS 用户注意：如遇浏览器连接问题，执行 pkill -9 "Chrome" 后重试；若仍失败，修改 backend/Browser/webrover_browser.py 中的 WebSocket 端口从 9222 改为 9223。

---

基本使用

访问界面

打开浏览器访问 http://localhost:3000，进入 WebRover 主界面。

选择智能体类型

智能体	适用场景	示例指令
Task Agent	网页自动化任务	"登录 GitHub 并创建一个新仓库"
Research Agent	信息快速检索	"查询 2024 年 Python 最新特性"
Deep Research Agent	深度学术研究	"撰写一份关于大语言模型幻觉现象的综述论文"

快速示例

任务自动化示例：

访问 https://news.ycombinator.com，提取首页前 10 条新闻的标题和链接

深度研究示例：

研究"具身智能"领域，分析当前技术瓶颈、主流方案和发展趋势，生成带参考文献的学术报告

导出成果

• 点击 Google Docs 一键导出到云端文档
• 点击 PDF 下载本地文件
• 点击 复制 将内容粘贴到剪贴板