🤖 Browser4

英语 | 简体中文 | 中国镜像

目录

• 🤖 Browser4
  • 🌟 简介
    • ✨ 核心能力
  • 🎥 演示视频
  • 🚀 快速入门
  • 💡 使用示例
    • 浏览器代理
    • 工作流自动化
    • LLM + X-SQL
    • 高速并行处理
    • 自动提取
  • 📦 模块概览
  • 📜 文档
  • 🔧 代理 - 解锁网站
  • ✨ 特性
  • 🤝 支持与社区

🌟 简介

💖 Browser4：专为您的AI打造的闪电般快速、协程安全的浏览器引擎 💖

✨ 核心能力

• 👽 浏览器代理 — 完全自主的浏览器代理，能够推理、规划并执行端到端任务。
• 🤖 浏览器自动化 — 高性能的工作流、导航和数据提取自动化工具。
• ⚙️ 机器学习代理 - 能够在复杂页面中学习字段结构，且无需消耗任何token。
• ⚡ 极致性能 — 完全协程安全；每台机器每天可支持10万至20万次复杂页面访问。
• 🧬 数据提取 — 结合了LLM、ML和选择器技术，可在混乱的页面中提取干净的数据。

⚡ 快速示例：代理式工作流

// 给你的代理一个使命，而不仅仅是一段脚本。
val agent = AgenticContexts.getOrCreateAgent()

// 代理会利用Browser4作为它的“手”和“眼”，进行规划、导航和执行。
val result = agent.run("""
    1. 前往amazon.com
    2. 搜索‘4k显示器’
    3. 分析前5个结果的性价比
    4. 将最佳选项以JSON格式返回
""")

🎥 演示视频

🎬 YouTube:

📺 Bilibili: https://www.bilibili.com/video/BV1fXUzBFE4L

🚀 快速入门

先决条件: Java 17+

1. 克隆仓库

   git clone https://github.com/platonai/browser4.git
   cd browser4
   

2. 配置你的LLM API密钥

   编辑 application.properties，添加你的API密钥。

3. 构建项目

   ./mvnw -DskipTests
   

4. 运行示例

   ./mvnw -pl examples/browser4-examples exec:java -D"exec.mainClass=ai.platon.pulsar.examples.agent.Browser4AgentKt"
   

   如果你在Windows上遇到编码问题：

   ./bin/run-examples.ps1
   

   浏览并运行browser4-examples模块中的示例，即可体验Browser4的实际效果。

如需使用Docker部署，请参阅我们的Docker Hub仓库。

Windows用户: 你也可以将Browser4构建为独立的Windows安装程序。详情请参阅Windows安装指南。

💡 使用示例

浏览器代理

能够理解自然语言指令并执行复杂浏览器工作流的自主代理。

val agent = AgenticContexts.getOrCreateAgent()

val task = """
    1. 前往amazon.com
    2. 搜索用于白板绘画的笔
    3. 对前4款产品进行比较
    4. 将结果写入Markdown文件
    """

agent.run(task)

工作流自动化

低层级的浏览器自动化与数据提取，具备精细的控制能力。

特性:

• 同时支持实时DOM访问和离线快照解析
• 直接且完全兼容Chrome DevTools Protocol (CDP)的控制，协程安全
• 精确的元素交互（点击、滚动、输入）
• 使用CSS选择器/XPath实现快速数据提取

val session = AgenticContexts.getOrCreateSession()
val agent = session.companionAgent
val driver = session.getOrCreateBoundDriver()

// 加载由输入URL引用的初始页面
var page = session.open(url)

// 使用自然语言指令驱动浏览器
agent.act("滚动到评论区")
// 直接从实时DOM中读取第一个匹配的评论节点内容
val content = driver.selectFirstTextOrNull("#comments")

// 将页面快照保存为内存中的文档，以便离线解析
var document = session.parse(page)
// 通过一次调用将CSS选择器映射到结构化字段
var fields = session.extract(document, mapOf("title" to "#title"))

// 让同伴代理执行一个多步骤的导航/搜索流程
val history = agent.run(
    "前往amazon.com，搜索‘智能手机’，打开评分最高的产品页面"
)

// 将更新后的浏览器状态捕获回PageSnapshot
page = session.capture(driver)
document = session.parse(page)
// 从捕获的快照中提取额外的属性
fields = session.extract(document, mapOf("ratings" to "#ratings"))

LLM + X-SQL

非常适合包含数十个实体、每个实体拥有数百个字段的高复杂度数据提取管道。

优势:

• 提取的实体数量是传统方法的10倍，字段数量更是高达100倍
• 结合了LLM智能与精确的CSS选择器/XPath
• 类似SQL的语法，便于熟悉的数据查询操作

val context = AgenticContexts.create()
val sql = """
select
  llm_extract(dom, '产品名称, 价格, 评分') as llm_extracted_data,
  dom_first_text(dom, '#productTitle') as title,
  dom_first_text(dom, '#bylineInfo') as brand,
  dom_first_text(dom, '#price tr td:matches(^Price) ~ td, #corePrice_desktop tr td:matches(^Price) ~ td') as price,
  dom_first_text(dom, '#acrCustomerReviewText') as ratings,
  str_first_float(dom_first_text(dom, '#reviewsMedley .AverageCustomerReviews span:contains(out of)'), 0.0) as score
from load_and_select('https://www.amazon.com/dp/B08PP5MSVB -i 1s -njr 3', 'body');
"""
val rs = context.executeQuery(sql)
println(ResultSetFormatter(rs, withHeader = true))

示例代码：

• 使用X-SQL从亚马逊商品页面抓取100多个字段
• 用于爬取各类亚马逊网页的X-SQL集合

高速并行处理

通过并行浏览器控制和智能资源优化，实现极致吞吐量。

性能：

• 每台机器每天可完成1万至2万次复杂页面访问
• 并发会话管理
• 资源阻塞以加快页面加载速度

val args = "-refresh -dropContent -interactLevel fastest"
val blockingUrls = listOf("*.png", "*.jpg")
val links = LinkExtractors.fromResource("urls.txt")
    .map { ListenableHyperlink(it, "", args = args) }
    .onEach {
        it.eventHandlers.browseEventHandlers.onWillNavigate.addLast { page, driver ->
            driver.addBlockedURLs(blockingUrls)
        }
    }

session.submitAll(links)

🎬 YouTube:

📺 Bilibili: https://www.bilibili.com/video/BV1kM2rYrEFC

自动提取

基于自监督/无监督机器学习的自动、大规模、高精度字段发现与提取——无需调用LLM API，不消耗token，确定且快速。

功能：

• 以高精度学习商品/详情页上所有可提取字段（通常为数十到数百个）。
• 当browser4在GitHub上达到1万颗星时将开源。

为何不直接使用LLMs？

• LLM提取会增加延迟、成本，并受限于token数量。
• 基于机器学习的自动提取是本地化的、可复现的，且可扩展至每天10万至20万页。
• 您仍可结合两者：使用自动提取作为结构化基准，再用LLM进行语义增强。

快速命令（PulsarRPAPro）：

# 注意：需要MongoDB
curl -L -o PulsarRPAPro.jar https://github.com/platonai/PulsarRPAPro/releases/download/v4.6.0/PulsarRPAPro.jar

集成状态：

• 即日起可通过配套项目PulsarRPAPro使用。
• 计划原生暴露Browser4 API；请关注后续发布以获取更新。

主要优势：

• 高精度：>95%的字段被发现；多数字段准确率超过99%（基于测试域名）。
• 对选择器变化及HTML噪声具有较强鲁棒性。
• 无外部依赖（无需API密钥）→规模化部署时成本更低。
• 可解释性：生成的选择器与SQL透明且可审计。

👽 使用机器学习代理提取数据：

（更多仓库内示例及直接API接口即将推出。）

📦 模块概览

📜 SDK

SDK位于sdks/目录下，目前支持的语言包括：

• Kotlin（原生API、REST客户端）
• Python（REST客户端）
• Node.js（REST客户端）

✨ 功能

状态：[可用]已在仓库中，[实验性]正在迭代中，[计划中]尚未入库，[指示性]为性能目标。

AI与代理

• [可用] 解决问题的自主浏览器代理
• [可用] 并行代理会话
• [实验性] LLM辅助的页面理解和提取

浏览器自动化与RPA

• [可用] 基于工作流的浏览器操作
• [可用] 精确的协程安全控制（滚动、点击、提取）
• [可用] 灵活的事件处理器与生命周期管理

数据提取与查询

• [可用] 一行式数据提取命令
• [可用] X-SQL扩展查询语言用于DOM/内容
• [实验性] 结构化与非结构化混合提取（LLM、ML及选择器）

性能与可扩展性

• [可用] 高效并行页面渲染
• [可用] 抗阻塞性设计与智能重试
• [指示性] 在普通硬件上每日处理10万+复杂页面

隐蔽性与可靠性

• [实验性] 先进的反机器人技术
• [可用] 通过PROXY_ROTATION_URL轮换代理
• [可用] 强韧的调度与质量保证

开发者体验

• [可用] 简单的API集成（REST、原生、文本命令）
• [可用] 丰富的配置分层
• [可用] 清晰的结构化日志与指标

存储与监控

• [可用] 支持本地文件系统与MongoDB（可扩展）
• [可用] 全面的日志记录与透明度

🤝 支持与社区

加入我们的社区，获取支持、反馈与合作！

• GitHub Discussions：与开发者和用户互动。
• Issue Tracker：报告Bug或请求功能。
• 社交媒体：关注我们以获取最新动态。

我们欢迎贡献！详情请参阅CONTRIBUTING.md。

📜 文档

全面的文档可在docs/目录及我们的GitHub Pages站点上找到。

🔧 代理——解锁网站

export PROXY_ROTATION_URL=https://your-proxy-provider.com/rotation-endpoint

许可证

Apache 2.0许可证。详情请参阅LICENSE。

🤝 支持与社区

• 💬 微信：galaxyeye
• 🌐 微博：galaxyeye
• 📧 邮箱：galaxyeye@live.cn, ivincent.zhang@gmail.com
• 🐦 Twitter：galaxyeye8
• 🌍 官网：browser4.io

Browser4 快速上手指南

Browser4 是一款专为 AI 设计的高速、协程安全的浏览器引擎，支持自主代理（Agents）、工作流自动化及大规模数据提取。

🛠️ 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• JDK 版本：Java 17 或更高版本
• 构建工具：项目内置 Maven Wrapper (mvnw)，无需单独安装 Maven
• 网络环境：需能访问 GitHub 或配置好代理以拉取依赖；若使用 LLM 功能，需准备 API Key

💡 国内开发者提示：如果您在国内访问 GitHub 较慢，可以使用 Gitee 镜像仓库 克隆代码。

🚀 安装步骤

1. 克隆项目

方式 A：从 GitHub 克隆（推荐国际用户）

git clone https://github.com/platonai/browser4.git
cd browser4

方式 B：从 Gitee 克隆（推荐国内用户）

git clone https://gitee.com/platonai_galaxyeye/Browser4.git
cd Browser4

2. 配置 LLM API Key

编辑项目根目录下的 application.properties 文件，填入您的大模型 API Key：

# 示例：编辑 application.properties
llm.api.key=YOUR_API_KEY_HERE

3. 构建项目

使用自带的 Maven Wrapper 进行构建（跳过测试以加快速度）：

./mvnw -DskipTests

Windows PowerShell 用户请使用: .\mvnw.cmd -DskipTests

💡 基本使用

构建完成后，您可以直接运行官方提供的示例来体验 Browser4 的核心功能——自主代理（Agentic Workflow）。

运行示例：让 Agent 自主完成任务

以下命令将启动一个 Agent，让它自动访问亚马逊、搜索商品、分析性价比并返回结果。

Linux / macOS:

./mvnw -pl examples/browser4-examples exec:java -D"exec.mainClass=ai.platon.pulsar.examples.agent.Browser4AgentKt"

Windows (如遇编码问题):

./bin/run-examples.ps1

代码示例：自定义任务

您可以在 Kotlin 代码中通过自然语言定义任务。以下是核心用法的最小化示例：

// 获取或创建一个智能代理
val agent = AgenticContexts.getOrCreateAgent()

// 下达自然语言指令，Agent 会自动规划、导航并执行
val result = agent.run("""
    1. Go to amazon.com
    2. Search for '4k monitors'
    3. Analyze the top 5 results for price/performance ratio
    4. Return the best option as JSON
""")

进阶：使用 X-SQL 进行数据提取

Browser4 支持结合 LLM 与 CSS/XPath 选择器的类 SQL 查询语言，适合复杂页面结构化提取：

val context = AgenticContexts.create()
val sql = """
select
  llm_extract(dom, 'product name, price, ratings') as llm_extracted_data,
  dom_first_text(dom, '#productTitle') as title,
  dom_first_text(dom, '#price tr td:matches(^Price) ~ td') as price
from load_and_select('https://www.amazon.com/dp/B08PP5MSVB -i 1s -njr 3', 'body');
"""
val rs = context.executeQuery(sql)
println(ResultSetFormatter(rs, withHeader = true))

下一步：

• 查看 examples 模块获取更多场景演示。
• 参考 sdks 目录使用 Python 或 Node.js SDK 进行集成。
• 如需大规模无监督自动提取，可关注配套项目 PulsarRPAPro。