sentient - 用三行代码控制浏览器的智能体

[测试版]

from sentient import sentient
import asyncio
result = asyncio.run(sentient.invoke(goal="在YouTube上播放《Shape of You》"))

设置步骤

1. 安装 sentient：pip install sentient

2. 目前，你需要以开发者模式启动 Chrome 浏览器——在另一个终端中，使用端口 9222。使用以下命令启动 Chrome 实例，并根据需要完成必要的登录：

   对于 macOS，使用以下命令：

   sudo /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222
   

   如果要运行 Brave 浏览器（macOS）：

   sudo /Applications/Brave\ Browser.app/Contents/MacOS/Brave\ Browser --remote-debugging-port=9222 --guest
   

   对于 Linux：

   google-chrome --remote-debugging-port=9222
   

   对于 Windows：

   "C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222
   

3. 在 .env 文件中设置 OpenAI API 密钥，或使用 export OPENAI_API_KEY="sk-proj-"。

4. 运行智能体：

   from sentient import sentient
   import asyncio
   
   # 如果要在 Jupyter Notebook 中运行，请取消注释以下两行：
   # import nest_asyncio
   # nest_asyncio.apply()
   
   result = asyncio.run(sentient.invoke("在YouTube上播放《Shape of You》"))
   

5. 注意：默认情况下，我们使用 OpenAI 的 gpt-4o-2024-08-06 模型来运行 sentient，因为它是表现最好的模型。你也可以使用其他模型，如 gpt4o 或 gpt4o-mini，但可靠性可能会有所下降。

---

设置自定义任务指令

你可以通过提供自然语言描述来定制智能体的行为，说明它应该如何导航，或者在执行特定任务时需要注意哪些事项。这有助于提高智能体在特定任务上的准确性和可靠性。

from sentient import sentient
import asyncio

custom_instructions = """
1. 直接访问 youtube.com，而不是在 Google 上搜索这首歌！
"""

# 使用 OpenAI
result = asyncio.run(sentient.invoke(
    goal="在YouTube上播放《Shape of You》",
    task_instructions=custom_instructions,
    provider="openai",
    model="gpt-4o-2024-08-06"))

---

使用除 OpenAI 以外的其他提供商

我们目前支持几家提供商。如果你希望添加更多提供商，请提交一个新的问题。你可以像上面所示那样传递自定义指令。你还可以参考 cookbook，查看使用 sentient 与各种提供商的所有示例。

注意：智能体的可靠性取决于模型是否能够生成可靠的 JSON 数据。我们建议在大多数任务中使用 OpenAI 最新的 gpt4o 模型。Claude 3.5 Sonnet 和其他经过指令微调的模型也不错。而小型本地模型可能无法生成可靠的 JSON，从而导致失败的概率更高。

使用 Anthropic

1. 设置 API 密钥：export ANTHROPIC_API_KEY="sk-ant..."

2. 将提供商和模型选项传递给 invoke 命令。

# 使用 Anthropic
result = asyncio.run(sentient.invoke(
    goal="在YouTube上播放《Shape of You》",
    provider="anthropic",
    model="claude-3-5-sonnet-20240620"))

使用 Ollama

1. 确保 Ollama 服务器已启动。你只需传递模型名称即可。

# 使用 Ollama
result = asyncio.run(sentient.invoke(
    goal="在YouTube上播放《Shape of You》",
    provider="ollama",
    model="llama3"))

使用 Groq

1. 设置 Groq API 密钥：export GROQ_API_KEY="gsk..."

2. 将提供商和模型选项传递给 invoke 命令。注意：只有 llama-3.1-70b-versatile 具有足够的上下文窗口来支持该智能体。此外，该模型的输出并不稳定。我们建议仅将 Groq 用于测试目的。

# 使用 Groq 模型
result = asyncio.run(sentient.invoke(
    goal="在YouTube上播放《Shape of You》",
    provider="groq",
    model="llama-3.1-70b-versatile"))

使用 Together AI

1. 设置 Together AI 的 API 密钥：export TOGETHER_API_KEY="your-api-key"

2. 将提供商和模型选项传递给 invoke 命令。

# 使用 Together AI
result = asyncio.run(sentient.invoke(
    goal="在YouTube上播放《Shape of You》",
    provider="together",
    model="meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo"))

使用自定义的 OpenAI 兼容服务器

1. 你可以使用此方法来连接任何兼容 OpenAI API 的服务器（例如，在另一台机器上运行的 vLLM 或 Ollama 等）。

2. 设置自定义服务器的 API 密钥：export CUSTOM_API_KEY="your-api-key"。如果不需要 API 密钥，可以填写任意值。

3. 将自定义的基础 URL 和模型名称传递给 invoke 命令。

# 使用自定义服务器
result = asyncio.run(sentient.invoke(
    goal="在YouTube上播放《Shape of You》",
    provider="custom",
    custom_base_url="http://localhost:8080/v1",
    model="model_name"))

使用 OpenRouter

1. 设置 OpenRouter 的 API 密钥：export OPENROUTER_API_KEY="your-api-key"

2. 我们使用 LiteLLM 来调用 OpenRouter。如果你想禁用 LiteLLM 的日志记录，可以设置 export LITELLM_LOG="ERROR"。

3. 将提供商和模型选项传递给 invoke 命令。模型名称应按格式 openrouter/your-model-name 传递。

# 使用 OpenRouter
result = asyncio.run(sentient.invoke(
    goal="在YouTube上播放《Shape of You》",
    provider="openrouter",
    model="openrouter/anthropic/claude-3.5-sonnet"))

Sentient 快速上手指南

Sentient 是一个仅需 3 行代码即可控制浏览器执行任务的 AI 代理工具（目前处于 Beta 阶段）。它通过大语言模型驱动浏览器自动完成指定目标。

环境准备

在开始之前，请确保满足以下前置条件：

1. 操作系统：支持 macOS、Linux 或 Windows。
2. Python 环境：已安装 Python 3.x。
3. 浏览器：已安装 Google Chrome 或 Brave Browser。
4. API Key：
   • 推荐使用 OpenAI API Key（默认模型 gpt-4o-2024-08-06 效果最佳）。
   • 也支持 Anthropic, Ollama, Groq, Together AI 等提供商。

安装步骤

1. 安装 Sentient

使用 pip 安装核心库：

pip install sentient

2. 配置 API Key

将你的 API Key 设置为环境变量，或存入 .env 文件。

OpenAI 示例：

export OPENAI_API_KEY="sk-proj-"

其他提供商示例（按需设置）：

export ANTHROPIC_API_KEY="sk-ant..."
export GROQ_API_KEY="gsk..."
export TOGETHER_API_KEY="your-api-key"
export OPENROUTER_API_KEY="your-api-key"

3. 启动浏览器（调试模式）

Sentient 需要连接到一个开启远程调试端口的浏览器实例。请在单独的终端窗口中运行以下命令启动浏览器（端口固定为 9222）：

• macOS (Chrome):

  sudo /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222
  

• macOS (Brave):

  sudo /Applications/Brave\ Browser.app/Contents/MacOS/Brave\ Browser --remote-debugging-port=9222 --guest
  

• Linux:

  google-chrome --remote-debugging-port=9222
  

• Windows:

  "C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222
  

注意：启动后，如需登录账号（如 YouTube），请在该浏览器窗口中手动完成登录。

基本使用

最简单的示例

创建一个 Python 脚本，输入以下代码即可让 AI 代理在浏览器中播放歌曲：

from sentient import sentient
import asyncio

result = asyncio.run(sentient.invoke(goal="play shape of you on youtube"))

在 Jupyter Notebook 中使用

如果在 Jupyter 环境中运行，需额外启用 nest_asyncio：

from sentient import sentient
import asyncio

#import nest_asyncio
#nest_asyncio.apply()

result = asyncio.run(sentient.invoke("play shape of you on youtube"))

自定义任务指令（可选）

为了提高特定任务的准确率，你可以传入自然语言指令来指导代理行为：

from sentient import sentient
import asyncio

custom_instructions = """
1. Directly go to youtube.com rather than searching for the song on google!
"""

result = asyncio.run(sentient.invoke(
    goal="play shape of you on youtube",
    task_instructions=custom_instructions,
    provider="openai",
    model="gpt-4o-2024-08-06"))

切换模型提供商

Sentient 支持多种后端模型。以下是切换到 Anthropic Claude 3.5 Sonnet 的示例：

# 确保已 export ANTHROPIC_API_KEY
result = asyncio.run(sentient.invoke(
    goal="play shape of you on youtube",
    provider="anthropic",
    model="claude-3-5-sonnet-20240620"))

提示：模型的可靠性取决于其生成稳定 JSON 的能力。推荐优先使用 OpenAI 的 gpt-4o 系列或 claude-3-5-sonnet。小型本地模型可能因无法输出可靠 JSON 而导致任务失败。