Discord · 架构 · YouTube

VisionAgent 是 LandingAI 推出的视觉 AI 引擎。只需提供一个提示和一张图像，它就能自动选择合适的视觉模型，并输出可以直接运行的代码——让您在几分钟内构建支持视觉功能的应用程序。您可以通过 examples/chat 中的本地 Web 应用程序并按照 README.md 中的说明来体验 VisionAgent：

https://github.com/user-attachments/assets/752632b3-dda5-44f1-b27e-5cb4c97757ac

库的安装步骤

获取您的 VisionAgent API 密钥

最重要的一步是创建账户，并获取您的API 密钥。

其他先决条件

• Python 3.9 或更高版本
• Anthropic API 密钥
• Google API 密钥

为什么需要 Anthropic 和 Google 的 API 密钥？

VisionAgent 使用 Anthropic 和 Google 的模型来响应提示并生成代码。

当您运行 VisionAgent 时，应用程序需要使用您的 API 密钥来访问 Anthropic 和 Google 的模型。这确保了您使用 VisionAgent 运行的任何项目都不会受到 LandingAI 账户速率限制的影响，同时也避免了大量用户对 LandingAI 速率限制的过度占用。

Anthropic 和 Google 都有自己的速率限制和付费层级。请参阅它们的文档和定价信息以了解更多信息。

注意: 在 VisionAgent v1.0.2 及更早版本中，VisionAgent 由 Anthropic Claude-3.5 和 OpenAI o1 提供支持。如果您使用的是这些版本之一，您将获得一个 OpenAI API 密钥，并将其设置为环境变量。

获取 Anthropic API 密钥

1. 如果您还没有，请创建一个Anthropic 控制台账户。
2. 在 Anthropic 控制台中，前往API 密钥页面。
3. 生成一个 API 密钥。

获取 Google API 密钥

1. 如果您还没有，请创建一个Google AI Studio 账户。
2. 在 Google AI Studio 中，前往获取 API 密钥页面。
3. 生成一个 API 密钥。

安装

使用 uv 安装：

uv add vision-agent

使用 pip 安装：

pip install vision-agent

快速入门：向 VisionAgent 提示

按照本快速入门指南学习如何向 VisionAgent 提示。掌握基础知识后，您可以根据自己的需求自定义提示和工作流程。

1. 获取您的 Anthropic、Google 和 VisionAgent API 密钥。
2. 将 Anthropic、Google 和 VisionAgent API 密钥设置为环境变量。
3. 安装 VisionAgent。
4. 创建一个名为 quickstart 的文件夹。
5. 找到您想要分析的图像，并将其保存到 quickstart 文件夹中。
6. 将示例脚本复制到名为 source.py 的文件中。将该文件保存到 quickstart 文件夹中。
7. 运行 source.py。
8. VisionAgent 会生成一个名为 generated_code.py 的文件，并将生成的代码保存到其中。

将 API 密钥设置为环境变量

在运行 VisionAgent 代码之前，您必须将 Anthropic、Google 和 VisionAgent 的 API 密钥设置为环境变量。不同的操作系统有不同的设置方法。

以下是设置变量的代码：

export VISION_AGENT_API_KEY="your-api-key"
export ANTHROPIC_API_KEY="your-api-key"
export GOOGLE_API_KEY="your-api-key" 

示例脚本：向 VisionAgent 提示

要使用 VisionAgent 生成代码，可以使用以下脚本作为起点：

# 从 VisionAgent 包中导入所需的类
from vision_agent.agent import VisionAgentCoderV2
from vision_agent.models import AgentMessage

# 启用详细输出
agent = VisionAgentCoderV2(verbose=True)

# 添加您的提示（内容）和图像文件（媒体）
code_context = agent.generate_code(
    [
        AgentMessage(
            role="user",
            content="描述这张图像",
            media=["friends.jpg"]
        )
    ]
)

# 将输出写入文件
with open("generated_code.py", "w") as f:
    f.write(code_context.code + "\n" + code_context.test)

向 VisionAgent 提示时的预期结果

当您提交提示时，VisionAgent 会执行以下任务。

1. 为代码生成任务生成计划。如果启用了详细输出，将会显示该计划的编号步骤。
2. 根据计划生成代码和测试用例。
3. 使用测试用例测试生成的代码。如果测试失败，VisionAgent 会反复迭代代码生成过程，直到测试通过为止。

示例：统计图像中的罐头数量

请查看此 Jupyter Notebook 中的示例，了解如何使用 VisionAgent 统计图像中的罐头数量：

统计图像中的罐头数量

使用 VisionAgent 中的特定工具

VisionAgent 库包含一组工具，这些工具是独立的模型或函数，用于完成特定任务。当您向 VisionAgent 发出提示时，VisionAgent 会从这些工具中选择一个或多个来完成您提示中描述的任务。

例如，如果您提示 VisionAgent“计算图像中的狗的数量”，VisionAgent 可能会使用 florence2_object_detection 工具检测所有狗，然后使用 countgd_object_detection 工具统计检测到的狗的数量。

安装 VisionAgent 库后，您也可以在自己的脚本中使用这些工具。例如，如果您正在编写一个用于跟踪视频中物体的脚本，可以调用 owlv2_sam2_video_tracking 函数。换句话说，您不仅可以在向 VisionAgent 发送提示时使用这些工具，还可以在其他场景中直接调用它们。

这些工具位于 vision_agent.tools API 中。

示例脚本：对图像使用特定工具

您可以调用 countgd_object_detection 函数来统计图像中的对象数量。

为此，您可以运行以下脚本：

# 导入 VisionAgent Tools 库；导入 Matplotlib 以可视化结果
import vision_agent.tools as T
import matplotlib.pyplot as plt

# 加载图像
image = T.load_image("people.png")

# 调用函数统计图像中的对象，并指定要统计“人”
dets = T.countgd_object_detection("person", image)

# 在图像上可视化 countgd 检测框
viz = T.overlay_bounding_boxes(image, dets)

# 将可视化结果保存为文件
T.save_image(viz, "people_detected.png")

# 显示可视化结果
plt.imshow(viz)
plt.show()

示例脚本：对视频使用特定工具

您可以调用 countgd_sam2_video_tracking 函数来跟踪视频中的人，并将其与 extract_frames_and_timestamps 函数结合使用，以返回这些人出现的帧和时间戳。

为此，您可以运行以下脚本：

# 导入 VisionAgent Tools 库
import vision_agent.tools as T

# 调用函数获取帧和时间戳
frames_and_ts = T.extract_frames_and_timestamps("people.mp4")

# 从 frames_and_ts 列表中提取帧
frames = [f["frame"] for f in frames_and_ts]

# 调用函数跟踪对象，并指定要跟踪“人”
tracks = T.countgd_sam2_video_tracking("person", frames)

# 在帧上可视化 countgd 跟踪结果并保存视频
viz = T.overlay_segmentation_masks(frames, tracks)
T.save_video(viz, "people_detected.mp4")

使用其他 LLM 提供商

VisionAgent 使用 Anthropic Claude 3.7 Sonnet 和 Gemini Flash 2.0 Experimental (gemini-2.0-flash-exp) 来响应提示并生成代码。我们发现，这些模型为 VisionAgent 提供了最佳性能，并且其提供商均在其免费层级（有限制）中提供这些模型。

如果您更倾向于仅使用其中一种模型，或者使用不同的模型组合，可以在 vision_agent/configs/config.py 文件中更改所选的 LLM 提供商。此外，您还需要将提供商的 API 密钥作为环境变量进行设置。

例如，如果您只想使用 Anthropic 模型，可以运行以下命令：

cp vision_agent/configs/anthropic_config.py vision_agent/configs/config.py

或者，您也可以手动在 config.py 文件中输入模型详细信息。例如，如果您想将规划器模型从 Anthropic 更改为 OpenAI，可以将以下代码：

    planner: Type[LMM] = Field(default=AnthropicLMM)
    planner_kwargs: dict = Field(
        default_factory=lambda: {
            "model_name": "claude-3-7-sonnet-20250219",
            "temperature": 0.0,
            "image_size": 768,
        }
    )

替换为以下代码：

    planner: Type[LMM] = Field(default=OpenAILMM)
    planner_kwargs: dict = Field(
        default_factory=lambda: {
            "model_name": "gpt-4o-2024-11-20",
            "temperature": 0.0,
            "image_size": 768,
            "image_detail": "low",
        }
    )

资源

• Discord：加入我们的 VisionAgent 用户社区，分享使用案例并了解最新更新。
• VisionAgent 库文档：学习如何使用此库。
• 视频教程：观看最新的视频教程，了解 VisionAgent 在各种应用场景中的使用方法。

VisionAgent 快速上手指南

VisionAgent 是 LandingAI 推出的视觉 AI 智能体。只需提供提示词和图片/视频，它就能自动选择合适的视觉模型并生成可运行的代码，帮助你在几分钟内构建视觉 AI 应用。

环境准备

在开始之前，请确保满足以下要求：

• 系统要求：Python 3.9 或更高版本。
• 必需 API Keys：VisionAgent 依赖外部大模型进行推理和代码生成，你需要准备以下三个密钥：
  1. VisionAgent API Key：在 LandingAI 官网 注册账号并获取。
  2. Anthropic API Key：用于调用 Claude 模型（获取地址）。
  3. Google API Key：用于调用 Gemini 模型（获取地址）。

注意：设置这些密钥是为了避免触及 LandingAI 公共账户的速率限制，并确保项目运行的稳定性。

安装步骤

你可以使用 pip 或 uv 进行安装：

使用 pip 安装：

pip install vision-agent

使用 uv 安装：

uv add vision-agent

基本使用

1. 配置环境变量

运行前，请将获取到的三个 API Key 设置为环境变量。

Linux/macOS:

export VISION_AGENT_API_KEY="your-vision-agent-key"
export ANTHROPIC_API_KEY="your-anthropic-key"
export GOOGLE_API_KEY="your-google-key" 

Windows (PowerShell):

$env:VISION_AGENT_API_KEY="your-vision-agent-key"
$env:ANTHROPIC_API_KEY="your-anthropic-key"
$env:GOOGLE_API_KEY="your-google-key"

2. 编写脚本

创建一个名为 source.py 的文件，填入以下代码。该脚本会让 VisionAgent 分析一张图片并生成相应的处理代码。

请确保当前目录下有一张名为 friends.jpg 的图片，或者修改代码中的文件名。

# 从 VisionAgent 包导入必要的类
from vision_agent.agent import VisionAgentCoderV2
from vision_agent.models import AgentMessage

# 初始化智能体，开启详细输出以便观察过程
agent = VisionAgentCoderV2(verbose=True)

# 发送提示词和图片
code_context = agent.generate_code(
    [
        AgentMessage(
            role="user",
            content="Describe the image",
            media=["friends.jpg"]
        )
    ]
)

# 将生成的代码和测试用例保存到 generated_code.py
with open("generated_code.py", "w") as f:
    f.write(code_context.code + "\n" + code_context.test)

3. 运行与结果

执行脚本：

python source.py

执行流程说明：

1. 规划：VisionAgent 会根据你的提示词生成代码编写计划。
2. 生成：基于计划生成 Python 代码及对应的测试用例。
3. 自修正：自动运行测试用例，如果失败，它会迭代修改代码直到通过测试。

运行结束后，当前目录会生成一个 generated_code.py 文件，里面包含了针对你图片任务的可直接运行的视觉处理代码。