ome

自操作计算机框架

一个使多模态模型能够操作计算机的框架。

模型以与人类操作员相同的输入和输出方式，通过观察屏幕并决定一系列鼠标和键盘操作来达成目标。该自操作计算机框架于2023年11月发布，是最早实现完整计算机使用的示例之一。

核心特性

• 兼容性：专为多种多模态模型设计。
• 集成：目前已集成 GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL 和 LLaVa。
• 未来计划：支持更多模型。

演示

https://github.com/OthersideAI/self-operating-computer/assets/42594239/9e8abc96-c76a-46fb-9b13-03678b3c67e0

运行 自操作计算机

1. 安装项目

pip install self-operating-computer

2. 运行项目

operate

3. 输入您的 OpenAI 密钥：如果您没有密钥，可以在此处获取 OpenAI 密钥。如果需要在之后更改密钥，请运行 vim .env 打开 .env 文件并替换旧密钥。

4. 授予终端应用所需权限：最后一步，终端应用会在 Mac 的“系统偏好设置”中的“安全性与隐私”页面中请求“屏幕录制”和“辅助功能”的权限。

使用 operate 模式

OpenAI 模型

项目的默认模型是 gpt-4o，您只需输入 operate 即可使用。要尝试运行 OpenAI 的新 o1 模型，请使用以下命令：

operate -m o1-with-ocr

要体验 OpenAI 最新的 gpt-4.1 模型，请运行：

operate -m gpt-4.1-with-ocr

多模态模型 -m

请按照以下步骤尝试 Google 的 gemini-pro-vision。使用 Gemini 模型启动 operate：

operate -m gemini-pro-vision

当终端提示时，请输入您的 Google AI Studio API 密钥。如果您没有密钥，可以在设置好 Google AI Studio 账户后在此处获取密钥 Google AI Studio。您可能还需要为桌面应用程序授权凭据 Google AI OAuth 快速入门。我花了一段时间才让它正常工作，如果有更简单的方法，请提交 PR。

尝试 Claude -m claude-3

使用带有视觉功能的 Claude 3 来看看它在操作计算机方面如何与 GPT-4-Vision 相比。前往 Claude 控制台获取 API 密钥，并运行以下命令进行尝试：

operate -m claude-3

尝试 Qwen -m qwen-vl

使用带有视觉功能的 Qwen-vl 来查看它在操作计算机方面如何与 GPT-4-Vision 相比。前往 Qwen 控制台获取 API 密钥，并运行以下命令进行尝试：

operate -m qwen-vl

尝试 LLaVA 通过 Ollama 托管 -m llava

如果您希望在自己的机器上使用 LLaVA 来试验自操作计算机框架，可以通过 Ollama 实现！
注意：Ollama 目前仅支持 MacOS 和 Linux。Windows 现已进入预览阶段

首先，从 https://ollama.ai/download 在您的机器上安装 Ollama。

Ollama 安装完成后，拉取 LLaVA 模型：

ollama pull llava

这将在您的机器上下载模型，大约占用 5 GB 存储空间。

当 Ollama 完成拉取 LLaVA 后，启动服务器：

ollama serve

就是这样！现在启动 operate 并选择 LLaVA 模型：

operate -m llava

重要提示：使用 LLaVA 时错误率非常高。这只是为了作为基础，以便在未来本地多模态模型改进时继续构建。

更多关于 Ollama 的信息，请访问其 GitHub 仓库

语音模式 --voice

该框架支持通过语音输入目标。请按照以下步骤尝试语音功能。
克隆仓库到您电脑上的一个目录：

git clone https://github.com/OthersideAI/self-operating-computer.git

进入目录：

cd self-operating-computer

安装额外的 requirements-audio.txt

pip install -r requirements-audio.txt

安装设备依赖 对于 Mac 用户：

brew install portaudio

对于 Linux 用户：

sudo apt install portaudio19-dev python3-pyaudio

以语音模式运行：

operate --voice

光学字符识别模式 -m gpt-4-with-ocr

自操作计算机框架现已将光学字符识别 (OCR) 功能集成到 gpt-4-with-ocr 模式中。此模式为 GPT-4 提供了一个基于坐标的可点击元素哈希表。GPT-4 可以根据文本决定点击哪些元素，然后代码会参考该哈希表来获取 GPT-4 想要点击的那个元素的坐标。

根据最近的测试，OCR 的表现优于 som 和普通的 GPT-4，因此我们将其设为项目的默认模式。要使用 OCR 模式，您可以直接输入：

operate 或者 operate -m gpt-4-with-ocr 也同样适用。

集合标记提示 -m gpt-4-with-som

自操作计算机框架现在支持集合标记（SoM）提示，可通过 gpt-4-with-som 命令实现。这种新的视觉提示方法增强了大型多模态模型的视觉定位能力。

有关 SoM 提示的更多信息，请参阅详细的 arXiv 论文：这里。

对于这个初始版本，我们训练了一个简单的 YOLOv8 模型用于按钮检测，并将 best.pt 文件包含在 model/weights/ 目录下。鼓励用户替换为自己的 best.pt 文件，以评估性能提升。如果您训练的模型优于现有模型，请通过创建拉取请求 (PR) 来贡献。

使用 SoM 模型启动 operate：

operate -m gpt-4-with-som

欢迎贡献！:

如果您想亲自贡献，请参阅 CONTRIBUTING.md。

反馈

如需对本项目提出任何改进建议，请随时通过 Twitter 联系 Josh。

加入我们的 Discord 社区

如需实时讨论和社区支持，请加入我们的 Discord 服务器。

• 如果您已经是成员，请在 #self-operating-computer 频道参与讨论。
• 如果您是新用户，请先 加入我们的 Discord 服务器，然后前往 #self-operating-computer 频道。

关注 HyperWriteAI 以获取更多更新

随时掌握最新动态：

• 在 Twitter 上关注 HyperWriteAI。
• 在 LinkedIn 上关注 HyperWriteAI。

光盘兼容性

• 本项目兼容 macOS、Windows 和 Linux（需安装 X 服务器）。

OpenAI 速率限制说明

需要使用 gpt-4o 模型。要解锁该模型的访问权限，您的账户需在 API 信用额度上至少消费 5 美元。如果您尚未达到最低消费额，提前预付这些费用即可解锁访问权限。 了解更多信息 请点击此处

Self-Operating Computer 快速上手指南

Self-Operating Computer 是一个让多模态大模型能够像人类一样操作计算机的框架。模型通过“看”屏幕内容，自主决定鼠标和键盘操作序列以完成指定目标。

环境准备

系统要求

本项目支持以下操作系统：

• macOS (推荐，权限配置最简便)
• Linux (需安装 X server)
• Windows (预览版支持)

前置依赖与权限

在运行前，请确保终端应用拥有以下系统权限（以 macOS 为例）：

1. 打开 系统设置 > 隐私与安全性。
2. 授予终端应用 屏幕录制 (Screen Recording) 权限。
3. 授予终端应用 辅助功能 (Accessibility) 权限。

注意：若使用 OpenAI 模型，您的账户需至少消耗 $5 API 额度以解锁 gpt-4o 访问权限。

安装步骤

1. 安装项目包 使用 pip 直接安装：

   pip install self-operating-computer
   

2. （可选）语音模式额外依赖 如果您需要使用语音输入功能，需克隆仓库并安装音频依赖：

   git clone https://github.com/OthersideAI/self-operating-computer.git
   cd self-operating-computer
   pip install -r requirements-audio.txt
   

   系统级依赖安装：

   • macOS: brew install portaudio
   • Linux: sudo apt install portaudio19-dev python3-pyaudio

基本使用

1. 启动程序

在终端输入以下命令启动框架：

operate

2. 配置 API Key

首次运行时，程序会提示您输入 API Key：

• OpenAI: 输入您的 OpenAI API Key。如需修改，可运行 vim .env 编辑配置文件。
• 其他模型: 根据提示输入对应厂商（Google, Anthropic, Aliyun 等）的 API Key。

3. 授权确认

启动后，系统可能会弹出权限请求窗口，请点击“允许”授予屏幕录制和辅助功能权限。

4. 开始操作

权限配置完成后，直接在终端输入您的自然语言目标（例如：“打开浏览器并搜索 AI 新闻”），模型将自动接管屏幕进行操作。

---

常用模型切换示例

默认使用 gpt-4o 模型。您可以通过 -m 参数切换其他支持的模型：

• 使用 OpenAI o1 模型:

  operate -m o1-with-ocr
  

• 使用 Google Gemini Pro Vision:

  operate -m gemini-pro-vision
  

• 使用 Claude 3:

  operate -m claude-3
  

• 使用通义千问 (Qwen-VL):

  operate -m qwen-vl
  

• 使用本地 LLaVA (需先安装 Ollama):

  # 拉取模型
  ollama pull llava
  # 启动服务
  ollama serve
  # 运行框架
  operate -m llava
  

• 启用语音输入模式:

  operate --voice