开放接口

使用大语言模型控制您的电脑

开放接口

• 通过将您的请求发送至大语言模型后端（如GPT-4o、Gemini等），自动规划出完成任务所需的步骤，从而实现对电脑的自主操作。
• 通过模拟键盘和鼠标输入，自动执行这些步骤。
• 根据需要向大语言模型后端发送更新的屏幕截图，以进行过程中的修正和调整。

演示 💻

“解决今天的Wordle”

截取并放大2倍

更多演示

• “在Google文档中为我制定一份餐计划”
• “编写一个Web应用”

---

安装 💽

MacOS

• 从最新的发布页面下载 MacOS 二进制文件。
• 解压文件，并将 Open Interface 移动到“应用程序”文件夹。
  
  

苹果自研 M 系列芯片的 Mac 电脑

• Open Interface 会请求获取辅助功能权限，以便为您操作键盘和鼠标；同时还需要屏幕录制权限，用于截取屏幕以评估其运行进度。
  
• 如果未自动弹出权限请求，请手动通过系统设置 -> 隐私与安全性添加这些权限。
  
  

英特尔芯片的 Mac 电脑

• 从“应用程序”文件夹启动该应用。
  您可能会遇到标准的 Mac 错误“无法打开 Open Interface”。
  
  
  在这种情况下，点击"取消"。
  然后前往系统偏好设置 -> 安全性与隐私 -> 仍要打开。
  
     


• Open Interface 还需要辅助功能权限来操作您的键盘和鼠标，以及屏幕录制权限来截屏以评估其进展。
  
  
  

• 最后，请查看设置部分，将 Open Interface 连接到大语言模型（如 OpenAI GPT-4V）。

Linux

• 目前 Linux 二进制文件已在 Ubuntu 20.04 上测试通过。
• 从最新的发布页面下载 Linux 压缩包。
• 解压可执行文件，并参考设置部分，将 Open Interface 连接到大语言模型，例如 OpenAI GPT-4V。

Windows

• Windows 二进制文件已在 Windows 10 上测试通过。
• 从最新的发布页面下载 Windows 压缩包。
• 解压文件夹，将 exe 文件移动到您希望的位置，双击即可打开，大功告成。
• 请参阅设置部分，将 Open Interface 连接到大语言模型（如 OpenAI GPT-4V）。

作为脚本运行

• 克隆仓库：git clone https://github.com/AmberSahdev/Open-Interface.git
• 进入目录：cd Open-Interface
• 可选使用 Python 虚拟环境
  • 注意：pyenv 对 tkinter 的安装处理方式较为特殊，您可能需要根据自身系统进行调试。
  • pyenv local 3.12.2
  • python -m venv .venv
  • source .venv/bin/activate
• 安装依赖：pip install -r requirements.txt
• 运行应用：python app/app.py

设置 🛠️

设置 OpenAI API 密钥

• 获取你的 OpenAI API 密钥

  • Open Interface 需要访问 GPT-4o 才能执行用户请求。GPT-4o 的密钥可以在你的 OpenAI 账户中下载，地址是 platform.openai.com/settings/organization/api-keys。
  • 按照这里的步骤为你的 OpenAI 账户充值。要解锁 GPT-4o，至少需要支付 5 美元。
  • 更多信息

• 将 API 密钥保存在 Open Interface 设置中

  • 在 Open Interface 中，前往右上角的“设置”菜单，将你从 OpenAI 收到的密钥输入到文本框中，如下所示：
    
  
  
  
  

• 首次设置 API 密钥后，你需要重启应用。

设置 Google Gemini API 密钥

• 前往“设置”->“高级设置”，选择你想要使用的 Gemini 模型。
• 从 https://aistudio.google.com/app/apikey 获取你的 Google Gemini API 密钥。
• 将 API 密钥保存在 Open Interface 设置中。
• 保存设置并重启应用。

可选：设置自定义 LLM

• Open Interface 支持使用其他 OpenAI API 风格的 LLM（如 Llava）作为后端，并且可以在“高级设置”窗口中轻松配置。
• 在“高级设置”窗口中输入自定义的基础 URL 和模型名称，在“设置”窗口中根据需要输入 API 密钥。
• 注意——如果你使用的是 Llama：
  • 你可能需要在 API 密钥输入框中输入一个随机字符串，比如“xxx”。
  • 你可能需要在基础 URL 后面加上 /v1/。
    
    
    
• 如果你的 LLM 不支持 OpenAI 风格的 API，你可以使用像这个这样的库将其转换为兼容格式。
• 这些更改完成后，你需要重启应用。

---

目前容易出错的地方 😬

• 准确的空间推理，从而精确点击按钮。
• 在表格类环境中（如 Excel 和 Google Sheets）保持自身状态，原因与上述类似。
• 在复杂的 GUI 富应用中导航，例如《反恐精英》、Spotify、GarageBand 等，因为这些应用高度依赖光标操作。

未来 🔮

(随着基于视频教程等数据训练出更优秀的模型)

• “帮我用 GarageBand 为我最新的项目制作几个低音采样。”
• “阅读这份新功能的设计文档，在 GitHub 上编辑代码，并提交审核。”
• “从 Spotify 上找到我朋友的音乐品味，为今晚的派对制作一个播放列表。”
• “把我在太浩湖旅行时拍的照片整理出来，在 iMovie 中制作一个《白莲花》风格的蒙太奇。”

备注 📝

• 成本估算：每次 LLM 请求的成本为 0.0005 至 0.002 美元，具体取决于所使用的模型。
  （用户请求可能需要两到几十次不等的 LLM 后端调用，具体取决于请求的复杂性。）
• 你可以随时通过按下“停止”按钮，或者将光标拖动到屏幕的任意角落来中断应用。
• 当使用多台显示器时，Open Interface 只能看到你的主显示器。因此，如果光标或焦点位于副屏幕上，它可能会不断重复相同的动作，因为它无法看到自己的进展。

---

系统架构图 🖼️

+----------------------------------------------------+
| 应用                                                |
|                                                    |
|    +-------+                                       |
|    |  GUI  |                                       |
|    +-------+                                       |
|        ^                                           |
|        |                                           |
|        v                                           |
|  +-----------+  (截图 + 目标)  +-----------+ |
|  |           | --------------------> |           | |
|  |    核心   |                       |    LLM    | |
|  |           | <-------------------- |  (GPT-4o) | |
|  +-----------+    (指令)     +-----------+ |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  | 解释器    |                                   |
|  +-------------+                                   |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  | 执行器    |                                   |
|  +-------------+                                   |
+----------------------------------------------------+

---

星标历史 ⭐️

链接 🔗

• 更多我的项目请访问 AmberSah.dev。
• 其他演示和新闻资料可在 MEDIA.md 中找到。

Open-Interface 快速上手指南

Open-Interface 是一款利用大语言模型（LLM）实现电脑全自动控制的开源工具。它能接收自然语言指令，自动规划步骤，并通过模拟键盘和鼠标操作来执行任务，同时通过屏幕截图进行自我修正。

环境准备

系统要求

支持以下操作系统（已测试版本）：

• macOS: Intel 芯片或 Apple Silicon (M 系列) 芯片
• Linux: Ubuntu 20.04 及以上
• Windows: Windows 10 及以上

前置依赖与权限

• API Key: 需准备 OpenAI (GPT-4o)、Google Gemini 或其他兼容 OpenAI 格式的 LLM API Key。
• 系统权限 (运行前必须配置):
  • macOS: 需在 系统设置 -> 隐私与安全性 中授予 辅助功能 (Accessibility) (控制键鼠) 和 屏幕录制 (Screen Recording) (截取进度) 权限。
  • Linux/Windows: 确保当前用户有执行二进制文件或脚本的权限。
• Python 环境 (仅源码运行需要): Python 3.12+ (推荐), pip, git。

---

安装步骤

您可以选择下载预编译的二进制文件（推荐）或从源码运行。

方式一：使用预编译二进制文件

1. 下载安装包 访问 GitHub Releases 下载对应系统的压缩包。

2. 解压与移动

   • macOS: 解压后将 Open Interface 应用拖入 应用程序 (Applications) 文件夹。
   • Windows: 解压文件夹，将 .exe 文件移至任意位置。
   • Linux: 解压并提取可执行文件。

3. 首次运行配置 (macOS 特有)

   • Intel Mac: 若出现“无法打开”提示，请前往 系统偏好设置 -> 安全性与隐私 -> 点击 仍要打开。
   • 所有 Mac: 启动后按提示授予辅助功能和屏幕录制权限，若未自动弹出，请手动在系统设置中添加。

方式二：从源码运行 (跨平台)

适合开发者或需要自定义环境的用户。

# 1. 克隆仓库
git clone https://github.com/AmberSahdev/Open-Interface.git
cd Open-Interface

# 2. (可选) 创建虚拟环境 (推荐 Python 3.12+)
# 注意：pyenv 处理 tkinter 可能需额外调试
python -m venv .venv
source .venv/bin/activate  # Windows 用户使用: .venv\Scripts\activate

# 3. 安装依赖
pip install -r requirements.txt

# 4. 启动应用
python app/app.py

---

基本使用

1. 配置 LLM API

启动应用后，需先连接大模型后端：

1. 点击右上角 Settings (设置) 菜单。
2. OpenAI 用户:
   • 获取 Key: 访问 platform.openai.com (需充值至少 $5 以解锁 GPT-4o)。
   • 在设置界面的文本框中粘贴 API Key。
3. Gemini 用户:
   • 进入 Settings -> Advanced Settings 选择 Gemini 模型。
   • 获取 Key: 访问 aistudio.google.com。
   • 在设置中保存 Key。
4. 自定义模型:
   • 在 Advanced Settings 中输入 Base URL 和模型名称 (如本地部署的 Llama)，API Key 处若无需求可填任意字符串 (如 "xxx")。
5. 重启应用: 配置完成后必须重启软件生效。

2. 执行任务

配置完成后，即可通过自然语言控制电脑：

1. 在输入框中输入指令，例如：
   • "Solve Today's Wordle" (解决今天的 Wordle 游戏)
   • "Make me a meal plan in Google Docs" (在 Google 文档中制定一份膳食计划)
   • "Write a Web App" (编写一个 Web 应用)
2. 按下回车，Open-Interface 将自动分析屏幕、规划步骤并执行操作。

3. 中断操作

如需停止当前任务，可点击界面上的 Stop 按钮，或将鼠标光标迅速拖动至屏幕任意角落。

注意:

• 每次请求成本约为 $0.0005 - $0.002，复杂任务可能调用多次 LLM。
• 多显示器环境下，工具仅能识别主显示器；若焦点在副屏，可能导致操作循环失败。