EVAL

EVAL（基于 LangChain 的弹性多功能代理）将执行您所有的请求。就像 eval 方法一样！

您无需考虑具体如何实现。只要告诉它您想要的结果，它就会自行在互联网上搜索、编写代码、运行并测试，最终返回结果。

https://user-images.githubusercontent.com/19206046/229892113-481437b7-a332-4e0c-bfb3-d2c97c9035be.mp4

EVAL 使用多文件构建一个完整的 Web 应用程序

https://user-images.githubusercontent.com/51526347/230061897-b3479405-8ebd-45ab-a432-6506730242b9.mov

EVAL 为自己创建 UI

EVAL-BOT

EVAL 自行管理的 GitHub 账号。除了注册和设置个人简介外，其他一切均由 EVAL 完成。

示例

这里提供了一些示例。

EVAL 的特性

1. 多模态对话
   • 它能够理解并生成文本、图像、数据框、音频（待开发）、视频（待开发）等多种数据格式。
2. 服务提供
   • 它可以提供阻塞型服务，例如 Web 应用。
3. 自我进化
   • 它可以通过编写、修改、执行和测试代码来创建自己的工具。

内置工具

1. 终端
   • SyscallTracer
2. 代码编辑器
   • READ：读取并理解文件内容。
   • WRITE：编写代码以创建新工具。
   • PATCH：如果出现错误，通过代码补丁进行修复。
   • DELETE：删除文件中的代码以便重新开始。
3. 搜索
   • Google、Bing、维基百科
   • 自定义数据库搜索（目前使用 Corca 的 Wine 数据，网址为 https://www.workershop.kr/en）
     • 利用 GPT 索引快速在文档中找到所需信息，并据此回答问题。
   • Requests.get（从任何您希望的地方获取信息）。
4. 图像理解、生成与编辑
   • 图像理解
     • 图像描述：blip-image-captioning
     • 视觉问答：blip-vqa
   • 图像生成：Stable Diffusion 1.5
   • 图像编辑
     • 替换或移除对象：Stable Diffusion Inpainting
     • 改变图像风格：InstructPix2Pix

感谢 LangChain、Visual ChatGPT 和 llama index 的支持。

自定义工具

我们同样无法预测 EVAL 将会创造出哪些工具。每一天，它都会根据您的需求，生成最合适的工具来完成任务。

---

使用方法

1. 设置环境变量
2. 使用 docker-compose 运行
3. 向 EVAL 发送请求

1. 环境变量

您需要在 .env 文件中填写一些环境变量。如果您不确定格式，请参考 .env.example。

必填项

这些环境变量是运行 EVAL 所必需的。

• OPENAI_API_KEY - OpenAI API 密钥

可选项

每个可选环境变量都有默认值，因此除非您想更改，否则无需设置。

• EVAL_PORT - 端口（默认：8000）
• SERVER - 服务器地址（默认：http://localhost:8000）
• LOG_LEVEL - INFO | DEBUG（默认：INFO）
• BOT_NAME - 为它起个名字吧！（默认：Orca）
• MODEL_NAME - GPT 模型名称（默认：gpt-4）

用于更多工具

某些工具需要特定的环境变量。请根据您希望使用的工具设置相应的环境变量。

• Google 搜索工具
  • SERPAPI_API_KEY
• Bing 搜索工具
  • BING_SEARCH_URL
  • BING_SUBSCRIPTION_KEY

2. 使用 docker-compose 运行

• 在 docker-compose.yml 中有两个服务：
  • eval - 不带 GPU，更加轻量

    docker-compose up --build eval
    

  • eval.gpu - 带 GPU，用于多模态对话

    docker-compose up --build eval.gpu
    

• 目前，带 GPU 的版本由于依赖项过多，较为沉重且不稳定。如果您不需要多模态对话，建议使用不带 GPU 的版本。

3. 向 EVAL 发送请求

• 您可以使用 Web GUI 轻松使用 EVAL：

  • 在浏览器中访问 http://localhost:8000

• 或者，您也可以通过 API 手动向 EVAL 发送请求。

  • POST /api/execute

    • session - 会话 ID

    • files - 输入文件的 URL

    • prompt - 提示语

    • 示例：

      curl -X POST -H "Content-Type: application/json" -d '{"session": "sessionid", "files": [], "prompt": "你好！"}' http://localhost:8000/api/execute
      

      http POST http://localhost:8000/api/execute session=sessionid files:='[]' prompt="你好！"
      

• EVAL 还支持异步执行。您可以使用 POST /api/execute/async 替代 POST /api/execute，请求体保持不变。

  • 它会返回执行的 id。您可以使用 GET /api/execute/async/{id} 来获取结果。

待办事项

• GUI
• 内存优化
• 会话管理
• 转换为 Alpaca 格式
• 提升提示语质量
• 提供一种用于创建工具的工具
• 等等。

参考文献

感谢以下项目的支持：

• https://github.com/hwchase17/langchain
• https://github.com/microsoft/visual-chatgpt
• https://github.com/jerryjliu/llama_index

EVAL 快速上手指南

EVAL (Elastic Versatile Agent with Langchain) 是一个能够自主执行复杂任务的 AI 智能体。只需告诉它想要的结果，它就能自动进行搜索、编写代码、运行程序、测试并返回最终成果，甚至能创建自己的工具。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows (需安装 Docker Desktop)
• Docker: 已安装 Docker Engine 和 Docker Compose
• 硬件建议:
  • 基础版: 无需 GPU，适合文本处理和代码生成任务，资源占用较低。
  • 多模态版: 需要 NVIDIA GPU 及对应的驱动，用于支持图像理解、生成等多模态对话功能（目前依赖较重，稳定性略低于基础版）。

前置依赖

• 有效的 OpenAI API Key (必填)
• (可选) 搜索引擎密钥：如需使用 Google 搜索需 SERPAPI_API_KEY，使用 Bing 搜索需 BING_SEARCH_URL 和 BING_SUBSCRIPTION_KEY。

安装步骤

1. 配置环境变量

在项目根目录下创建 .env 文件，并填入必要的配置。你可以参考 .env.example 进行格式设置。

# 必填：OpenAI API 密钥
OPENAI_API_KEY=sk-your-api-key-here

# 可选：自定义配置（若不填写则使用默认值）
# EVAL_PORT=8000
# SERVER=http://localhost:8000
# LOG_LEVEL=INFO
# BOT_NAME=Orca
# MODEL_NAME=gpt-4

# 可选：第三方工具密钥
# SERPAPI_API_KEY=your-serpapi-key
# BING_SEARCH_URL=https://api.bing.microsoft.com/v7.0/search
# BING_SUBSCRIPTION_KEY=your-bing-key

2. 启动服务

使用 docker-compose 启动服务。根据是否需要多模态（图像处理）功能选择以下任一命令：

方案 A：基础版（无 GPU，推荐大多数用户） 轻量级，启动快，适合纯文本和代码任务。

docker-compose up --build eval

方案 B：多模态版（需 GPU） 包含图像理解和生成能力，但依赖庞大，启动较慢且目前稳定性稍弱。

docker-compose up --build eval.gpu

注意：国内用户若遇到拉取镜像缓慢的问题，建议配置 Docker 镜像加速器（如阿里云、腾讯云等）后再执行上述命令。

基本使用

启动成功后，你可以通过以下两种方式与 EVAL 交互：

方式一：使用 Web 图形界面（推荐）

在浏览器中访问本地服务地址，即可通过可视化界面发送指令：

http://localhost:8000

在界面中输入你的需求（例如：“创建一个简单的待办事项网页应用”），EVAL 将自动执行搜索、编码、运行和测试流程。

方式二：通过 API 调用

你可以直接使用 curl 或其他 HTTP 客户端发送请求。

同步执行示例：

curl -X POST -H "Content-Type: application/json" \
-d '{"session": "sessionid", "files": [], "prompt": "Hi there!"}' \
http://localhost:8000/api/execute

异步执行示例： 适用于耗时较长的任务。先提交任务获取 ID，再查询结果。

# 1. 提交任务
curl -X POST -H "Content-Type: application/json" \
-d '{"session": "sessionid", "files": [], "prompt": "Build a snake game"}' \
http://localhost:8000/api/execute/async

# 2. 使用返回的 id 查询结果
# GET /api/execute/async/{id}