---

EvalAI 是一个开源平台，用于大规模评估和比较机器学习（ML）和人工智能（AI）算法。

近年来，将解决某一任务的算法与其他现有方法进行比较变得越来越困难。这些比较往往受到算法实现细节差异、非标准数据集划分以及不同评估指标的影响。通过提供中央排行榜和提交接口，我们使研究人员更容易复现论文中提到的结果，并进行可靠且准确的定量分析。借助基于 MapReduce 框架的快速而稳健的后端系统，EvalAI 能够实时加速评估过程，从而帮助研究人员更轻松地复现技术论文中的结果，并开展可靠、精确的分析。

功能特性

• 自定义评估协议和阶段：我们支持创建任意数量的评估阶段和数据集划分，兼容任何编程语言，并可在公共和私有排行榜上展示结果。

• 远程评估：某些大规模挑战需要特殊的计算能力来进行评估。如果挑战需要额外的计算资源，挑战组织者可以轻松添加自己的工作节点集群来处理参赛者的提交，而我们将负责托管挑战、处理用户提交以及维护排行榜。

• 环境内评估：EvalAI 允许参与者以 Docker 镜像的形式提交其智能体代码，并在评估服务器上的测试环境中进行评估。评估过程中，工作节点会拉取镜像、测试环境和模型快照，然后启动一个新的容器来进行评估。

• 命令行支持：evalai-cli 旨在将 EvalAI Web 应用的功能扩展到您的命令行界面，使平台更加易用且适合终端用户。

• 可移植性：EvalAI 在设计之初就充分考虑了系统的可扩展性和可移植性。大多数组件都依赖于开源技术，包括 Docker、Django、Node.js 和 PostgreSQL。

• 更快的评估：我们在启动时预热工作节点，导入挑战代码并将数据集预先加载到内存中。此外，我们还将数据集拆分为多个小块，在多个核心上同时进行评估。这些简单的优化措施显著提升了评估速度，在某些情况下甚至能将评估时间缩短一个数量级。

目标

我们的最终目标是构建一个集中式平台，用于举办、参与和协作全球范围内的人工智能挑战赛，并助力衡量人工智能领域的进展。

安装说明

在本地机器上搭建 EvalAI 非常简单。您可以使用 Docker 来部署 EvalAI：

步骤如下：

1. 在您的机器上安装 Docker 和 Docker Compose。

2. 通过 Git 将源代码获取到您的机器上。

   git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai
   

3. 构建并运行 Docker 容器。这可能需要一些时间。

   docker-compose up --build
   

   默认情况下，此命令仅启动所需的服务（db、sqs 和 django）。如果您需要 worker 服务，请使用以下命令启动：

   docker-compose --profile worker up --build
   

4. 完成！打开浏览器并访问 http://127.0.0.1:8888。默认会创建三个用户，具体信息如下：

   超级管理员：用户名 admin，密码 password
   主办方用户：用户名 host，密码 password
   参赛者用户：用户名 participant，密码 password

如您在安装过程中遇到任何问题，请参阅我们的 常见安装错误 页面。

EvalAI 文档设置说明

如果您希望为 EvalAI 文档贡献内容，请参考 docs/README.md 中的文档特定设置说明，在本地搭建文档生成环境。

引用 EvalAI

如果您使用 EvalAI 来举办挑战赛，请引用以下技术报告：

@article{EvalAI,
    title   =  {EvalAI：迈向更好的 AI 智能体评估系统},
    author  =  {Deshraj Yadav、Rishabh Jain、Harsh Agrawal、Prithvijit Chattopadhyay、Taranjeet Singh、Akash Jain、Shiv Baran Singh、Stefan Lee、Dhruv Batra},
    year    =  {2019},
    volume  =  arXiv:1902.03570
}

团队

EvalAI 由 Rishabh Jain、Akansha Jain、Gunjan Chhablani 和 Dhruv Batra 维护。

过往贡献者（非详尽列表）包括： Deshraj Yadav、Ram Ramrakhya、Akash Jain、Taranjeet Singh、Shiv Baran Singh、Harsh Agarwal、Prithvijit Chattopadhyay 以及 Devi Parikh。

贡献指南

如果您有兴趣为 EvalAI 做出贡献，请遵循我们的 贡献指南。

贡献者

EvalAI 快速上手指南

EvalAI 是一个开源平台，旨在大规模评估和比较机器学习（ML）与人工智能（AI）算法。它通过提供统一的排行榜和提交接口，帮助研究人员复现论文结果并进行可靠的定量分析。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows（需安装 WSL2 或 Docker Desktop）。
• 核心依赖：
  • Docker：用于容器化运行服务。
  • Docker Compose：用于编排多容器应用。
• 网络环境：由于项目托管在 GitHub，国内用户建议配置代理或使用镜像加速拉取代码和 Docker 镜像。

安装步骤

以下是通过 Docker 在本地快速部署 EvalAI 的步骤：

1. 获取源代码 使用 git 克隆项目仓库到本地：

   git clone https://github.com/Cloud-CV/EvalAI.git evalai && cd evalai
   

2. 构建并启动服务 运行以下命令构建 Docker 镜像并启动核心服务（数据库、消息队列、Django 后端）。首次运行可能需要较长时间下载基础镜像：

   docker-compose up --build
   

   注意：如果您需要运行Worker 服务（用于处理实际的任务评估），请使用以下命令启动：

   docker-compose --profile worker up --build
   

3. 访问平台 服务启动完成后，打开浏览器访问： http://127.0.0.1:8888

基本使用

安装完成后，系统会自动创建三个默认测试账号，您可以直接使用它们登录体验不同角色的功能：

角色	用户名	密码	用途说明
超级管理员	admin	password	管理系统全局设置
挑战主办方 (Host)	host	password	创建挑战赛、上传数据集、配置评估指标
参赛者 (Participant)	participant	password	浏览挑战、提交代码/模型、查看排行榜

最简单的使用流程：

1. 使用 Host 账号登录，创建一个简单的挑战赛（Challenge），定义评估阶段（Phase）和数据集。
2. 退出登录，使用 Participant 账号登录。
3. 找到刚创建的挑战，提交一个测试用的 Docker 镜像或代码包。
4. 等待评估完成，在公共排行榜（Public Leaderboard）查看结果。

如需通过命令行进行操作，可参考官方提供的 evalai-cli 工具扩展功能。