文档 • Slack

注意：该项目已不再由其原始作者积极维护。

面向大规模机器学习的生产基础设施

在生产环境中部署、管理和扩展机器学习模型。

无服务器工作负载

实时 - 实时响应请求，并根据当前处理中的请求数量自动扩缩容。

异步 - 异步处理请求，并根据请求队列长度自动扩缩容。

批处理 - 按需运行分布式且具备容错能力的批处理作业。

自动化集群管理

自动扩缩容 - 使用 CPU 和 GPU 实例弹性扩展集群。

竞价实例 - 在竞价实例上运行工作负载，并配备自动化的按需备份机制。

环境 - 创建具有不同配置的多个集群。

CI/CD 与可观测性集成

资源 provision - 使用声明式配置或 Terraform Provider 来 provision 集群。

指标 - 将指标发送至任何监控工具，或使用预构建的 Grafana 仪表板。

日志 - 将日志流式传输至任何日志管理工具，或使用预构建的 CloudWatch 集成。

专为 AWS 构建

EKS - Cortex 运行在 EKS 之上，可可靠且经济高效地扩展工作负载。

VPC - 将集群部署到您 AWS 账户中的 VPC 中，以保护数据隐私。

IAM - 与 IAM 集成，实现身份验证和授权流程。

Cortex 快速上手指南

⚠️ 重要提示：本项目已不再由原作者积极维护。在生产环境中使用前，请仔细评估风险或考虑社区 fork 版本。

Cortex 是一个用于在 AWS 上大规模部署、管理和扩展机器学习模型的生产级基础设施。它基于 Kubernetes (EKS) 构建，支持实时推理、异步处理和批量任务。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)。
• AWS 账户: 需要有效的 AWS 账户，并配置好访问权限。
• 前置工具:
  • aws-cli: 用于配置 AWS 凭证。
  • kubectl: 用于与 Kubernetes 集群交互（Cortex 安装过程会自动管理，但建议预先安装以便调试）。
• 网络环境: 确保机器可以访问 AWS API 和 Docker Hub。
  • 国内加速建议: 由于 Cortex 依赖 Docker 镜像拉取，国内用户建议配置 Docker 镜像加速器（如阿里云、腾讯云容器镜像服务）以避免拉取超时。

配置 AWS 凭证：

aws configure

(按提示输入 Access Key ID, Secret Access Key, Region 等)

安装步骤

Cortex 主要通过命令行工具 cortex 进行安装和管理。

1. 下载并安装 Cortex CLI

   使用官方提供的安装脚本（国内网络不佳时可尝试手动下载二进制文件）：

   export CORTEX_VERSION=latest
   bash -c "$(curl -fsSL https://raw.githubusercontent.com/cortexlabs/cortex/$CORTEX_VERSION/install.sh)"
   

2. 验证安装

   检查版本号以确认安装成功：

   cortex version
   

3. 初始化集群配置

   创建一个新的集群配置文件（例如 cortex.yaml）：

   cortex cluster configure --config cortex.yaml
   

   编辑 cortex.yaml 文件，根据你的需求调整区域（region）、实例类型（如 g4dn.xlarge 用于 GPU）以及是否启用 Spot 实例。

4. 创建集群

   执行以下命令在 AWS EKS 上启动集群：

   cortex cluster up --config cortex.yaml
   

   注意：此过程可能需要 10-15 分钟。完成后，CLI 会自动更新 kubeconfig 以便连接集群。

基本使用

以下是一个部署简单的实时（Realtime）API 的最小化示例。

1. 准备模型代码

创建一个目录，例如 iris-classifier，并在其中添加两个文件：

predictor.py (模型逻辑):

class PythonPredictor:
    def __init__(self, config, job_info):
        pass

    def predict(self, payload):
        # 简单的回声示例，实际项目中在此处加载模型并进行推理
        return {"received": payload}

cortex.yaml (API 配置):

- name: iris-classifier
  kind: RealtimeAPI
  predictor:
    type: python
    path: predictor.py
  compute:
    cpu: 0.5
    mem: 1G

2. 部署 API

在项目目录下运行部署命令：

cortex deploy

Cortex 将构建 Docker 镜像，推送到注册表，并在集群中启动服务。

3. 调用 API

部署成功后，获取 API 端点并发送请求：

# 查看 API 状态和端点
cortex get iris-classifier

# 发送测试请求 (替换 <ENDPOINT_URL> 为实际返回的 URL)
curl http://<ENDPOINT_URL> \
    -X POST \
    -H "Content-Type: application/json" \
    -d '{"features": [5.1, 3.5, 1.4, 0.2]}'

4. 清理资源

使用完毕后，务必销毁集群以避免产生不必要的 AWS 费用：

cortex cluster down --config cortex.yaml