欢迎来到 Cerebrium 的官方示例仓库！本仓库汇集了一系列示例，旨在帮助您快速上手在平台上构建机器学习/人工智能应用。无论您是想部署大语言模型、处理语音数据，还是完成图像和视频相关任务，这里都能找到实用且开箱即用的示例。

如何使用本仓库

每个示例都是一个独立的项目，展示了特定的应用场景。您可以根据自己的兴趣和需求，按任意顺序浏览这些示例。每个示例都包含详细的说明，指导您如何在 Cerebrium 平台上部署该应用。

只需克隆仓库，并在每个示例文件夹中运行 cerebrium deploy 命令，即可部署相应的示例。

示例分类

我们按照类别对示例进行了划分，以便于查找。

1. 入门 🚀

1. 部署您的第一个模型
2. 管理密钥与配置
3. 仅使用 CPU 的工作负载

2. 高级概念 🧠

1. 通过 VLLM 提升推理速度
2. 部署 Inferentia
3. 更快地加载模型权重
4. 多 GPU 推理

3. 端点 🛤

1. WebSockets
2. 实现简单的输出流式传输

4. 集成 🤝

1. 创建 Langchain QA 系统
2. 使用 Langsmith 构建虚拟日历助手

5. 大语言模型 📚

1. 使用 vLLM 创建兼容 OpenAI 的端点
2. 将 Falcon 7B 的结果流式传输到客户端
3. 使用 Winston 构建代码审查工具

6. 语音 🎤

1. 基于 Whisper 的转录服务
2. 创建实时语音助手
3. 利用 RAG 技术构建上下文感知的语音助手
4. 使用 Twilio 构建基于 WebSockets 的语音助手
5. 使用 XTTS 进行声音克隆
6. 构建您自己的 OpenAI 实时 API 替代方案
7. Outbound LiveKit 代理
8. 实时多语言语音 AI 代理
9. 使用 FasterWhisper 进行转录
10. Sesame 对话式语音模型 (CSM) API

7. 图像与视频 📸

1. 在 Cerebrium 上部署 ComfyUI
2. 构建 ControlNet 标志检测系统
3. 使用 SDXL 进行图像精修
4. 使用 SDXL Lightning 进行图像处理
5. 快速稳定扩散用于图像生成
6. 常规稳定扩散用于图像生成
7. 如何使用 SDXL 更快地生成图像

8. 迁移 🚚

1. 将您的 COG 模型迁移到 SDXL

9. 应用演示 🎬

1. 使用 Mistral 构建销售培训工具
2. 通过直播流寻找待售商品
3. AI 解说员
4. AI 编码助手

10. 批量处理 📦

1. 使用 LitServe 实现批量处理 - CPU 版本
2. 使用 LitServe 实现批量处理 - GPU 版本
3. 使用 vLLM 批量处理请求
4. 使用 Transformers 批量处理请求

11. Python 应用程序 🌐

1. 部署 FastAPI 应用程序
2. 使用 Gradio 创建 ML 网页界面

如何贡献 🤝

我们非常欢迎各位的贡献！以下是参与示例仓库贡献的方式：

• 分支仓库
• 为您的示例创建新分支
• 按照我们的模板添加示例
• 包含清晰的 README 文件，内容包括：
  • 示例描述
  • 必需条件
  • 详细设置步骤
  • 预期输出
  • （可选）博客文章或教程视频链接

请在我们的 Discord 社区或社交媒体上分享您的分支。对社区具有高价值的示例将被合并到主仓库中。

🎁 获得免费周边！

每成功提交一次贡献，我们将为您寄送独家 Cerebrium 周边礼品！要获得资格：

• 您的 PR 必须被合并
• 填写贡献者表格并提供您的收件信息
• 如果您的贡献包含以下内容，还将额外赠送周边：
  • 解释您示例的博客文章
  • 展示您示例的教程视频

🦮 贡献指南

• 确保您的示例文档齐全
• 确保示例能够成功部署
• 添加适当的错误处理机制
• 尽可能遵循我们的代码风格
• 彻底测试您的示例
• 更新主 README.md 文件，加入您的示例

支持 🛟

• 📚 文档
• 💬 Discord 社区
• 📧 支持邮箱

Cerebrium Examples 快速上手指南

本指南帮助中国开发者快速使用 Cerebrium 官方示例仓库，在平台上构建和部署机器学习及 AI 应用（如 LLM、语音处理、图像视频任务等）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)
• Python：版本 3.8 或更高
• Cerebrium CLI：必须安装 Cerebrium 命令行工具
• 账号：已注册 Cerebrium 账号并完成登录认证

前置依赖安装：

请使用 pip 安装 Cerebrium CLI 工具：

pip install cerebrium

安装完成后，登录您的账号：

cerebrium login

提示：国内用户若遇到 pip 下载缓慢，可临时使用清华源加速安装： pip install cerebrium -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本仓库包含多个独立的示例项目，您可以根据需求选择任意示例进行部署。

1. 克隆仓库 将示例代码库克隆到本地：

   git clone https://github.com/cerebriumai/examples.git
   cd examples
   

2. 选择示例 进入您感兴趣的具体示例文件夹。例如，若要部署第一个模型：

   cd 1-getting-started/1-first-cortex-deployment
   

3. 配置项目（可选） 部分示例可能需要配置 API Key 或 secrets。请参考该示例文件夹内的 README.md 设置环境变量：

   cerebrium secret set YOUR_API_KEY=your_actual_key
   

4. 部署应用 在当前示例文件夹目录下，运行以下命令即可将应用部署到 Cerebrium 平台：

   cerebrium deploy
   

   部署成功后，终端会输出该应用的公开访问 URL (Endpoint)。

基本使用

部署完成后，您可以通过 HTTP 请求或 WebSocket 与您的 AI 应用交互。以下以最基础的 "部署你的第一个模型" 为例。

1. 获取端点 URL

执行 cerebrium deploy 后，记录输出的 URL，格式通常为： https://<project-name>-<username>.cerebrium.app

2. 发送请求

使用 curl 或 Python 脚本调用该端点。

使用 curl 测试：

curl -X POST https://<your-endpoint-url> \
  -H "Content-Type: application/json" \
  -d '{"input": "Hello, Cerebrium!"}'

使用 Python 调用：

import requests

url = "https://<your-endpoint-url>"
payload = {"input": "Hello, Cerebrium!"}

response = requests.post(url, json=payload)
print(response.json())

3. 探索更多场景

仓库按功能分类，您可以直接切换目录尝试更高级的功能：

• 大语言模型：cd 5-large-language-models/1-openai-compatible-endpoint (构建兼容 OpenAI 格式的接口)
• 语音处理：cd 6-voice/1-whisper-transcription (部署 Whisper 语音转文字服务)
• 图像生成：cd 7-image-and-video/5-fast-stable-diffusion (快速部署 Stable Diffusion)

每个子文件夹均包含独立的 cerebrium.toml 配置文件和源代码，修改代码后再次运行 cerebrium deploy 即可更新线上服务。