[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-CerebriumAI--examples":3,"tool-CerebriumAI--examples":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",147882,2,"2026-04-09T11:32:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":105,"forks":106,"last_commit_at":107,"license":76,"difficulty_score":32,"env_os":108,"env_gpu":109,"env_ram":108,"env_deps":110,"category_tags":122,"github_topics":123,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":131,"updated_at":132,"faqs":133,"releases":164},6002,"CerebriumAI\u002Fexamples","examples","Examples for Cerebrium Serverless GPUs","examples 是 Cerebrium 官方提供的开源示例库，旨在帮助开发者快速上手在其无服务器 GPU 平台上构建各类机器学习与 AI 应用。无论是部署大语言模型（LLM）、处理语音数据，还是执行图像和视频生成任务，这里都提供了即拿即用的实战代码。\n\n该资源库有效解决了开发者在云端部署 AI 模型时面临的环境配置复杂、优化难度大以及缺乏参考实现等痛点。通过提供从基础入门到高级优化的完整路径，用户可以直接克隆项目并运行命令完成部署，大幅缩短了从概念验证到生产上线的周期。\n\nexamples 特别适合 AI 工程师、后端开发者及研究人员使用。其内容涵盖广泛，既包含“部署首个模型”等新手指南，也深入探讨了利用 vLLM 加速推理、多 GPU 并行计算、模型权重快速加载等高阶技术亮点。此外，库中还集成了 LangChain、Twilio、ComfyUI 等流行框架的整合案例，以及实时语音代理、电商直播分析等完整的应用演示。无论你是想探索前沿的实时语音交互技术，还是需要迁移现有模型至更高效的架构，examples 都能提供清晰的技术指引和可复用的代码模板，是构建高性能 AI 应用的得力助手。","\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fcerebrium.ai\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCerebriumAI_examples_readme_1d40d3b07d94.png\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\nWelcome to Cerebrium's official examples repository! This collection of examples helps you get started with building Machine Learning \u002F AI applications on the platform. Whether you're looking to deploy LLMs, process voice data, or handle image and video tasks, you'll find practical, ready-to-use examples here.\n\n## How to Use This Repository\n\nEach example is a self-contained project that demonstrates a specific use case. You can explore the examples in any order, depending on your interests and needs. Each example includes detailed instructions on how to deploy the application on the Cerebrium platform.\n\nDeploy each example by cloning the repo and running the `cerebrium deploy` command in each example folder.\n\n## Categories\n\nWe've split each of the examples by category to make them easier to find.\n\n### 1. Getting started 🚀\n\n1. [Deploy your first model](1-getting-started\u002F1-first-cortex-deployment)\n2. [Managing secrets and configurations](1-getting-started\u002F2-using-cerebrium-secrets)\n3. [CPU-only workloads](1-getting-started\u002F3-cpu-only)\n\n### 2. Advanced Concepts 🧠\n\n1. [Improve inference speed with VLLM](2-advanced-concepts\u002F1-faster-inference-with-vllm)\n2. [Deploying Inferentia](2-advanced-concepts\u002F2-inferentia)\n3. [Loading model weights faster](2-advanced-concepts\u002F3-loading-model-weights-faster)\n4. [Multi-GPU inference](2-advanced-concepts\u002F4-multi-gpu-inference)\n\n### 3. Endpoints 🛤\n\n1. [WebSockets](3-endpoints\u002F1-websockets)\n2. [Implement simple output streaming](3-endpoints\u002F2-simple-streaming)\n\n### 4. Integrations 🤝\n\n1. [Create a Langchain QA system](4-integrations\u002F1-langchain-QA)\n2. [Create a virtual calendar assistant with Langsmith](4-integrations\u002F2-tool-calling-langsmith)\n\n### 5. Large Language Models 📚\n\n1. [Create an OpenAI compatible endpoint with vLLM](5-large-language-models\u002F1-openai-compatible-endpoint)\n2. [Stream results from Falcon 7B to a client](5-large-language-models\u002F2-streaming-endpoint)\n3. [Build a code review tool with Winston](5-large-language-models\u002F3-winston)\n\n### 6. Voice 🎤\n\n1. [Transcription service using Whisper](6-voice\u002F1-whisper-transcription)\n2. [Create a realtime voice agent](6-voice\u002F2-realtime-voice-agent)\n3. [Create a voice agent that leverages current context with RAG](6-voice\u002F3-voice-rag-agent)\n4. [Create a WebSockets-based voice agent using Twilio](6-voice\u002F4-twilio-voice-agent)\n5. [Clone voices with XTTS](6-voice\u002F5-xtts)\n6. [Build your own OpenAI realtime API replacement](6-voice\u002F6-openai-realtime-api-comparison)\n7. [Outbound LiveKit agent](6-voice\u002F7-outbound-livekit-agent)\n8. [Real-time Voice AI Agent](6-voice\u002F8-multilingual-agent)\n9. [Transcribing with FasterWhisper](6-voice\u002F9-faster-whisper)\n10. [Sesame Conversational Speech Model (CSM) API](6-voice\u002F10-sesame-voice-api)\n\n### 7. Image & Video 📸\n\n1. [Deploy ComfyUI on Cerebrium](7-image-and-video\u002F1-comfyui)\n2. [Build a ControlNet logo detection system](7-image-and-video\u002F2-logo-controlnet)\n3. [Refined image generation with SDXL](7-image-and-video\u002F3-sdxl-refiner)\n4. [Using SDXL Lightning for image processing](7-image-and-video\u002F4-sdxl-lightning)\n5. [Fast stable diffusion for image generation](7-image-and-video\u002F5-fast-stable-diffusion)\n6. [Regular stable diffusion for image generation](7-image-and-video\u002F6-regular-stable-diffusion)\n7. [How to generate images faster with SDXL](7-image-and-video\u002F7-faster-image-generation)\n\n### 8. Migrations 🚚\n\n1. [Migrate your COG model to SDXL](8-migrations\u002F1-cog-migration-sdxl)\n\n### 9. Application demos 🎬\n\n1. [Create a sales training tool with Mistral](8-application-demos\u002F1-sales-trainer)\n2. [Find products for sale using a live video stream](8-application-demos\u002F2-ecommerce-live-stream)\n3. [AI commentator](8-application-demos\u002F3-ai-commentator)\n4. [AI coding agent](8-application-demos\u002F4-ai-coding-agent)\n\n### 10. Batching 📦\n\n1. [Implement batching with LitServe - CPU version](10-batching\u002F1-litserve-batching-cpu)\n2. [Implement batching with LitServe - GPU version](10-batching\u002F2-litserve-batching-gpu)\n3. [Batching requests with vLLM](10-batching\u002F3-vllm-batching-gpu)\n4. [Batching requests with transformers](10-batching\u002F4-transformers-batching-gpu)\n\n### 11. Python apps 🌐\n\n1. [Deploy FastAPI applications](11-python-apps\u002F1-asgi-fastapi-server)\n2. [Create ML web interfaces with Gradio](11-python-apps\u002F2-asgi-gradio-interface)\n\n## How to Contribute 🤝\n\nWe love contributions! Here's how you can contribute to our examples repository:\n\n- Fork the repository\n- Create a new branch for your example\n- Add your example following our template\n- Include a clear README with:\n  - Description of the example\n  - Requirements\n  - Step-by-step setup instructions\n  - Expected outputs\n  - (Optional) Link to a blog post or tutorial video\n\nShare your fork with us on our [Discord](https:\u002F\u002Fdiscord.gg\u002FATj6USmeE2) community or on social media. Highly valuable examples for the community will be merged into the master repo.\n\n#### 🎁 Get Free Swag!\n\nFor each successful contribution, we'll send you exclusive Cerebrium swag! To be eligible:\n\n- Your PR must be merged\n- Fill out the contributor form with your shipping details\n- Bonus swag for contributions that include:\n  - A blog post explaining your example\n  - A tutorial video demonstrating your example\n\n#### 🦮 Contribution Guidelines\n\n- Ensure your example is well-documented\n- Make sure that your example deploys successfully\n- Add appropriate error handling\n- Follow our code style as much as possible\n- Test your example thoroughly\n- Update the main README.md to include your example\n\n## Support 🛟\n\n- 📚 [Documentation](https:\u002F\u002Fdocs.cerebrium.ai)\n- 💬 [Discord Community](https:\u002F\u002Fdiscord.gg\u002FATj6USmeE2)\n- 📧 [Support Email](mailto:support@cerebrium.ai)\n","\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fcerebrium.ai\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCerebriumAI_examples_readme_1d40d3b07d94.png\">\n  \u003C\u002Fa>\n\u003C\u002Fp>\n\n欢迎来到 Cerebrium 的官方示例仓库！本仓库汇集了一系列示例，旨在帮助您快速上手在平台上构建机器学习\u002F人工智能应用。无论您是想部署大语言模型、处理语音数据，还是完成图像和视频相关任务，这里都能找到实用且开箱即用的示例。\n\n## 如何使用本仓库\n\n每个示例都是一个独立的项目，展示了特定的应用场景。您可以根据自己的兴趣和需求，按任意顺序浏览这些示例。每个示例都包含详细的说明，指导您如何在 Cerebrium 平台上部署该应用。\n\n只需克隆仓库，并在每个示例文件夹中运行 `cerebrium deploy` 命令，即可部署相应的示例。\n\n## 示例分类\n\n我们按照类别对示例进行了划分，以便于查找。\n\n### 1. 入门 🚀\n\n1. [部署您的第一个模型](1-getting-started\u002F1-first-cortex-deployment)\n2. [管理密钥与配置](1-getting-started\u002F2-using-cerebrium-secrets)\n3. [仅使用 CPU 的工作负载](1-getting-started\u002F3-cpu-only)\n\n### 2. 高级概念 🧠\n\n1. [通过 VLLM 提升推理速度](2-advanced-concepts\u002F1-faster-inference-with-vllm)\n2. [部署 Inferentia](2-advanced-concepts\u002F2-inferentia)\n3. [更快地加载模型权重](2-advanced-concepts\u002F3-loading-model-weights-faster)\n4. [多 GPU 推理](2-advanced-concepts\u002F4-multi-gpu-inference)\n\n### 3. 端点 🛤\n\n1. [WebSockets](3-endpoints\u002F1-websockets)\n2. [实现简单的输出流式传输](3-endpoints\u002F2-simple-streaming)\n\n### 4. 集成 🤝\n\n1. [创建 Langchain QA 系统](4-integrations\u002F1-langchain-QA)\n2. [使用 Langsmith 构建虚拟日历助手](4-integrations\u002F2-tool-calling-langsmith)\n\n### 5. 大语言模型 📚\n\n1. [使用 vLLM 创建兼容 OpenAI 的端点](5-large-language-models\u002F1-openai-compatible-endpoint)\n2. [将 Falcon 7B 的结果流式传输到客户端](5-large-language-models\u002F2-streaming-endpoint)\n3. [使用 Winston 构建代码审查工具](5-large-language-models\u002F3-winston)\n\n### 6. 语音 🎤\n\n1. [基于 Whisper 的转录服务](6-voice\u002F1-whisper-transcription)\n2. [创建实时语音助手](6-voice\u002F2-realtime-voice-agent)\n3. [利用 RAG 技术构建上下文感知的语音助手](6-voice\u002F3-voice-rag-agent)\n4. [使用 Twilio 构建基于 WebSockets 的语音助手](6-voice\u002F4-twilio-voice-agent)\n5. [使用 XTTS 进行声音克隆](6-voice\u002F5-xtts)\n6. [构建您自己的 OpenAI 实时 API 替代方案](6-voice\u002F6-openai-realtime-api-comparison)\n7. [Outbound LiveKit 代理](6-voice\u002F7-outbound-livekit-agent)\n8. [实时多语言语音 AI 代理](6-voice\u002F8-multilingual-agent)\n9. [使用 FasterWhisper 进行转录](6-voice\u002F9-faster-whisper)\n10. [Sesame 对话式语音模型 (CSM) API](6-voice\u002F10-sesame-voice-api)\n\n### 7. 图像与视频 📸\n\n1. [在 Cerebrium 上部署 ComfyUI](7-image-and-video\u002F1-comfyui)\n2. [构建 ControlNet 标志检测系统](7-image-and-video\u002F2-logo-controlnet)\n3. [使用 SDXL 进行图像精修](7-image-and-video\u002F3-sdxl-refiner)\n4. [使用 SDXL Lightning 进行图像处理](7-image-and-video\u002F4-sdxl-lightning)\n5. [快速稳定扩散用于图像生成](7-image-and-video\u002F5-fast-stable-diffusion)\n6. [常规稳定扩散用于图像生成](7-image-and-video\u002F6-regular-stable-diffusion)\n7. [如何使用 SDXL 更快地生成图像](7-image-and-video\u002F7-faster-image-generation)\n\n### 8. 迁移 🚚\n\n1. [将您的 COG 模型迁移到 SDXL](8-migrations\u002F1-cog-migration-sdxl)\n\n### 9. 应用演示 🎬\n\n1. [使用 Mistral 构建销售培训工具](8-application-demos\u002F1-sales-trainer)\n2. [通过直播流寻找待售商品](8-application-demos\u002F2-ecommerce-live-stream)\n3. [AI 解说员](8-application-demos\u002F3-ai-commentator)\n4. [AI 编码助手](8-application-demos\u002F4-ai-coding-agent)\n\n### 10. 批量处理 📦\n\n1. [使用 LitServe 实现批量处理 - CPU 版本](10-batching\u002F1-litserve-batching-cpu)\n2. [使用 LitServe 实现批量处理 - GPU 版本](10-batching\u002F2-litserve-batching-gpu)\n3. [使用 vLLM 批量处理请求](10-batching\u002F3-vllm-batching-gpu)\n4. [使用 Transformers 批量处理请求](10-batching\u002F4-transformers-batching-gpu)\n\n### 11. Python 应用程序 🌐\n\n1. [部署 FastAPI 应用程序](11-python-apps\u002F1-asgi-fastapi-server)\n2. [使用 Gradio 创建 ML 网页界面](11-python-apps\u002F2-asgi-gradio-interface)\n\n## 如何贡献 🤝\n\n我们非常欢迎各位的贡献！以下是参与示例仓库贡献的方式：\n\n- 分支仓库\n- 为您的示例创建新分支\n- 按照我们的模板添加示例\n- 包含清晰的 README 文件，内容包括：\n  - 示例描述\n  - 必需条件\n  - 详细设置步骤\n  - 预期输出\n  - （可选）博客文章或教程视频链接\n\n请在我们的 [Discord](https:\u002F\u002Fdiscord.gg\u002FATj6USmeE2) 社区或社交媒体上分享您的分支。对社区具有高价值的示例将被合并到主仓库中。\n\n#### 🎁 获得免费周边！\n\n每成功提交一次贡献，我们将为您寄送独家 Cerebrium 周边礼品！要获得资格：\n\n- 您的 PR 必须被合并\n- 填写贡献者表格并提供您的收件信息\n- 如果您的贡献包含以下内容，还将额外赠送周边：\n  - 解释您示例的博客文章\n  - 展示您示例的教程视频\n\n#### 🦮 贡献指南\n\n- 确保您的示例文档齐全\n- 确保示例能够成功部署\n- 添加适当的错误处理机制\n- 尽可能遵循我们的代码风格\n- 彻底测试您的示例\n- 更新主 README.md 文件，加入您的示例\n\n## 支持 🛟\n\n- 📚 [文档](https:\u002F\u002Fdocs.cerebrium.ai)\n- 💬 [Discord 社区](https:\u002F\u002Fdiscord.gg\u002FATj6USmeE2)\n- 📧 [支持邮箱](mailto:support@cerebrium.ai)","# Cerebrium Examples 快速上手指南\n\n本指南帮助中国开发者快速使用 Cerebrium 官方示例仓库，在平台上构建和部署机器学习及 AI 应用（如 LLM、语音处理、图像视频任务等）。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows (WSL2 推荐)\n*   **Python**：版本 3.8 或更高\n*   **Cerebrium CLI**：必须安装 Cerebrium 命令行工具\n*   **账号**：已注册 [Cerebrium](https:\u002F\u002Fcerebrium.ai) 账号并完成登录认证\n\n**前置依赖安装：**\n\n请使用 pip 安装 Cerebrium CLI 工具：\n\n```bash\npip install cerebrium\n```\n\n安装完成后，登录您的账号：\n\n```bash\ncerebrium login\n```\n\n> **提示**：国内用户若遇到 pip 下载缓慢，可临时使用清华源加速安装：\n> `pip install cerebrium -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n## 安装步骤\n\n本仓库包含多个独立的示例项目，您可以根据需求选择任意示例进行部署。\n\n1.  **克隆仓库**\n    将示例代码库克隆到本地：\n\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fcerebriumai\u002Fexamples.git\n    cd examples\n    ```\n\n2.  **选择示例**\n    进入您感兴趣的具体示例文件夹。例如，若要部署第一个模型：\n\n    ```bash\n    cd 1-getting-started\u002F1-first-cortex-deployment\n    ```\n\n3.  **配置项目（可选）**\n    部分示例可能需要配置 API Key 或 secrets。请参考该示例文件夹内的 `README.md` 设置环境变量：\n\n    ```bash\n    cerebrium secret set YOUR_API_KEY=your_actual_key\n    ```\n\n4.  **部署应用**\n    在当前示例文件夹目录下，运行以下命令即可将应用部署到 Cerebrium 平台：\n\n    ```bash\n    cerebrium deploy\n    ```\n\n    部署成功后，终端会输出该应用的公开访问 URL (Endpoint)。\n\n## 基本使用\n\n部署完成后，您可以通过 HTTP 请求或 WebSocket 与您的 AI 应用交互。以下以最基础的 **\"部署你的第一个模型\"** 为例。\n\n### 1. 获取端点 URL\n执行 `cerebrium deploy` 后，记录输出的 URL，格式通常为：\n`https:\u002F\u002F\u003Cproject-name>-\u003Cusername>.cerebrium.app`\n\n### 2. 发送请求\n使用 `curl` 或 Python 脚本调用该端点。\n\n**使用 curl 测试：**\n\n```bash\ncurl -X POST https:\u002F\u002F\u003Cyour-endpoint-url> \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -d '{\"input\": \"Hello, Cerebrium!\"}'\n```\n\n**使用 Python 调用：**\n\n```python\nimport requests\n\nurl = \"https:\u002F\u002F\u003Cyour-endpoint-url>\"\npayload = {\"input\": \"Hello, Cerebrium!\"}\n\nresponse = requests.post(url, json=payload)\nprint(response.json())\n```\n\n### 3. 探索更多场景\n仓库按功能分类，您可以直接切换目录尝试更高级的功能：\n\n*   **大语言模型**：`cd 5-large-language-models\u002F1-openai-compatible-endpoint` (构建兼容 OpenAI 格式的接口)\n*   **语音处理**：`cd 6-voice\u002F1-whisper-transcription` (部署 Whisper 语音转文字服务)\n*   **图像生成**：`cd 7-image-and-video\u002F5-fast-stable-diffusion` (快速部署 Stable Diffusion)\n\n每个子文件夹均包含独立的 `cerebrium.toml` 配置文件和源代码，修改代码后再次运行 `cerebrium deploy` 即可更新线上服务。","一家初创公司急需构建一个支持实时语音交互的多语言客服代理，以处理全球用户的咨询请求。\n\n### 没有 examples 时\n- 开发者需从零研究如何在无服务器 GPU 上配置复杂的实时音频流处理管道，耗时数天。\n- 缺乏现成的多语言模型集成方案，团队不得不手动调试 Whisper 与 RAG 系统的兼容性，极易出错。\n- 不清楚如何优化推理延迟，导致用户说话后系统响应慢达数秒，严重影响体验。\n- 面对 Twilio 或 LiveKit 等第三方通信服务的对接，缺少参考代码，集成过程充满不确定性。\n- 资源管理混乱，常因显存泄漏或配置不当导致服务频繁崩溃，运维成本高昂。\n\n### 使用 examples 后\n- 直接复用 `6-voice\u002F8-multilingual-agent` 示例，几分钟内即可部署支持多语言的实时语音代理原型。\n- 基于 `6-voice\u002F3-voice-rag-agent` 和 `6-voice\u002F9-faster-whisper` 的组合，快速实现高精度的上下文感知转录与回答。\n- 参考 `3-endpoints\u002F1-websockets` 和 `6-voice\u002F4-twilio-voice-agent`，轻松打通低延迟的双向音频通信链路。\n- 利用内置的性能优化配置（如 VLLM 加速），将首字响应时间压缩至毫秒级，显著提升交互流畅度。\n- 遵循示例中的最佳实践管理密钥与资源，确保服务在高并发下稳定运行，无需担心底层基础设施故障。\n\nexamples 将原本需要数周研发的复杂实时语音系统，缩短为几天甚至几小时即可落地的标准化工程，让团队能专注于业务逻辑而非底层架构。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FCerebriumAI_examples_f463d3e7.png","CerebriumAI","Cerebrium","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FCerebriumAI_e813e698.jpg","Serverless AI Infrastructure ",null,"cerebriumai","https:\u002F\u002Fwww.cerebrium.ai","https:\u002F\u002Fgithub.com\u002FCerebriumAI",[81,85,89,93,97,101],{"name":82,"color":83,"percentage":84},"Python","#3572A5",94.3,{"name":86,"color":87,"percentage":88},"JavaScript","#f1e05a",3.8,{"name":90,"color":91,"percentage":92},"Dockerfile","#384d54",0.8,{"name":94,"color":95,"percentage":96},"CSS","#663399",0.6,{"name":98,"color":99,"percentage":100},"Makefile","#427819",0.5,{"name":102,"color":103,"percentage":104},"HTML","#e34c26",0.1,523,76,"2026-03-25T09:04:37","未说明","部分示例必需（如多 GPU 推理、SDXL、vLLM），支持 NVIDIA GPU 及 AWS Inferentia；显存需求视具体模型而定（如 Falcon 7B、SDXL）；CUDA 版本未说明",{"notes":111,"python":108,"dependencies":112},"这是一个包含多种 AI 应用场景（如 LLM、语音、图像视频）的示例集合，而非单一工具。不同示例对硬件和依赖库的要求差异巨大：部分示例仅需 CPU，而高级功能（如大模型推理、图像生成）需要 GPU 或专用芯片（Inferentia）。部署需使用 Cerebrium 平台 CLI 工具（cerebrium deploy）。具体每个示例的详细环境配置需参考其子目录下的独立文档。",[113,114,115,116,38,117,118,119,120,121],"vLLM","transformers","Whisper","FasterWhisper","ControlNet","SDXL","Langchain","LitServe","FastAPI",[35,14,15,13],[124,125,126,127,128,129,130],"ai","gpu","llms","ml","mlops","serverless","serverless-functions","2026-03-27T02:49:30.150509","2026-04-10T06:28:47.629197",[134,139,144,149,154,159],{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},27203,"运行 voice-agent 时遇到 'Connection refused' 错误，无法连接本地 Deepgram 服务怎么办？","这通常是因为本地模型尚未完全启动或配置有误。请尝试以下解决方案：\n1. 确保将 API key 设置为 \"None\" 以使用本地 Deepgram 模型。\n2. 检查是否在模型连接完成前就发起了调用。尝试将最小副本数（min replicas）设置为 1，并在首次调用前等待片刻。\n3. 如果本地模式仍有问题，可以改用 Deepgram 云端 API，将代码中的 url 和 base_url 改为 'https:\u002F\u002Fapi.deepgram.com\u002Fv1\u002Flisten' 和 'https:\u002F\u002Fapi.deepgram.com\u002Fv1\u002Fspeak'，并填入真实的 API Key。","https:\u002F\u002Fgithub.com\u002FCerebriumAI\u002Fexamples\u002Fissues\u002F36",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},27204,"执行 'cerebrium deploy' 时出现 'TypeError: __init__() got an unexpected keyword argument 'docker_base_image_url'' 错误如何解决？","此错误通常由 CLI 版本过旧或配置文件不兼容引起。请按以下步骤操作：\n1. 升级 Cerebrium CLI 到最新版本（>=1.23.0）：运行 `pip install --upgrade cerebrium`。\n2. 如果升级后仍报错，请在 `cerebrium.toml` 或 `cerebrium.yaml` 配置文件中注释掉 `docker_base_image_url` 这一行，因为该功能可能尚未完全稳定或在当前上下文中不需要。","https:\u002F\u002Fgithub.com\u002FCerebriumAI\u002Fexamples\u002Fissues\u002F35",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},27205,"部署 LLaMA 3 8B 模型时，输出令牌速度远低于预期的 4500 tokens\u002Fs（仅约 200 tokens\u002Fs），如何优化？","200 tokens\u002Fs 的速度确实不正常。建议参考 NVIDIA TensorRT-LLM 的官方性能基准测试文档来排查配置问题：https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT-LLM\u002Fblob\u002Fmain\u002Fdocs\u002Fsource\u002Fperformance\u002Fperf-overview.md。确保您正确使用了 TensorRT-LLM 的优化构建流程，并检查 GPU 资源分配是否充足。","https:\u002F\u002Fgithub.com\u002FCerebriumAI\u002Fexamples\u002Fissues\u002F50",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},27206,"如何将 voice-agent 集成到电话通话中（例如通过 Twilio），而不仅仅是使用 WebRTC？","可以通过集成 Twilio 来实现电话通话功能。请参考 Pipecat 官方提供的 Twilio Chatbot 示例代码库进行开发：https:\u002F\u002Fgithub.com\u002Fpipecat-ai\u002Fpipecat\u002Ftree\u002Fmain\u002Fexamples\u002Ftwilio-chatbot","https:\u002F\u002Fgithub.com\u002FCerebriumAI\u002Fexamples\u002Fissues\u002F40",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},27207,"voice-agent 运行时出现 vLLM 连接拒绝错误（'Connection refused' to port 5000），如何处理？","这是因为 vLLM 服务器启动超时导致的。解决方法是增加重试机制，等待服务器完全就绪。可以更新 `check_vllm_model_status` 函数如下：\n```python\ndef check_vllm_model_status():\n    url = \"http:\u002F\u002F127.0.0.1:5000\u002Fv1\u002Fmodels\"\n    headers = {\n        \"Authorization\": f\"Bearer {get_secret('HF_TOKEN')}\"\n    }\n    max_retries = 8\n    for _ in range(max_retries):\n        print('Trying vllm server')\n        try:\n            response = requests.get(url, headers=headers)\n            if response.status_code == 200:\n                return True\n        except requests.ConnectionError:\n            print(\"Connection refused, retrying...\")\n        time.sleep(15)\n    return False\n```\n这段代码会在连接被拒绝时自动重试，每次间隔 15 秒，最多重试 8 次。","https:\u002F\u002Fgithub.com\u002FCerebriumAI\u002Fexamples\u002Fissues\u002F39",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},27208,"在使用 Tavus 创建对话 persona 时，调用接口后立即崩溃并结束通话，可能是什么原因？","此类问题可能涉及具体的项目配置或 API 密钥权限问题。由于该问题较为复杂且依赖具体环境，建议直接加入官方的 Discord 社区（https:\u002F\u002Fdiscord.gg\u002FATj6USmeE2）并提供您的 projectId，以便维护者协助排查具体原因。","https:\u002F\u002Fgithub.com\u002FCerebriumAI\u002Fexamples\u002Fissues\u002F69",[]]