🎙️ Pipecat：实时语音与多模态 AI 代理

Pipecat 是一个开源的 Python 框架，用于构建实时语音和多模态对话代理。它可以轻松编排音频、视频、AI 服务、不同传输协议以及对话流程，让您专注于打造独一无二的代理。

想快速上手吗？运行 pipecat init quickstart 或按照 快速入门指南 操作。

🚀 您可以构建什么

• 语音助手——与 AI 进行自然流畅的流式对话
• AI 伙伴——教练、会议助理、虚拟角色等
• 多模态界面——语音、视频、图像等多种交互方式
• 互动式故事讲述——结合生成式媒体的创意工具
• 业务代理——客户信息收集、支持机器人、引导式流程等
• 复杂对话系统——通过结构化对话设计逻辑

🧠 为什么选择 Pipecat？

• 语音优先：集成语音识别、文本转语音及对话处理功能
• 可插拔：支持多种 AI 服务和工具
• 可组合的管道：由模块化组件构建复杂行为
• 实时性：在不同传输协议（如 WebSocket 或 WebRTC）下实现超低延迟交互

🌐 Pipecat 生态系统

📱 客户端 SDK

正在开发客户端应用吗？您可以使用我们的官方 SDK 从任何平台连接到 Pipecat：

JavaScript | React | React Native | Swift | Kotlin | C++ | ESP32

🧭 结构化对话

想要构建结构化对话吗？请查看 Pipecat Flows，它可以帮助您管理复杂的对话状态和转换。

🪄 美丽的 UI

想打造美观且引人入胜的体验吗？不妨试试 Voice UI Kit，这是一套用于快速构建语音 AI 应用的组件、钩子和模板集合。

🛠️ 创建与部署项目

使用 Pipecat CLI 在一分钟内创建新项目。然后利用 CLI 监控并部署您的代理至生产环境。

🔍 调试

需要帮助调试您的管道和处理器吗？请查看 Whisker，这是一个用于 Pipecat 的实时调试器。

🖥️ 终端

喜欢终端应用吗？试试 Tail，它是 Pipecat 的终端仪表板。

🤖 Claude Code 技能

将 Pipecat Skills 与 Claude Code 结合使用，可以快速搭建项目、部署到 Pipecat Cloud 等。安装市场插件只需执行以下命令：

claude plugin marketplace add pipecat-ai/skills

然后即可安装任意可用插件。

🧩 社区集成

您可以构建并分享自己的 Pipecat 服务集成！浏览现有的 社区集成 或参考我们的 指南，亲手创建属于您的集成。

📺️ Pipecat 电视频道

在我们的 Pipecat TV 频道上，您可以观看新功能、访谈和操作教程。

🎬 实际演示

 
 

🧩 可用服务

类别	服务
语音转文本	AssemblyAI, AWS, Azure, Cartesia, Deepgram, ElevenLabs, Fal Wizper, Gladia, Google, Gradium, Groq (Whisper), NVIDIA Riva, OpenAI (Whisper), Sarvam, Soniox, Speechmatics, Whisper
大语言模型	Anthropic, AWS, Azure, Cerebras, DeepSeek, Fireworks AI, Gemini, Grok, Groq, Mistral, Nebius, Novita, NVIDIA NIM, Ollama, OpenAI, OpenRouter, Perplexity, Qwen, SambaNova, Sarvam, Together AI
文本转语音	Async, AWS, Azure, Camb AI, Cartesia, Deepgram, ElevenLabs, Fish, Google, Gradium, Groq, Hume, Inworld, Kokoro, LMNT, MiniMax, Neuphonic, NVIDIA Riva, OpenAI, Piper, Resemble, Rime, Sarvam, Smallest, Speechmatics, xAI, XTTS
语音到语音	AWS Nova Sonic, Gemini Multimodal Live, Grok Voice Agent, OpenAI Realtime, Ultravox,
传输	Daily (WebRTC), FastAPI Websocket, LiveKit (WebRTC), SmallWebRTCTransport, WebSocket Server, WhatsApp, 本地
序列化器	Exotel, Genesys, Plivo, Twilio, Telnyx, Vonage
视频	HeyGen, LemonSlice, Tavus, Simli
记忆	mem0
视觉与图像	fal, Google Imagen, Moondream
音频处理	Silero VAD, Krisp Viva, Koala, ai-coustics, RNNoise
分析与指标	OpenTelemetry, Sentry
社区	浏览社区集成 →

📚 查看完整服务文档 →

⚡ 快速入门

您可以先在本地机器上运行 Pipecat，待准备就绪后再将代理进程迁移到云端。

1. 安装 uv

   curl -LsSf https://astral.sh/uv/install.sh | sh
   

   需要帮助？ 请参考 uv 安装文档。

2. 安装模块

   # 对于新项目
   uv init my-pipecat-app
   cd my-pipecat-app
   uv add pipecat-ai
   
   # 或者对于现有项目
   uv add pipecat-ai
   

3. 配置环境变量

   cp env.example .env
   

4. 为了保持轻量化，默认仅包含核心框架。如果您需要支持第三方 AI 服务，可以通过以下命令添加必要的依赖：

   uv add "pipecat-ai[option,...]"
   

使用 pip 吗？ 您仍然可以使用 pip install pipecat-ai 和 pip install "pipecat-ai[option,...]" 来完成设置。

🧪 代码示例

• 基础示例 — 一系列相互衔接的小片段，每次引入一到两个概念。
• 示例应用 — 完整的应用程序，可作为开发的起点。

🛠️ 参与框架贡献

前提条件

最低 Python 版本： 3.11
推荐 Python 版本： >= 3.12

设置步骤

1. 克隆仓库并进入目录：

   git clone https://github.com/pipecat-ai/pipecat.git
   cd pipecat
   

2. 安装开发和测试依赖：

   uv sync --group dev --all-extras \
     --no-extra gstreamer \
     --no-extra local \
   

3. 安装 Git 的 pre-commit 钩子：

   uv run pre-commit install
   

注意：部分额外依赖（local、gstreamer）需要系统级依赖。如果遇到构建错误，请参阅相关文档。

Claude Code 技能

使用 Claude Code 安装开发工作流技能，以参与 Pipecat 的贡献：

claude plugin marketplace add pipecat-ai/pipecat
claude plugin install pipecat-dev@pipecat-dev-skills

运行测试

从根目录运行所有测试：

uv run pytest

运行特定测试套件：

uv run pytest tests/test_name.py

🤝 贡献方式

我们欢迎社区的贡献！无论您是修复 bug、改进文档，还是添加新功能，都可以通过以下方式参与：

• 发现 bug？ 请提交 issue
• 有功能想法？ 请发起 讨论
• 想贡献代码？ 请查阅我们的 CONTRIBUTING.md 指南
• 改进文档？ 文档 PR 始终受到欢迎。

在提交 Pull Request 之前，请先检查现有的 issue 和 PR，以避免重复。

我们致力于及时审查所有贡献，并提供建设性的反馈，以帮助您的更改顺利合并。

🛟 获取帮助

➡️ 加入我们的 Discord

➡️ 阅读文档

➡️ 在 X 上联系我们

Pipecat 快速上手指南

Pipecat 是一个开源的 Python 框架，专为构建实时语音和多模态对话 AI 代理而设计。它支持低延迟的音频/视频流处理，可轻松编排各种 AI 服务、传输协议和对话管道。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本: Python 3.10 或更高版本
• 包管理器: pip (Python 包安装程序)
• 前置依赖:
  • 建议创建虚拟环境以避免依赖冲突。
  • 若需使用特定 AI 服务（如 OpenAI, Deepgram 等），请提前准备好相应的 API Key。

安装步骤

1. 创建并激活虚拟环境（推荐）

python -m venv pipecat-env
# Linux/macOS
source pipecat-env/bin/activate
# Windows
pipecat-env\Scripts\activate

2. 安装 Pipecat 核心库

通过 PyPI 安装最新稳定版：

pip install pipecat-ai

提示：如果您需要特定的服务集成（例如 OpenAI LLM 或 Deepgram STT），可以通过 extras 安装，例如：pip install pipecat-ai[openai,deepgram]。

3. 初始化项目（可选但推荐）

使用官方 CLI 工具快速搭建项目骨架：

pip install pipecat-cli
pipecat init quickstart

按照终端提示完成配置，这将生成一个包含基础依赖和示例代码的项目目录。

基本使用

以下是一个最简单的示例，展示如何构建一个基础的语音对话管道。该示例结合了语音识别（STT）、大语言模型（LLM）和语音合成（TTS）。

注意：运行前请确保已设置相关环境变量（如 OPENAI_API_KEY, DEEPGRAM_API_KEY 等）。

import asyncio
import os
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.runner import PipelineRunner
from pipecat.pipeline.task import PipelineTask
from pipecat.processors.aggregators.sentence import SentenceAggregator
from pipecat.services.deepgram import DeepgramSTTService
from pipecat.services.openai import OpenAILLMService
from pipecat.services.elevenlabs import ElevenLabsTTSService
from pipecat.transports.websocket import WebSocketTransport

async def main():
    # 初始化传输层 (以 WebSocket 为例)
    transport = WebSocketTransport()

    # 初始化服务
    stt = DeepgramSTTService(api_key=os.getenv("DEEPGRAM_API_KEY"))
    llm = OpenAILLMService(api_key=os.getenv("OPENAI_API_KEY"))
    tts = ElevenLabsTTSService(api_key=os.getenv("ELEVENLABS_API_KEY"))

    # 构建管道：语音输入 -> 文本识别 -> 句子聚合 -> LLM 推理 -> 语音合成 -> 音频输出
    pipeline = Pipeline(
        [
            transport.input(),
            stt,
            SentenceAggregator(),
            llm,
            tts,
            transport.output(),
        ]
    )

    # 创建任务并运行
    task = PipelineTask(pipeline)
    runner = PipelineRunner()

    await runner.run(task)

if __name__ == "__main__":
    asyncio.run(main())

下一步

• 查看文档: 访问 Pipecat 官方文档 获取详细的 API 参考和架构说明。
• 探索示例: 浏览 pipecat-examples 仓库，获取更多关于多模态、故事生成和翻译机器人的完整代码。
• 客户端集成: 使用官方提供的 JavaScript, React, Swift 或 Kotlin SDK 将后端管道连接到您的前端应用。