📱 Ava 📱

将图灵测试转化为 WhatsApp 代理

目录

• 目录
• 课程概述
• 本课程适合哪些人？
• 你将从本课程中学到什么
• 开始学习
• 课程大纲
• 这门课程需要花费多少？
• 技术栈
• 贡献者
• 许可证

课程概述

当两位热爱科幻电影的机器学习工程师联手时，会发生什么呢？🤔

你就会得到 Ava——一个受经典影片《机械姬》（Ex Machina）启发、能够以“真实”方式与用户互动的 WhatsApp 代理。当然，这里不会有完全具备意识的机器人，但你确实会体验到一些非常有趣的 WhatsApp 对话。

完成本课程后，你也将构建属于自己的 Ava，它能够：

• 接收并发送 WhatsApp 消息 📲
• 理解你的语音 🗣️
• 识别你的图片 🖼️
• 回传语音消息 🎤
• 分享其“日常活动”的更新 🚣
• 向你发送当前活动的图片 🖼️

你可以把它看作是图灵测试的现代诠释 🤣

是不是很期待呢？让我们开始吧！

---

📬 保持更新 加入 The Neural Maze，从原理到生产，学习如何构建真正可用的 AI 系统。每周三直接发送到你的邮箱，千万不要错过！

🎥 观看更多内容 加入 Jesús Copado 的 YouTube 频道，探索如何构建真正的 AI 项目——从语音助手到创意工具。每周都有代码、演示和突破 AI 极限的想法，千万别错过下一期！

---

本课程适合哪些人？

本课程面向希望通过构建复杂的端到端应用来提升技能的软件工程师、机器学习工程师和 AI 工程师。这不仅仅是一个简单的“Hello World”教程，而是一次深入探究如何打造可投入生产的 WhatsApp 代理的旅程。

你将从本课程中学到什么

• 构建一个功能完善的 WhatsApp 代理，你可以在手机上与其聊天
• 扎实掌握如何构建 LangGraph 工作流
• 使用 Qdrant 作为向量数据库搭建长期记忆系统
• 利用 Groq 模型驱动 AI 代理的响应
• 使用 Whisper 实现语音转文本系统
• 使用 ElevenLabs 实现文本转语音系统
• 利用扩散模型（如 FLUX 模型）生成高质量图像
• 使用 VLM 模型（如 llama-3.2-vision）处理图像
• 使用 Chainlit 创建聊天界面
• 将智能体应用部署到 Cloud Run
• 将智能体应用连接到 WhatsApp API

开始学习

在开始课程之前，你需要做一些准备工作。

比如创建虚拟环境、安装依赖项、配置 .env 文件等。我知道这些步骤很枯燥，但却是必不可少的！ 😅

所有细节都已在以下文档中详细说明：GETTING_STARTED.md。

请务必按照文档中的说明操作，这对课程的顺利进行至关重要。

课程大纲

课次	文章	视频	描述
1	项目概述		理解项目架构与技术栈。
2	解剖Ava的大脑		学习LangGraph的基础知识，并使用该框架实现复杂的工作流。
3	解锁Ava的记忆		构建用于图状态持久化和聊天记录的短期记忆系统。同时，使用Qdrant实现长期记忆系统。
4	让Ava拥有声音		搭建STT和TTS流水线，使Ava能够处理音频输入与输出。
5	Ava学会“看”		了解如何使用VLM模型处理图像。利用FLUX模型实现图像生成流水线。
6	Ava安装WhatsApp		将Ava接入WhatsApp。学习如何将LangGraph应用部署到Google Cloud Run上。

如果你觉得更有勇气，还有一个长达2个多小时的视频课程，我们会一步步带你过完项目的全部细节和代码。

---

这会花我多少钱？

这个项目的超棒之处在于：你完全可以在自己的电脑上免费运行它！

Groq、ElevenLabs、Qdrant Cloud和Together AI提供的免费层级已经足够让你起步了。

如果你想在Google Cloud Run上试一试，可以注册一个免费账号，获得300美元的免费额度。即使你已经用完了免费额度，Cloud Run的费用也非常低廉——你的实验可能只需要一两美元而已。

---

技术栈

技术	描述
	使用Llama 3.3、Llama 3.2 Vision和Whisper为项目提供算力。Groq模型非常强大（而且速度极快！！）
	作为长期数据库，让我们的智能体能够回忆起几个月前你分享过的细节。
	轻松将你的容器部署到Google云平台
	学习如何构建生产级的LangGraph工作流
	出色的TTS模型
	Ava图像生成过程的背后支持

贡献者

	米格尔·奥特罗·佩德里多 | 高级机器学习/人工智能工程师 The Neural Maze创始人。瑞克和莫蒂迷。 LinkedIn YouTube The Neural Maze新闻通讯
	赫苏斯·科帕多 | 高级机器学习/人工智能工程师 既是电影迷，也是AI爱好者。 YouTube LinkedIn

许可证

本项目采用 MIT 许可证授权——详情请参阅 LICENSE 文件。

---

📬 保持更新 加入 The Neural Maze,学习如何从原理到落地构建真正可用的 AI 系统。每周三直接发送到您的邮箱，千万不要错过！

🎥 观看更多内容 加入 Jesús Copado 的 YouTube 频道，探索如何构建真正的 AI 项目——从语音助手到创意工具。每周发布包含代码、演示和创意的视频，带您突破 AI 的边界。别错过下一期内容！

Ava WhatsApp Agent 快速上手指南

Ava 是一个受电影《机械姬》（Ex Machina）启发的 WhatsApp AI 智能体。它不仅能进行文字对话，还能理解语音、识别图片、发送语音回复，甚至生成并分享其“日常活动”的图片。本项目基于 LangGraph 构建，旨在帮助开发者打造生产级的多模态 AI 应用。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python: 3.9 或更高版本
• 包管理器: pip 或 poetry
• 账号准备:
  • Groq: 用于运行 Llama 3.3, Llama 3.2 Vision 和 Whisper 模型 (提供免费额度)。
  • ElevenLabs: 用于文本转语音 (TTS) (提供免费额度)。
  • Qdrant Cloud: 用于长期记忆向量数据库 (提供免费额度)。
  • Together AI: 用于图像生成 (FLUX 模型) (提供免费额度)。
  • Google Cloud Platform (可选): 如果计划部署到 Cloud Run，需注册账号 (新用户通常有 $300 免费积分)。
  • WhatsApp Business API: 用于连接 WhatsApp (可通过 Meta Developer 平台获取测试号码)。

注意: 上述服务的免费层级足以支持本项目的学习和实验运行。

安装步骤

1. 克隆项目

首先，将代码仓库克隆到本地：

git clone https://github.com/TheNeuralMaze/ava-whatsapp-agent-course.git
cd ava-whatsapp-agent-course

2. 创建虚拟环境

建议创建一个独立的 Python 虚拟环境以避免依赖冲突：

python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

3. 安装依赖

安装项目所需的所有 Python 包：

pip install -r requirements.txt

(注：如果项目中包含 pyproject.toml 或 poetry.lock，也可使用 poetry install)

4. 配置环境变量

项目根目录下需要创建一个 .env 文件来存储 API 密钥。请参考官方文档 docs/GETTING_STARTED.md 中的详细指引，填写以下关键配置：

# .env 文件示例
GROQ_API_KEY=your_groq_key
ELEVENLABS_API_KEY=your_elevenlabs_key
QDRANT_URL=your_qdrant_url
QDRANT_API_KEY=your_qdrant_api_key
TOGETHER_API_KEY=your_together_ai_key
WHATSAPP_TOKEN=your_whatsapp_token
WHATSAPP_PHONE_NUMBER_ID=your_phone_number_id
# ... 其他必要配置

基本使用

完成环境配置后，你可以按照课程大纲逐步构建和运行 Ava。以下是核心的运行逻辑：

1. 本地运行智能体

在项目配置完成后，你可以通过运行主脚本来启动 Ava 的核心逻辑（具体入口文件请参考最新代码结构，通常为 main.py 或通过 LangGraph 服务器启动）：

# 示例：启动 LangGraph 服务器或运行主脚本
python src/main.py

2. 功能模块体验

根据课程进度，Ava 具备以下交互能力：

• 文字对话: 通过 WhatsApp 发送消息，Ava 将利用 Groq (Llama 3) 进行回复。
• 语音交互: 发送语音消息，Ava 使用 Whisper 识别内容并用 ElevenLabs 生成语音回复。
• 视觉能力: 发送图片，Ava 使用 Llama 3.2 Vision 进行识别；或请求 Ava 画图，它将调用 FLUX 模型生成图像。
• 长期记忆: Ava 会将对话历史存入 Qdrant，从而在后续对话中“记得”你之前说过的话。

3. 部署到云端 (可选)

若需让 WhatsApp 实时回调，建议将应用部署到 Google Cloud Run：

# 构建 Docker 镜像
docker build -t gcr.io/YOUR_PROJECT_ID/ava-agent .

# 推送到 Google Container Registry
docker push gcr.io/YOUR_PROJECT_ID/ava-agent

# 部署到 Cloud Run
gcloud run deploy ava-agent --image gcr.io/YOUR_PROJECT_ID/ava-agent --platform managed

部署成功后，将生成的 Cloud Run URL 配置到 WhatsApp Webhook 设置中即可实现手机端实时互动。

---

更多详细架构解析和代码 walkthrough，请参考项目中的视频课程及 The Neural Maze 订阅通讯。