多模态研究员

该项目是一个简单的研究与播客生成工作流，使用 LangGraph 结合 Google Gemini 2.5 模型系列的独特能力。它整合了 Gemini 2.5 模型系列的三项实用功能。您可以输入一个研究主题，还可选择性地提供一个 YouTube 视频 URL。系统将基于该主题进行网络搜索、分析视频内容、整合洞察，并为您生成一份附有引用的报告以及一段关于该主题的简短播客。此项目充分利用了 Gemini 的几项原生能力：

• 🎥 视频理解与原生 YouTube 工具：集成处理 YouTube 视频
• 🔍 Google 搜索工具：原生集成 Google 搜索工具，获取实时网络结果
• 🎙️ 多说话人文本转语音：生成具有不同说话人声音的自然对话

快速开始

前提条件

• Python 3.11+
• uv 包管理器
• Google Gemini API 密钥

设置步骤

1. 克隆并进入项目目录：

git clone https://github.com/langchain-ai/multi-modal-researcher
cd mutli-modal-researcher

2. 设置环境变量：

cp .env.example .env

编辑 .env 文件，并添加您的 Google Gemini API 密钥：

GEMINI_API_KEY=your_api_key_here

3. 运行开发服务器：

# 安装 uv 包管理器
curl -LsSf https://astral.sh/uv/install.sh | sh
# 安装依赖并启动 LangGraph 服务器
uvx --refresh --from "langgraph-cli[inmem]" --with-editable . --python 3.11 langgraph dev --allow-blocking

4. 访问应用程序：

LangGraph 将在您的浏览器中打开。

╦  ┌─┐┌┐┌┌─┐╔═╗┬─┐┌─┐┌─┐┬ ┬
║  ├─┤││││ ┬║ ╦├┬┘├─┤├─┘├─┤
╩═╝┴ ┴┘└┘└─┘╚═╝┴└─┴ ┴┴  ┴ ┴

- 🚀 API: http://127.0.0.1:2024
- 🎨 Studio UI: https://smith.langchain.com/studio/?baseUrl=http://127.0.0.1:2024
- 📚 API 文档: http://127.0.0.1:2024/docs

5. 传入一个 topic，并可选地提供一个 video_url。

示例：

• topic: 给我介绍一下 LLM 就像一种新型操作系统这一观点的概述。
• video_url: https://youtu.be/LCEmiRjPEtQ?si=raeMN2Roy5pESNG2

结果：

🔍 查看示例报告

▶️ 下载示例播客

架构

该系统实现了一个 LangGraph 工作流，包含以下节点：

1. 搜索研究节点：使用 Gemini 的 Google 搜索集成执行网络搜索
2. 分析视频节点：在提供 YouTube 视频时对其进行分析（条件性）
3. 创建报告节点：将研究结果综合成一份全面的 Markdown 报告
4. 创建播客节点：利用 TTS 音频生成一段双人播客讨论

工作流

START → search_research → [analyze_video?] → create_report → create_podcast → END

如果提供了 YouTube URL，工作流会条件性地包含视频分析；否则直接进入报告生成阶段。

输出

系统生成：

• 研究报告：包含执行摘要和参考文献的综合性 Markdown 报告
• 播客脚本：由 Sarah 博士（专家）和 Mike（采访者）之间的自然对话组成
• 音频文件：多说话人 TTS 音频文件（research_podcast_*.wav）

配置

系统通过 Configuration 类支持运行时配置：

模型设置

• search_model: 用于网络搜索的模型（默认：“gemini-2.5-flash”）
• synthesis_model: 用于报告合成的模型（默认：“gemini-2.5-flash”）
• video_model: 用于视频分析的模型（默认：“gemini-2.5-flash”）
• tts_model: 用于文本转语音的模型（默认：“gemini-2.5-flash-preview-tts”）

温度设置

• search_temperature: 用于事实性搜索查询（默认：0.0）
• synthesis_temperature: 用于平衡性合成（默认：0.3）
• podcast_script_temperature: 用于创造性对话（默认：0.4）

TTS 设置

• mike_voice: 采访者的语音（默认：“Kore”）
• sarah_voice: 专家的语音（默认：“Puck”）
• 音频格式设置用于控制输出质量

项目结构

├── src/agent/
│   ├── state.py           # 状态定义（输入/输出模式）
│   ├── configuration.py   # 运行时配置类
│   ├── utils.py          # 工具函数（TTS、报告生成）
│   └── graph.py          # LangGraph 工作流定义
├── langgraph.json        # LangGraph 部署配置
├── pyproject.toml        # Python 包配置
└── .env                  # 环境变量

关键组件

状态管理

• ResearchStateInput: 输入模式（主题，可选视频 URL）
• ResearchStateOutput: 输出模式（报告，播客脚本，播客文件名）
• ResearchState: 包含中间结果的完整状态

工具函数

• display_gemini_response(): 处理带有来源元数据的 Gemini 响应
• create_podcast_discussion(): 生成剧本化对话并转换为 TTS 音频
• create_research_report(): 将多模态研究整合为报告
• wave_file(): 将音频数据保存为 WAV 格式

部署

该应用程序已配置用于以下部署方式：

• 本地开发：使用 LangGraph CLI 和内存存储
• LangGraph 平台：生产环境部署，使用持久化存储
• 自托管：使用 Docker 容器

依赖项

核心依赖项通过 pyproject.toml 管理：

• langgraph>=0.2.6：工作流编排
• google-genai：Gemini API 客户端
• langchain>=0.3.19：LangChain 集成
• rich：增强终端输出
• python-dotenv：环境变量管理

许可证

MIT 许可证——详情请参阅 LICENSE 文件。

Multi-Modal Researcher 快速上手指南

Multi-Modal Researcher 是一个基于 LangGraph 和 Google Gemini 2.5 模型系列的研究与播客生成工作流。它支持输入研究主题（可选附带 YouTube 视频链接），自动执行网络搜索、视频分析，并生成带引用的研究报告及双人对话形式的播客音频。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL)
• Python 版本：3.11 或更高版本
• 包管理器：uv (推荐用于快速依赖管理)
• API 密钥：有效的 Google Gemini API Key

注意：由于本项目深度依赖 Google 服务（搜索、Gemini 模型、YouTube 解析），在中国大陆地区使用时，请确保网络环境能够正常访问 Google API 及 YouTube。

安装步骤

1. 克隆项目

将代码仓库克隆到本地并进入项目目录：

git clone https://github.com/langchain-ai/multi-modal-researcher
cd multi-modal-researcher

2. 配置环境变量

复制示例配置文件并填入您的 API 密钥：

cp .env.example .env

使用文本编辑器打开 .env 文件，填入您的 GEMINI_API_KEY：

GEMINI_API_KEY=your_api_key_here

3. 安装依赖并启动服务

本项目推荐使用 uv 进行依赖管理和运行。如果您尚未安装 uv，请先执行安装命令，随后启动 LangGraph 开发服务器：

# 安装 uv 包管理器
curl -LsSf https://astral.sh/uv/install.sh | sh

# 安装依赖并启动 LangGraph 服务器 (内存模式)
uvx --refresh --from "langgraph-cli[inmem]" --with-editable . --python 3.11 langgraph dev --allow-blocking

启动成功后，终端将显示类似以下的信息，表示服务已就绪：

- 🚀 API: http://127.0.0.1:2024
- 🎨 Studio UI: https://smith.langchain.com/studio/?baseUrl=http://127.0.0.1:2024
- 📚 API Docs: http://127.0.0.1:2024/docs

基本使用

服务启动后，您可以直接通过浏览器访问 LangGraph Studio UI (上述日志中的 Studio UI 链接) 进行可视化操作，或者通过 API 调用。

使用示例

在 Studio 界面或 API 调用中，您需要提供以下参数：

• topic (必填): 研究主题。
• video_url (可选): 相关的 YouTube 视频链接。系统将结合网页搜索和视频内容进行分析。

示例输入：

• topic: Give me an overview of the idea that LLMs are like a new kind of operating system.
• video_url: https://youtu.be/LCEmiRjPEtQ?si=raeMN2Roy5pESNG2

预期输出

系统处理完成后，将生成以下成果：

1. 研究报告：包含执行摘要、详细分析和来源引用的 Markdown 格式报告。
2. 播客脚本：由“专家 (Dr. Sarah)"和“主持人 (Mike)"进行的自然对话脚本。
3. 音频文件：基于脚本生成的双人多说话人 TTS 音频文件 (.wav 格式)。

您可以在 Studio 界面直接查看报告预览并下载音频文件，或在项目输出的指定路径中找到结果。