OpenDeepResearcher

本笔记本实现了一个AI研究员，它会根据用户查询持续搜索信息，直到系统确信已收集到所有必要细节。为此，它使用了多项服务：

• SERPAPI：用于执行Google搜索。
• Jina：用于抓取和提取网页内容。
• OpenRouter（默认模型：anthropic/claude-3.5-haiku）：与LLM交互，用于生成搜索查询、评估页面相关性以及提取上下文。

功能特性

• 迭代式研究循环：系统会迭代优化搜索查询，直至不再需要进一步查询。
• 异步处理：搜索、网页抓取、评估和上下文提取并行进行，以提升速度。
• 重复链接过滤：在每一轮中聚合并去重链接，确保同一链接不会被重复处理。
• LLM驱动的决策：利用LLM生成新的搜索查询、判断页面是否有用、提取相关上下文，并生成最终的综合报告。
• Gradio界面：若希望在功能完善的UI中使用此工具，请使用open-deep-researcher - gradio笔记本。

需求

• 需要以下API的访问权限及密钥：
  • OpenRouter API
  • SERPAPI API
  • Jina API

设置步骤

1. 克隆或打开笔记本：

   • 下载笔记本文件，或直接在Google Colab中打开。

2. 安装nest_asyncio：

   运行第一个单元格以设置nest_asyncio。

3. 配置API密钥：

   • 将笔记本中OPENROUTER_API_KEY、SERPAPI_API_KEY和JINA_API_KEY的占位符值替换为您的实际API密钥。

使用方法

1. 运行笔记本中的单元格： 按顺序执行所有单元格。笔记本会提示您输入：

   • 研究查询或主题。
   • 可选的最大迭代次数（默认为10次）。

2. 跟随研究流程：

   • 初始查询与搜索生成：笔记本利用LLM生成初始搜索查询。
   • 异步搜索与提取：它会并发执行所有查询的SERPAPI搜索，聚合唯一链接，并行处理每个链接以确定页面的相关性并提取相关内容。
   • 迭代优化：每轮结束后，LLM会对汇总的上下文进行分析，以判断是否需要进一步的搜索查询。
   • 最终报告：当LLM表明无需进一步研究时（或达到迭代上限），将基于所有收集到的上下文生成一份最终报告。

3. 查看最终报告： 最终的综合报告将打印在输出中。

工作原理

1. 输入与查询生成：
   用户输入研究主题，LLM会生成最多四个不同的搜索查询。

2. 并发搜索与处理：

   • SERPAPI：每个搜索查询会并发发送至SERPAPI。
   • 去重：当前迭代中所有检索到的链接会被聚合并去重。
   • Jina与LLM：每个唯一链接会被并发处理，通过Jina抓取网页内容，由LLM评估其相关性，并在页面被认为有用时提取相关信息。

3. 迭代优化：
   系统会将汇总的上下文传递给LLM，以判断是否需要进一步的搜索查询。如果需要，则生成新查询；否则，循环结束。

4. 最终报告生成：
   所有收集到的上下文会被整合后发送给LLM，以生成一份针对原始查询的全面报告。

故障排除

• asyncio运行时错误：
  如果遇到类似以下错误：

  RuntimeError: asyncio.run() cannot be called from a running event loop
  

  请确保已按照设置部分所示应用nest_asyncio。

• API问题：
  请验证您的API密钥是否正确，并确认未超出任何速率限制。

---

欢迎在X上关注我，了解我正在开发的其他AI项目。

也请访问我的“提示词GitHub”——ShumerPrompt！

OpenDeepResearcher采用MIT许可证发布。更多详情请参阅LICENSE文件。

OpenDeepResearcher 快速上手指南

OpenDeepResearcher 是一个基于 AI 的自动化研究助手。它能根据用户输入的研究主题，通过迭代搜索、网页内容提取和 LLM 分析，自动收集信息并生成综合研究报告。

环境准备

在开始之前，请确保你拥有以下三个服务的 API Key：

• OpenRouter API: 用于调用大语言模型（默认使用 anthropic/claude-3.5-haiku）。
• SERPAPI API: 用于执行 Google 搜索。
• Jina API: 用于抓取和提取网页内容。

运行环境推荐： 本项目以 Jupyter Notebook 形式提供，推荐使用 Google Colab 直接运行，无需本地配置复杂环境。

• 在线地址：OpenDeepResearcher Notebook

若需在本地运行，请确保已安装 Python 及 Jupyter Lab/Notebook。

安装步骤

1. 获取代码

克隆仓库或直接下载 Notebook 文件：

git clone https://github.com/mshumer/OpenDeepResearcher.git
cd OpenDeepResearcher

或者直接打开下载的 open_deep_researcher.ipynb 文件。

2. 安装依赖

在 Notebook 的第一个代码单元格中，运行以下命令以解决异步事件循环问题（必选）：

!pip install nest_asyncio

注：其他依赖（如 openrouter, serpapi, jina 相关库）通常已在 Notebook 后续单元格中通过 !pip install 自动安装，按顺序执行即可。

3. 配置 API Keys

在 Notebook 中找到配置部分，将占位符替换为你真实的 API Key：

OPENROUTER_API_KEY = "你的_OpenRouter_Key"
SERPAPI_API_KEY = "你的_SERPAPI_Key"
JINA_API_KEY = "你的_Jina_Key"

基本使用

完成上述配置后，按顺序执行 Notebook 中的所有单元格即可启动研究流程。

启动研究

系统运行后会提示输入以下信息：

1. Research Query: 输入你想要研究的主题或问题（例如："2024 年大模型技术发展趋势”）。
2. Max Iterations (可选): 设置最大迭代次数，默认为 10 次。

工作流程

系统将自动执行以下闭环操作：

1. 生成查询: LLM 根据主题生成多个搜索关键词。
2. 并发搜索: 调用 SERPAPI 并行搜索，并利用 Jina 抓取网页内容。
3. 智能筛选: LLM 评估网页相关性并提取关键上下文，自动去重。
4. 迭代优化: 系统判断信息是否充足，若不足则生成新查询继续搜索。
5. 生成报告: 当信息收集完毕或达到迭代上限，LLM 将汇总所有上下文生成最终研究报告。

查看结果

研究完成后，终端输出区域将直接打印生成的综合研究报告。

---

如需图形化界面体验，可运行项目中的 open-deep-researcher - gradio Notebook。