✨ MindSearch：模拟人类思维，打造深度AI搜索引擎

📅 变更日志

• 2024年11月5日：🥳 MindSearch现已部署在Puyu平台！👉 立即体验 👈
  • 基于Lagent v0.5重构了代理模块，以提升并发性能。
  • 改进了用户界面，更好地体现同时多查询搜索的功能。

⚽️ 搭建属于你的MindSearch

第一步：安装依赖

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

第二步：设置环境变量

在启动API之前，需要配置环境变量。将.env.example文件重命名为.env，并填写所需值。

mv .env.example .env
# 打开 .env 文件，添加你的密钥和模型配置

第三步：搭建MindSearch API

启动FastAPI服务器。

python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch --asy 

• --lang：模型的语言，en表示英文，cn表示中文。

• --model_format：模型格式。

  • internlm_server 表示使用本地服务器运行的InternLM2.5-7b-chat。（InternLM2.5-7b-chat针对中文进行了更好的优化。）
  • gpt4 表示使用GPT4模型。 如果你想使用其他模型，请修改[mindsearch/agent/models.py]中的模型定义。

• --search_engine：搜索引擎。

  • DuckDuckGoSearch 表示使用DuckDuckGo搜索引擎。
  • BingSearch 表示使用必应搜索引擎。
  • BraveSearch 表示使用Brave Search Web API引擎。
  • GoogleSearch 表示使用Google Serper Web Search API引擎。
  • TencentSearch 表示使用腾讯搜索API引擎。

  请将你的Web搜索引擎API密钥设置为环境变量WEB_SEARCH_API_KEY，除非你使用的是DuckDuckGo或TencentSearch，后者需要分别设置TENCENT_SEARCH_SECRET_ID和TENCENT_SEARCH_SECRET_KEY作为密钥和密匙。

• --asy：部署异步代理。

第四步：搭建MindSearch前端

提供以下几种前端界面：

• React

首先配置Vite代理的后端URL。

HOST="127.0.0.1"  # 根据需要修改
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

# 安装Node.js和npm
# 对于Ubuntu系统：
sudo apt install nodejs npm

# 对于Windows系统：
# 从https://nodejs.org/zh-cn/download/prebuilt-installer下载

# 安装依赖

cd frontend/React
npm install
npm start

详细信息请参阅React。

• Gradio

python frontend/mindsearch_gradio.py

• Streamlit

streamlit run frontend/mindsearch_streamlit.py

🌐 更改Web搜索API

若需使用不同类型的Web搜索API，可在mindsearch/agent/__init__.py中的searcher_cfg里修改searcher_type属性。目前支持的Web搜索API包括：

• GoogleSearch
• DuckDuckGoSearch
• BraveSearch
• BingSearch
• TencentSearch

例如，若要切换到Brave Search API，可按如下方式配置：

BingBrowser(
    searcher_type='BraveSearch',
    topk=2,
    api_key=os.environ.get('BRAVE_API_KEY', 'YOUR BRAVE API')
)

🐞 直接使用后端而不通过前端

对于希望直接与后端交互的用户，可以使用backend_example.py脚本。该脚本演示如何向后端发送查询并处理响应。

python backend_example.py

请确保已正确设置环境变量，并且后端服务正在运行后再执行此脚本。

🐞 本地调试

python -m mindsearch.terminal

📝 许可证

本项目采用Apache 2.0许可证发布。

引用

如果你的研究中使用了本项目，请考虑引用：

@article{chen2024mindsearch,
  title={MindSearch: Mimicking Human Minds Elicits Deep AI Searcher},
  author={Chen, Zehui and Liu, Kuikun and Wang, Qiuchen and Liu, Jiangning and Zhang, Wenwei and Chen, Kai and Zhao, Feng},
  journal={arXiv preprint arXiv:2407.20183},
  year={2024}
}

我们的项目

探索我们在大型语言模型领域的更多研究，重点关注LLM代理。

• Lagent：一个用于构建基于LLM的轻量级代理框架
• AgentFLAN：一种创新的高质量代理数据集构建与训练方法（ACL 2024 Findings）
• T-Eval：一个细粒度的工具使用评估基准（ACL 2024）

MindSearch 快速上手指南

MindSearch 是一个模仿人类思维过程的深度 AI 搜索框架，支持多轮推理与并发搜索。本指南将帮助中国开发者快速在本地部署并运行该工具。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu) 或 Windows (需配置相应环境)。
• Python: 版本 3.8 及以上。
• Node.js & npm: 用于启动 React 前端界面（若仅使用 Gradio/Streamlit 或后端可忽略）。
  • Ubuntu: sudo apt install nodejs npm
  • Windows: 前往 Node.js 官网 下载安装。
• 模型服务:
  • 推荐使用 InternLM2.5-7b-chat (对中文优化更好)，需本地部署服务。
  • 或使用 GPT-4 (需配置 API Key)。
• 搜索引擎:
  • 默认支持 DuckDuckGo (无需 Key)。
  • 国内用户建议使用 TencentSearch (腾讯搜索) 或 BingSearch，需申请对应的 API Key/Secret。

安装步骤

1. 克隆项目与安装依赖

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

2. 配置环境变量

复制示例配置文件并填入您的密钥信息。

mv .env.example .env

编辑 .env 文件，根据您选择的模型和搜索引擎填写对应字段：

• 若使用 GPT-4，填写 OPENAI_API_KEY。
• 若使用 Bing/Tencent/Brave 等搜索引擎，填写对应的 WEB_SEARCH_API_KEY 或 TENCENT_SEARCH_SECRET_ID/TENCENT_SEARCH_SECRET_KEY。
• 若使用 DuckDuckGo，无需额外配置。

3. 启动后端服务

运行以下命令启动 FastAPI 后端。以下示例以中文模式、本地 InternLM 模型、DuckDuckGo 搜索引擎及异步代理模式为例：

python -m mindsearch.app --lang cn --model_format internlm_server --search_engine DuckDuckGoSearch --asy

参数说明：

• --lang: 语言设置，cn 为中文，en 为英文。
• --model_format: 模型格式。
  • internlm_server: 本地 InternLM2.5-7b-chat 服务。
  • gpt4: GPT-4 模型。
  • 注：若使用其他模型，请修改 mindsearch/agent/models.py。
• --search_engine: 搜索引擎类型 (DuckDuckGoSearch, BingSearch, BraveSearch, GoogleSearch, TencentSearch)。
• --asy: 启用异步代理部署以提升并发性能。

4. 启动前端界面 (可选)

您可以选择以下任意一种前端方式：

方案 A：React 前端 (推荐，体验最佳)

配置 Vite 代理指向后端地址：

HOST="127.0.0.1"
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

安装依赖并启动：

cd frontend/React
npm install
npm start

方案 B：Gradio 前端 (轻量级)

python frontend/mindsearch_gradio.py

方案 C：Streamlit 前端

streamlit run frontend/mindsearch_streamlit.py

基本使用

方式一：通过网页界面使用

启动前端后（如 React 默认在 http://localhost:5173，Gradio/Streamlit 会输出具体地址），直接在浏览器访问该地址。在输入框中输入您的问题（例如：“分析一下 2024 年人工智能的发展趋势”），系统将自动进行多步搜索、推理并生成深度报告。

方式二：通过命令行脚本调用 (无前端)

如果您只想测试后端逻辑，可以使用提供的示例脚本：

python backend_example.py

注意：运行前请确保后端服务 (mindsearch.app) 已在后台运行，且环境变量已正确配置。

方式三：本地终端调试

直接在终端运行交互式调试：

python -m mindsearch.terminal