LLMxMapReduce：使用大语言模型简化长序列处理

🎉 新闻

• 2025.09.13 发布 LLMxMapReduce-V3 代码。
• 2025.04.22 发布由 LLMxMapReduce-V2 驱动的在线写作系统 SurveyGO。
• 2025.04.09 在 arXiv 上发布 LLMxMapReduce-V2 论文。
• 2025.02.21 新增支持 OpenAI API 及兼容 OpenAI 的 API（如 vLLM）。
• 2024.10.12 在 arXiv 上发布 LLMxMapReduce-V1 论文。
• 2024.09.12 发布 LLMxMapReduce-V1 代码。

📚 概览

LLMxMapReduce 是一种分而治之（divide-and-conquer）框架，旨在增强现代大语言模型（Large Language Models, LLMs）对长序列的理解与生成能力。该框架由 AI9STARS、OpenBMB 和 THUNLP 联合开发，灵感源自大数据领域经典的 MapReduce 算法。我们的目标是构建一个由 LLM 驱动的分布式计算系统，以高效处理长序列。以下是 LLMxMapReduce 的主要版本：

• LLMxMapReduce-V1：采用结构化信息协议和上下文内置信度校准，提升长序列理解能力，使 MiniCPM3-4B 在长上下文评估中超越 70B 规模模型。
• LLMxMapReduce-V2：引入熵驱动的卷积式测试时缩放机制，以更好地整合海量信息，为在线系统 SurveyGO 提供动力。
• LLMxMapReduce-V3：引入交互式、模块化、自组织的多智能体系统，用于学术综述生成。

📖 简介

长文本生成在众多实际应用中至关重要，通常可分为“短到长”和“长到长”两类生成任务。尽管“短到长”生成已受到广泛关注，“从极长资源生成长文本”的“长到长”任务仍相对未被充分探索。其核心挑战在于如何有效整合并分析海量输入中的相关信息，这对当前的大语言模型（LLMs）而言仍十分困难。本文提出 LLMxMapReduce-V2，一种新颖的测试时缩放策略，旨在增强 LLM 处理极长输入的能力。受卷积神经网络（CNN）启发——CNN 通过迭代将局部特征融合为更高层次的全局表征——LLMxMapReduce-V2 利用堆叠的卷积缩放层逐步扩展对输入材料的理解。定量与定性实验结果均表明，本方法显著提升了 LLM 处理长输入并生成连贯、信息丰富的长文的能力，优于多个代表性基线模型。

⚡️ 快速开始

以下步骤针对 LLMxMapReduce-V2。若需使用 LLMxMapReduce-V1，请参阅 此处；若需使用 LLMxMapReduce-V3，请参阅 此处。

首先，请确保安装 requirements.txt 中列出的所有依赖项：

cd LLMxMapReduce_V2
conda create -n llm_mr_v2 python=3.11
conda activate llm_mr_v2
pip install -r requirements.txt
python -m playwright install --with-deps chromium

在评估前，需先下载 punkt_tab：

import nltk
nltk.download('punkt_tab')

环境配置

启动 pipeline 前，请在环境变量中设置 OPENAI_API_KEY 和 OPENAI_API_BASE。若使用 miniconda，请将 LD_LIBRARY_PATH 中的 anaconda3 替换为 miniconda3：

export LD_LIBRARY_PATH=${HOME}/anaconda3/envs/llm_mr_v2/lib/python3.11/site-packages/nvidia/nvjitlink/lib:${LD_LIBRARY_PATH}
export PYTHONPATH=$(pwd):${PYTHONPATH}
export OPENAI_API_KEY=您的 OpenAI 密钥。仅当 infer_type 设置为 OpenAI 时需要。
export OPENAI_API_BASE=您的 OpenAI 基础 URL
export GOOGLE_API_KEY=您的 Google Cloud 密钥。仅当 infer_type 设置为 Google 时需要。
export SERP_API_KEY= 从 https://serpapi.com 获取 SERP API 密钥

我们提供英文和中文版本的提示词（prompt），默认为英文。如需使用中文版，请设置如下环境变量：

export PROMPT_LANGUAGE="zh"

模型设置

⚠️ 我们强烈推荐使用 Gemini Flash 系列模型。使用其他模型可能会出现未知错误。本项目对 API 调用量和并发量要求较高，不建议使用本地部署模型。

生成过程中使用的模型配置位于 ./LLMxMapReduce_V2/config/model_config.json 文件中。目前支持 OpenAI API 和 Google API，可通过 infer_type 键指定所用 API，并在 model 键中指定模型名称。

此外，爬取过程同样需要大语言模型（LLM）推理，可在 ./LLMxMapReduce_V2/src/start_pipeline.py 文件中进行类似配置。

启动 LLMxMapReduce_V2 流程

按照说明生成报告，生成的 Markdown 文件位于 ./output/md 目录下：

cd LLMxMapReduce_V2
bash scripts/pipeline_start.sh TOPIC output_file_path.jsonl

如需使用自定义数据，请设置 --input_file 参数，且不要设置 --topic。

输入数据至少应包含以下字段：

{
  "title": "您希望撰写的论文标题",
  "papers": [
    {
      "title": "参考材料标题",
      "abstract": "摘要内容（可选，若无则会截取部分正文）",
      "txt": "参考材料全文"
    }
  ]
}

您可以使用 此脚本 将 .jsonl 数据转换为多个 .md 文件。

📃 评估

以下步骤适用于 LLMxMapReduce-V2。如需使用 LLMxMapReduce-V1，请参考 此处。

请按以下步骤设置评估环境：

1. 下载数据集

在运行评估前，您需要下载 SurveyEval 数据集 的 test 分割部分，并将其保存为 .jsonl 文件。

2. 运行评估

执行 脚本 来评估生成结果。

cd LLMxMapReduce_V2
bash scripts/eval_all.sh output_data_file_path.jsonl

请注意，评估过程消耗大量 token，请确保您的账户余额充足。

📊 实验结果

我们的实验表明，在 SurveyEval 上使用 LLMxMapReduce-V2 框架可显著提升大语言模型（LLM, Large Language Model）的性能。详细结果如下所示。

方法	结构	事实性	相关性	语言	批判性	数量	密度	精确率	召回率
Vanilla	94.44	96.43	100.00	96.50	37.11	78.75	74.64	25.48	26.46
+ Skeleton	98.95	97.03	100.00	95.95	41.01	135.15	72.96	62.60	65.11
AutoSurvey	86.00	93.10	100.00	92.90	68.39	423.35	31.97	50.12	51.73
LLMxMapReduce_V2	95.00	97.22	100.00	94.34	71.99	474.90	52.23	95.50	95.80

📝 引用

如果您使用了本仓库的内容，请引用我们的论文并点个 Star :)。

@misc{wang2025llmtimesmapreducev2entropydrivenconvolutionaltesttime,
      title={LLM$\times$MapReduce-V2: Entropy-Driven Convolutional Test-Time Scaling for Generating Long-Form Articles from Extremely Long Resources}, 
      author={Haoyu Wang and Yujia Fu and Zhu Zhang and Shuo Wang and Zirui Ren and Xiaorong Wang and Zhili Li and Chaoqun He and Bo An and Zhiyuan Liu and Maosong Sun},
      year={2025},
      eprint={2504.05732},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.05732}, 
}

@misc{zhou2024llmtimesmapreducesimplifiedlongsequenceprocessing,
      title={LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models}, 
      author={Zihan Zhou and Chong Li and Xinyi Chen and Shuo Wang and Yu Chao and Zhili Li and Haoyu Wang and Rongqiao An and Qi Shi and Zhixing Tan and Xu Han and Xiaodong Shi and Zhiyuan Liu and Maosong Sun},
      year={2024},
      eprint={2410.09342},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.09342}, 
}

LLMxMapReduce 快速上手指南（中文版）

---

🧰 环境准备

• 系统要求：Linux 或 macOS（推荐 Ubuntu 20.04+）
• Python 版本：3.11
• 依赖管理工具：推荐使用 conda 创建独立环境
• API 要求：
  • OpenAI API 或兼容接口（如 vLLM）
  • Google Gemini API（强烈推荐使用 Gemini Flash 模型）
  • SERP API（用于网络搜索，可选）
• 国内加速建议：
  • 使用清华/阿里云 pip 镜像加速安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
  • 若使用 Hugging Face 数据集，可配置 HF_ENDPOINT 加速下载：export HF_ENDPOINT=https://hf-mirror.com

---

⚙️ 安装步骤

# 克隆项目（若未克隆）
git clone https://github.com/thunlp/LLMxMapReduce.git
cd LLMxMapReduce

# 进入 V2 目录（默认推荐版本）
cd LLMxMapReduce_V2

# 创建并激活 conda 环境
conda create -n llm_mr_v2 python=3.11
conda activate llm_mr_v2

# 安装依赖（推荐使用国内镜像）
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

# 安装浏览器驱动（用于网页抓取）
python -m playwright install --with-deps chromium

# 下载 NLTK 分词数据
python -c "import nltk; nltk.download('punkt_tab')"

---

🚀 基本使用

1. 配置环境变量

# 设置 API 密钥（根据你使用的模型平台）
export OPENAI_API_KEY=你的OpenAI密钥
export OPENAI_API_BASE=https://api.openai.com/v1  # 或你的兼容API地址

# 或使用 Google Gemini（推荐）
export GOOGLE_API_KEY=你的GoogleCloud密钥

# 可选：设置中文提示词
export PROMPT_LANGUAGE="zh"

# 设置路径（miniconda用户请将 anaconda3 替换为 miniconda3）
export LD_LIBRARY_PATH=${HOME}/anaconda3/envs/llm_mr_v2/lib/python3.11/site-packages/nvidia/nvjitlink/lib:${LD_LIBRARY_PATH}
export PYTHONPATH=$(pwd):${PYTHONPATH}

💡 推荐优先使用 GOOGLE_API_KEY + Gemini Flash 模型，稳定性更佳。

2. 启动生成流程

# 生成指定主题的长文报告（输出为 .jsonl 和 .md）
bash scripts/pipeline_start.sh "人工智能最新进展" ./output/result.jsonl

生成的 Markdown 文件位于：./output/md/

3. 使用自定义输入数据

准备 JSONL 格式文件，结构如下：

{
  "title": "你想写的标题",
  "papers": [
    {
      "title": "参考文献标题",
      "abstract": "摘要（可选）",
      "txt": "全文内容"
    }
  ]
}

运行命令：

bash scripts/pipeline_start.sh --input_file your_input.jsonl

---

✅ 至此，你已成功运行 LLMxMapReduce-V2！生成结果可在 ./output/md/ 查看。如需评估效果，请参考项目内 eval_all.sh 脚本。