STORM：基于检索与多视角提问的主题大纲生成

| 研究预览 | STORM论文| Co-STORM论文 | 官网 |

**最新消息** 🔥

• [2025/01] 我们在knowledge-storm v1.1.0中加入了对语言模型和嵌入模型的litellm（https://github.com/BerriAI/litellm）集成。

• [2024/09] Co-STORM代码库现已发布，并整合到knowledge-storm Python包v1.0.0中。运行pip install knowledge-storm --upgrade即可体验。

• [2024/09] 我们推出了协作式STORM（Co-STORM），以支持人机协同的知识整理！Co-STORM论文已被EMNLP 2024主会接收。

• [2024/07] 现在您可以通过pip install knowledge-storm安装我们的软件包！

• [2024/07] 我们新增了VectorRM，用于支持基于用户提供的文档进行知识增强，补充了现有的搜索引擎支持（YouRM、BingSearch）。（参见#58）

• [2024/07] 我们发布了面向开发者的轻量级演示版——一个基于Python Streamlit框架构建的极简用户界面，便于本地开发和演示部署。（参见#54）

• [2024/06] 我们将在NAACL 2024上展示STORM！请于6月17日莅临海报展示环节2，或查看我们的演示材料。

• [2024/05] 我们在rm.py中增加了必应搜索支持。使用GPT-4o测试STORM——我们现在已将演示中的文章生成部分配置为使用GPT-4o模型。

• [2024/04] 我们发布了重构后的STORM代码库！我们定义了STORM流水线的接口，并重新实现了STORM-wiki（参见src/storm_wiki），以展示如何实例化该流水线。我们提供了API，支持自定义不同的语言模型以及检索/搜索集成。

概述 (立即试用STORM！)

STORM是一个基于互联网搜索从零开始撰写维基百科式文章的LLM系统。Co-STORM进一步增强了其功能，允许人类与LLM系统协作，从而更好地满足信息需求和知识整理的目标。

尽管该系统目前还无法生成可以直接发表的文章——这类文章通常需要大量编辑——但经验丰富的维基百科编辑认为它在写作前的准备阶段非常有帮助。

已有超过7万人试用了我们的在线研究预览。快来体验STORM如何助力您的知识探索之旅，并欢迎提供反馈以帮助我们改进系统 🙏！

STORM与Co-STORM的工作原理

STORM

STORM将带有引用的长篇文章生成过程分解为两个步骤：

1. 写作准备阶段：系统通过互联网调研收集参考资料，并生成文章大纲。
2. 写作阶段：系统利用大纲和参考资料生成包含引用的完整文章。

STORM认为，自动化研究过程的核心在于能够自动提出高质量的问题。直接让语言模型提问效果并不理想。为了提升问题的深度和广度，STORM采用了两种策略：

1. 视角引导式提问：给定输入主题后，STORM会通过调研类似主题的现有文章来发现不同视角，并利用这些视角来指导提问过程。
2. 模拟对话：STORM模拟一位维基百科作者与基于互联网资源的主题专家之间的对话，使语言模型能够不断更新对主题的理解，并提出后续问题。

CO-STORM

Co-STORM提出了一种协作式话语协议，通过实施轮次管理策略来支持以下角色之间的顺畅协作：

• Co-STORM LLM专家：此类代理会基于外部知识源生成答案，或根据对话历史提出后续问题。
• 主持人：该代理会根据检索器发现但尚未在先前轮次中使用的信息，生成具有启发性的提问。问题生成也可以基于知识来源。
• 人类用户：人类用户可以选择（1）观察对话以更深入地理解主题，或（2）主动参与对话，通过插入话语来引导讨论方向。

Co-STORM还会维护一张动态更新的思维导图，将收集到的信息组织成层次化的概念结构，旨在在人类用户和系统之间构建共享的概念空间。实践证明，当对话持续且深入时，思维导图有助于减轻认知负担。

STORM和Co-STORM均采用高度模块化的方式实现，使用了dspy框架。

安装

要安装knowledge storm库，请使用pip install knowledge-storm。

您也可以安装源代码，以便直接修改STORM引擎的行为。

1. 克隆Git仓库。

   git clone https://github.com/stanford-oval/storm.git
   cd storm
   

2. 安装所需依赖。

   conda create -n storm python=3.11
   conda activate storm
   pip install -r requirements.txt
   

API

目前，我们的软件包支持：

• 语言模型组件：所有由 litellm 支持的语言模型，详见 这里
• 嵌入模型组件：所有由 litellm 支持的嵌入模型，详见 这里
• 检索模块组件：YouRM、BingSearch、VectorRM、SerperRM、BraveRM、SearXNG、DuckDuckGoSearchRM、TavilySearchRM、GoogleSearch 和 AzureAISearch 等

:star2: 欢迎为将更多搜索引擎/检索器集成到 knowledge_storm/rm.py 中提交 PR！

STORM 和 Co-STORM 都工作在信息整理层，您需要分别设置信息检索模块和语言模型模块来创建它们的 Runner 类。

STORM

STORM 知识整理引擎被定义为一个简单的 Python STORMWikiRunner 类。以下是一个使用 You.com 搜索引擎和 OpenAI 模型的示例。

import os
from knowledge_storm import STORMWikiRunnerArguments, STORMWikiRunner, STORMWikiLMConfigs
from knowledge_storm.lm import LitellmModel
from knowledge_storm.rm import YouRM

lm_configs = STORMWikiLMConfigs()
openai_kwargs = {
    'api_key': os.getenv("OPENAI_API_KEY"),
    'temperature': 1.0,
    'top_p': 0.9,
}
# STORM 是一个 LM 系统，因此不同的组件可以由不同的模型驱动，以在成本和质量之间取得良好平衡。
# 为了最佳实践，为用于拆分查询、在对话中综合答案的 `conv_simulator_lm` 选择更便宜/更快的模型。
# 为用于生成带有引用的可验证文本的 `article_gen_lm` 选择更强大的模型。
gpt_35 = LitellmModel(model='gpt-3.5-turbo', max_tokens=500, **openai_kwargs)
gpt_4 = LitellmModel(model='gpt-4o', max_tokens=3000, **openai_kwargs)
lm_configs.set_conv_simulator_lm(gpt_35)
lm_configs.set_question_asker_lm(gpt_35)
lm_configs.set_outline_gen_lm(gpt_4)
lm_configs.set_article_gen_lm(gpt_4)
lm_configs.set_article_polish_lm(gpt_4)
# 更多配置请参阅 STORMWikiRunnerArguments 类。
engine_args = STORMWikiRunnerArguments(...)
rm = YouRM(ydc_api_key=os.getenv('YDC_API_KEY'), k=engine_args.search_top_k)
runner = STORMWikiRunner(engine_args, lm_configs, rm)

可以通过简单的 run 方法调用 STORMWikiRunner 实例：

topic = input('主题: ')
runner.run(
    topic=topic,
    do_research=True,
    do_generate_outline=True,
    do_generate_article=True,
    do_polish_article=True,
)
runner.post_run()
runner.summary()

• do_research: 如果为 True，则模拟与不同观点的对话以收集关于该主题的信息；否则加载已有的结果。
• do_generate_outline: 如果为 True，则为该主题生成大纲；否则加载已有的结果。
• do_generate_article: 如果为 True，则根据大纲和收集到的信息生成该主题的文章；否则加载已有的结果。
• do_polish_article: 如果为 True，则通过添加总结部分并（可选）去除重复内容来润色文章；否则加载已有的结果。

Co-STORM

Co-STORM 知识整理引擎被定义为一个简单的 Python CoStormRunner 类。以下是一个使用 Bing 搜索引擎和 OpenAI 模型的示例。

from knowledge_storm.collaborative_storm.engine import CollaborativeStormLMConfigs, RunnerArgument, CoStormRunner
from knowledge_storm.lm import LitellmModel
from knowledge_storm.logging_wrapper import LoggingWrapper
from knowledge_storm.rm import BingSearch

# Co-STORM 采用与 STORM 相同的多 LM 系统范式
lm_config: CollaborativeStormLMConfigs = CollaborativeStormLMConfigs()
openai_kwargs = {
    "api_key": os.getenv("OPENAI_API_KEY"),
    "api_provider": "openai",
    "temperature": 1.0,
    "top_p": 0.9,
    "api_base": None,
} 
question_answering_lm = LitellmModel(model=gpt_4o_model_name, max_tokens=1000, **openai_kwargs)
discourse_manage_lm = LitellmModel(model=gpt_4o_model_name, max_tokens=500, **openai_kwargs)
utterance_polishing_lm = LitellmModel(model=gpt_4o_model_name, max_tokens=2000, **openai_kwargs)
warmstart_outline_gen_lm = LitellmModel(model=gpt_4o_model_name, max_tokens=500, **openai_kwargs)
question_asking_lm = LitellmModel(model=gpt_4o_model_name, max tokens=300, **openai_kwargs)
knowledge_base_lm = LitellmModel(model=gpt_4o_model_name, max tokens=1000, **openai_kwargs)

lm_config.set_question_answering_lm(question_answering_lm)
lm_config.set_discourse_manage_lm(discourse_manage_lm)
lm_config.set_utterance_polishing_lm(utterance_polishing_lm)
lm_config.set_warmstart_outline_gen_lm(warmstart_outline_gen_lm)
lm_config.set_question_asking_lm(question_asking_lm)
lm_config.set_knowledge_base_lm(knowledge_base_lm)

# 更多配置请参阅 Co-STORM 的 RunnerArguments 类。
topic = input('主题: ')
runner_argument = RunnerArgument(topic=topic, ...)
logging_wrapper = LoggingWrapper(lm_config)
bing_rm = BingSearch(bing_search_api_key=os.environ.get("BING_SEARCH_API_KEY"),
                     k=runner_argument.retrieve_top_k)
costorm_runner = CoStormRunner(lm_config=lm_config,
                               runner_argument=runner_argument,
                               logging_wrapper=logging_wrapper,
                               rm=bing_rm)

可以通过 warmstart() 和 step(...) 方法调用 CoStormRunner 实例。

# 热身系统，以在 Co-STORM 和用户之间建立共享的概念空间
costorm_runner.warm_start()

# 逐步推进协作性讨论
# 您可以按任意顺序运行下面任一代码片段，次数不限
# 要观察对话：
conv_turn = costorm_runner.step()
# 要主动引导对话，插入您的发言：
costorm_runner.step(user_utterance="您的发言")

# 根据协作性讨论生成报告
costorm_runner.knowledge_base.reorganize()
article = costorm_runner.generate_report()
print(article)

使用示例脚本快速入门

我们在 examples 文件夹 中提供了脚本，以便快速启动 STORM 和 Co-STORM，并使用不同的配置进行运行。

我们建议使用 secrets.toml 来设置 API 密钥。在根目录下创建一个 secrets.toml 文件，并添加以下内容：

# ============ 语言模型配置 ============
# 设置 OpenAI API 密钥。
OPENAI_API_KEY="your_openai_api_key"
# 如果您使用的是 OpenAI 提供的 API 服务，请包含以下行：
OPENAI_API_TYPE="openai"
# 如果您使用的是 Microsoft Azure 提供的 API 服务，请包含以下行：
OPENAI_API_TYPE="azure"
AZURE_API_BASE="your_azure_api_base_url"
AZURE_API_VERSION="your_azure_api_version"
# ============ 检索器配置 ============
BING_SEARCH_API_KEY="your_bing_search_api_key" # 如果使用 bing search

# ============ 编码器配置 ============ 
ENCODER_API_TYPE="openai" # 如果使用 OpenAI 编码器

STORM 示例

使用默认配置运行 STORM 与 gpt 系列模型：

运行以下命令。

python examples/storm_examples/run_storm_wiki_gpt.py \
    --output-dir $OUTPUT_DIR \
    --retriever bing \
    --do-research \
    --do-generate-outline \
    --do-generate-article \
    --do-polish-article

使用您喜爱的语言模型或基于您自己的语料库运行 STORM： 请查看 examples/storm_examples/README.md。

Co-STORM 示例

要使用默认配置运行 Co-STORM 与 gpt 系列模型，

1. 在 secrets.toml 中添加 BING_SEARCH_API_KEY="xxx" 和 ENCODER_API_TYPE="xxx"
2. 运行以下命令

python examples/costorm_examples/run_costorm_gpt.py \
    --output-dir $OUTPUT_DIR \
    --retriever bing

流水线的定制化

STORM

如果您已安装源代码，可以根据自己的使用场景对 STORM 进行定制。STORM 引擎由 4 个模块组成：

1. 知识整理模块：收集关于给定主题的广泛信息。
2. 大纲生成模块：通过为整理后的知识生成层次化的大纲来组织收集到的信息。
3. 文章生成模块：将收集到的信息填充到生成的大纲中。
4. 文章润色模块：对撰写的文章进行优化和提升，以获得更好的呈现效果。

每个模块的接口在 knowledge_storm/interface.py 中定义，其实现则在 knowledge_storm/storm_wiki/modules/* 中实例化。这些模块可以根据您的具体需求进行定制（例如，生成项目符号格式的章节而不是完整的段落）。

Co-STORM

如果您已安装源代码，可以根据自己的使用场景对 Co-STORM 进行定制。

1. Co-STORM 引入了多种 LLM 代理类型（即 Co-STORM 专家和主持人）。LLM 代理的接口在 knowledge_storm/interface.py 中定义，其实现在 knowledge_storm/collaborative_storm/modules/co_storm_agents.py 中实例化。可以自定义不同的 LLM 代理策略。
2. Co-STORM 引入了一种协作性话语协议，其核心功能在于轮次策略管理。我们在 knowledge_storm/collaborative_storm/engine.py 中提供了通过 DiscourseManager 实现轮次策略管理的示例。该部分可以进一步定制和改进。

数据集

为了促进自动知识整理和复杂信息检索的研究，我们的项目发布了以下数据集：

FreshWiki

FreshWiki 数据集是一组包含 100 篇高质量维基百科文章的集合，重点涵盖了 2022 年 2 月至 2023 年 9 月期间编辑次数最多的页面。更多详情请参阅 STORM 论文 的第 2.1 节。

您可以直接从 huggingface 下载该数据集。为避免数据污染问题，我们还存档了用于构建数据的 源代码，以便在未来重复使用。

WildSeek

为了研究用户在真实环境中对复杂信息检索任务的兴趣，我们利用网络研究预览中收集的数据创建了 WildSeek 数据集。我们对数据进行了下采样，以确保主题的多样性和数据的质量。每个数据点都是一对内容，包括一个主题以及用户针对该主题进行深度搜索的目标。更多详情请参阅 Co-STORM 论文 的第 2.2 节和附录 A。

WildSeek 数据集可在 这里 获取。

复现 STORM 和 Co-STORM 论文结果

对于 STORM 论文实验，请切换到分支 NAACL-2024-code-backup 这里。

对于 Co-STORM 论文实验，目前暂用分支 EMNLP-2024-code-backup（即将更新）。

路线图与贡献

我们的团队正在积极开发：

1. 人机协作功能：支持用户参与知识整理过程。
2. 信息抽象：为整理后的信息开发抽象表示，以支持除维基百科式报告之外的其他呈现形式。

如果您有任何问题或建议，请随时提交问题或拉取请求。我们欢迎任何有助于改进系统和代码库的贡献！

联系人：Yijia Shao 和 Yucheng Jiang

致谢

我们感谢维基百科提供的优秀开源内容。FreshWiki 数据集来源于维基百科，采用知识共享署名-相同方式共享（CC BY-SA）许可协议。

我们非常感谢 Michelle Lam 为本项目设计的标志，以及 Dekun Ma 主导的 UI 开发工作。

同时感谢 Vercel 对 开源软件 的支持。

引用

如果您在工作中使用了本代码或其中的一部分，请引用我们的论文：

@inproceedings{jiang-etal-2024-unknown,
    title = "进入未知的未知：通过参与语言模型代理对话实现主动式人类学习",
    author = "Jiang, Yucheng  and
      Shao, Yijia  and
      Ma, Dekun  and
      Semnani, Sina  and
      Lam, Monica",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "2024 年自然语言处理经验方法会议论文集",
    month = nov,
    year = "2024",
    address = "迈阿密，佛罗里达州，美国",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2024.emnlp-main.554/",
    doi = "10.18653/v1/2024.emnlp-main.554",
    pages = "9917--9955",
}

@inproceedings{shao-etal-2024-assisting,
    title = "借助大型语言模型从零开始协助撰写类似维基百科的文章",
    author = "Shao, Yijia  and
      Jiang, Yucheng  and
      Kanell, Theodore  and
      Xu, Peter  and
      Khattab, Omar  and
      Lam, Monica",
    editor = "Duh, Kevin  and
      Gomez, Helena  and
      Bethard, Steven",
    booktitle = "2024 年北美计算语言学协会人类语言技术会议论文集（第一卷：长篇论文）",
    month = jun,
    year = "2024",
    address = "墨西哥城，墨西哥",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2024.naacl-long.347/",
    doi = "10.18653/v1/2024.naacl-long.347",
    pages = "6252--6278",
}

STORM & Co-STORM 快速上手指南

STORM 是一个基于大语言模型（LLM）的系统，能够通过互联网搜索从零开始撰写维基百科风格的文章。Co-STORM 是其进阶版本，支持人机协作进行知识策展，通过动态思维导图构建共享概念空间。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：推荐 Python 3.11
• 依赖管理：推荐使用 conda 或 venv 创建独立虚拟环境
• API 密钥：
  • 大模型：需准备支持的 LLM API Key（如 OpenAI, 或通过 LiteLLM 接入的其他模型）。
  • 搜索引擎：需准备至少一种检索引擎的 API Key（如 You.com, Bing Search, Serper 等），或使用本地向量库 (VectorRM)。

安装步骤

方式一：通过 Pip 安装（推荐）

直接安装最新发布的 knowledge-storm 包（已包含 STORM 和 Co-STORM 功能）：

pip install knowledge-storm --upgrade

方式二：源码安装（适合开发者）

如需修改引擎行为或参与开发，可克隆源码安装：

git clone https://github.com/stanford-oval/storm.git
cd storm
conda create -n storm python=3.11
conda activate storm
pip install -r requirements.txt

提示：国内用户若遇到 pip 下载缓慢，可添加清华或阿里镜像源加速： pip install knowledge-storm --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

STORM 和 Co-STORM 均基于模块化设计，支持通过 litellm 接入多种模型和检索器。以下展示最核心的调用流程。

1. 使用 STORM 生成文章

STORM 分为“预写（调研与大纲）”和“写作（生成全文）”两个阶段。

import os
from knowledge_storm import STORMWikiRunnerArguments, STORMWikiRunner, STORMWikiLMConfigs
from knowledge_storm.lm import LitellmModel
from knowledge_storm.rm import YouRM  # 也可替换为 BingSearch, VectorRM 等

# 1. 配置大模型 (利用 LiteLLM 兼容多种提供商)
lm_configs = STORMWikiLMConfigs()
openai_kwargs = {
    'api_key': os.getenv("OPENAI_API_KEY"),
    'temperature': 1.0,
    'top_p': 0.9,
}

# 最佳实践：低成本模型用于对话模拟/提问，高性能模型用于大纲/文章生成
gpt_35 = LitellmModel(model='gpt-3.5-turbo', max_tokens=500, **openai_kwargs)
gpt_4 = LitellmModel(model='gpt-4o', max_tokens=3000, **openai_kwargs)

lm_configs.set_conv_simulator_lm(gpt_35)
lm_configs.set_question_asker_lm(gpt_35)
lm_configs.set_outline_gen_lm(gpt_4)
lm_configs.set_article_gen_lm(gpt_4)
lm_configs.set_article_polish_lm(gpt_4)

# 2. 配置检索引擎 (此处以 You.com 为例)
# 请确保环境变量中设置了 YDC_API_KEY 或直接在参数中传入
rm = YouRM(ydc_api_key=os.getenv('YDC_API_KEY'), k=3) 

# 3. 初始化运行器
engine_args = STORMWikiRunnerArguments(
    output_dir='./storm_output',
    search_top_k=3,
    max_thread_num=10
)
runner = STORMWikiRunner(engine_args, lm_configs, rm)

# 4. 执行任务
topic = "Artificial Intelligence"  # 替换为你想调研的主题
runner.run(
    topic=topic,
    do_research=True,       # True: 进行联网调研; False: 加载已有结果
    do_generate_outline=True,
    do_generate_article=True,
    do_polish_article=True,
)

# 5. 结束并查看摘要
runner.post_run()
runner.summary()

2. 使用 Co-STORM 进行人机协作

Co-STORM 允许用户介入对话过程，系统会维护一个动态更新的思维导图。

import os
from knowledge_storm.collaborative_storm.engine import CollaborativeStormLMConfigs, RunnerArgument, CoStormRunner
from knowledge_storm.lm import LitellmModel
from knowledge_storm.logging_wrapper import LoggingWrapper
from knowledge_storm.rm import BingSearch

# 1. 配置多模型组件
lm_config = CollaborativeStormLMConfigs()
openai_kwargs = {
    "api_key": os.getenv("OPENAI_API_KEY"),
    "temperature": 1.0,
    "top_p": 0.9,
}

# 为不同角色分配模型 (示例中均使用 gpt-4o，实际可按需区分)
model_name = 'gpt-4o'
question_answering_lm = LitellmModel(model=model_name, max_tokens=1000, **openai_kwargs)
discourse_manage_lm = LitellmModel(model=model_name, max_tokens=500, **openai_kwargs)
utterance_polishing_lm = LitellmModel(model=model_name, max_tokens=2000, **openai_kwargs)
warmstart_outline_gen_lm = LitellmModel(model=model_name, max_tokens=500, **openai_kwargs)
question_asking_lm = LitellmModel(model=model_name, max_tokens=300, **openai_kwargs)
knowledge_base_lm = LitellmModel(model=model_name, max_tokens=1000, **openai_kwargs)

lm_config.set_question_answering_lm(question_answering_lm)
lm_config.set_discourse_manage_lm(discourse_manage_lm)
lm_config.set_utterance_polishing_lm(utterance_polishing_lm)
lm_config.set_warmstart_outline_gen_lm(warmstart_outline_gen_lm)
lm_config.set_question_asking_lm(question_asking_lm)
lm_config.set_knowledge_base_lm(knowledge_base_lm)

# 2. 初始化参数与检索器
topic = "Quantum Computing"
runner_argument = RunnerArgument(
    topic=topic,
    retrieve_top_k=3,
    max_search_queries=2
)
logging_wrapper = LoggingWrapper(lm_config)
bing_rm = BingSearch(bing_search_api_key=os.environ.get("BING_SEARCH_API_KEY"), k=3)

costorm_runner = CoStormRunner(
    lm_config=lm_config,
    runner_argument=runner_argument,
    logging_wrapper=logging_wrapper,
    rm=bing_rm
)

# 3. 启动协作流程
# 预热：建立初始共享概念空间
costorm_runner.warm_start()

# 步进式交互：
# 模式 A: 观察系统生成的对话回合
conv_turn = costorm_runner.step()
print(f"System: {conv_turn.utterance}")

# 模式 B: 用户主动注入观点引导讨论 (取消注释即可使用)
# user_input = "Please focus more on the hardware challenges."
# conv_turn = costorm_runner.step(user_utterance=user_input)

输出说明

运行完成后，文章、大纲及中间调研数据将保存在指定的 output_dir 目录中（默认为当前目录下的 storm_output 文件夹），格式包含 Markdown 源码及引用信息。