ThoughtSource⚡

机器思维科学的框架

数据集 • 教程笔记本 • 安装指南 • 数据集标注工具

ThoughtSource 是一个以大型语言模型中的思维链推理相关数据和工具为核心的开放资源与社区（Wei 2022）。我们的长期目标是使先进的人工智能系统具备可信且稳健的推理能力，从而推动科学研究和医疗实践的发展。

📄 预印本：Ott 等人 “ThoughtSource：大型语言模型推理数据的中心枢纽”，arXiv，2023 年

📄 预印本：Hebenstreit 等人 “一种自动发现的思维链提示可泛化至新型模型和数据集”，arXiv，2023 年

工作流程

可用数据集

我们的 dataloaders 允许您以标准化的思维链格式访问以下数据集。这些加载器会创建符合 Hugging Face 🤗 Datasets 格式的对象。我们对源数据集进行了不同程度的后处理，以构建更加连贯的推理链条。

通用问答

• commonsense_qa： 多选题常识知识问答数据集（Talmor 2018，许可协议： MIT）。包含来自三个不同来源的推理链条：

  • __人工生成__的推理链条源自 ECQA 数据集（Aggarwal 2021），用于训练集和验证集。作为黄金标准。许可协议： Community Data License Agreements Sharing 许可协议 1.0。
  • AI 生成（少样本提示） 的推理链条来自 Wei 2022。仅适用于 验证集。许可协议： 未知
  • AI 生成（零样本提示） 的推理链条来自 Kojima 2022。仅适用于 验证集。许可协议： 未知

• strategy_qa： 来自 StrategyQA 数据集的通用领域问答数据，推理链条源自原始数据集。（Geva 2021）。许可协议： MIT。

  • __人工生成__的推理链条源自原始数据集，用于训练集。作为黄金标准。许可协议： MIT。
  • AI 生成（少样本） 的推理链条来自 Wei 2022。仅适用于 训练集。许可协议： 未知
  • AI 生成（零样本） 的推理链条来自 Kojima 2022。仅适用于 训练集。许可协议： 未知

• qed： 来自 QED 数据集的通用领域问答数据及论证。（Lamm 2020）。许可协议： CC BY-SA 3.0。

科学/医学问答

• worldtree： 来自 WorldTree v2 数据集的科学问答数据（Xie 2020)。__人工生成__的推理链条源自原始数据集。许可协议： AI2 Mercury。
• entailment_bank： 来自 EntailmentBank 数据集的科学考试题目及专家撰写的解释（Dalvi 2022）。__人工生成__的推理链条源自原始数据集。许可协议： CC BY 4.0。（注：与 worldtree v2 存在显著重叠）
• open_book_qa： 模仿开卷考试设计的科学问答数据，用于评估人类理解能力（Mihaylov 2018）。__人工生成__的推理链条源自原始数据集。许可协议： Apache 许可协议 2.0。
• med_qa（USMLE 子集）： 包含美国医师执照考试（USMLE）题目在内的自由形式多选题开放问答数据集。注意：原始 MedQA 数据集还提供中文数据，目前暂未纳入。（Jin 2020）。许可协议： MIT。
  此外，该数据集也有开放回答版本。（Nair 2023）。许可协议： MIT。
  • AI 生成（零样本） 的推理链条源自 Liévin 2022。仅适用于 测试集，且仅限美国题目。许可协议： 未知。
• medmc_qa： 包含印度全印医学科学研究所（AIIMS PG）和国家资格兼入学考试（NEET PG）真实医学入学考试题目的多选题问答数据集。（Pal 2022）。许可协议： MIT。
  • __人工生成__的推理链条源自原始数据集，约占训练集和验证集的 85%。作为黄金标准。许可协议： MIT。
  • AI 生成（零样本） 的推理链条源自 Liévin 2022。仅适用于 验证集 中的 1000 个样本。许可协议： CC-BY。
• mmlu： （大规模多任务语言理解）是一个包含 57 个不同问答任务的汇编。其中包含了与医学相关的六个主题：解剖学、临床知识、大学生物学、大学医学、医学遗传学和专业医学。许可协议： MIT。
• pubmed_qa： 包含从 PubMed 摘要中提取的生物医学问题的问答数据，这些问题可以用“是/否/也许”来回答（Jin 2019）。许可协议： MIT。
  • __人工生成__的推理链条源自原始数据集。作为黄金标准。许可协议： MIT。
  • AI 生成（零样本） 的推理链条源自 Liévin 2022。仅适用于 测试集。许可协议： CC-BY。

数学文字题

• aqua： 来自 AQUA-RAT（带有推理过程的代数问答）数据集的数学文字题（Ling 2017）。推理链源自原始数据集。许可证： Apache 2.0。
• asdiv： 来自中央研究院多样化 MWP 数据集的数学文字题（Miao 2020）。推理链源自原始数据集。许可证： CC BY-NC 4.0。
• gsm8k： 来自 GSM8K 数据集的数学文字题（Cobbe 2021）。推理链源自原始数据集。许可证： MIT。
• mawps： 来自 MAWPS 数学文字题库数据集的数学文字题（Koncel-Kedziorski 2016）。推理链源自原始数据集。许可证： MIT。
• svamp： 数学文字题。来源：SVAMP（Patel 2021）。推理链源自原始数据集。许可证： MIT。

数据集合集

为了快速且经济地评估思维链推理能力，我们将上述数据集中的随机示例组合成合集。

• ThoughtSource_33（Hebenstreit 2023）是由常识问答、MedQA（USMLE）、MedMCQA、OpenBookQA、StrategyQA 和 WorldTree V2 各取 33 个样本组成的合集。我们使用十种不同的提示策略生成零样本思维链，并由六种模型执行：davinci-002、davinci-003、GPT-3.5-turbo、GPT-4、Flan-T5-XXL 和 Cohere 的 command-xlarge-nightly。

数据可轻松访问：

collection = Collection.load_thoughtsource_33()

我们正在收集和生成更多数据集，并进一步提升现有数据集的质量（参见 数据集问题）。我们也欢迎关于纳入其他数据集的建议。

我们欢迎数据集贡献！👉 请查看我们的贡献指南!

注释工具

该注释工具可以突出显示不同生成的推理链之间的相似之处，从而更容易发现优势与不足，并选出最佳结果。

安装与代码结构

安装

在终端中逐行执行：

git clone git@github.com:OpenBioLink/ThoughtSource.git
cd ThoughtSource
# 安装 pip 和 virtualenv
sudo apt install python3-pip
sudo apt install python3-venv
# 创建并激活虚拟环境
python3 -m venv venv
source ./venv/bin/activate
# 安装依赖和 API 包
pip install -e ./libs/cot[api]

应用程序

• annotator： 基于 Web 的思维链数据注释工具。

• dataset-viewer： 用于浏览 ThoughtSource 数据集的 Streamlit 应用程序。

库

• cot：
  • dataloader：创建和处理 ThoughtSource 数据集（基于 Hugging Face 🤗 Datasets 库）。
  • generate：使用多种语言模型生成推理链（目前包括 OpenAI 和 Hugging Face Hub 上的模型）。
  • evaluate：评估通过生成的推理链提取的预测性能。

# 1) 加载数据集并选择一个随机样本
collection = Collection(["worldtree"], verbose=False)
collection = collection.select(split="train", number_samples=10)

# 2) 语言模型生成思维链并提取答案
config={
    "instruction_keys": ['qa-01'], # “通过逐步推理回答以下问题。”
    "cot_trigger_keys": ['kojima-01'], # “答案：让我们一步一步思考。”
    "answer_extraction_keys": ['kojima-A-D'], # “因此，在 A 到 D 中，答案是”
    "api_service": "huggingface_hub",
    "engine": "google/flan-t5-xl",
    "warn": False,
    "verbose": False,
}
collection.generate(config=config)

# 3) 性能评估
collection.evaluate()

{'accuracy': {'qa-01_kojima-01_kojima-A-D': 0.6}}

---

👉 更多代码示例，请参阅教程笔记本。

---

引用

@misc{https://doi.org/10.48550/arxiv.2301.11596,
  doi = {10.48550/ARXIV.2301.11596},
  url = {https://arxiv.org/abs/2301.11596},
  author = {Ott, Simon and Hebenstreit, Konstantin and Liévin, Valentin and Hother, Christoffer Egeberg and Moradi, Milad and Mayrhauser, Maximilian and Praas, Robert and Winther, Ole and Samwald, Matthias},
  keywords = {计算与语言 (cs.CL), 人工智能 (cs.AI), FOS：计算机与信息科学, FOS：计算机与信息科学},
  title = {ThoughtSource：大型语言模型推理数据的中心枢纽},
  publisher = {arXiv},
  year = {2023}, 
  copyright = {知识共享署名 4.0 国际许可协议}
}

版本控制

所有对数据集的更新/更改均以粗体明确标注。

1.0.0（2023年7月11日）

• 发布 ThoughtSource_33 合集，每个条目包含 60 条推理链：Collection.load_thoughtsource_33()
• 添加了创建链式命令的选项
• 增加了 GPT 的聊天功能
• 添加了针对已生成思维链的筛选功能
• 新增数据集：MMLU（六个医学子集）以及 MedQA 的开放式问题版本

0.0.5（2023年3月10日）

• 增加了加载后选择保留哪些生成的思维链的功能：collection.select_generated_cots(author="thoughtsource")

0.0.4（2023年3月8日）

• 改进了评估功能
• 增加了加载 ThoughtSource100 合集的功能：Collection.load_thoughtsource_100()

0.0.3（2023年2月24日）

• 发布 ThoughtSource_100 合集，其中包含来自 GPT-text-davinci-003、flan-t5-xxl 和 cohere's command-xl 的推理链

0.0.2（2023年2月15日）

• 更新了注释工具，使其符合正确的数据模式（这可能导致从 JSON 文件加载旧数据集时出现错误）
  • Pubmed_qa：将原始模式中的“LONG_ANSWER”作为“cot”纳入 ThoughtSource 模式

0.0.1（2023年2月1日）

• 在 Twitter 上宣布项目后首次发布

ThoughtSource 快速上手指南

ThoughtSource 是一个专注于大语言模型（LLM）思维链（Chain-of-Thought, CoT）推理的开源框架。它提供了标准化的数据集加载器、推理链生成工具以及评估模块，旨在推动可信且鲁棒的 AI 推理研究，特别适用于科学和医疗领域。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu/Debian) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.8 或更高版本。
• 前置依赖:
  • git: 用于克隆代码仓库。
  • pip: Python 包管理工具。
  • python3-venv: 用于创建虚拟环境。

提示：国内开发者若遇到网络连接问题（如访问 GitHub 或 Hugging Face），建议配置相应的网络加速工具或使用国内镜像源。

安装步骤

请在终端中依次执行以下命令来完成安装：

# 1. 克隆仓库
git clone git@github.com:OpenBioLink/ThoughtSource.git
cd ThoughtSource

# 2. 安装系统级依赖 (Ubuntu/Debian 示例)
sudo apt install python3-pip
sudo apt install python3-venv

# 3. 创建并激活虚拟环境
python3 -m venv venv
source ./venv/bin/activate

# 4. 安装 ThoughtSource 核心库及 API 包
# 注意：国内用户若 pip 下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数
pip install -e ./libs/cot[api]

基本使用

ThoughtSource 的核心功能包括加载数据集、利用大模型生成思维链以及评估结果。以下是最简化的使用流程示例：

1. 加载数据集与生成推理链

以下代码演示了如何加载 worldtree 数据集的部分样本，并使用 Hugging Face 上的 flan-t5-xl 模型生成思维链并提取答案。

from cot import Collection

# 1) 加载数据集并随机选择 10 个样本
collection = Collection(["worldtree"], verbose=False)
collection = collection.select(split="train", number_samples=10)

# 2) 配置生成参数并执行生成
# instruction_keys: 指令模板
# cot_trigger_keys: 触发思维链的提示词
# answer_extraction_keys: 答案提取模板
# engine: 使用的模型 (支持 OpenAI 或 Hugging Face Hub 上的模型)
config={
    "instruction_keys": ['qa-01'], 
    "cot_trigger_keys": ['kojima-01'], 
    "answer_extraction_keys": ['kojima-A-D'], 
    "api_service": "huggingface_hub",
    "engine": "google/flan-t5-xl",
    "warn": False,
    "verbose": False,
}

# 执行生成过程
collection.generate(config=config)

# 3) 评估性能
results = collection.evaluate()
print(results)

预期输出示例：

{'accuracy': {'qa-01_kojima-01_kojima-A-D': 0.6}}

2. 使用内置应用（可选）

ThoughtSource 还包含两个实用的本地应用：

• 数据集浏览器: 用于浏览和思考数据集中的样本。

  streamlit run apps/dataset-viewer/app.py
  

• 标注工具: 用于对比不同生成的推理链，高亮相似之处以辅助人工评估。

  streamlit run apps/annotator/app.py
  

更多示例：详细的代码示例和进阶用法请参考项目自带的 notebooks/tutorial.ipynb 文件。