思想链代理：利用大语言模型代理推动新创意开发，革新科研方式

🔥 最新消息

• [2024.10.12] CoI代理的第一个版本发布！

🛠️ 环境要求与安装

步骤1：

git clone https://github.com/DAMO-NLP-SG/CoI-Agent.git
cd CoI-Agent
pip install -r requirements.txt

步骤2： 安装 SciPDF Parser 用于PDF解析。

git clone https://github.com/titipata/scipdf_parser.git
pip install git+https://github.com/titipata/scipdf_parser
python -m spacy download en_core_web_sm

步骤3： 安装Java以运行grobid。

wget  https://download.oracle.com/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz
tar -zxvf openjdk-11.0.2_linux-x64_bin.tar.gz
export JAVA_HOME=你的路径/jdk-11.0.2

步骤4： 配置config.yaml文件以使用LLM API。

# Sementic Scholar API，需填写
SEMENTIC_SEARCH_API_KEY: ""

is_azure : True # 如果为False，则使用OpenAI

# 如果is_azure设置为True，请填写以下内容
AZURE_OPENAI_ENDPOINT : ""
AZURE_OPENAI_KEY : ""
AZURE_OPENAI_API_VERSION : ""

# 如果is_azure设置为False，请填写以下内容
OPENAI_API_KEY: ""
OPENAI_BASE_URL: ""

# 如果未设置，则将使用与主LLM相同的嵌入API
EMBEDDING_API_KEY: ""
EMBEDDING_API_ENDPOINT: ""
EMBEDDING_MODEL: ""

MAIN_LLM_MODEL: "" # "gpt-4o"或其他
CHEAP_LLM_MODEL: "" # "gpt-4o"或其他

🚀 快速入门

步骤1：运行grobid

如果能够在 SciPDF Parser 中成功启动grobid，请执行以下命令：

cd scipdf_parser
bash serve_grobid.sh

（可选）如果上述命令失败，也可以参考以下流程安装grobid：

git clone https://github.com/kermitt2/grobid.git
cd grobid
./gradlew clean install
./gradlew run

步骤2：生成研究思路

python main.py --topic {你的研究主题}

📖 评估数据

所有评估数据以及CoI生成的结果均可在dataset文件夹中找到。

:black_nib: 引用

如果您认为我们的工作对您的研究有所帮助，请考虑给本项目点赞并引用我们的成果。

@article{li2024chain,
  title={思想链：利用大语言模型代理革新新创意开发的科研方式},
  author={李龙、徐伟文、郭嘉妍、赵若晨、李欣轩、袁雨倩、张博强、蒋宇明、辛一飞、党荣浩、荣宇、赵德利、冯天、邴立东},
  journal={arXiv预印本 arXiv:2410.13185},
  year={2024},
  url={https://arxiv.org/abs/2410.13185}
}

CoI-Agent 快速上手指南

CoI-Agent (Chain-of-Ideas Agent) 是一个基于大语言模型智能体的研究辅助工具，旨在通过新颖的创意开发流程革新科研工作。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.8+
• Java: JDK 11 (用于运行 GROBID PDF 解析服务)
• Git: 用于代码克隆
• API Key: 需要准备 OpenAI 或 Azure OpenAI 的 API 密钥，以及 Semantic Scholar API 密钥（用于文献检索）。

安装步骤

1. 克隆项目并安装基础依赖

git clone https://github.com/DAMO-NLP-SG/CoI-Agent.git
cd CoI-Agent
pip install -r requirements.txt

提示：国内用户可使用清华源加速安装：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 SciPDF Parser 及 NLP 模型

该工具依赖 scipdf_parser 进行 PDF 解析，并需要下载 spaCy 英文模型。

git clone https://github.com/titipata/scipdf_parser.git
pip install git+https://github.com/titipata/scipdf_parser
python -m spacy download en_core_web_sm

3. 安装并配置 Java (JDK 11)

GROBID 服务需要 Java 11 环境。以下是 Linux 下的安装示例：

wget https://download.oracle.com/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz
tar -zxvf openjdk-11.0.2_linux-x64_bin.tar.gz
export JAVA_HOME=Your_path/jdk-11.0.2
# 请将 Your_path 替换为实际的解压路径，并将 JAVA_HOME 添加到环境变量

4. 配置 API 密钥

编辑根目录下的 config.yaml 文件，填入您的 API 密钥和模型配置。

# Semantic Scholar API (必填)
SEMENTIC_SEARCH_API_KEY: "your_semantic_scholar_key"

# LLM 配置
is_azure : False # 若使用 Azure 设为 True，否则设为 False (使用 OpenAI)

# Azure 配置 (仅当 is_azure 为 True 时填写)
AZURE_OPENAI_ENDPOINT : ""
AZURE_OPENAI_KEY : ""
AZURE_OPENAI_API_VERSION : ""

# OpenAI 配置 (仅当 is_azure 为 False 时填写)
OPENAI_API_KEY: "your_openai_key"
OPENAI_BASE_URL: "" # 如有代理可填写

# Embedding 模型配置 (若不填则默认与主 LLM 相同)
EMBEDDING_API_KEY: ""
EMBEDDING_API_ENDPOINT: ""
EMBEDDING_MODEL: ""

# 模型名称指定
MAIN_LLM_MODEL: "gpt-4o" 
CHEAP_LLM_MODEL: "gpt-4o" 

基本使用

1. 启动 GROBID 服务

首先需要在后台启动 PDF 解析服务。

方式一（推荐）：如果已正确安装 SciPDF Parser：

cd scipdf_parser
bash serve_grobid.sh

方式二（备选）：如果上述命令失败，可手动安装并启动原生 GROBID：

git clone https://github.com/kermitt2/grobid.git
cd grobid
./gradlew clean install
./gradlew run

请保持该终端窗口运行，不要关闭。

2. 生成研究创意

打开一个新的终端窗口，返回项目根目录，运行以下命令生成创意（将 {your research topic} 替换为您的研究主题）：

python main.py --topic {your research topic}

程序将自动调用配置的 LLM 和文献数据库，输出基于 Chain-of-Ideas 流程的研究创意方案。生成的结果及评估数据可在 dataset 文件夹中查看。