[NeurIPS 2023] 反思：基于言语强化学习的语言智能体

本仓库包含由Noah Shinn、Federico Cassano、Edward Berman、Ashwin Gopinath、Karthik Narasimhan和Shunyu Yao共同撰写的论文《反思：基于言语强化学习的语言智能体》（arXiv链接）的代码、演示及日志文件。

我们已在这里发布了LeetcodeHardGym环境。

运行：推理任务（HotPotQA）

我们提供了一组Notebook，方便您运行、探索并交互式地查看推理实验的结果。每个实验都从HotPotQA干扰数据集中随机抽取100道题目，每种类型的智能体都会尝试这些题目，并采用不同的反思策略。

环境准备

开始之前，请按照以下步骤操作：

1. 克隆本仓库并进入HotPotQA目录：

git clone https://github.com/noahshinn/reflexion && cd ./hotpotqa_runs

2. 在您的环境中安装所需的依赖包：

pip install -r requirements.txt

3. 设置OPENAI_API_KEY环境变量，填入您的OpenAI API密钥：

export OPENAI_API_KEY=<your key>

智能体类型

您选择运行的Notebook决定了智能体的类型。可用的智能体类型包括：

• ReAct：ReAct智能体
• CoT_context：在提供问题相关背景信息的情况下使用思维链的智能体
• CoT_no_context：在不提供任何背景信息的情况下使用思维链的智能体

每种智能体类型的Notebook位于./hotpot_runs/notebooks目录下。

反思策略

每个Notebook允许您指定智能体所使用的反思策略。可用的反思策略定义在一个枚举中，包括：

• ReflexionStrategy.NONE：智能体不会收到关于其上一次尝试的信息。
• ReflexionStrategy.LAST_ATTEMPT：智能体将获得其上一次尝试的推理轨迹作为上下文。
• ReflexionStrategy.REFLEXION：智能体将获得其对上一次尝试的自我反思作为上下文。
• ReflexionStrategy.LAST_ATTEMPT_AND_REFLEXION：智能体将同时获得其上一次尝试的推理轨迹和自我反思作为上下文。

运行：决策任务（AlfWorld）

克隆本仓库并进入AlfWorld目录：

git clone https://github.com/noahshinn/reflexion && cd ./alfworld_runs

在./run_reflexion.sh中指定运行参数：

• num_trials：迭代学习的次数
• num_envs：每次试验中任务-环境组合的数量
• run_name：本次运行的名称
• use_memory：是否使用持久化内存存储自我反思（关闭以运行基准实验）
• is_resume：是否使用日志目录继续之前的运行
• resume_dir：用于恢复先前运行的日志目录
• start_trial_num：如果继续运行，则指定从哪个试验编号开始

然后运行试验：

./run_reflexion.sh

日志将被保存到./root/<run_name>目录下。

补充说明

由于实验的特殊性，个人开发者可能难以复现结果——毕竟GPT-4的访问权限有限且API调用费用高昂。论文中的所有运行记录以及额外的结果均已记录在以下目录中：决策任务为./alfworld_runs/root，推理任务为./hotpotqa_runs/root，编程任务为./programming_runs/root。

其他说明

您可以在此处查看原始实现：GitHub仓库

阅读其中一篇原始博客文章：NanoThoughts博客

此外，还有一个由Appl团队实现的版本：Appl GitHub仓库

还有一个有趣的类型预测实现：OpenTau

如有任何问题，请联系：noahrshinn@gmail.com

引用格式

@misc{shinn2023reflexion,
      title={Reflexion: Language Agents with Verbal Reinforcement Learning}, 
      author={Noah Shinn and Federico Cassano and Edward Berman and Ashwin Gopinath and Karthik Narasimhan and Shunyu Yao},
      year={2023},
      eprint={2303.11366},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

Reflexion 快速上手指南

Reflexion 是一个基于语言代理的框架，通过“言语强化学习”（Verbal Reinforcement Learning）让 AI 智能体在失败后进行自我反思，从而提升推理和决策能力。本项目复现了 NeurIPS 2023 论文《Reflexion: Language Agents with Verbal Reinforcement Learning》中的实验。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Python 版本：推荐 Python 3.8 或更高版本。
• 依赖项：需要安装 git 和 pip。
• API 密钥：必须拥有有效的 OpenAI API Key（由于实验主要基于 GPT-4，请确保账户有相应访问权限及额度）。

安装步骤

以下以**推理任务（HotPotQA）**为例进行安装，决策任务（AlfWorld）的安装逻辑类似。

1. 克隆仓库并进入目录

   git clone https://github.com/noahshinn/reflexion && cd ./hotpotqa_runs
   

2. 安装依赖包 注：若下载速度较慢，可临时指定国内镜像源（如清华源）安装。

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置 OpenAI API Key 将 <your key> 替换为您实际的 API Key。

   export OPENAI_API_KEY=<your key>
   

基本使用

Reflexion 提供了 Jupyter Notebook 以便轻松运行和探索实验结果。每个实验会从 HotPotQA 数据集中随机抽取 100 个问题，由不同策略的智能体进行尝试。

1. 选择智能体类型

在 ./hotpot_runs/notebooks 目录下，根据你想测试的智能体类型选择对应的 Notebook：

• ReAct：标准的 ReAct 智能体。
• CoT_context：提供问题支持上下文的思维链（CoT）智能体。
• CoT_no_context：不提供支持上下文的思维链（CoT）智能体。

2. 配置反思策略

在运行的 Notebook 中，你可以指定智能体使用的反思策略（通过 ReflexionStrategy 枚举定义）：

• ReflexionStrategy.NONE：不给予智能体任何关于上次尝试的信息（基线）。
• ReflexionStrategy.LAST_ATTEMPT：将上次尝试的推理轨迹作为上下文提供给智能体。
• ReflexionStrategy.REFLEXION：将智能体对上次尝试的自我反思作为上下文提供。
• ReflexionStrategy.LAST_ATTEMPT_AND_REFLEXION：同时提供推理轨迹和自我反思。

3. 运行示例

打开选定的 Notebook（例如针对 ReAct 代理的 notebook），按照单元格顺序执行代码即可启动实验。日志和结果将在 Notebook 输出中实时显示。

---

附：决策任务（AlfWorld）运行简述 若需运行决策任务，请进入 ./alfworld_runs 目录，修改 ./run_reflexion.sh 脚本中的参数（如 num_trials, use_memory 等），然后执行：

./run_reflexion.sh

运行日志将保存在 ./root/<run_name> 目录下。

注意：由于 GPT-4 的访问限制和高昂的 API 费用，个人开发者完全复现论文所有结果可能较为困难。项目中已预置了部分实验的日志文件（位于各目录下的 root 文件夹），可供直接分析。