自我精炼：基于自我反馈的迭代优化

借助自我精炼，大语言模型能够对其生成的内容提供反馈，利用这些反馈改进输出，并反复进行这一过程。

官网 | 论文

---

目录

• 更新
• 设置
• 开始使用缩略词生成
• 对话回复生成
• 代码可读性提升
• Commongen
• GSM-8k
• Yelp
• PIE
• 通用设置
• 引用

---

更新

• 2023年11月：新增了视觉自我精炼示例和Colab笔记本。使用GPT4-V编写用于绘制图表的TikZ代码，并通过迭代方式不断优化。

斯托克斯定理示例

独角兽示例

设置

• 我们使用prompt-lib来调用大语言模型。您可以通过运行以下命令安装prompt-lib：

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

根据您的默认设置，您可能需要使用以下命令来设置PYTHONPATH：

export PYTHONPATH=".:../:.:src:../:../../:.:prompt-lib"

开始使用缩略词生成

python -u src/acronym/run.py "Using language models of code for few-shot commonsense"

• 由于我们以温度0.7进行采样，每次运行上述命令都会得到不同的结果。

0 INIT> 使用代码语言模型进行少样本常识推理

0 GEN> CLoCK
0 SCORES> * 发音容易度：CLoCK发音为“clah-k”，这是一个容易发音的缩略词。4/5 
* 拼写容易度：CLoCK拼写简单易记。5/5 
* 与标题的相关性：CLoCK代表“Code Language Models of Commonsense Knowledge”，与标题相关。5/5 
* 积极含义：CLoCK是一个积极的缩略词，暗示准确性和效率。5/5 
* 知名度：CLoCK并不是一个广为人知的缩略词。2/5

* 总分：21/25

1 GEN> CMNSC
1 SCORES> * 发音容易度：CMNSC发音为“see-min-es-see”，这是一个较难发音的缩略词。1/5 
* 拼写容易度：CMNSC拼写复杂。1/5 
* 与标题的相关性：CMNSC代表“Commonsense”，与标题相关。4/5 
* 正面含义：CMNSC是一个中性的缩略词。3/5 
* 知名度：CMNSC并非广为人知的缩略词。1/5

* 总分：10/25

2 GEN> COMMIT
2 SCORES> * 发音容易度：COMMIT发音为“com-mit”，这是一个容易发音的缩略词。4/5
* 拼写容易度：COMMIT拼写简单。5/5
* 与标题的相关性：COMMIT代表“Commonsense Model of Code for Intuitive Training”，与标题相关。5/5 
* 正面含义：COMMIT是一个积极的缩略词，象征承诺和奉献。5/5
* 知名度：COMMIT并不是一个广为人知的缩略词。2/5

* 总分：21/25

---

对话回复生成

PYTHONPATH="." python -u src/responsegen/run.py --output <OUTPUT FILE> --size <DATA SIZE>

• 使用大小0可在所有测试实例上运行

---

代码可读性提升

• 注意：请在运行以下命令前解压‘data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip’！

• 运行：

PYTHONPATH="." python -u src/readability/readability.py --output <OUTPUT FILE>

• 评估：

PYTHONPATH="." python -u src/readability/{count_comment|count_function|count_meaningful_var}.py --file <INPUT FILE>

---

Commongen

• 我们使用Commongen的一个较难版本。数据位于data/prompt/commongen。您可以通过运行以下命令下载数据：

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• 要运行GSM-8k任务：

python -u src/gsm/run.py 

• 输出将保存在data/tasks/gsm/gsm_outputs.jsonl中

• 为了评估这些输出：

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• 评估脚本还将生成一份报告（data/tasks/gsm/gsm_outputs.jsonl.reports.txt），其中包含错误生成、反馈以及经过精炼后的反馈生成示例。

---

Yelp

• 要运行Yelp任务：

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• 输出将保存在data/tasks/yelp/中

---

PIE

• 要运行PIE任务：

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• 有关评估详情，请参阅docs/pie_eval.md。

---

通用设置

• 每个任务都有三种不同类型的提示：

1. Init：用于初始化任务。这是生成初始输出的方式。

2. Feedback：用于从模型获取对中间结果的反馈。

3. Iterate：根据反馈从模型获取下一次迭代的结果。

• 每个任务都配备一个run.py文件，用于初始化提示并运行任务。

• 以Commongen为例，其提示如下：

1. 初始化提示：

python src/commongen/task_init.py

2. 反馈提示：

 python src/commongen/feedback.py

3. 迭代提示：

python src/commongen/task_iterate.py

您也可以在我们的官网上查看这些提示。

引用

@misc{madaan2023selfrefine,
      title={Self-Refine：基于自我反馈的迭代优化}, 
      author={阿曼·马丹和尼凯特·坦东和普拉卡·古普塔和斯凯勒·哈利南和卢宇·高和萨拉·维格雷夫和乌里·阿隆和努哈·德齐里和施里迈·普拉布莫耶和杨一鸣和肖恩·韦莱克和博迪萨特瓦·普拉萨德·马朱姆达尔和沙尚克·古普塔和阿米尔·亚兹丹巴赫什和彼得·克拉克},
      year={2023},
      eprint={2303.17651},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

flowchart LR
    Generator -->|初始化| Unrefined
    Critic_1 --> Critique_fb
    ... --> Critique_fb
    Critic_k --> Critique_fb
    Critique_fb --> Unrefined{待优化的输出}
    Unrefined --> Refiner
    Refiner --> |R: y_t, x, fb| Refined_Output{优化后的输出}
    Refined_Output --> |未满足停止条件| Unrefined

Self-Refine 快速上手指南

Self-Refine 是一个让大语言模型（LLM）能够生成自我反馈、利用反馈改进输出并迭代该过程的框架。通过“生成 - 反馈 - 优化”的循环，显著提升任务表现。

环境准备

• 系统要求：Linux 或 macOS 环境（Windows 用户建议使用 WSL2）。
• Python 版本：推荐 Python 3.8 及以上版本。
• 前置依赖：
  • git：用于克隆代码库。
  • pip：Python 包管理工具。
  • LLM 访问权限：本项目依赖 prompt-lib 调用大模型，请确保你已配置好相应的 API Key（如 OpenAI API Key 等），并在环境变量中正确设置。

安装步骤

1. 克隆核心依赖库 prompt-lib Self-Refine 使用 prompt-lib 进行模型查询，需先安装此依赖：

   git clone https://github.com/reasoning-machines/prompt-lib
   pip install prompt-lib/
   

2. 配置环境变量 根据默认设置，可能需要设置 PYTHONPATH 以确保模块正确导入：

   export PYTHONPATH=".:../:.:src:../:../../:.:prompt-lib"
   

   提示：建议将上述 export 命令添加到你的 ~/.bashrc 或 ~/.zshrc 文件中，以免每次开启新终端都需要重新设置。

基本使用

以下以**缩写词生成（Acronym Generation）**任务为例，展示最简单的运行流程。该任务会演示模型如何生成初始缩写、自我评分并根据反馈进行迭代优化。

1. 运行示例脚本 在终端执行以下命令（确保当前目录为项目根目录）：

   python -u src/acronym/run.py "Using language models of code for few-shot commonsense"
   

2. 查看输出结果 运行后，你将看到类似以下的迭代过程日志：

   • INIT>：初始输入。
   • GEN>：模型生成的候选答案（如 CLoCK）。
   • SCORES>：模型对当前答案的自我反馈和打分（包括发音、拼写、相关性等维度）。
   • 随后模型会根据低分项生成新的候选答案（如 CMNSC, COMMIT）并再次评分，直到达到最佳结果。

   0 INIT> Using language models of code for few-shot commonsense
   
   0 GEN> CLoCK
   0 SCORES> * Ease of pronunciation: CLoCK is pronounced "clah-k". This is easy acronym to pronounce. 4/5 
   ...
   * Total score: 21/25
   
   1 GEN> CMNSC
   1 SCORES> * Ease of pronunciation: CMNSC is pronounced "see-min-es-see". This is a difficult acronym to pronounce. 1/5 
   ...
   * Total score: 10/25
   
   2 GEN> COMMIT
   ...
   

其他任务快速启动

项目还支持对话生成、代码可读性优化、数学推理（GSM-8k）等任务，基本命令格式如下：

• 对话响应生成:

  PYTHONPATH="." python -u src/responsegen/run.py --output <OUTPUT FILE> --size <DATA SIZE>
  

• 代码可读性优化 (需先解压对应数据文件):

  PYTHONPATH="." python -u src/readability/readability.py --output <OUTPUT FILE>
  

• 数学推理 (GSM-8k):

  python -u src/gsm/run.py 
  

更多详细任务配置请参考项目源码中的 src/ 目录结构。