使用语言模型提示进行推理的论文

🔔 最新消息

• 2024年3月5日 我们发布了一篇新论文：“KnowAgent：基于LLM的智能体的知识增强规划”。
• 2024年2月6日 我们发布了一篇新论文：“EasyInstruct：大型语言模型的易用指令处理框架” ，并附带了一个HF演示 EasyInstruct。
• 2024年1月3日 我们发布了一篇新论文：“大型语言模型知识编辑的综合研究” ，同时推出一个新的基准测试集 KnowEdit! 我们期待大家对这一主题的任何评论或讨论 :)
• 2023年7月12日 我们发布了 EasyEdit，一个易于使用的大型语言模型知识编辑框架。
• 2023年6月19日 我们开源了 KnowLM，这是一个具备预训练和指令微调代码（支持多机多GPU部署）以及多种LLM的大规模知识型语言模型框架。
• 2023年3月27日 我们发布了 EasyInstruct，这是一个用于在您的研究实验中指导大型语言模型（LLMs），如ChatGPT的工具包。它设计得简单易用且易于扩展！
• 2023年2月19日 我们上传了我们的综述论文的教程，帮助您更深入地了解使用语言模型提示进行推理的方法（附有该教程的视频（中文））。
• 2022年12月19日 我们基于此仓库发布了一篇新的综述论文：“使用语言模型提示进行推理：综述”！我们期待大家对这一主题的任何评论或讨论 :)
• 2022年9月14日 我们创建了这个仓库，用于维护关于“使用语言模型提示进行推理”的论文列表。

---

🔍 目录

• 🌟 简介
• 📜 论文
  • 概述
  • 方法
    • 策略增强推理
      • 提示工程
        • 单阶段
        • 多阶段
      • 流程优化
        • 自我优化
        • 集成优化
        • 迭代优化
      • 外部引擎
        • 物理模拟器
        • 代码解释器
        • 工具学习
    • 知识增强推理
      • 隐式知识
      • 显式知识
    • 其他
  • 分析
• 🧰 资源
  • 基准测试与任务
  • 工具
• 🎉 贡献
• 🚩 引用

---

🌟 简介

推理作为解决复杂问题的一项关键能力，可以为各种实际应用提供后端支持，例如医疗诊断、谈判等。本文对当前使用语言模型提示进行推理的前沿研究进行了全面综述。我们介绍了相关研究工作，并进行了比较和总结，同时提供了系统的资源来帮助初学者入门。此外，我们还探讨了这种推理能力出现的潜在原因，并指出了未来的研究方向。

---

📜 论文

概述

1. 基于语言模型提示的推理：综述。

   乔硕飞、欧义欣、张宁宇、陈翔、姚云志、邓淑敏、谭传奇、黄飞、陈华军。 [摘要]，2022年12月

2. 迈向大型语言模型中的推理：综述。

   黄杰、凯文·陈传昌。 [摘要]，2022年12月

3. 数学推理的深度学习综述。

   陆攀、邱亮、于文浩、肖恩·韦莱克、常凯威。 [摘要]，2022年12月

4. 上下文学习综述。

   董庆秀、李磊、戴大迈、郑策、吴志勇、常宝宝、孙旭、徐晶晶、李磊、隋志芳。 [摘要]，2022年12月

5. 知识增强型神经机器推理：综述。

   坦莫伊·乔杜里、凌晨、张旭超、赵旭江、白广济、裴健、陈海峰、赵亮。 [摘要]，2023年2月

6. 增强型语言模型：综述。

   格雷瓜尔·米亚隆、罗伯托·德西、玛丽亚·洛梅利、克里斯托福罗斯·纳尔帕蒂斯、拉姆·帕苏努鲁、罗伯塔·赖列阿努、巴普蒂斯特·罗齐耶、蒂莫·希克、简·德维迪-余、阿斯莉·切利基尔马兹、爱德华·格拉夫、扬·勒丘恩、托马斯·西亚洛姆。 [摘要]，2023年2月

7. 大型语言模型中知识的生命周期：综述。

   曹博熙、林洪宇、韩先培、孙乐。 [摘要]，2023年3月

8. 提示就是全部吗？不是。指令学习的全面且更广阔的视角。

   楼仁泽、张凯、尹文鹏。 [摘要]，2023年3月

9. 以自然语言为知识表示的逻辑推理：综述。

   杨宗林、杜新雅、毛睿、倪金杰、埃里克·坎布里亚。 [摘要]，2023年3月

10. 自然语言推理：综述。

    于飞、张洪波、王本友。 [摘要]，2023年3月

11. 大型语言模型综述。

    赵鑫伟、周坤、李俊毅、唐天一、王小雷、侯玉鹏、闵英谦、张贝辰、张俊杰、董子灿、杜一凡、杨晨、陈雨硕、陈志鹏、蒋金浩、任瑞阳、李一凡、唐欣宇、刘子康、刘沛宇、聂建云、温继荣。 [摘要]，2023年3月

12. 基础模型的工具学习。

    秦宇佳、胡圣鼎、林彦楷、陈伟泽、丁宁、崔甘渠、曾珍怡、黄宇飞、肖超君、韩驰、任义丰、苏宇生、王华东、钱成、田润初、朱昆仑、梁世豪、沈星宇、徐博凯、张振、叶依宁、李博文、唐子威、易静、朱宇章、戴振宁、燕兰、丛欣、陆雅茜、赵伟琳、黄宇翔、严俊熙、韩旭、孙贤、李大海、方杰森、杨程、吴彤爽、季恒、刘志远、孙茂松。 [摘要]，2023年4月

13. 思维链推理综述：进展、前沿与未来。

    楚铮、陈景昌、陈强龙、俞卫江、何涛、王浩天、彭卫华、刘明、秦兵、刘婷。 [摘要]，2023年9月

14. 基础模型推理综述：概念、方法论与展望。

    孙建凯、郑川阳、谢恩泽、刘正英、储瑞航、邱嘉宁、许佳琪、丁明宇、李宏洋、耿孟哲、吴岳、王文海、陈俊松、殷张悦、任晓哲、傅杰、何俊贤、袁武、刘琦、刘锡辉、李宇、董浩、程宇、张明、潘安恒、戴继峰、罗平、王京东、温继荣、邱锡鹏、郭一科、熊辉、刘群、李振国。 [摘要]，2023年12月

方法

策略增强型推理

提示工程

单阶段

1. 针对常识推理任务的对比解释提示。

   巴拉吉·帕兰贾佩、朱利安·迈克尔、马尔詹·加兹维内贾德、卢克·泽特勒莫耶、汉娜内·哈吉希日齐。 [摘要]，2021年6月

2. 用于可控常识推理的模板填充。

   迪拉吉·拉贾戈帕尔、维韦克·凯坦、博格丹·萨卡列努、阿纳托尔·格尔什曼、安德鲁·法诺、爱德华·霍维。 [摘要]，2021年11月

3. 思维链提示激发大型语言模型的推理能力。

   杰森·魏、王雪芝、达勒·舒尔曼斯、马尔滕·博斯马、布莱恩·伊克特、夏菲、爱德·H·奇、阮文奎、周登尼。 [摘要]，2022年1月

4. 大型语言模型是零样本推理者。

   小岛武士、顾世祥、麦克尔·里德、松尾丰、岩泽佑介。 [摘要]，2022年5月

5. 基于心理学的思维链提示用于大型语言模型中的隐喻理解。

   本·普里斯托斯基、保罗·蒂博多、诺亚·古德曼。 [摘要]，2022年9月

6. 基于复杂度的多步推理提示。

   付瑶、彭浩、阿希什·萨巴瓦尔、彼得·克拉克、图沙尔·科特。 [摘要]，2022年10月

7. 语言模型是多语种思维链推理者。

   史芙蕾、米拉克·苏兹贡、马库斯·弗莱塔格、王雪芝、苏拉杰·斯里瓦茨、索鲁什·沃索吉、郑炯元、泰伊、塞巴斯蒂安·鲁德尔、周登尼、迪潘詹·达斯、杰森·魏。 [摘要]，2022年10月

8. 大型语言模型中的自动思维链提示。

   张卓胜、张阿斯顿、李牧、亚历克斯·斯莫拉。 [摘要]，2022年10月

9. 大型语言模型是少样本（1次）表格推理者。

   陈文虎。 [摘要]，2022年10月

10. 通过上下文学习教授算法性推理。

    周哈蒂、诺瓦·阿扎德、于戈·拉罗谢尔、阿伦·库维尔、贝赫南·奈沙布尔、哈妮·塞德吉。 [摘要]，2022年11月

11. 大型语言模型的主动思维链提示。

    刁士哲、王鹏程、林勇、张通。 [摘要]，2023年2月

12. 基于标注数据的思维链自动提示增强与选择。

    舒凯顺、刁士哲、张通。 [摘要]，2023年2月

13. 用于增强ChatGPT提示工程的提示模式目录。

    朱尔斯·怀特、傅秋臣、山姆·海斯、迈克尔·桑德伯恩、卡洛斯·奥莱亚、亨利·吉尔伯特、阿什拉夫·埃尔纳沙尔、杰西·斯宾塞-史密斯、道格拉斯·施密特。 [摘要]，2023年2月

14. ChatGPT提示模式用于提升代码质量、重构、需求获取、学习推理以及通过自注释记忆进行软件设计。

    朱尔斯·怀特、山姆·海斯、傅秋臣、杰西·斯宾塞-史密斯、道格拉斯·施密特。 [摘要]，2023年3月

15. 通过自注释学习推理与记忆。

杰克·朗尚坦、舒巴姆·托什尼瓦尔、杰森·韦斯顿、阿瑟·斯拉姆、赛恩巴亚尔·苏赫巴特尔. [摘要], 2023年5月

16. 计划与求解提示：通过大型语言模型提升零样本链式思维推理能力。

    王磊、许万宇、兰义怀、胡志强、兰云石、李家伟、林亿鹏. [摘要], 2023年5月

17. 超越链式思维：大型语言模型中的高效图式思维推理。

    姚瑶、李祖超、赵海. [摘要], 2023年5月

18. 重读提升语言模型的推理能力。

    徐晓涵、陶崇阳、沈涛、徐灿、徐洪波、龙国栋、楼建光. [摘要], 2023年9月

19. 基于离线逆强化学习的查询依赖型提示评估与优化。

    孙浩、阿里汗·胡尤克、米哈埃拉·范德沙尔.[摘要], 2023年9月

20. 基于抽象意义表示的逻辑驱动数据增强用于逻辑推理。

    鲍启明、Alex Peng、邓振云、钟万军、盖尔·根德隆、内塞特·坦、内森·杨、陈阳、朱永华、迈克尔·维特布罗克、刘嘉谋. [摘要], [代码], 2024年8月

多阶段

1. 迭代式提示预训练语言模型以实现链式思维。

   王博思、邓翔、孙欢. [摘要], 2022年3月

2. 选择—推理：利用大型语言模型实现可解释的逻辑推理。

   安东尼娅·克雷斯威尔、默里·沙纳汉、伊琳娜·希金斯. [摘要], 2022年5月

3. 由简入繁提示法使大型语言模型具备复杂推理能力。

   周登尼、纳撒尼尔·舍尔利、侯乐、贾森·魏、内森·斯凯尔斯、王雪芝、戴尔·舒尔曼斯、奥利维尔·布斯凯、吴科、艾德·奇. [摘要], 2022年5月

4. 助产术提示：通过递归解释实现逻辑一致的推理。

   郑在勋、秦连辉、肖恩·韦莱克、法泽·布拉曼、钱德拉·巴加瓦图拉、罗南·勒布拉斯、崔艺珍. [摘要], 2022年5月

5. 使用大型语言模型进行忠实推理。

   安东尼娅·克雷斯威尔、默里·沙纳汉. [摘要], 2022年8月

6. 利用大型语言模型进行组合语义解析。

   安德鲁·德罗兹多夫、纳撒尼尔·舍尔利、埃金·阿基尤雷克、内森·斯凯尔斯、宋欣颖、陈欣芸、奥利维尔·布斯凯、周登尼. [摘要], 2022年9月

7. 分解式提示：一种解决复杂任务的模块化方法。

   库赫特·图沙尔、特里维迪·哈什、芬利森·马修、傅尧、理查森·凯尔、克拉克·彼得、萨巴瓦尔·阿希什. [摘要], 2022年10月

8. 衡量并缩小语言模型中的组合性差距。

   奥菲尔·普雷斯、张慕儒、闵世温、路德维希·施密特、诺亚·A·史密斯、迈克·刘易斯. [摘要], 2022年10月

9. 连续提示法用于分解复杂问题。

   杜阿·德赫鲁、古普塔·希万舒、辛格·萨米尔、加德纳·马特. [摘要], 2022年12月

10. 符号表示对少样本推理中上下文学习的影响。

    张翰林、张一凡、李二然、邢埃里克. [摘要], 2022年12月

11. LAMBADA：基于自然语言的自动推理中的逆向链式推理。

    卡泽米·赛耶德·梅赫兰、金娜琼、比蒂·迪普蒂、徐鑫、拉马昌德兰·迪帕克. [摘要], 2022年12月

12. 迭代分解：通过监督推理过程改进科学问答。

    雷珀特·贾斯汀、拉赫巴赫·本、乔治·查理、斯特宾·卢克、卞正源、阿普尔顿·玛吉、施图尔穆勒·安德烈亚斯. [摘要], 2023年1月

13. 自我打磨：通过问题精炼提升大型语言模型的推理能力。

    席志恒、金森杰、周宇豪、郑睿、高松阳、桂涛、张琪、黄宣静. [摘要], 2023年5月

14. 自然语言上的多步演绎推理：一项关于分布外泛化的实证研究。

    鲍启明、Alex Peng、哈蒂尔·蒂姆、内塞特·坦、邓振云、迈克尔·维特布罗克、刘嘉谋. [摘要], [代码], 2022年8月

15. 探索迭代增强方法，以改进大型语言模型生成的学习者来源多项选择题解释。

    鲍启明、莱诺宁·朱霍、Alex Peng、钟万军、皮斯托蒂·蒂莫西、黄爱丽丝、丹尼·保罗、维特布罗克·迈克尔以及刘嘉谋. [摘要], [代码], 2025年3月

16. ChatLogic：将逻辑编程与大型语言模型结合用于多步推理。

    王仲生、刘嘉谋、鲍启明、荣洪飞、张景峰. [摘要], [代码], 2024年2月

过程优化

自我优化

1. 重新构想人机协作以生成自由文本解释。

   莎拉·维格雷夫、杰克·赫塞尔、斯瓦布哈·斯瓦扬迪普塔、马克·里德尔、崔艺珍. [摘要], 2021年12月

2. 少样本上下文学习中解释的不可靠性。

   叶曦、格雷格·杜雷特. [摘要], 2022年5月

3. 判别器引导下的语言模型多步推理。

   穆罕默德·哈利法、拉贾努根·洛格斯瓦兰、李文泰、李洪洛、王陆. [摘要], 2023年5月

4. RCOT：通过逆转链式思维检测并纠正推理中的事实性不一致。

   薛天赐、王子淇、王振海龙、韩驰、于鹏飞、季恒. [摘要], 2023年5月

集成优化

1. 自一致性提升语言模型的链式思维推理能力。

   王雪芝、贾森·魏、戴尔·舒尔曼斯、吴科、艾德·H·奇、纳朗·沙兰、乔德里·阿坎克夏、周登尼. [摘要], 2022年3月

2. 关于提升语言模型推理能力的进展。

   李一飞、林泽齐、张士卓、傅强、陈贝、楼建光、陈伟竹. [摘要], 2022年6月

3. 基于复杂性的提示用于多步推理。

   傅尧、彭浩、萨巴瓦尔·阿希什、克拉克·彼得、库赫特·图沙尔. [摘要], 2022年10月

4. 大型语言模型是具有自我验证能力的推理者。

Yixuan Weng、Minjun Zhu、Shizhu He、Kang Liu、Jun Zhao. [摘要]，2022年12月

5. 通过多条思维链的元推理回答问题。

   Ori Yoran、Tomer Wolfson、Ben Bogin、Uri Katz、Daniel Deutch、Jonathan Berant. [摘要]，2023年4月

6. 思维之树：利用大型语言模型进行审慎的问题解决。

   Shunyu Yao、Dian Yu、Jeffrey Zhao、Izhak Shafran、Thomas L. Griffiths、Yuan Cao、Karthik Narasimhan. [摘要]，2023年5月

7. 通过多智能体辩论提升语言模型的事实性和推理能力。

   Yilun Du、Shuang Li、Antonio Torralba、Joshua B. Tenenbaum、Igor Mordatch. [摘要]，2023年5月

8. AutoMix：自动混合语言模型

   Aman Madaan、Pranjal Aggarwal、Ankit Anand、Srividya Pranavi Potharaju、Swaroop Mishra、Pei Zhou、Aditya Gupta、Dheeraj Rajagopal、Karthik Kappaganthu、Yiming Yang、Shyam Upadhyay、Mausam、Manaal Faruqui. [摘要]，2023年9月

9. 逆向思维：以偏好引导的逆向推理预热增强大型语言模型。

   Jiahao Yuan、Dehui Du、Hao Zhang、Zixiang Di、Usman Naseem. [摘要]，[代码]，2024年10月

迭代优化

1. STaR：用推理来启动推理。

   Eric Zelikman、Yuhuai Wu、Noah D. Goodman. [摘要]，2022年3月

2. 大型语言模型可以自我改进。

   Jiaxin Huang、Shixiang Shane Gu、Le Hou、Yuexin Wu、Xuezhi Wang、Hongkun Yu、Jiawei Han. [摘要]，2022年10月

3. Reflexion：具有动态记忆和自我反思能力的自主智能体。

   Noah Shinn、Beck Labash、Ashwin Gopinath. [摘要]，2023年3月

4. Self-Refine：基于自我反馈的迭代精炼。

   Aman Madaan、Niket Tandon、Prakhar Gupta、Skyler Hallinan、Luyu Gao、Sarah Wiegreffe、Uri Alon、Nouha Dziri、Shrimai Prabhumoye、Yiming Yang、Sean Welleck、Bodhisattwa Prasad Majumder、Shashank Gupta、Amir Yazdanbakhsh、Peter Clark. [摘要]，2023年3月

5. REFINER：对中间表示的推理反馈。

   Debjit Paul、Mete Ismayilzada、Maxime Peyrard、Beatriz Borges、Antoine Bosselut、Robert West、Boi Faltings. [摘要]，2023年4月

6. 使用语言模型进行推理即是在使用世界模型进行规划

   Shibo Hao*、Yi Gu*、Haodi Ma、Joshua Jiahua Hong、Zhen Wang、Daisy Zhe Wang、Zhiting Hu [摘要]，2023年5月

7. 通过逻辑增强大型语言模型的零样本思维链推理能力。

   Xufeng Zhao、Mengdi Li、Wenhao Lu、Cornelius Weber、Jae Hee Lee、Kun Chu、Stefan Wermter. [摘要] [代码]，2024年2月

外部引擎

物理模拟器

1. 心灵之眼：通过仿真实现 grounded 语言模型推理。

   Ruibo Liu、Jason Wei、Shixiang Shane Gu、Te-Yen Wu、Soroush Vosoughi、Claire Cui、Denny Zhou、Andrew M. Dai. [摘要]，2022年10月

代码解释器

1. 代码领域的语言模型是少样本常识学习者。

   Aman Madaan、Shuyan Zhou、Uri Alon、Yiming Yang、Graham Neubig. [摘要]，2022年10月

2. PAL：程序辅助语言模型。

   Luyu Gao、Aman Madaan、Shuyan Zhou、Uri Alon、Pengfei Liu、Yiming Yang、Jamie Callan、Graham Neubig. [摘要]，2022年11月

3. 思维程序提示：为数值推理任务将计算与推理解耦。

   Wenhu Chen、Xueguang Ma、Xinyi Wang、William W. Cohen. [摘要]，2022年11月

4. 忠实的思维链推理。

   Qing Lyu、Shreya Havaldar、Adam Stein、Li Zhang、Delip Rao、Eric Wong、Marianna Apidianaki、Chris Callison-Burch. [摘要]，2023年1月

5. 大型语言模型是多功能分解器：为基于表格的推理分解证据和问题。

   Yunhu Ye、Binyuan Hui、Min Yang、Binhua Li、Fei Huang、Yongbin Li. [摘要]，2023年1月

6. 合成提示：为大型语言模型生成思维链示例。

   Zhihong Shao、Yeyun Gong、Yelong Shen、Minlie Huang、Nan Duan、Weizhu Chen. [摘要]，2023年2月

7. MathPrompter：利用大型语言模型进行数学推理。

   Shima Imani、Liang Du、Harsh Shrivastava. [摘要]，2023年3月

8. 利用大型语言模型进行推理时的自动模型选择。

   Xu Zhao、Yuxi Xie、Kenji Kawaguchi、Junxian He、Qizhe Xie. [摘要]，2023年5月

9. 代码提示：一种用于大型语言模型复杂推理的神经符号方法。

   Yi Hu、Haotong Yang、Zhouchen Lin、Muhan Zhang. [摘要]，2023年5月

10. IF 的魔力：探究代码领域大型语言模型的因果推理能力。

    Xiao Liu、Da Yin、Chen Zhang、Yansong Feng、Dongyan Zhao. [摘要]，2023年5月

11. 思维程序何时适用于推理？

    Zhen Bi、Ningyu Zhang、Yinuo Jiang、Shumin Deng、Guozhou Zheng、Huajun Chen. [摘要]，2023年12月

工具学习

1. Toolformer：语言模型可以自我教授如何使用工具。

   Timo Schick、Jane Dwivedi-Yu、Roberto Dessì、Roberta Raileanu、Maria Lomeli、Luke Zettlemoyer、Nicola Cancedda、Thomas Scialom. [摘要]，2023年2月

2. ART：大型语言模型的自动多步推理与工具使用。

   Bhargavi Paranjape、Scott Lundberg、Sameer Singh、Hannaneh Hajishirzi、Luke Zettlemoyer、Marco Tulio Ribeiro. [摘要]，2023年3月

3. Chameleon：利用大型语言模型进行即插即用的组合式推理。

   Pan Lu、Baolin Peng、Hao Cheng、Michel Galley、Kai-Wei Chang、Ying Nian Wu、Song-Chun Zhu、Jianfeng Gao. [摘要]，2023年4月

4. CRITIC：大型语言模型可通过工具交互式批评实现自我修正。

   Zhibin Gou、Zhihong Shao、Yeyun Gong、Yelong Shen、Yujiu Yang、Nan Duan、Weizhu Chen. [摘要]，2023年5月

5. 通过执行反馈使语言模型成为更好的工具学习者。

   Shuofei Qiao、Honghao Gui、Huajun Chen、Ningyu Zhang. [摘要]，2023年5月

6. CREATOR：通过工具创建解构大型语言模型的抽象与具体推理。

程谦、池瀚、Yi R. Fung、秦宇佳、刘志远、季恒. [abs], 2023年5月

7. ChatCoT：基于聊天型大语言模型的工具增强思维链推理。

   陈志鹏、周坤、张贝晨、龚政、Wayne Xin Zhao、文继荣. [abs], 2023年5月

8. MultiTool-CoT：GPT-3 可通过思维链提示使用多种外部工具。

   稻叶达郎、清丸博一、程飞、黑桥贞夫. [abs], 2023年5月

9. ToolkenGPT：通过工具嵌入大规模扩展冻结语言模型的功能

   郝世博、刘天阳、王振、胡志婷 [abs], 2023年5月

10. SynWorld：用于智能体行动知识精炼的虚拟场景合成

    方润楠、王晓彬、梁源、乔硕飞、吴嘉隆、席泽坤、张宁宇、江勇、谢鹏军、黄飞、陈华俊 [abs], 2025年4月

知识增强推理

隐式知识

1. 面向常识推理的生成式知识提示。

   刘家成、Alisa Liu、陆锡明、Sean Welleck、Peter West、Ronan Le Bras、Yejin Choi、Hannaneh Hajishirzi. [abs], 2021年10月

2. Rainier：用于常识问答的强化知识内省器。

   刘家成、Skyler Hallinan、陆锡明、何鹏飞、Sean Welleck、Hannaneh Hajishirzi、Yejin Choi. [abs], 2022年10月

3. 大型语言模型的解释使小型推理模型表现更好。

   李诗洋、陈建树、沈业龙、陈志宇、张欣璐、李泽坤、王洪、钱静、彭宝林、毛毅、陈文虎、严西峰. [abs], 2022年10月

4. PINTO：利用提示生成的理由实现忠实的语言推理。

   王培峰、Aaron Chan、Filip Ilievski、陈沐浩、任翔. [abs], 2022年11月

5. TSGP：用于无监督常识问答的两阶段生成式提示。

   孙月青、张宇、齐乐、石琪. [abs], 2022年11月

6. 通过语义分解将大型语言模型的多步推理能力蒸馏到小型模型中。

   库马尔·施里达尔、亚历山德罗·斯托尔福、姆林玛雅·萨昌. [abs], 2022年12月

7. 教导小型语言模型进行推理。

   露西·夏洛特·马吉斯特、乔纳森·马林森、雅库布·阿达梅克、埃里克·马尔米、阿里克谢·塞维林. [abs], 2022年12月

8. 大型语言模型是推理教师。

   洪南圭、劳拉·施密德、尹世英. [abs], 2022年12月

9. 将小型语言模型专门化为多步推理。

   傅瑶、彭浩、欧立图、阿希什·萨巴瓦尔、图沙尔·科特. [abs], 2023年1月

10. PaD：程序辅助蒸馏使大型模型在推理方面更加专业。

    朱学凯、戚碧青、张凯燕、龙兴伟、周博文. [abs], 2023年5月

显式知识

1. MemPrompt：部署后通过记忆辅助提示编辑改进 GPT-3

   阿曼·马丹、尼凯特·坦东、彼得·克拉克、杨一鸣. [abs], 2022年1月

2. LogicSolver：迈向可解释的数学应用题求解——基于逻辑提示的学习。

   杨志诚、秦景辉、陈佳琪、林亮、梁晓丹. [abs], 2022年5月

3. 选择性标注使语言模型成为更好的少样本学习者。

   苏洪进、笠井纯悟、吴亨利、史伟嘉、王天禄、辛佳怡、张睿、玛丽·奥斯坦多夫、卢克·泽特勒莫耶、诺亚·A·史密斯、余涛. [abs], 2022年9月

4. 基于策略梯度的动态提示学习，用于半结构化数学推理。

   潘璐、邱亮、常凯威、吴颖年、朱松春、谭迈·拉杰普罗希特、彼得·克拉克、阿什温·卡利亚恩. [abs], 2022年9月

5. 在密集知识型多步问题中，将检索与思维链推理交织进行。

   哈什·特里维迪、尼兰詹·巴拉苏布拉马尼安、图沙尔·科特、阿希什·萨巴瓦尔. [abs], 2022年12月

6. 借助检索重新思考：忠实的大语言模型推理。

   何航峰、张宏明、丹·罗斯. [abs], 2023年1月

7. 验证与编辑：一种知识增强型思维链框架。

   赵若晨、李星轩、沙菲克·乔蒂、秦成伟、宾立东. [abs], 2023年5月

8. 一种结合关联知识进行数据增强的动态提示调优方法。

   齐倩倩、鲍启明、彭宇轩、刘嘉谋、迈克尔·维特布罗克. [abs], 2023年3月

9. 通过动态提示调优方法进行知识丰富型数据生成，从而增强数据增广效果。

   齐倩倩、鲍启明、彭宇轩、刘嘉谋、迈克尔·维特布罗克. [abs], 2020年3月

10. HHH：基于知识图谱和层次双向注意力的在线医疗聊天机器人系统。

    鲍启明、倪琳、刘嘉谋. [abs], 2020年2月

11. 智能体的知识型自我意识。

*乔硕飞、邱志松、任宝昌、王晓彬、茹向远、张宁宇、陈向、江勇、谢鹏军、黄飞、陈华俊.* [abs](https://arxiv.org/abs/2504.03553), 2025年3月

其他

1. 语言模型级联。

   大卫·多汉、Winnie Xu、艾托尔·莱科维奇、雅各布·奥斯汀、大卫·比伯、拉斐尔·贡蒂霍·洛佩斯、吴宇怀、亨里克·米哈列夫斯基、Rif A. Saurous、贾莎·索尔-迪克斯坦、凯文·墨菲、查尔斯·萨顿. [abs], 2022年7月

2. 学会解释：通过思维链进行多模态推理以解答科学问题。

   潘璐、斯瓦鲁普·米什拉、托尼·夏、邱亮、常凯威、朱松春、奥伊温德·塔夫约德、彼得·克拉克、阿什вин·卡利亚恩. [abs], 2022年9月

3. 基于知识图谱的多模态类比推理。

   张宁宇、李磊、陈向、梁小专、邓淑敏、陈华俊. [abs], 2022年10月

4. 指令微调后的语言模型规模化。

Hyung Won Chung、Le Hou、Shayne Longpre、Barret Zoph、Yi Tay、William Fedus、Yunxuan Li、Xuezhi Wang、Mostafa Dehghani、Siddhartha Brahma、Albert Webson、Shixiang Shane Gu、Zhuyun Dai、Mirac Suzgun、Xinyun Chen、Aakanksha Chowdhery、Alex Castro-Ros、Marie Pellat、Kevin Robinson、Dasha Valter、Sharan Narang、Gaurav Mishra、Adams Yu、Vincent Zhao、Yanping Huang、Andrew Dai、Hongkun Yu、Slav Petrov、Ed H. Chi、Jeff Dean、Jacob Devlin、Adam Roberts、Denny Zhou、Quoc V. Le、Jason Wei. [abs], 2022年10月

5. 看、想、确认：基于知识的视觉推理中视觉与语言模型之间的交互式提示方法。

   陈振芳、周钦宏、沈一康、洪怡宁、张浩、甘闯。 [abs], 2023年1月

6. 语言模型中的多模态思维链推理。

   张卓生、阿斯顿·张、穆力、赵海、乔治·卡里皮斯、亚历克斯·斯莫拉。 [abs], 2023年2月

7. 语言并非一切：将感知与语言模型对齐。

   黄绍涵、李东、王文辉、郝雅茹、萨克沙姆·辛格哈尔、马树明、吕腾超、崔磊、欧韦斯·汗·穆罕默德、刘强、克里蒂·阿加瓦尔、池泽文、约翰·比约克、维什拉夫·乔杜里、苏博吉特·索姆、宋霞、魏富。 [abs], 2023年2月

8. 视觉ChatGPT：与视觉基础模型对话、绘图和编辑。

   吴晨飞、尹圣明、齐伟珍、王晓东、唐泽成、段楠。 [abs], 2023年3月

9. ViperGPT：通过Python执行进行视觉推理。

   迪达克·苏里斯、萨奇特·梅农、卡尔·冯德里克。 [abs], 2023年3月

10. MM-REACT：提示ChatGPT实现多模态推理与行动。

    杨正元、李林杰、王建峰、凯文·林、埃桑·阿扎尔纳萨布、费萨尔·艾哈迈德、刘子程、刘策、迈克尔·曾、王丽娟。 [abs], 2023年3月

11. 通过提示提升大型语言模型的心智理论表现。

    希玛·拉希米·莫加达姆、克里斯托弗·J·霍尼。 [abs], 2023年4月

12. 通过原则性的合成逻辑语料库增强LLM的推理能力。

    森下照文、森尾岳、山口敦纪、曾川靖弘。 [abs], 2023年11月

13. Multi2Claim：从多项选择题生成科学主张，用于科学事实核查。

    内塞特·坦、阮忠、乔什·本塞曼、亚历克斯·彭、包启明、陈阳、马克·盖黑根、迈克尔·维特布罗克。 [abs], 2023年5月

14. 通过注意力值缩短输入长度并生成文本。

    内塞特·坦、亚历克斯·彭、乔什·本塞曼、包启明、蒂姆·哈蒂尔、马克·盖黑根、迈克尔·维特布罗克。 [abs], 2023年2月

15. DeepQR：基于神经网络的学习者生成多项选择题质量评分系统。

    林妮、包启明、李晓萱、齐倩倩、保罗·丹尼、吉姆·沃伦、迈克尔·维特布罗克、刘嘉谋。 [abs], 2022年3月

16. CoRA：利用大型语言模型的公共子空间优化低秩适应。

    肖俊、沈森、包启明、荣洪飞、刘凯瑞、王仲盛、刘嘉谋。 [abs], 2024年8月

17. 自然语言处理与推理。

    包启明、迈克尔·维特布罗克、刘嘉谋。 [abs], 2022年8月

18. 盲视与人工智能的关系：综述。

    乔什·本塞曼、包启明、盖尔·让德龙、蒂姆·哈蒂尔、迈克尔·维特布罗克。 [abs], 2022年1月

19. 开发与评估用于自然语言逻辑推理的语言模型。

    包启明。 [abs], 2025年4月

分析

1. 语言模型能否从上下文中的解释中学习？

   安德鲁·K·兰皮宁、伊希塔·达斯古普塔、斯蒂芬妮·C·Y·陈、科里·马修森、迈克尔·亨利·泰斯勒、安东尼娅·克雷斯韦尔、詹姆斯·L·麦克莱兰、简·X·王、费利克斯·希尔。 [摘要]，2022年4月

2. 大型语言模型的涌现能力。

   杰森·魏、易泰、里希·博马萨尼、科林·拉菲尔、巴雷特·佐夫、塞巴斯蒂安·博格奥德、丹妮·约加塔玛、马尔滕·博斯马、丹尼·周、唐纳德·梅茨勒、埃德·H·奇、辰范·桥本、奥里奥尔·维尼亚尔斯、珀西·梁、杰夫·迪恩、威廉·费杜斯。 [摘要]，2022年6月

3. 语言模型在推理中表现出类似人类的内容效应。

   伊希塔·达斯古普塔、安德鲁·K·兰皮宁、斯蒂芬妮·C·Y·陈、安东尼娅·克雷斯韦尔、达尔尚·库马拉南、詹姆斯·L·麦克莱兰、费利克斯·希尔。 [摘要]，2022年7月

4. 语言模型中的理由增强集成方法。

   薛志王、杰森·魏、戴尔·舒尔曼斯、阮家乐、埃德·奇、丹尼·周。 [摘要]，2022年7月

5. 大型语言模型真的能理解提示吗？以否定提示为例的研究。

   乔尔·张、成贤延、徐敏俊。 [摘要]，2022年9月

6. 文本与模式：有效的思维链需要双方配合

   阿曼·马丹、阿米尔·亚兹丹巴赫什。 [摘要]，2022年9月

7. 挑战BIG-Bench任务及思维链是否能够解决它们。

   米拉克·苏兹贡、内森·斯凯尔斯、纳塔纳埃尔·舍尔利、塞巴斯蒂安·格尔曼、易泰、洪元·郑、阿坎克沙·乔德里、阮家乐、埃德·H·奇、丹尼·周、杰森·魏。 [摘要]，2022年10月

8. 语言模型是贪婪的推理者：对思维链的系统性形式化分析。

   阿布尔海尔·萨帕罗夫、何贺。 [摘要]，2022年10月

9. 知识遗忘用于缓解语言模型中的隐私风险。

   乔尔·张、尹东根、杨素熙、车成民、李文泰、拉贾努根·洛格斯瓦兰、徐敏俊。 [摘要]，2022年10月

10. 大型语言模型中的涌现类比推理。

    泰勒·韦伯、基思·J·霍利奥克、陆宏景。 [摘要]，2022年12月

11. 迈向对思维链提示的理解：一项关于关键因素的实证研究。

    王博思、闵世源、邓翔、沈嘉明、吴友、卢克·泽特莫耶、孙欢。 [摘要]，2022年12月

12. 再想想吧，我们还是别一步一步地思考了！零样本推理中的偏见与毒性。

    奥马尔·谢赫、张宏鑫、威廉·赫尔德、迈克尔·伯恩斯坦、杨迪毅。 [摘要]，2022年12月

13. 检索增强型语言模型能进行推理吗？检索器与语言模型之间的责任归属问题。

    帕里沙德·贝纳姆加德尔、圣地亚哥·米雷特、西瓦·雷迪。 [摘要]，2022年12月

14. GPT为何能在上下文中学习？语言模型作为元优化器秘密执行梯度下降。

    代大伟、孙宇涛、董力、郝雅茹、隋志芳、魏福瑞。 [摘要]，2022年12月

15. 从认知视角看大型语言模型中语言与思维的分离。

    凯尔·马霍瓦尔德、安娜·A·伊万诺娃、伊丹·A·布兰克、南希·坎威舍、约书亚·B·特南鲍姆、埃韦丽娜·费多伦科。 [摘要]，2023年1月

16. 大型语言模型很容易被无关的上下文分散注意力。

    弗雷达·施伊、陈欣云、卡尼什卡·米斯拉、内森·斯凯尔斯、大卫·多汉、埃德·奇、纳塔纳埃尔·舍尔利、丹尼·周。 [摘要]，2023年2月

17. ChatGPT在推理、幻觉和交互性方面的多任务、多语言、多模态评估。

    裴艺珍、塞缪尔·卡哈维贾亚、李娜妍、戴文亮、苏丹、布莱恩·威利、霍利·洛维尼亚、季子薇、于铁正、钟威利、杜越、许燕、冯佩斯卡尔。 [摘要]，2023年2月

18. ChatGPT是一位博学但缺乏经验的解题者：对大型语言模型中常识问题的探究。

    卞宁、韩先培、孙乐、林鸿宇、陆耀杰、何奔。 [摘要]，2023年3月

19. 为什么要一步一步地思考？推理源于经验的局部性。

    本·普里斯托斯基、诺亚·D·古德曼。 [摘要]，2023年4月

20. 基于形式逻辑的合成语料库学习演绎推理。

    森下照文、森尾岳、山口敦树、曾川康弘。 [摘要]，2023年8月

21. 通过逻辑推理任务结构的变化评估并提升大型语言模型的鲁棒性。

    包启明、盖尔·根德隆、亚历克斯·彭、内塞特·坦、迈克尔·维特布罗克、刘佳谋。 [摘要]，[代码]，2024年12月

22. 大型语言模型并非强大的抽象推理者。

    盖尔·根德隆、包启明、迈克尔·维特布罗克、吉利安·多比。 [摘要]，[代码]，2024年8月

23. AbductionRules：训练Transformer解释意外输入。

    内森·杨、包启明、约书亚·柳多·本塞曼、迈克尔·J·维特布罗克。 [摘要]，[代码]，2022年8月

24. 剪枝能改善推理吗？重新审视长思维链压缩，以提升推理能力为目标

    赵尚子琪、袁嘉浩、杨贵松、乌斯曼·纳西姆。 [摘要]，2025年5月

---

🧰 资源

基准与任务

推理技能	基准
算术推理	GSM8K, SVAMP, ASDiv, AQuA-RAT, MAWPS, AddSub, MultiArith, SingleEq, SingleOp
常识推理	CommonsenseQA, StrategyQA, ARC, SayCan, BoolQA, HotpotQA, OpenBookQA, PIQA, WikiWhy
符号推理	最后一个字母拼接, 硬币翻转, 反转列表
逻辑推理	ProofWriter, EntailmentBank, RuleTaker, CLUTRR, FLD, FLDx2
多模态推理	SCIENCEQA
其他	BIG-bench, SCAN, Chain-of-Thought Hub, MR-BEN, WorFBench

工具

• ThoughtSource：一个集中式的开源资源，用于提供与大语言模型链式思维推理相关的数据和工具。
• LangChain：一个旨在帮助开发者构建结合大语言模型与其他计算或知识来源的应用程序的库。
• LogiTorch：一个基于PyTorch的自然语言逻辑推理库。
• λprompt：一个允许构建完整的大型语言模型提示引擎的库，其中包括能够自我编辑以纠正甚至自动生成执行代码的功能。
• Promptify：提示工程工具，可利用大语言模型解决自然语言处理问题，并轻松为GPT、PaLM等主流生成模型生成不同NLP任务的提示，尽在Promptify。
• MiniChain：一个小型库，用于使用大型语言模型进行编程，旨在实现核心的提示链功能。
• LlamaIndex：一个项目，提供了一个中心化的接口，用于将您的大语言模型与外部数据连接起来。
• EasyInstruct：一个用于在研究实验中指导大型语言模型（如GPT-3）的软件包。它设计简单易用且易于扩展。

---

🎉 贡献

• 添加新论文或更新现有论文，并思考该工作应归入哪个类别。
• 使用与现有条目相同的格式来描述该工作。
• 添加论文的摘要链接（如果是arXiv预印本，则采用/abs/格式）。
• 建议简要说明您认为为何应添加或更新某篇论文。

如果您不小心写错了也没关系，我们会帮您修正。只需贡献您的优秀工作，推广到这里吧！

贡献者

---

🚩引用

如果您发现本综述对您的研究有所帮助，请考虑引用以下内容：

@inproceedings{qiao-etal-2023-reasoning,
    title = "通过语言模型提示进行推理：综述",
    author = "Qiao, Shuofei  and
      Ou, Yixin  and
      Zhang, Ningyu  and
      Chen, Xiang  and
      Yao, Yunzhi  and
      Deng, Shumin  and
      Tan, Chuanqi  and
      Huang, Fei  and
      Chen, Huajun",
    booktitle = "第61届计算语言学协会年会论文集（第一卷：长文）",
    month = jul,
    year = "2023",
    address = "多伦多，加拿大",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2023.acl-long.294",
    pages = "5368--5393",
    abstract = "推理作为复杂问题解决的核心能力，可以为医疗诊断、谈判等多种实际应用提供后端支持。本文全面综述了当前基于语言模型提示的推理前沿研究。我们介绍了相关研究成果并进行了比较和总结，同时提供了系统性的资源以帮助初学者。此外，我们还探讨了此类推理能力出现的潜在原因，并指出了未来的研究方向。相关资源可在https://github.com/zjunlp/Prompt4ReasoningPapers上找到（定期更新）。",
}

Prompt4ReasoningPapers 快速上手指南

📖 项目简介

Prompt4ReasoningPapers 并非一个可安装的软件工具或代码库，而是一个由浙江大学 ZJUNLP 团队维护的开源论文列表与综述资源库。该项目旨在系统性地整理关于“基于语言模型提示的推理（Reasoning with Language Model Prompting）”的前沿研究论文、基准测试及相关资源。

本指南将指导开发者如何获取该资源库，并高效利用其中的论文列表和分类体系进行学习与研究。

🛠️ 环境准备

本项目主要为文档和资源索引，无需复杂的运行环境。仅需具备以下基础条件即可浏览和使用：

• 操作系统：Windows / macOS / Linux 均可。
• 前置依赖：
  • Git：用于克隆仓库到本地（推荐）。
  • Web 浏览器：用于直接访问 GitHub 页面或论文链接。
  • PDF 阅读器：用于阅读下载的学术论文。

💡 国内加速建议： 若访问 GitHub 速度较慢，推荐使用国内镜像源克隆仓库：

• Gitee 镜像（如有同步）：https://gitee.com/mirrors/Prompt4ReasoningPapers (需确认最新同步状态)
• 通用加速：使用 git clone https://ghproxy.com/https://github.com/zjunlp/Prompt4ReasoningPapers.git 通过代理加速克隆。

📥 安装步骤（获取资源）

由于本项目是资源列表，所谓的“安装”即是将仓库克隆到本地以便离线查阅或贡献。

方法一：使用 Git 克隆（推荐）

在终端中执行以下命令：

# 官方源
git clone https://github.com/zjunlp/Prompt4ReasoningPapers.git

# 或者使用国内加速源（如果上述速度慢）
git clone https://ghproxy.com/https://github.com/zjunlp/Prompt4ReasoningPapers.git

进入目录：

cd Prompt4ReasoningPapers

方法二：直接在线浏览

无需下载，直接访问项目主页查看最新整理的论文列表：

• GitHub 主页: https://github.com/zjunlp/Prompt4ReasoningPapers
• 综述论文: Reasoning with Language Model Prompting: A Survey

🚀 基本使用

本项目的使用核心在于检索论文和理解分类体系。以下是快速上手的三个步骤：

1. 浏览论文分类体系

打开本地的 README.md 文件或在线查看 Contents 章节。项目将推理方法系统地分为以下几类，您可根据研究兴趣直达对应板块：

• Strategy Enhanced Reasoning (策略增强推理)
  • Prompt Engineering: 包含单阶段（Single-Stage，如 Chain-of-Thought）和多阶段（Multi-Stage）提示工程。
  • Process Optimization: 涉及自优化、集成优化和迭代优化。
  • External Engine: 结合物理模拟器、代码解释器或工具学习。
• Knowledge Enhanced Reasoning (知识增强推理)
  • 区分隐式知识（Implicit）和显式知识（Explicit）的利用。
• Analysis & Resources: 包含各类基准测试（Benchmarks）和分析文章。

2. 查找特定论文

在 README.md 的 Papers 部分，每篇论文都提供了标题、作者、发表时间和 [abs] 链接。

示例：查找思维链（Chain-of-Thought）相关论文

1. 定位到 Methods -> Strategy Enhanced Reasoning -> Prompt Engineering -> Single-Stage。
2. 找到经典论文："Chain of Thought Prompting Elicits Reasoning in Large Language Models" (Jason Wei et al., 2022)。
3. 点击链接 [abs](https://arxiv.org/abs/2201.11903) 直接跳转至 arXiv 阅读摘要或下载 PDF。

3. 利用配套资源

项目不仅列出论文，还关联了相关的代码库和基准测试。

• 教程视频：在 News 栏目中可找到关于该综述的中文讲解视频链接，适合初学者快速建立概念。
• 关联项目：注意查看同一团队（zjunlp）发布的配套工具，如 EasyEdit (知识编辑)、KnowLM (知识增强大模型框架) 等，这些通常在新闻更新中提及并附有 GitHub 链接。

4. 参与贡献（可选）

如果您发现了新的相关论文，可以通过以下方式贡献：

1. Fork 本仓库。
2. 按照现有的 Markdown 格式在 README.md 对应分类下添加论文条目。
3. 提交 Pull Request (PR)。

---

注：本指南仅针对资源库的获取与使用。若需复现具体论文中的算法，请参考各论文链接中指向的独立代码仓库。