[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-teacherpeterpan--self-correction-llm-papers":3,"tool-teacherpeterpan--self-correction-llm-papers":65},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160784,2,"2026-04-19T11:32:54",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},8553,"spec-kit","github\u002Fspec-kit","Spec Kit 是一款专为提升软件开发效率而设计的开源工具包，旨在帮助团队快速落地“规格驱动开发”（Spec-Driven Development）模式。传统开发中，需求文档往往与代码实现脱节，导致沟通成本高且结果不可控；而 Spec Kit 通过将规格说明书转化为可执行的指令，让 AI 直接依据明确的业务场景生成高质量代码，从而减少从零开始的随意编码，确保产出结果的可预测性。\n\n该工具特别适合希望利用 AI 辅助编程的开发者、技术负责人及初创团队。无论是启动全新项目还是在现有工程中引入规范化流程，用户只需通过简单的命令行操作，即可初始化项目并集成主流的 AI 编程助手。其核心技术亮点在于“规格即代码”的理念，支持社区扩展与预设模板，允许用户根据特定技术栈定制开发流程。此外，Spec Kit 强调官方维护的安全性，提供稳定的版本管理，帮助开发者在享受 AI 红利的同时，依然牢牢掌握架构设计的主动权，真正实现从“凭感觉写代码”到“按规格建系统”的转变。",88749,"2026-04-17T09:48:14",[15,26,14,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":10,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85267,"2026-04-18T11:00:28",[26,51,52,53,14,54,15,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":62,"last_commit_at":63,"category_tags":64,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,51,54],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":82,"owner_twitter":83,"owner_website":84,"owner_url":85,"languages":86,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":62,"env_os":91,"env_gpu":92,"env_ram":92,"env_deps":93,"category_tags":96,"github_topics":86,"view_count":10,"oss_zip_url":86,"oss_zip_packed_at":86,"status":16,"created_at":97,"updated_at":98,"faqs":99,"releases":100},9665,"teacherpeterpan\u002Fself-correction-llm-papers","self-correction-llm-papers","This is a collection of research papers for Self-Correcting Large Language Models with Automated Feedback. ","self-correction-llm-papers 是一个专注于“大语言模型自我修正”领域的学术资源库，系统整理了利用自动化反馈机制提升模型准确性的前沿研究论文。当前大模型常面临幻觉、逻辑错误或事实不准确等挑战，而该资源库聚焦的核心问题正是如何让模型在生成内容后，能够像人类一样自动发现并修正这些错误，从而输出更可靠的结果。\n\n这份合集特别适合 AI 研究人员、算法工程师以及对大模型对齐技术感兴趣的开发者使用。它不仅仅是一份简单的文献列表，更提供了一套清晰的概念框架，将复杂的自我修正策略科学地划分为三大类：训练时修正（如基于人类反馈的强化学习 RLHF）、生成时修正（如重排序与反馈引导）以及事后修正（如自我精炼与多模型辩论）。通过这种结构化的整理，用户可以快速定位到特定技术路线的最新进展，高效追踪从基础理论到具体算法的实现细节。对于希望深入理解如何让大模型具备“自省”能力，或正在寻找优化模型输出质量方案的专业人士而言，self-correction-llm-papers 是一份极具价值的入门指南与研究地图。","# Self-Correction LLMs Papers\n\n[![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002Fsindresorhus\u002Fawesome) \n![GitHub stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fteacherpeterpan\u002Fself-correction-llm-papers?color=yellow)\n![GitHub forks](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002Fteacherpeterpan\u002Fself-correction-llm-papers?color=9cf)\n[![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg)](https:\u002F\u002Fgithub.com\u002Fteacherpeterpan\u002Fself-correction-llm-papers\u002Fblob\u002Fmain\u002FLICENSE)\n\nThis is a collection of research papers for **Self-Correcting Large Language Models with Automated Feedback.**\n\nOur survey paper: [Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.03188). Liangming Pan, Michael Saxon, Wenda Xu, Deepak Nathani, Xinyi Wang, William Yang Wang\n\n![A conceptual framework for self-correcting LLMs with automated feedback](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_f8da58571840.png)\n\n## [Content](#content)\n\n\u003Ctable>\n\u003Ctr>\u003Ctd colspan=\"2\">\u003Ca href=\"#training-time-correction\">1. Training-Time Correction\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#rlhf-strategy\">1.1 RLHF Strategy\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd> \u003Ca href=\"#fine-tuning-strategy\">1.2 Fine-tuning Strategy\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#self-training-strategy\">1.3 Self-Training Strategy\u003C\u002Fa>\u003C\u002Ftd>\n    \n\u003Ctr>\u003Ctd colspan=\"2\">\u003Ca href=\"#generation-time-correction\">2. Generation-Time Correction\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#re-ranking-strategy\">2.1 Re-Ranking Strategy\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd> \u003Ca href=\"#feedback-guided-strategy\">2.2 Feedback-guided Strategy\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\u003Ctd colspan=\"2\">\u003Ca href=\"#post-hoc-correction\">3. Post-hoc Correction\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#self-refine-strategy\">3.1 Self-Refine Strategy\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd> \u003Ca href=\"#external-feedback-strategy\">3.2 External Feedback Strategy\u003C\u002Fa>\u003C\u002Ftd>\n\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#model-debate-strategy\">3.3 Model-Debate Strategy\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## [Training-Time Correction](#content)\n\n### [RLHF Strategy](#rlhf-strategy)\n\n1. **Training Language Models to Follow Instructions with Human Feedback.** Advances in Neural Information Processing Systems (NeurIPS), 2022. [paper](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper_files\u002Fpaper\u002F2022\u002Ffile\u002Fb1efde53be364a73914f58805a001731-Paper-Conference.pdf)\n    \n    *Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F. Christiano, Jan Leike, Ryan Lowe* \n\n2. **Fine-Grained Human Feedback Gives Better Rewards for Language Model Training.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.01693.pdf)\n    \n    *Zeqiu Wu, Yushi Hu, Weijia Shi, Nouha Dziri, Alane Suhr, Prithviraj Ammanabrolu, Noah A. Smith, Mari Ostendorf, Hannaneh Hajishirzi* \n\n3. **Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback.** arxiv, 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.05862.pdf)\n\n    *Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas Joseph, Saurav Kadavath, Jackson Kernion, Tom Conerly, Sheer El-Showk, Nelson Elhage, Zac Hatfield-Dodds, Danny Hernandez, Tristan Hume, Scott Johnston, Shauna Kravec, Liane Lovitt, Neel Nanda, Catherine Olsson, Dario Amodei, Tom Brown, Jack Clark, Sam McCandlish, Chris Olah, Ben Mann, Jared Kaplan*\n\n4. **Improving Alignment of Dialogue Agents via Targeted Human Judgments.** arxiv, 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.14375.pdf)\n    \n    *Amelia Glaese, Nat McAleese, Maja Trębacz, John Aslanides, Vlad Firoiu, Timo Ewalds, Maribeth Rauh, Laura Weidinger, Martin Chadwick, Phoebe Thacker, Lucy Campbell-Gillingham, Jonathan Uesato, Po-Sen Huang, Ramona Comanescu, Fan Yang, Abigail See, Sumanth Dathathri, Rory Greig, Charlie Chen, Doug Fritz, Jaume Sanchez Elias, Richard Green, Soňa Mokrá, Nicholas Fernando, Boxi Wu, Rachel Foley, Susannah Young, Iason Gabriel, William Isaac, John Mellor, Demis Hassabis, Koray Kavukcuoglu, Lisa Anne Hendricks, Geoffrey Irving* \n\n### [Fine-tuning Strategy](#fine-tuning-strategy)\n\n1. **Training Language Models with Language Feedback at Scale.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.16755.pdf)\n    \n    *Jérémy Scheurer, Jon Ander Campos, Tomasz Korbak, Jun Shern Chan, Angelica Chen, Kyunghyun Cho, Ethan Perez* \n\n2. **Continually Improving Extractive QA via Human Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.12473.pdf)\n    \n    *Ge Gao, Hung-Ting Chen, Yoav Artzi, Eunsol Choi* \n\n3. **Chain of Hindsight Aligns Language Models with Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.02676.pdf)\n\n    *Hao Liu, Carmelo Sferrazza, Pieter Abbeel*\n\n4. **QUARK: Controllable Text Generation with Reinforced Unlearning.** Advances in Neural Information Processing Systems (NeurIPS), 2022. [paper](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper_files\u002Fpaper\u002F2022\u002Ffile\u002Fb125999bde7e80910cbdbd323087df8f-Paper-Conference.pdf)\n    \n    *Ximing Lu, Sean Welleck, Jack Hessel, Liwei Jiang, Lianhui Qin, Peter West, Prithviraj Ammanabrolu, Yejin Choi* \n \n5. **SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization.** Annual Meeting of the Association for Computational Linguistics (ACL), 2021. [paper](https:\u002F\u002Faclanthology.org\u002F2021.acl-short.135.pdf)\n\n    *Yixin Liu, Pengfei Liu*\n\n6. **BERTTune: Fine-Tuning Neural Machine Translation with BERTScore.** Annual Meeting of the Association for Computational Linguistics (ACL), 2021. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.02208.pdf)\n\n    *Inigo Jauregi Unanue, Jacob Parnell, Massimo Piccardi*\n\n### [Self-Training Strategy](#self-training-strategy)\n\n1. **STaR: Bootstrapping Reasoning With Reasoning.** Advances in Neural Information Processing Systems (NeurIPS), 2022. [paper](https:\u002F\u002Fopenreview.net\u002Fpdf?id=_3ELRdg2sgI)\n\n   *Eric Zelikman, Yuhuai Wu, Jesse Mu, Noah Goodman*\n\n2. **SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions.** Annual Meeting of the Association for Computational Linguistics (ACL), 2023. [paper](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.754.pdf)\n    \n    *Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi* \n\n3. **Constitutional AI: Harmlessness from AI Feedback.** arxiv, 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.08073.pdf)\n    \n    *Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, Jared Kaplan* \n\n4. **Language Model Self-improvement by Reinforcement Learning Contemplation.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14483.pdf)\n\n    *Jing-Cheng Pang, Pengyuan Wang, Kaiyuan Li, Xiong-Hui Chen, Jiacheng Xu, Zongzhang Zhang, Yang Yu*\n\n5. **Large Language Models Can Self-Improve.** arxiv, 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.11610.pdf)\n    \n    *Jiaxin Huang, Shixiang Shane Gu, Le Hou, Yuexin Wu, Xuezhi Wang, Hongkun Yu, Jiawei Han* \n\n6. **AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14387.pdf)\n    \n    *Yann Dubois, Xuechen Li, Rohan Taori, Tianyi Zhang, Ishaan Gulrajani, Jimmy Ba, Carlos Guestrin, Percy Liang, Tatsunori B. Hashimoto* \n\n## [Generation-Time Correction](#content)\n\n### [Re-Ranking Strategy](#re-ranking-strategy)\n\n1. **Large Language Models are Better Reasoners with Self-Verification.** arXiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09561.pdf)\n    \n    *Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Kang Liu, Jun Zhao* \n\n2. **CodeT: Code Generation with Generated Tests.**  International Conference on Learning Representations (ICLR), 2023. [paper](https:\u002F\u002Fopenreview.net\u002Fpdf?id=ktrw68Cmu9c)\n    \n    *Bei Chen, Fengji Zhang, Anh Nguyen, Daoguang Zan, Zeqi Lin, Jian-Guang Lou, Weizhu Chen* \n\n3. **LEVER: Learning to Verify Language-to-Code Generation with Execution.** International Conference on Machine Learning (ICML), 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.08468.pdf)\n    \n    *Ansong Ni, Srini Iyer, Dragomir Radev, Ves Stoyanov, Wen-tau Yih, Sida I. Wang, Xi Victoria Lin* \n\n4. **Rethinking with Retrieval: Faithful Large Language Model Inference.** arxiv, 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.00303.pdf)\n\n    *Hangfeng He, Hongming Zhang, Dan Roth*\n\n5. **INSTRUCTSCORE: Towards Explainable Text Generation Evaluation with Automatic Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14282.pdf)\n    \n    *Wenda Xu, Danqing Wang, Liangming Pan, Zhenqiao Song, Markus Freitag, William Yang Wang, Lei Li* \n\n6. **High Quality Rather than High Model Probability: Minimum Bayes Risk Decoding with Neural Metric.** Transactions of the Association for Computational Linguistics (TACL), 2022. [paper](https:\u002F\u002Faclanthology.org\u002F2022.tacl-1.47.pdf)\n    \n    *Markus Freitag, David Grangier, Qijun Tan, Bowen Liang* \n\n7. **Making Language Models Better Reasoners with Step-Aware Verifier.** Annual Meeting of the Association for Computational Linguistics (ACL), 2023. [paper](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.291.pdf)\n    \n    *Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen* \n\n\n### [Feedback-guided Strategy](#feedback-guided-strategy)\n\n1. **Let's Verify Step by Step.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.20050.pdf)\n    \n    *Hunter Lightman, Vineet Kosaraju, Yura Burda, Harri Edwards, Bowen Baker, Teddy Lee, Jan Leike, John Schulman, Ilya Sutskever, Karl Cobbe* \n\n2. **Diffusion-LM Improves Controllable Text Generation.** Advances in Neural Information Processing Systems (NeurIPS), 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.14217.pdf)\n    \n    *Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto*\n\n3. **FUDGE: Controlled Text Generation With Future Discriminators.** North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), 2021. [paper](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.276.pdf)\n   \n   *Kevin Yang, Dan Klein*\n\n4. **Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning.**  Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022. [paper](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.134.pdf)\n    \n    *Oyvind Tafjord, Bhavana Dalvi Mishra, Peter Clark* \n    \n5. **Generating Natural Language Proofs with Verifier-Guided Search.** Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022. [paper](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.7.pdf)\n    \n    *Kaiyu Yang, Jia Deng, Danqi Chen*\n\n6. **Discriminator-Guided Multi-step Reasoning with Language Models.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14934.pdf)\n    \n    *Muhammad Khalifa, Lajanugen Logeswaran, Moontae Lee, Honglak Lee, Lu Wang*\n \n7. **Solving Math Word Problems via Cooperative Reasoning Induced Language Models.** Annual Meeting of the Association for Computational Linguistics (ACL), 2023. [paper](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.245.pdf)\n    \n    *Xinyu Zhu, Junjie Wang, Lin Zhang, Yuxiang Zhang, Yongfeng Huang, Ruyi Gan, Jiaxing Zhang, Yujiu Yang*\n\n8. **Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations.** Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022. [paper](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.82.pdf)\n    \n    *Jaehun Jung, Lianhui Qin, Sean Welleck, Faeze Brahman, Chandra Bhagavatula, Ronan Le Bras, Yejin Choi*\n\n9. **Faithful Reasoning Using Large Language Models.** arxiv, 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2208.14271.pdf)\n    \n    *Antonia Creswell, Murray Shanahan*\n\n10. **Reasoning with Language Model is Planning with World Model.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14992.pdf)\n    \n    *Shibo Hao, Yi Gu, Haodi Ma, Joshua Jiahua Hong, Zhen Wang, Daisy Zhe Wang, Zhiting Hu*\n\n11. **Decomposition Enhances Reasoning via Self-Evaluation Guided Decoding.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.00633.pdf)\n    \n    *Yuxi Xie, Kenji Kawaguchi, Yiran Zhao, Xu Zhao, Min-Yen Kan, Junxian He, Qizhe Xie*\n\n12. **Tree of Thoughts: Deliberate Problem Solving with Large Language Models.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.10601.pdf)\n    \n    *Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan* \n\n## [Post-hoc Correction](#content)\n\n### [Self-Refine Strategy](#self-refine-strategy)\n\n1. **Self-Refine: Iterative Refinement with Self-Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.17651.pdf)\n\n    *Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark*\n\n2. **Self-Verification Improves Few-Shot Clinical Information Extraction.** arxiv,2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.00024.pdf)\n\n    *Zelalem Gero, Chandan Singh, Hao Cheng, Tristan Naumann, Michel Galley, Jianfeng Gao, Hoifung Poon*\n\n3. **Reflexion: Language Agents with Verbal Reinforcement Learning.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.11366.pdf)\n   \n   *Noah Shinn, Federico Cassano, Beck Labash, Ashwin Gopinath, Karthik Narasimhan, Shunyu Yao*\n\n4. **Iterative Translation Refinement with Large Language Models.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.03856.pdf)\n   \n   *Pinzhen Chen, Zhicheng Guo, Barry Haddow, Kenneth Heafield*\n\n5. **Leveraging GPT-4 for Automatic Translation Post-Editing.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14878.pdf)\n   \n   *Vikas Raunak, Amr Sharaf, Hany Hassan Awadallah, Arul Menezes*\n\n6. **Language Models can Solve Computer Tasks.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.17491.pdf)\n   \n   *Geunwoo Kim, Pierre Baldi, Stephen McAleer*\n\n7. **SelFee: Iterative Self-Revising LLM Empowered by Self-Feedback Generation.** Blog Post, 2023. [website](https:\u002F\u002Fkaistai.github.io\u002FSelFee\u002F)\n   \n   *Seonghyeon Ye, Yongrae Jo, Doyoung Kim, Sungdong Kim, Hyeonbin Hwang, Minjoon Seo*\n\n8. **SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.08896.pdf)\n   \n   *Potsawee Manakul, Adian Liusie, Mark J. F. Gales*\n\n9. **CLOVA: A Closed-LOop Visual Assistant with Tool Usage and Update** arxiv, 2023 [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.10908)\n\n    *Zhi Gao, Yuntao Du, Xintong Zhang, Xiaojian Ma, Wenjuan Han, Song-Chun Zhu, Qing Li*\n\n\n### [External Feedback Strategy](#external-feedback-strategy)\n\n1. **Re3: Generating Longer Stories With Recursive Reprompting and Revision.** Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022. [paper](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.296.pdf)\n\n    *Kevin Yang, Yuandong Tian, Nanyun Peng, Dan Klein*\n\n2. **CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning.** Advances in Neural Information Processing Systems (NeurIPS), 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.01780.pdf)\n\n    *Hung Le, Yue Wang, Akhilesh Deepak Gotmare, Silvio Savarese, Steven C.H. Hoi*\n\n3. **REFINER: Reasoning Feedback on Intermediate Representations.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.01904.pdf)\n   \n   *Debjit Paul, Mete Ismayilzada, Maxime Peyrard, Beatriz Borges, Antoine Bosselut, Robert West, Boi Faltings*\n\n4. **RL4F: Generating Natural Language Feedback with Reinforcement Learning for Repairing Model Outputs.** Annual Meeting of the Association for Computational Linguistics (ACL), 2023. [paper](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.427.pdf)\n   \n   *Afra Feyza Akyurek, Ekin Akyurek, Ashwin Kalyan, Peter Clark, Derry Tanti Wijaya, Niket Tandon*\n\n5. **Learning to Simulate Natural Language Feedback for Interactive Semantic Parsing.** Annual Meeting of the Association for Computational Linguistics (ACL), 2023. [paper](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.177.pdf)\n   \n   *Hao Yan, Saurabh Srivastava, Yintao Tai, Sida I. Wang, Wen-tau Yih, Ziyu Yao* \n\n6. **Baldur: Whole-Proof Generation and Repair with Large Language Models.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.04910.pdf)\n   \n   *Emily First, Markus N. Rabe, Talia Ringer, Yuriy Brun* \n\n7. **CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11738.pdf)\n   \n   *Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang, Nan Duan, Weizhu Chen* \n\n8. **FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.13528.pdf)\n   \n   *I-Chun Chern, Steffi Chern, Shiqi Chen, Weizhe Yuan, Kehua Feng, Chunting Zhou, Junxian He, Graham Neubig, Pengfei Liu* \n\n9. **RARR: Researching and Revising What Language Models Say, Using Language Models.** Annual Meeting of the Association for Computational Linguistics (ACL), 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.08726.pdf)\n   \n   *Luyu Gao, Zhuyun Dai, Panupong Pasupat, Anthony Chen, Arun Tejasvi Chaganty, Yicheng Fan, Vincent Y. Zhao, Ni Lao, Hongrae Lee, Da-Cheng Juan, Kelvin Guu* \n\n10. **Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.12813.pdf)\n   \n    *Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng, Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou Yu, Weizhu Chen, Jianfeng Gao* \n\n11. **Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14623.pdf)\n   \n    *Miaoran Li, Baolin Peng, Zhu Zhang* \n\n12. **Improving Language Models via Plug-and-Play Retrieval Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14002.pdf)\n   \n    *Wenhao Yu, Zhihan Zhang, Zhenwen Liang, Meng Jiang, Ashish Sabharwal* \n\n13. **Demystifying GPT Self-Repair for Code Generation.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.09896.pdf)\n   \n    *Theo X. Olausson, Jeevana Priya Inala, Chenglong Wang, Jianfeng Gao, Armando Solar-Lezama* \n\n14. **Self-Edit: Fault-Aware Code Editor for Code Generation.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.04087.pdf)\n   \n    *Kechi Zhang, Zhuo Li, Jia Li, Ge Li, Zhi Jin* \n\n15. **Teaching Large Language Models to Self-Debug.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.05128.pdf)\n   \n    *Xinyun Chen, Maxwell Lin, Nathanael Schärli, Denny Zhou* \n\n16. **SelfEvolve: A Code Evolution Framework via Large Language Models.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.02907.pdf)\n   \n    *Shuyang Jiang, Yuhao Wang, Yu Wang* \n\n17. **Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.12295.pdf)\n   \n    *Liangming Pan, Alon Albalak, Xinyi Wang, William Yang Wang* \n\n18.  **Self-Critiquing Models for Assisting Human Evaluators.** arxiv, 2022. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2206.05802.pdf)\n   \n     *William Saunders, Catherine Yeh, Jeff Wu, Steven Bills, Long Ouyang, Jonathan Ward, Jan Leike* \n\n19. **ALGO: Synthesizing Algorithmic Programs with Generated Oracle Verifiers.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14591.pdf)\n   \n    *Kexun Zhang, Danqing Wang, Jingtao Xia, William Yang Wang, Lei Li* \n\n20. **A New Era in Software Security: Towards Self-Healing Software via Large Language Models and Formal Verification.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14752.pdf)\n   \n    *Yiannis Charalambous, Norbert Tihanyi, Ridhi Jain, Youcheng Sun, Mohamed Amine Ferrag, Lucas C. Cordeiro* \n\n21. **Generating Sequences by Learning to Self-Correct.** International Conference on Learning Representations (ICLR), 2023. [paper](https:\u002F\u002Fopenreview.net\u002Fpdf?id=hH36JeQZDaO)\n   \n    *Sean Welleck, Ximing Lu, Peter West, Faeze Brahman, Tianxiao Shen, Daniel Khashabi, Yejin Choi* \n\n22. **MAF: Multi-Aspect Feedback for Improving Reasoning in Large Language Models.** Conference on Empirical Methods in Natural Language Processing (EMNLP), 2023. [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.12426)\n\n    *Deepak Nathani, David Wang, Liangming Pan, William Yang Wang*\n\n23. **CLOVA: A Closed-LOop Visual Assistant with Tool Usage and Update** arxiv, 2023 [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.10908)\n\n    *Zhi Gao, Yuntao Du, Xintong Zhang, Xiaojian Ma, Wenjuan Han, Song-Chun Zhu, Qing Li*\n\n24. **LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints** Conference on Empirical Methods in Natural Language Processing (EMNLP), 2024. [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.06458)\n\n    *Thomas Palmeira Ferraz, Kartik Mehta, Yu-Hsiang Lin, Haw-Shiuan Chang, Shereen Oraby, Sijia Liu, Vivek Subramanian, Tagyoung Chung, Mohit Bansal, Nanyun Peng*\n\n### [Model-Debate Strategy](#model-debate-strategy)\n\n1. **Improving Factuality and Reasoning in Language Models through Multiagent Debate.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14325.pdf)\n   \n   *Yilun Du, Shuang Li, Antonio Torralba, Joshua B. Tenenbaum, Igor Mordatch*\n\n2. **LM vs LM: Detecting Factual Errors via Cross Examination.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.13281.pdf)\n   \n   *Roi Cohen, May Hamri, Mor Geva, Amir Globerson*\n\n3.  **Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback.** arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.10142.pdf)\n   \n    *Yao Fu, Hao Peng, Tushar Khot, Mirella Lapata*\n\n4. **PRD: Peer Rank and Discussion Improve Large Language Model-based Evaluations.**  arxiv, 2023. [paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.02762.pdf)\n   \n   *Ruosen Li, Teerth Patel, Xinya Du*\n\n\n## Contribution\n### Contributors\n\n\u003C!--\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fteacherpeterpan\u002Fself-correction-llm-papers\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_a7841029fc47.png\" \u002F>\n\u003C\u002Fa>\n-->\n\n\u003C!-- ALL-CONTRIBUTORS-LIST:START - Do not remove or modify this section -->\n\u003C!-- prettier-ignore-start -->\n\u003C!-- markdownlint-disable -->\n\u003Ctable>\n  \u003Ctbody>\n    \u003Ctr>\n      \u003Ctd align=\"center\" valign=\"top\" width=\"120px\">\n          \u003Ca href=\"http:\u002F\u002Fwww.liangmingpan.com\u002F\">\n              \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_7b4e049679c7.png\" width=\"80px;\" alt=\"Liangming Pan\"\u002F>\n              \u003Cbr \u002F>\n              \u003Csub>\u003Cb>Liangming Pan\u003C\u002Fb>\u003C\u002Fsub>\n          \u003C\u002Fa>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" valign=\"top\" width=\"120px\">\n          \u003Ca href=\"https:\u002F\u002Fxinyuanlu00.github.io\u002F\">\n              \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_087c0df32bc7.png\" width=\"80px;\" alt=\"Xinyuan Lu\"\u002F>\n              \u003Cbr \u002F>\n              \u003Csub>\u003Cb>Xinyuan Lu\u003C\u002Fb>\u003C\u002Fsub>\n          \u003C\u002Fa>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n### Acknowledgement\n-  There are cases where we miss important works in this field, please contribute to this repo! Thanks for your efforts in advance.\n- If you encounter any problem, please either directly contact [Liangming Pan](liangmingpan@ucsb.edu) or leave an issue in the GitHub repo.\n","# 自纠正大语言模型论文集\n\n[![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002Fsindresorhus\u002Fawesome) \n![GitHub 星标](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fteacherpeterpan\u002Fself-correction-llm-papers?color=yellow)\n![GitHub 分支](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fforks\u002Fteacherpeterpan\u002Fself-correction-llm-papers?color=9cf)\n[![许可证](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg)](https:\u002F\u002Fgithub.com\u002Fteacherpeterpan\u002Fself-correction-llm-papers\u002Fblob\u002Fmain\u002FLICENSE)\n\n这是一个关于**具有自动化反馈的自纠正大型语言模型**的研究论文合集。\n\n我们的综述论文：[自动纠正大型语言模型：探索多样化的自纠正策略](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.03188)。作者：Liangming Pan、Michael Saxon、Wenda Xu、Deepak Nathani、Xinyi Wang、William Yang Wang\n\n![具有自动化反馈的自纠正大语言模型概念框架](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_f8da58571840.png)\n\n## [目录](#content)\n\n\u003Ctable>\n\u003Ctr>\u003Ctd colspan=\"2\">\u003Ca href=\"#training-time-correction\">1. 训练时纠正\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#rlhf-strategy\">1.1 RLHF 策略\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd> \u003Ca href=\"#fine-tuning-strategy\">1.2 微调策略\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#self-training-strategy\">1.3 自训练策略\u003C\u002Fa>\u003C\u002Ftd>\n    \n\u003Ctr>\u003Ctd colspan=\"2\">\u003Ca href=\"#generation-time-correction\">2. 生成时纠正\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#re-ranking-strategy\">2.1 重排序策略\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd> \u003Ca href=\"#feedback-guided-strategy\">2.2 反馈引导策略\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\u003Ctd colspan=\"2\">\u003Ca href=\"#post-hoc-correction\">3. 事后纠正\u003C\u002Fa>\u003C\u002Ftd>\u003C\u002Ftr>\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#self-refine-strategy\">3.1 自精炼策略\u003C\u002Fa>\u003C\u002Ftd>\n    \u003Ctd> \u003Ca href=\"#external-feedback-strategy\">3.2 外部反馈策略\u003C\u002Fa>\u003C\u002Ftd>\n\n\u003Ctr>\n    \u003Ctd> \u003Ca href=\"#model-debate-strategy\">3.3 模型辩论策略\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## [训练时纠正](#content)\n\n### [RLHF 策略](#rlhf-strategy)\n\n1. **通过人类反馈训练语言模型遵循指令。** 神经信息处理系统进展会议（NeurIPS），2022年。[论文](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper_files\u002Fpaper\u002F2022\u002Ffile\u002Fb1efde53be364a73914f58805a001731-Paper-Conference.pdf)\n    \n    *Long Ouyang、Jeffrey Wu、Xu Jiang、Diogo Almeida、Carroll L. Wainwright、Pamela Mishkin、Chong Zhang、Sandhini Agarwal、Katarina Slama、Alex Ray、John Schulman、Jacob Hilton、Fraser Kelton、Luke Miller、Maddie Simens、Amanda Askell、Peter Welinder、Paul F. Christiano、Jan Leike、Ryan Lowe* \n\n2. **细粒度的人类反馈为语言模型训练提供更好的奖励。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.01693.pdf)\n    \n    *Zeqiu Wu、Yushi Hu、Weijia Shi、Nouha Dziri、Alane Suhr、Prithviraj Ammanabrolu、Noah A. Smith、Mari Ostendorf、Hannaneh Hajishirzi* \n\n3. **通过来自人类反馈的强化学习训练一个有益且无害的助手。** arXiv，2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.05862.pdf)\n\n    *Yuntao Bai、Andy Jones、Kamal Ndousse、Amanda Askell、Anna Chen、Nova DasSarma、Dawn Drain、Stanislav Fort、Deep Ganguli、Tom Henighan、Nicholas Joseph、Saurav Kadavath、Jackson Kernion、Tom Conerly、Sheer El-Showk、Nelson Elhage、Zac Hatfield-Dodds、Danny Hernandez、Tristan Hume、Scott Johnston、Shauna Kravec、Liane Lovitt、Neel Nanda、Catherine Olsson、Dario Amodei、Tom Brown、Jack Clark、Sam McCandlish、Chris Olah、Ben Mann、Jared Kaplan*\n\n4. **通过有针对性的人类判断改进对话代理的一致性。** arXiv，2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.14375.pdf)\n    \n    *Amelia Glaese、Nat McAleese、Maja Trębacz、John Aslanides、Vlad Firoiu、Timo Ewalds、Maribeth Rauh、Laura Weidinger、Martin Chadwick、Phoebe Thacker、Lucy Campbell-Gillingham、Jonathan Uesato、Po-Sen Huang、Ramona Comanescu、Fan Yang、Abigail See、Sumanth Dathathri、Rory Greig、Charlie Chen、Doug Fritz、Jaume Sanchez Elias、Richard Green、Soňa Mokrá、Nicholas Fernando、Boxi Wu、Rachel Foley、Susannah Young、Iason Gabriel、William Isaac、John Mellor、Demis Hassabis、Koray Kavukcuoglu、Lisa Anne Hendricks、Geoffrey Irving* \n\n### [微调策略](#fine-tuning-strategy)\n\n1. **大规模语言反馈下训练语言模型。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.16755.pdf)\n    \n    *Jérémy Scheurer、Jon Ander Campos、Tomasz Korbak、Jun Shern Chan、Angelica Chen、Kyunghyun Cho、Ethan Perez* \n\n2. **通过人类反馈持续改进抽取式问答。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.12473.pdf)\n    \n    *Ge Gao、Hung-Ting Chen、Yoav Artzi、Eunsol Choi* \n\n3. **事后链使语言模型与反馈对齐。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.02676.pdf)\n\n    *Hao Liu、Carmelo Sferrazza、Pieter Abbeel*\n\n4. **QUARK：通过强化遗忘实现可控文本生成。** 神经信息处理系统进展会议（NeurIPS），2022年。[论文](https:\u002F\u002Fproceedings.neurips.cc\u002Fpaper_files\u002Fpaper\u002F2022\u002Ffile\u002Fb125999bde7e80910cbdbd323087df8f-Paper-Conference.pdf)\n    \n    *Ximing Lu、Sean Welleck、Jack Hessel、Liwei Jiang、Lianhui Qin、Peter West、Prithviraj Ammanabrolu、Yejin Choi* \n \n5. **SimCLS：抽象摘要对比学习的简单框架。** 计算语言学协会年度会议（ACL），2021年。[论文](https:\u002F\u002Faclanthology.org\u002F2021.acl-short.135.pdf)\n\n    *Yixin Liu、Pengfei Liu*\n\n6. **BERTTune：使用 BERTScore 对神经机器翻译进行微调。** 计算语言学协会年度会议（ACL），2021年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.02208.pdf)\n\n    *Inigo Jauregi Unanue、Jacob Parnell、Massimo Piccardi*\n\n### [自训练策略](#self-training-strategy)\n\n1. **STaR：通过推理进行推理的自举。** 神经信息处理系统大会（NeurIPS），2022年。[论文](https:\u002F\u002Fopenreview.net\u002Fpdf?id=_3ELRdg2sgI)\n\n   *埃里克·泽利克曼、吴宇怀、杰西·穆、诺亚·古德曼*\n\n2. **SELF-INSTRUCT：利用自我生成的指令对齐语言模型。** 计算语言学协会年会（ACL），2023年。[论文](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.754.pdf)\n    \n    *王一中、耶加内·科尔迪、斯瓦鲁普·米什拉、阿丽莎·刘、诺亚·A·史密斯、丹尼尔·卡沙比、汉娜内·哈吉希尔齐* \n\n3. **宪法式AI：从AI反馈中实现无害性。** arXiv，2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.08073.pdf)\n    \n    *白云涛、索劳夫·卡达瓦特、桑迪潘·昆杜、阿曼达·阿斯克尔、杰克逊·科尼恩、安迪·琼斯、安娜·陈、安娜·戈尔迪、阿扎莉娅·米尔霍塞尼、卡梅伦·麦金农、卡罗尔·陈、凯瑟琳·奥尔森、克里斯托弗·奥拉、丹尼·埃尔南德斯、道恩·德雷恩、迪普·甘古利、达斯汀·李、伊莱·特兰-约翰逊、伊森·佩雷斯、杰米·克尔、贾雷德·穆勒、杰弗里·拉迪什、乔舒亚·兰道、卡马尔·恩多斯、卡米莱·卢科修特、莉安·洛维特、迈克尔·塞利托、尼尔森·埃尔哈格、尼古拉斯·希费尔、诺埃米·梅尔卡多、诺娃·达萨尔马、罗伯特·拉森比、罗宾·拉尔森、萨姆·林格、斯科特·约翰斯顿、绍娜·克拉韦克、希尔·埃尔·肖克、斯坦尼斯拉夫·福特、塔梅拉·兰厄姆、蒂莫西·泰林-劳顿、汤姆·科纳利、汤姆·赫尼根、特里斯坦·休姆、塞缪尔·R·鲍曼、扎克·哈特菲尔德-多兹、本·曼、达里奥·阿莫迪、尼古拉斯·约瑟夫、萨姆·麦坎德利什、汤姆·布朗、贾雷德·卡普兰* \n\n4. **基于强化学习反思的语言模型自我改进。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14483.pdf)\n\n    *庞景程、王鹏远、李开元、陈雄辉、徐嘉诚、张宗章、余洋*\n\n5. **大型语言模型可以自我改进。** arXiv，2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.11610.pdf)\n    \n    *黄家欣、顾世翔、侯乐、吴悦鑫、王雪芝、于洪坤、韩佳伟* \n\n6. **AlpacaFarm：用于学习人类反馈方法的仿真框架。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14387.pdf)\n    \n    *扬·杜布瓦、李雪晨、罗翰·陶里、张天义、伊尚·古尔拉贾尼、吉米·巴、卡洛斯·盖斯特林、珀西·梁、夏目隆则* \n\n## [生成时修正](#content)\n\n### [重排序策略](#re-ranking-strategy)\n\n1. **大型语言模型通过自我验证成为更好的推理者。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09561.pdf)\n    \n    *翁毅轩、朱敏俊、夏飞、李斌、何仕柱、刘康、赵军* \n\n2. **CodeT：利用生成的测试进行代码生成。** 国际表征学习会议（ICLR），2023年。[论文](https:\u002F\u002Fopenreview.net\u002Fpdf?id=ktrw68Cmu9c)\n    \n    *陈贝、张凤吉、阮英、赞道光、林泽奇、楼建光、陈伟竹* \n\n3. **LEVER：通过执行学习验证语言到代码的生成。** 国际机器学习会议（ICML），2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.08468.pdf)\n    \n    *倪安松、斯里尼·艾耶尔、德拉戈米尔·拉德夫、韦斯·斯托亚诺夫、易文涛、王思达·I、林希·维多利亚* \n\n4. **借助检索重新思考：忠实的大语言模型推理。** arXiv，2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.00303.pdf)\n\n    *何航峰、张宏明、丹·罗斯*\n\n5. **INSTRUCTSCORE：迈向具有自动反馈的可解释文本生成评估。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14282.pdf)\n    \n    *许文达、王丹青、潘良明、宋振桥、马库斯·弗赖塔格、威廉·杨·王、李磊* \n\n6. **高质量而非高模型概率：基于神经度量的最小贝叶斯风险解码。** 计算语言学协会期刊（TACL），2022年。[论文](https:\u002F\u002Faclanthology.org\u002F2022.tacl-1.47.pdf)\n    \n    *马库斯·弗赖塔格、大卫·格兰吉耶、谭启俊、梁博文* \n\n7. **利用步骤感知验证器使语言模型成为更好的推理者。** 计算语言学协会年会（ACL），2023年。[论文](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.291.pdf)\n    \n    *李一飞、林泽奇、张士卓、傅强、陈贝、楼建光、陈伟竹*\n\n### [反馈引导策略](#feedback-guided-strategy)\n\n1. **让我们逐步验证。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.20050.pdf)\n    \n    *亨特·莱特曼、维尼特·科萨拉朱、尤拉·伯达、哈里·爱德华兹、鲍文·贝克、泰迪·李、扬·莱克、约翰·舒尔曼、伊利亚·苏茨克维尔、卡尔·科布*\n\n2. **扩散语言模型提升可控文本生成。** 神经信息处理系统进展会议（NeurIPS），2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.14217.pdf)\n    \n    *李香丽莎、约翰·希克斯顿、伊沙恩·古尔拉贾尼、珀西·梁、夏目典则*\n\n3. **FUDGE：利用未来判别器进行可控文本生成。** 计算语言学协会北美分会：人类语言技术会议（NAACL），2021年。[论文](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.276.pdf)\n   \n   *凯文·杨、丹·克莱因*\n\n4. **Entailer：以忠实且真实的理由链回答问题。** 自然语言处理经验方法会议（EMNLP），2022年。[论文](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.134.pdf)\n    \n    *奥伊温德·塔夫乔德、巴瓦娜·达尔维·米什拉、彼得·克拉克* \n    \n5. **利用验证器引导搜索生成自然语言证明。** 自然语言处理经验方法会议（EMNLP），2022年。[论文](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.7.pdf)\n    \n    *杨凯宇、邓佳、陈丹琪*\n\n6. **判别器引导的多步推理与语言模型。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14934.pdf)\n    \n    *穆罕默德·哈利法、拉贾努根·洛格斯瓦兰、蒙泰·李、洪拉克·李、王璐*\n\n7. **通过合作推理诱导的语言模型解决数学应用题。** 计算语言学协会年会（ACL），2023年。[论文](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.245.pdf)\n    \n    *朱新宇、王俊杰、张林、张宇翔、黄永峰、甘如怡、张嘉兴、杨宇久*\n\n8. **助产术提示：利用递归解释实现逻辑一致的推理。** 自然语言处理经验方法会议（EMNLP），2022年。[论文](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.82.pdf)\n    \n    *郑在勋、秦连辉、肖恩·韦莱克、法泽·布拉赫曼、钱德拉·巴加瓦图拉、罗南·勒布拉斯、叶金·崔*\n\n9. **使用大型语言模型进行忠实推理。** arxiv，2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2208.14271.pdf)\n    \n    *安东尼娅·克雷斯韦尔、默里·沙纳汉*\n\n10. **利用语言模型进行推理即是在构建世界模型的基础上进行规划。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14992.pdf)\n    \n    *郝世博、顾毅、马浩迪、洪家华、王振、王哲黛西、胡志婷*\n\n11. **分解增强推理：基于自我评估引导的解码。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.00633.pdf)\n    \n    *谢宇曦、川口健二、赵一然、赵旭、简明彦、何俊贤、谢启哲*\n\n12. **思维之树：利用大型语言模型进行深思熟虑的问题解决。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.10601.pdf)\n    \n    *姚顺宇、于典、赵杰弗里、伊扎克·沙夫兰、托马斯·L·格里菲斯、曹源、卡蒂克·纳拉西曼*\n\n## [事后修正](#content)\n\n### [自我精炼策略](#self-refine-strategy)\n\n1. **自我精炼：基于自我反馈的迭代优化。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.17651.pdf)\n\n    *阿曼·马丹、尼凯特·坦东、普拉卡尔·古普塔、斯凯勒·哈利南、高露雨、萨拉·维格雷夫、乌里·阿隆、努哈·德齐里、施赖迈·普拉布莫耶、杨一鸣、沙尚克·古普塔、博迪萨特瓦·普拉萨德·马朱姆德尔、凯瑟琳·赫尔曼、肖恩·韦莱克、阿米尔·亚兹丹巴赫什、彼得·克拉克*\n\n2. **自我验证提升少样本临床信息抽取。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.00024.pdf)\n\n    *泽拉莱姆·盖罗、钱丹·辛格、程浩、特里斯坦·诺曼、米歇尔·加利、高建峰、霍伊丰·普恩*\n\n3. **反思：具有言语强化学习能力的语言代理。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.11366.pdf)\n   \n   *诺亚·辛恩、费德里科·卡萨诺、贝克·拉巴什、阿什温·戈皮纳特、卡蒂克·纳拉西曼、姚顺宇*\n\n4. **利用大型语言模型进行迭代翻译优化。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.03856.pdf)\n   \n   *陈品珍、郭志成、巴里·哈道、肯尼思·希菲尔德*\n\n5. **利用GPT-4进行自动翻译后编辑。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14878.pdf)\n   \n   *维卡斯·劳纳克、阿姆尔·沙拉夫、哈尼·哈桑·阿瓦达拉、阿鲁尔·梅内塞斯*\n\n6. **语言模型可以解决计算机任务。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.17491.pdf)\n   \n   *金根佑、皮埃尔·巴尔迪、斯蒂芬·麦卡利尔*\n\n7. **SelFee：由自我反馈生成驱动的迭代式自我修订大型语言模型。** 博客文章，2023年。[网站](https:\u002F\u002Fkaistai.github.io\u002FSelFee\u002F)\n   \n   *成贤叶、容来赵、斗荣金、成东金、贤彬黄、敏俊徐*\n\n8. **SelfCheckGPT：面向生成式大型语言模型的零资源黑盒幻觉检测。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.08896.pdf)\n   \n   *波特萨维·马纳库尔、阿迪安·刘西、马克·J·F·盖尔斯*\n\n9. **CLOVA：具备工具使用与更新功能的闭环视觉助手。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.10908)\n\n    *高志、杜云涛、张欣彤、马晓健、韩文娟、朱松春、李青*\n\n### [外部反馈策略](#external-feedback-strategy)\n\n1. **Re3：通过递归式重提示与修订生成更长的故事。** 自然语言处理中的经验方法会议（EMNLP），2022年。[论文](https:\u002F\u002Faclanthology.org\u002F2022.emnlp-main.296.pdf)\n\n    *凯文·杨、田元东、彭楠云、丹·克莱因*\n\n2. **CodeRL：通过预训练模型和深度强化学习掌握代码生成。** 神经信息处理系统大会（NeurIPS），2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.01780.pdf)\n\n    *Hung Le、Yue Wang、Akhilesh Deepak Gotmare、Silvio Savarese、Steven C.H. Hoi*\n\n3. **REFINER：基于中间表示的推理反馈。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.01904.pdf)\n   \n   *Debjit Paul、Mete Ismayilzada、Maxime Peyrard、Beatriz Borges、Antoine Bosselut、Robert West、Boi Faltings*\n\n4. **RL4F：利用强化学习生成自然语言反馈以修复模型输出。** 计算语言学协会年度会议（ACL），2023年。[论文](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.427.pdf)\n   \n   *Afra Feyza Akyurek、Ekin Akyurek、Ashwin Kalyan、Peter Clark、Derry Tanti Wijaya、Niket Tandon*\n\n5. **学习模拟自然语言反馈用于交互式语义解析。** 计算语言学协会年度会议（ACL），2023年。[论文](https:\u002F\u002Faclanthology.org\u002F2023.acl-long.177.pdf)\n   \n   *Hao Yan、Saurabh Srivastava、Yintao Tai、Sida I. Wang、Wen-tau Yih、Ziyu Yao* \n\n6. **Baldur：利用大型语言模型进行全证明生成与修复。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.04910.pdf)\n   \n   *Emily First、Markus N. Rabe、Talia Ringer、Yuriy Brun* \n\n7. **CRITIC：大型语言模型可通过工具交互式批评实现自我修正。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11738.pdf)\n   \n   *Gou Zhibin、Shao Zhihong、Gong Yeyun、Shen Yelong、Yang Yujiu、Duan Nan、Chen Weizhu* \n\n8. **FacTool：生成式AI中的事实性检测——一种面向多任务与多领域的工具增强框架。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.13528.pdf)\n   \n   *I-Chun Chern、Steffi Chern、Chen Shiqi、Yuan Weizhe、Feng Kehua、Zhou Chunting、He Junxian、Graham Neubig、Liu Pengfei* \n\n9. **RARR：利用语言模型研究并修订语言模型所说的内容。** 计算语言学协会年度会议（ACL），2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.08726.pdf)\n   \n   *Gao Luyu、Dai Zhuyun、Pasupat Panupong、Anthony Chen、Chaganty Arun Tejasvi、Fan Yicheng、Zhao Vincent Y.、Lao Ni、Lee Hongrae、Juan Da-Cheng、Guu Kelvin* \n\n10. **核对事实并再试一次：借助外部知识与自动化反馈改进大型语言模型。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.12813.pdf)\n   \n    *Peng Baolin、Galley Michel、He Pengcheng、Cheng Hao、Xie Yujia、Hu Yu、Huang Qiuyuan、Liden Lars、Yu Zhou、Chen Weizhu、Gao Jianfeng* \n\n11. **Self-Checker：用于大型语言模型事实核查的即插即用模块。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14623.pdf)\n   \n    *Li Miaoran、Peng Baolin、Zhang Zhu* \n\n12. **通过即插即用的检索反馈改进语言模型。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14002.pdf)\n   \n    *Yu Wenhao、Zhang Zhihan、Liang Zhenwen、Jiang Meng、Sabharwal Ashish* \n\n13. **揭秘GPT在代码生成中的自我修复机制。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.09896.pdf)\n   \n    *Theo X. Olausson、Inala Jeevana Priya、Wang Chenglong、Gao Jianfeng、Solar-Lezama Armando* \n\n14. **Self-Edit：面向代码生成的故障感知代码编辑器。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.04087.pdf)\n   \n    *Zhang Kechi、Li Zhuo、Li Jia、Li Ge、Jin Zhi* \n\n15. **教导大型语言模型进行自我调试。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.05128.pdf)\n   \n    *Chen Xinyun、Lin Maxwell、Schärli Nathanael、Zhou Denny* \n\n16. **SelfEvolve：基于大型语言模型的代码演化框架。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.02907.pdf)\n   \n    *Jiang Shuyang、Wang Yuhao、Wang Yu* \n\n17. **Logic-LM：通过符号求解器赋能大型语言模型，实现忠实的逻辑推理。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.12295.pdf)\n   \n    *Pan Liangming、Albalak Alon、Wang Xinyi、Yang Wang William* \n\n18.  **用于辅助人类评估者的自我批评模型。** arXiv，2022年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2206.05802.pdf)\n   \n     *Saunders William、Yeh Catherine、Wu Jeff、Bills Steven、Ouyang Long、Ward Jonathan、Leike Jan* \n\n19. **ALGO：利用生成的Oracle验证器合成算法程序。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14591.pdf)\n   \n    *Zhang Kexun、Wang Danqing、Xia Jingtao、Yang Wang William、Li Lei* \n\n20. **软件安全的新时代：迈向通过大型语言模型与形式化验证实现自愈软件。** arXiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14752.pdf)\n   \n    *Charalambous Yiannis、Tihanyi Norbert、Jain Ridhi、Sun Youcheng、Ferrag Mohamed Amine、Cordeiro Lucas C.* \n\n21. **通过学习自我修正来生成序列。** 国际表征学习会议（ICLR），2023年。[论文](https:\u002F\u002Fopenreview.net\u002Fpdf?id=hH36JeQZDaO)\n   \n    *Welleck Sean、Lu Ximing、West Peter、Brahman Faeze、Shen Tianxiao、Khashabi Daniel、Choi Yejin* \n\n22. **MAF：用于改进大型语言模型推理的多方面反馈。** 自然语言处理中的经验方法会议（EMNLP），2023年。[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.12426)\n\n    *Nathani Deepak、Wang David、Pan Liangming、Yang Wang William*\n\n23. **CLOVA：具有工具使用与更新功能的闭环视觉助手** arXiv，2023年 [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.10908)\n\n    *Gao Zhi、Du Yuntao、Zhang Xintong、Ma Xiaojian、Han Wenjuan、Zhu Song-Chun、Li Qing*\n\n24. **LLM自我修正：DeCRIM——分解、批评与精炼，以增强在多重约束下的指令遵循能力** 自然语言处理中的经验方法会议（EMNLP），2024年。[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.06458)\n\n    *Palmeira Ferraz Thomas、Mehta Kartik、Lin Yu-Hsiang、Chang Haw-Shiuan、Oraby Shereen、Liu Sijia、Subramanian Vivek、Chung Tagyoung、Bansal Mohit、Peng Nanyun*\n\n### [模型辩论策略](#model-debate-strategy)\n\n1. **通过多智能体辩论提升语言模型的事实性和推理能力。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14325.pdf)\n   \n   *Yilun Du、Shuang Li、Antonio Torralba、Joshua B. Tenenbaum、Igor Mordatch*\n\n2. **LM vs LM：通过交叉质询检测事实性错误。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.13281.pdf)\n   \n   *Roi Cohen、May Hamri、Mor Geva、Amir Globerson*\n\n3. **利用自我博弈和基于AI反馈的上下文学习改进语言模型谈判。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.10142.pdf)\n   \n    *Yao Fu、Hao Peng、Tushar Khot、Mirella Lapata*\n\n4. **PRD：同行排名与讨论提升基于大型语言模型的评估。** arxiv，2023年。[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.02762.pdf)\n   \n   *Ruosen Li、Teerth Patel、Xinya Du*\n\n\n## 贡献\n### 贡献者\n\n\u003C!--\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fteacherpeterpan\u002Fself-correction-llm-papers\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_a7841029fc47.png\" \u002F>\n\u003C\u002Fa>\n-->\n\n\u003C!-- ALL-CONTRIBUTORS-LIST:START - Do not remove or modify this section -->\n\u003C!-- prettier-ignore-start -->\n\u003C!-- markdownlint-disable -->\n\u003Ctable>\n  \u003Ctbody>\n    \u003Ctr>\n      \u003Ctd align=\"center\" valign=\"top\" width=\"120px\">\n          \u003Ca href=\"http:\u002F\u002Fwww.liangmingpan.com\u002F\">\n              \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_7b4e049679c7.png\" width=\"80px;\" alt=\"Liangming Pan\"\u002F>\n              \u003Cbr \u002F>\n              \u003Csub>\u003Cb>Liangming Pan\u003C\u002Fb>\u003C\u002Fsub>\n          \u003C\u002Fa>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" valign=\"top\" width=\"120px\">\n          \u003Ca href=\"https:\u002F\u002Fxinyuanlu00.github.io\u002F\">\n              \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_readme_087c0df32bc7.png\" width=\"80px;\" alt=\"Xinyuan Lu\"\u002F>\n              \u003Cbr \u002F>\n              \u003Csub>\u003Cb>Xinyuan Lu\u003C\u002Fb>\u003C\u002Fsub>\n          \u003C\u002Fa>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n### 致谢\n- 在本领域中，我们可能遗漏了一些重要工作，请大家为本仓库贡献力量！提前感谢您的努力。\n- 如果您遇到任何问题，请直接联系[Liangming Pan](liangmingpan@ucsb.edu)，或在GitHub仓库中提交issue。","# self-correction-llm-papers 快速上手指南\n\n`self-correction-llm-papers` 并非一个可执行的软件库或工具包，而是一个**学术论文合集仓库**。它系统地整理了关于“利用自动化反馈进行大语言模型自我修正”的研究文献。因此，本指南旨在指导开发者如何获取、浏览及利用该资源进行研究参考，无需传统意义上的环境安装与代码运行。\n\n## 环境准备\n\n由于本项目仅为论文列表（Markdown 格式），对系统环境无特殊要求：\n\n*   **操作系统**：Windows, macOS, Linux 均可。\n*   **前置依赖**：\n    *   现代 Web 浏览器（推荐 Chrome, Edge, Firefox）用于在线浏览。\n    *   （可选）Git：用于克隆仓库到本地。\n    *   （可选）Markdown 阅读器：如 VS Code, Typora 等，用于本地阅读。\n\n## 获取步骤\n\n你可以通过以下两种方式访问该论文合集：\n\n### 方式一：在线浏览（推荐）\n直接访问 GitHub 仓库页面，利用目录导航快速查找所需策略的论文：\n```text\nhttps:\u002F\u002Fgithub.com\u002Fteacherpeterpan\u002Fself-correction-llm-papers\n```\n*国内用户若访问 GitHub 较慢，可尝试使用镜像站（如 `https:\u002F\u002Fgithubfast.com\u002Fteacherpeterpan\u002Fself-correction-llm-papers`）或直接查看下方的分类索引。*\n\n### 方式二：本地克隆\n如果你希望离线阅读或贡献内容，可使用 Git 克隆仓库：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fteacherpeterpan\u002Fself-correction-llm-papers.git\ncd self-correction-llm-papers\n```\n\n## 基本使用\n\n本项目的核心用法是**按策略分类检索论文**。仓库将自我修正技术分为三大类，你可以根据研究需求直接定位到对应章节的论文链接（PDF）。\n\n### 1. 训练时修正 (Training-Time Correction)\n适用于希望在模型训练或微调阶段引入反馈机制的开发者。\n*   **RLHF 策略**: 基于人类反馈的强化学习（如 *Training Language Models to Follow Instructions with Human Feedback*）。\n*   **微调策略**: 利用语言反馈进行大规模训练或对比学习（如 *Chain of Hindsight*）。\n*   **自训练策略**: 模型利用自身生成的数据进行迭代优化（如 *STaR*, *Self-Instruct*, *Constitutional AI*）。\n\n### 2. 生成时修正 (Generation-Time Correction)\n适用于在推理过程中实时优化输出质量的场景。\n*   **重排序策略**: 生成多个候选答案并进行验证排序（如 *Self-Verification*, *CodeT*）。\n*   **反馈引导策略**: 在生成过程中利用判别器或验证器引导推理步骤（如 *Let's Verify Step by Step*, *Diffusion-LM*）。\n\n### 3. 事后修正 (Post-hoc Correction)\n适用于对已生成的文本进行反思和修改。\n*   **自精炼策略**: 模型根据自我反馈多次迭代修改输出（Self-Refine）。\n*   **外部反馈策略**: 结合外部工具或知识库进行修正。\n*   **模型辩论策略**: 多模型交互辩论以达成共识。\n\n### 使用示例\n假设你想研究**代码生成中的自我验证**技术：\n1.  打开仓库页面或本地 `README.md` 文件。\n2.  定位到 **2. Generation-Time Correction** -> **2.1 Re-Ranking Strategy**。\n3.  找到论文 **CodeT: Code Generation with Generated Tests**。\n4.  点击 `[paper]` 链接下载 PDF 原文进行深入阅读。\n\n> **提示**：该项目还包含一篇综述论文 *[Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies](https:\u002F\u002Farxiv.org\u002Fabs\u002F2308.03188)*，建议初学者优先阅读此文以建立整体认知框架。","某金融科技公司正在开发一款自动合规报告生成系统，要求模型输出的法律条款引用必须绝对准确且逻辑自洽。\n\n### 没有 self-correction-llm-papers 时\n- 模型在生成复杂法规分析时容易产生“幻觉”，编造不存在的法条编号，人工复核成本极高。\n- 团队缺乏系统的自我修正理论指导，只能盲目尝试提示词工程，无法从根本上解决逻辑断裂问题。\n- 面对生成错误，系统缺乏自动反馈机制，一旦输出错误内容便直接交付，导致合规风险不可控。\n- 研发人员难以区分训练时修正与生成时修正的策略差异，导致技术选型混乱，资源浪费严重。\n\n### 使用 self-correction-llm-papers 后\n- 团队依据库中\"Self-Refine Strategy\"等论文实现了多轮自我反思机制，模型能主动识别并修正编造的法条，准确率提升 40%。\n- 借助库中分类清晰的策略框架（如 RLHF、Feedback-guided），研发团队快速锁定了适合金融场景的“外部反馈修正”路径。\n- 系统集成了自动化反馈闭环，模型在输出前能利用内部逻辑校验进行多次迭代，显著降低了人工复审压力。\n- 通过参考库中关于“模型辩论策略”的研究，系统引入双模型互检机制，进一步消除了隐蔽的逻辑漏洞。\n\nself-correction-llm-papers 为构建高可靠性大模型应用提供了从理论到策略的完整导航，将不可控的生成风险转化为可管理的修正流程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fteacherpeterpan_self-correction-llm-papers_2de8c64f.png","teacherpeterpan","Liangming Pan","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fteacherpeterpan_7b4e0496.jpg","Assistant Professor,\r\nSchool of Computer Science,\r\nPeking University","Peking University","Beijing, China","peterpan10211020@gmail.com","PanLiangming","liangmingpan.bio","https:\u002F\u002Fgithub.com\u002Fteacherpeterpan",null,570,35,"2026-04-14T13:24:19","Apache-2.0","","未说明",{"notes":94,"python":92,"dependencies":95},"该项目是一个学术论文合集列表（Awesome List），用于整理关于“大语言模型自我修正”的研究论文。它不包含可执行的源代码、模型权重或训练脚本，因此没有特定的操作系统、GPU、内存、Python 版本或依赖库要求。用户只需通过浏览器查看 README 中的论文链接即可。",[],[15,54],"2026-03-27T02:49:30.150509","2026-04-20T04:06:04.001645",[],[]]