[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-RenzeLou--awesome-instruction-learning":3,"tool-RenzeLou--awesome-instruction-learning":64},[4,18,28,36,44,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[14,13,27],"语言模型",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[27,15,13,14],{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":24,"last_commit_at":42,"category_tags":43,"status":17},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[14,27],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":24,"last_commit_at":50,"category_tags":51,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[15,16,52,53,13,54,27,14,55],"视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":17},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[13,15,14,27,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":79,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":93,"env_os":94,"env_gpu":95,"env_ram":95,"env_deps":96,"category_tags":99,"github_topics":100,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":112,"updated_at":113,"faqs":114,"releases":115},2041,"RenzeLou\u002Fawesome-instruction-learning","awesome-instruction-learning","Papers and Datasets on Instruction Tuning and Following. ✨✨✨","Awesome Instruction Learning 是一个精心整理的开源资源清单，汇集了指令微调与指令遵循领域的重要论文与数据集，目前已收录近200篇前沿研究。它帮助研究人员和开发者快速掌握这一快速发展的方向，避免在海量文献中盲目搜索。随着大模型对“听懂指令”能力的要求越来越高，这个项目系统梳理了从指令生成、数据构建到模型训练的关键工作，为理解如何让AI更准确地执行人类指令提供了清晰路径。项目定期更新，内容按时间倒序排列，便于追踪最新进展，并附有作者团队的综合综述论文作为入门指南。适合AI研究人员、算法工程师、自然语言处理方向的学生，以及希望深入理解大模型训练机制的技术爱好者使用。其独特价值在于将分散的成果集中归档，并保持高活跃度的社区贡献机制，是该领域不可或缺的“导航地图”。","\u003C!-- omit in toc -->\n\u003Ch1 align=\"center\"> Awesome Instruction Learning \u003C\u002Fh1>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\">\u003Cimg src=\"https:\u002F\u002Fawesome.re\u002Fbadge.svg\" alt=\"Awesome\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning#-star-history\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FRenzeLou\u002Fawesome-instruction-learning?style=social\" alt=\"Stars\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fcommits\u002Fmain\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FRenzeLou\u002Fawesome-instruction-learning?color=#00FA9A\" alt=\"Commit\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fblob\u002Fmain\u002Fcount_number.py\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaperNumber-199-blue\" alt=\"PaperNumber\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fpulls\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-Welcome-red\" alt=\"PullRequests\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C!-- [![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning) [![Stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FRenzeLou\u002Fawesome-instruction-learning?style=social)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning#-star-history)\n\n[![Commit](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FRenzeLou\u002Fawesome-instruction-learning?color=#00FA9A)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fcommits\u002Fmain) [![PaperNumber](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaperNumber-161-blue)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fblob\u002Fmain\u002Fcount_number.py) [![PullRequests](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-Welcome-red)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fpulls)  -->\n\n\u003Cp align=\"center\">\n🔥🔥🔥 An awesome reading list of \u003Cb>Instruction Tuning and Following\u003C\u002Fb>, including \u003Cem>papers\u003C\u002Fem> and \u003Cem>datasets\u003C\u002Fem>. \n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ci> 👉 Explore our latest survey update! Feel free to dive in and discover the improvements we've made 👀 🤗 : \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.10475\"> \u003Cb>Latest Survey\u003C\u002Fb> \u003C\u002Fa> \u003C\u002Fi>\n\u003C\u002Fp>\n\u003C!-- https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1vrx3BSkHlkNO6_nP9G9l9Ape7vEoTOdf\u002Fview?usp=sharing -->\n\n---\n\n\u003C!-- What is instruction learning?\nWhy instruction learning?\n-->\n\n\u003C!-- TODO\nadd \"must read\" section to select a core subset of instruction tuning papers\n-->\n\n\n\u003C!-- omit in toc -->\n## ❤️ Contribution\n\nThis repository is currently maintained by \u003Cins>[Renze Lou](https:\u002F\u002Frenzelou.github.io\u002F) @ PennState\u003C\u002Fins> and \u003Cins>[Kai Zhang](https:\u002F\u002Fdrogozhang.github.io\u002F) @ OhioState\u003C\u002Fins>. **We appreciate any contributions** ❤️.\n\n\n\u003C!-- **\u003Cfont color='red'>Work still in progress\u003C\u002Ffont>**  🚀, **we appreciate any suggestions and contributions** ❤️. -->\n\nIf you have any suggestions or find any missed papers, feel free to [reach out](https:\u002F\u002Foutlook.office.com\u002Fmail\u002Fdeeplink\u002Fcompose?mailtouri=mailto%3Amarionojump0722%40gmail.com) or submit a [pull request](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fpulls):\n\n1. Use following markdown format.\n\n```markdown\n**Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)].\n```\n\u003C!-- >1. **Paper Title.** *Author 1, Author 2, and Author 3.* Conference\u002FJournal\u002FPreprint Year. [[pdf](link)]. -->\n\n\n2. If one preprint paper has multiple versions, please use **the earliest submitted year**.\n   \n3. Display the papers in **a year descending order** (the latest, the first).\n\n\n\u003C!-- omit in toc -->\n## 🥳 Citation\n\nFind this repository helpful? 😊😊😊  \n\nPlease consider citing our paper. 👇👇👇\n\n\n\u003C!-- *(**Note that the current version of our survey is only a draft, and we are still working on it.** The first readable version is arriving soon.)* 🚀 -->\n\n```\n@article{lou2023instruction,\n  title={A Comprehensive Survey on Instruction Following},\n  author={Lou, Renze and Zhang, Kai and Yin, Wenpeng},\n  journal={arXiv preprint arXiv:2303.10475},\n  year={2023}\n}\n```\n\n\n\n---\n\n\u003C!-- omit in toc -->\n## 🔍 Table of Contents \n\n- [1. 💁🏽‍♀️ Introduction](#1-️-introduction)\n- [2. 🎓 Surveys and Tutorials](#2--surveys-and-tutorials)\n- [3. 📚 Corpora](#3--corpora)\n- [4. 🗂️ Taxonomy](#4-️-taxonomy)\n  - [4.1 Entailment-oriented Instruction](#41-entailment-oriented-instruction)\n  - [4.2 PLM-oriented Instruction](#42-plm-oriented-instruction)\n  - [4.3 Human-oriented Instruction](#43-human-oriented-instruction)\n- [5. 📊 Analyses](#5--analyses)\n  - [5.1 Scale](#51-scale)\n  - [5.2 Explanability](#52-explanability)\n  - [5.3 Robustness and Safety](#53-robustness-and-safety)\n  - [5.4 Evaluation](#54-evaluation)\n  - [5.5 Negation](#55-negation)\n  - [5.6 Complexity](#56-complexity)\n  - [5.7 Other Papers](#57-other-papers)\n- [6. 🤖 Applications](#6--applications)\n  - [6.1 Human-Computer Interaction](#61-human-computer-interaction)\n  - [6.2 Data and Feature Augmentation](#62-data-and-feature-augmentation)\n  - [6.3 General-purpose Language Models](#63-general-purpose-language-models)\n  - [6.4 Other Papers](#64-other-papers)\n- [7. 📖 Extended Reading](#7--extended-reading)\n  - [7.1 Instruction Induction](#71-instruction-induction)\n  - [7.2 ChatGPT-related Papers](#72-chatgpt-related-papers)\n  - [7.3 Human Feedback vs. Model Feedback](#73-human-feedback-vs-model-feedback)\n  - [7.4 Scalable Oversight and Alignment](#74-scalable-oversight-and-alignment)\n  - [7.5 Other Papers](#75-other-papers)\n\n---\n\n\n## 1. 💁🏽‍♀️ Introduction\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_55e1c024b05a.png width=85% title=\"Instruction Learning vs. Full Supervised Learning\" \u002F>\n\u003C\u002Fdiv>\n\n\u003C!-- \u003Ccenter>\n    \u003Cimg style=\"border-radius: 0.3125em;\n    box-shadow: 0 2px 4px 0 rgba(34,36,38,.12),0 2px 10px 0 rgba(34,36,38,.08);\" \n    src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_55e1c024b05a.png\">\n    \u003Cbr>\n    \u003Cdiv style=\"color:orange; border-bottom: 1px solid #d9d9d9;\n    display: inline-block;\n    color: #999;\n    padding: 2px;\">Full Supervised Learning vs. Instruction Learning\u003C\u002Fdiv>\n\u003C\u002Fcenter> -->\n\n\n\nWhy *instruction-driven* learning instead of *example-driven* learning?\n\n\n- 👉 **Affordable.**  For the conventional example-driven supervised learning, each \u003Cins>*downstream*\u003C\u002Fins> task usually requires extensive labeled examples 💰. While for instruction learning, each \u003Cins>*downstream*\u003C\u002Fins> task may require only one instruction and just a few examples 🤩.\n- 👉 **One model, all tasks.** An ideal AI system should be able to quickly understand and handle various new tasks 💫.\n- 👉 **A promising research direction.** Traditional example-driven supervised learning uses labeled instances to represent the task semantics, i.e., training models by observing numerous examples to recover the original task meaning. Therefore, **why not directly use the task instruction**, **which has already occupied the essential task semantics**?\n\n\u003C!-- We all know collecting extensive labeled examples are usually expensive 💰. -->\n\n## 2. 🎓 Surveys and Tutorials\n\n\u003C!-- There are several awesome surveys and tutorials on textual instruction learning. -->\n\u003C!-- To our knowledge, our survey is the first one to provide a comprehensive and broader overview of the field of instruction learning. -->\n\u003C!-- Since each survey focuses on specific in-context instruction, we attach a label to each of them to distinguish these topics.\n, including `prompt`, `demonstrations`, `reasoning`, and `overview` (which means a broader perspective). -->\n\n\nWe use the label ![comprehensive](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcomprehensive-FFA07A) to denote the papers with a more comprehensive perspective. While some other papers are more specific to a certain in-context instruction, including ![prompt](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fprompt-90EE90), few-shot ![in-context demonstrations](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdemonstrations-FFB6C1), and CoT ![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf).\n\n1. **A Comprehensive Survey on Instruction Following.** *Renze Lou, Kai Zhang, and Wenpeng Yin.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.10475)]; [[paper list](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning)]. ![comprehensive](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcomprehensive-FFA07A)\n   \n2. **Learning from Task Instructions.** *Wenpeng Yin, Qinyuan Ye, Pengfei Liu, Xiang Ren, and Hinrich Schütze.* \u003Cins>EMNLP Tutorial\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Faclanthology.org\u002F2023.emnlp-tutorial.4.pdf)]. ![comprehensive](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcomprehensive-FFA07A)\n   \n3. **Nature Language Reasoning, A Survey.** *Fei Yu, Hongbo Zhang, and Benyou Wang.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.14725.pdf)]; [[paper list](https:\u002F\u002Fgithub.com\u002FFreedomIntelligence\u002FReasoningNLP)]. ![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf)\n\n4. **Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing.** *Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig.* \u003Cins>ACM Computing Surveys\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3560815)]; [[website](http:\u002F\u002Fpretrain.nlpedia.ai\u002F)]. ![prompt](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fprompt-90EE90)\n   \n5. **A Survey on In-context Learning**. *Qingxiu Dong, Lei Li, Damai Dai, Ce Zheng, Zhiyong Wu, Baobao Chang, Xu Sun, Jingjing Xu, Lei Li, and Zhifang Sui*. \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.00234.pdf)]. ![in-context demonstrations](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdemonstrations-FFB6C1)\n   \n6. **Towards Reasoning in Large Language Models: A Survey.** *Jie Huang, and Kevin Chen-Chuan Chang.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10403.pdf)]; [[paper list](https:\u002F\u002Fgithub.com\u002Fjeffhj\u002FLM-reasoning)]. ![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf)\n\n7. **Reasoning with Language Model Prompting: A Survey.** *Shuofei Qiao, Yixin Ou, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, and Huajun Chen.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09597.pdf)]; [[paper list](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FPrompt4ReasoningPapers)]. ![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf)\n\n\n\n## 3. 📚 Corpora\n\n**The high-quality dataset is the key factor for successful instruction tuning**. Therefore, we put the \"corpora\" section here to emphasize its importance.\n\nWe carefully design the following table, make it easy to be referred to, and keep it up-to-date. Hope it can contribute to future research of instruction tuning. 🤗\n\n *(Some rows come from [Longpre et al.](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.13688.pdf), thanks for their great work ❤️.)* \n\n\u003Ctable id=\"copora-table\" style=\"height: 353px; width: 690px;\" width=\"629\">\n\u003Ctbody>\n\u003Ctr style=\"height: 37px;\">\n\u003Ctd style=\"height: 47px; width: 124.992px; text-align: left;\" rowspan=\"2\">\u003Cstrong>Name \u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 47px; width: 61.2891px; text-align: right;\" rowspan=\"2\">\u003Cstrong>Release\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 47px; width: 85.1875px; text-align: center;\" rowspan=\"2\">\u003Cstrong>Data\u002FCode\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 37px; width: 144.289px; text-align: center;\" colspan=\"2\">\u003Cstrong>Scale\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 47px; width: 109.258px; text-align: center;\" rowspan=\"2\">\u003Cstrong>Language\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 47px;\" rowspan=\"2\">\u003Cstrong>Annotator\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 10px;\">\n\u003Ctd style=\"height: 10px; width: 60.7969px; text-align: right;\">\u003Cstrong>#Tasks\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 10px; width: 77.4922px; text-align: right;\">\u003Cstrong>#Ins. (K)\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2005.00700.pdf\">UnifiedQA\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2020\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fallenai\u002Funifiedqa\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">46\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">750\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.08835.pdf\">CrossFit\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FINK-USC\u002FCrossFit\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">159\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">71,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.08773.pdf\">Natural Inst. v1\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Finstructions.apps.allenai.org\u002F\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">61\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">620\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.01652.pdf\">Flan 2021\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">09\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002FFLAN\u002Ftree\u002Fmain#flan-2021\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">62\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">4,400\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2202.01279.pdf\">P3\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbigscience\u002FP3\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">62\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">12,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2110.15943.pdf\">MetaICL\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FMetaICL\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">142\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">3,500\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fopenreview.net\u002Fpdf?id=Vzh1BFUCiIX\">ExMix\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">11\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Ftext-to-text-transfer-transformer\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">107\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">500\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\n\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07705.pdf\">SuperNI\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07705.pdf\">(Natural Inst. v2)\u003C\u002Fa>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Finstructions.apps.allenai.org\u002F\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">1,613\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">5,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.02414.pdf\">GLM\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FTHUDM\u002FGLM-130B\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">77\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">12,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fbilingual-yellow\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.13688.pdf\">Flan 2022\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002FFLAN\u002Ftree\u002Fmain\u002Fflan\u002Fv2\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">1,836\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">15,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.01786.pdf\">xP3\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">11\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbigscience\u002FxP3\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">71\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">81,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09689.pdf\">Unnatural Inst.\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Forhonovich\u002Funnatural-instructions\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">117\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">64\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 InstructGPT\u003Csub>002\u003C\u002Fsub>\u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>text-davinci-002\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10560.pdf\">Self-Instruct\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fyizhongw\u002Fself-instruct\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">82\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 GPT-3 \u003C\u002Fp>\n\u003Cp>\u003Ccode>\u003Csub>davinci\u003C\u002Fsub>\u003C\u002Fcode>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.12017.pdf\">OPT-IML\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">2,207\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">18,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fcrfm.stanford.edu\u002F2023\u002F03\u002F13\u002Falpaca.html\">Alpaca\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">03\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">52\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 InstructGPT\u003Csub>003\u003C\u002Fsub>\u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>text-davinci-003\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.01196.pdf\">Baize\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fproject-baize\u002Fbaize-chatbot\u002Ftree\u002Fmain\u002Fdata\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">100\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fbair.berkeley.edu\u002Fblog\u002F2023\u002F04\u002F03\u002Fkoala\u002F\">Koala\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fs3.amazonaws.com\u002Fstatic.nomic.ai\u002Fgpt4all\u002F2023_GPT4All_Technical_Report.pdf\">GPT4All\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnomic-ai\u002Fgpt4all-j-prompt-generations\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">808\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.03277.pdf\">Alpaca-gpt4\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FInstruction-Tuning-with-GPT-4\u002FGPT-4-LLM\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">113\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fbilingual-yellow\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 GPT-4 \u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>gpt-4\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fvicuna.lmsys.org\u002F\">Vicuna\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">76\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fwww.databricks.com\u002Fblog\u002F2023\u002F04\u002F12\u002Fdolly-first-open-commercially-viable-instruction-tuned-llm\">Dolly\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatabrickslabs\u002Fdolly\u002Ftree\u002Fmaster\u002Fdata\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">15\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F10iR5hKwFqAKhL3umx8muOWSRm7hs5FqX\u002Fview\">Oasst\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FOpenAssistant\u002Foasst1\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">84\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.08460.pdf\">LongForm\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fakoksal\u002FLongForm\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">27\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 InstructGPT\u003Csub>003\u003C\u002Fsub>\u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>text-davinci-003\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.07995.pdf\">Symbolic-Instruct\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fsail\u002Fsymbolic-instruction-tuning\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">796\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>Synthetic Examples\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.14402.pdf\">LaMini\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FLaMini-instruction\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">2,580\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.12244.pdf\">WizardLM\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">196\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.09857.pdf\">COEDIT\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fvipulraheja\u002Fcoedit\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">82\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C!-- \u003Cp>collecting from existing text-editing datasets\u003C\u002Fp> -->\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14233.pdf\">UltraChat\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fstingning\u002Fultrachat\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">1,500\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14045.pdf\">CoT Collection\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FkaistAI\u002FCoT-Collection\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">1,060\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">1,880\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 Codex\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14327.pdf\">Dynosaur\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fdynosaur-it.github.io\u002F\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">5,740\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">801\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Frenzelou.github.io\u002FMuffin\u002F\">MUFFIN\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FReza8848\u002FMUFFIN_68k\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">68\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003Cp>🤖 GPT-4 \u003C\u002Fp>\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.19651.pdf\">Dynamics-of-Instruction\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FChiyuSONG\u002Fdynamics-of-instruction-tuning\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">40\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2311.13246.pdf\">CoachLM\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">11\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flunyiliu\u002FCoachLM\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">2\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2312.15685.pdf\">DEITA\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fhkust-nlp\u002Fdeita\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">10\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2312.14187.pdf\">WaveCoder\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">4 code-related tasks\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">20\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003Cp>🤖 GPT-4\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.02823\">Conifer\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2024\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FConiferLM\u002FConifer\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">13\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 GPT-4\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n\u003C!-- Some Notes for the alpaca:\n1. The stanford-alpaca paper is not yet published. It is mainly based on the data generation pipline of Self-Instruct, where the main difference is the author uses InstructGPT-3.5 (text-davinci-003) to replace the GPT-3 (davinci). Besides, they also change the prompt, decoding strategy, and remove the cls tasks discrimination.\n2. Alpaca-gpt4 is based on alpaca, the 52k english instructions (w\u002F optional inputs) are directly collected from alpaca. The main differences are: (a) using ChatGPT to translate 52k English instructions to parallel Chinese instructions (w\u002F optional inputs); (b) using GPT-4 to replace GPT-3.5 to annotate the outputs of these bilingual instructions; (c) additionally adopting the data generation pipline of Unnatural Instructions with GPT-4 as the annotation model.\n -->\n\n\n\u003C!-- Since I have already displayed the following data-related papers in the table above, I will not list them explicitly here.\n\n1. **Self-Instruct: Aligning Language Model with Self Generated Instructions.** *Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, and Hannaneh Hajishirzi.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10560.pdf)]; [[corpus](https:\u002F\u002Fgithub.com\u002Fyizhongw\u002Fself-instruct)].\n   \n2. **Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor.** *Or Honovich, Thomas Scialom, Omer Levy, and Timo Schick.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09689.pdf)]; [[corpus](https:\u002F\u002Fgithub.com\u002Forhonovich\u002Funnatural-instructions)]. \n   \n3. **Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks.** *Yizhong Wang, Swaroop Mishra, Pegah Alipoormolabashi, and et al.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07705.pdf)]; [[corpus](https:\u002F\u002Finstructions.apps.allenai.org\u002F)]. \n   \n4. **Cross-Task Generalization via Natural Language Crowdsourcing Instructions.** *Swaroop Mishra, Daniel Khashabi, Chitta Baral, and Hannaneh Hajishirzi.* \u003Cins>ACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-long.244.pdf)]; [[corpus](https:\u002F\u002Finstructions.apps.allenai.org\u002F)]. \n   \n5. **PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts.** *Stephen Bach, Victor Sanh, Zheng Xin Yong, and et al.* \u003Cins>ACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-demo.9.pdf)]; [[toolkit](https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fpromptsource)]; [[corpus](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbigscience\u002FP3)]. -->\n\n\n\n## 4. 🗂️ Taxonomy\n\nIn our paper, we divide the textual instructions into three categories.\n\n### 4.1 Entailment-oriented Instruction\n\n\u003C!-- Entailment-oriented instruction constructs the task output into the hypothesis and regards the origin task input as the premise. For example, the origin task is to classify `I love this movie` to a `positive` label. While the entailment-oriented paradigm aims to classify whether `Premise: I love this movie` and `Hypothesis: Is it sentiment-positive?` are entailed.  -->\n\n\u003C!-- For example, `Premise: I love this movie` and `Hypothesis: Is it sentiment-positive?` -->\n\n![entailment_oriented](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_501c8a547d9b.png)\n\nEntailment-oriented instruction regards the task **input** as the **premise**, and constructs the task **output** into the **hypothesis**. It unifies the conventional classification problems into a textual entailment paradigm.\n\n1. **A Universal Discriminator for Zero-Shot Generalization.** *Haike Xu, Zongyu Lin, Jing Zhou, Yanan Zheng, and Zhilin Yang.* \u003Cins>ACL\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.08099.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FRafa-zy\u002FUD)].\n   \n2. **ConEntail: An Entailment-based Framework for Universal Zero and Few Shot Classification with Supervised Contrastive Pretraining.** *Ranran Haoran Zhang, Aysa Xuemo Fan, and Rui Zhang.* \u003Cins>EACL\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.07587.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fpsunlpgroup\u002FConEntail)].\n   \n3. **OpenStance: Real-world Zero-shot Stance Detection.** *Hanzi Xu, Slobodan Vucetic, and Wenpeng Yin.* \u003Cins>CoNLL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.14299.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fxhz0809\u002FOpenStance)].\n   \n4. **Ultra-fine Entity Typing with Indirect Supervision from Natural Language Inference.** *Bangzheng Li, Wenpeng Yin, and Muhao Chen.* \u003Cins>TACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.tacl-1.35.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fluka-group\u002Flite)]. \n   \n5. **Textual Entailment for Event Argument Extraction: Zero- and Few-Shot with Multi-Source Learning.** *Oscar Sainz, Itziar Gonzalez-Dios, Oier Lopez de Lacalle, Bonan Min, and Eneko Agirre.* \u003Cins>Findings of NAACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.findings-naacl.187.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fluka-group\u002Flite)].\n\n6. **Label Verbalization and Entailment for Effective Zero and Few-Shot Relation Extraction.** *Oscar Sainz, Oier Lopez de Lacalle, Gorka Labaka, Ander Barrena, and Eneko Agirre.* \u003Cins>EMNLP\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.emnlp-main.92.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fosainz59\u002FAsk2Transformers)].\n\n7. **Adapting Language Models for Zero-shot Learning by Meta-tuning on Dataset and Prompt Collections.** *Ruiqi Zhong, Kristy Lee, Zheng Zhang, and Dan Klein.* \u003Cins>Findings of EMNLP\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.findings-emnlp.244.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fruiqi-zhong\u002FMeta-tuning)]. \n   \n8. **Incremental Few-shot Text Classification with Multi-round New Classes: Formulation, Dataset and System.** *Congying Xia, Wenpeng Yin, Yihao Feng, and Philip Yu.* \u003Cins>NAACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.106.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fcongyingxia\u002FIncrementalFSTC)].\n   \n9.  **ExpBERT: Representation Engineering with Natural Language Explanations.** *Shikhar Murty, Pang Wei Koh, and Percy Liang.* \u003Cins>ACL\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Faclanthology.org\u002F2020.acl-main.190.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FMurtyShikhar\u002FExpBERT)].\n   \n10. **Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach.** *Wenpeng Yin, Jamaal Hay, Dan Roth* *.* \u003Cins>EMNLP\u003C\u002Fins> 2019. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.00161.pdf)]; [[website](https:\u002F\u002Fcogcomp.seas.upenn.edu\u002Fpage\u002Fpublication_view\u002F883)].\n\n\n### 4.2 PLM-oriented Instruction\n\n![plm_oriented](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_354679a19188.png)\n\nPLM-oriented instruction (i.e., prompt) aims to construct a cloze-style input to steer pre-trained language models (PLM) for responses. Here, we diaplay several representative works of PLM-oriented instruction learning. For more works, please refer to [this repository](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FPromptPapers) and [this survey](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3560815).\n\n\n1. **How Does In-Context Learning Help Prompt Tuning?** *Simeng Sun, Yang Liu, Dan Iter, Chenguang Zhu, and Mohit Iyyer.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.11521.pdf)]. \n   \n2. **Demystifying Prompts in Language Models via Perplexity Estimation.** *Hila Gonen, Srini Iyer, Terra Blevins, Noah A. Smith, and Luke Zettlemoyer.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.04037.pdf)]. \n   \n3. **RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning.** *Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, and et al.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.12548.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fmingkaid\u002Frl-prompt)]. \n   \n4. **PPT: Pre-trained Prompt Tuning for Few-shot Learning.** *Yuxian Gu, Xu Han, Zhiyuan Liu, and Minlie Huang.* \u003Cins>ACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.04332.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fthu-coai\u002FPPT)]. \n   \n5. **P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks.** *Xiao Liu, Kaixuan Ji, Yicheng Fu, Weng Lam Tam, Zhengxiao Du, Zhilin Yang, and Jie Tang.* \u003Cins>ACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2110.07602.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning-v2)].\n   \n6. **KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction.** *Xiang Chen, Ningyu Zhang, Xin Xie, and et al.* \u003Cins>WWW\u003C\u002Fins> 2022. [[pdf](http:\u002F\u002F128.84.21.203\u002Fpdf\u002F2104.07650)]; [[code](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FKnowPrompt)].\n   \n7. **GPT Understands, Too.** *Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang.* \u003Cins>Preprint\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.10385.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning)].\n   \n8.  **Few-Shot Text Generation with Natural Language Instructions.** *Timo Schick and Hinrich Schütze.* \u003Cins>EMNLP\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.emnlp-main.32.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ftimoschick\u002Fpet)]. \n   \n9.  **It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners.** *Timo Schick and Hinrich Schütze.* \u003Cins>NAACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.185.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ftimoschick\u002Fpet)]. \n   \n10. **Learning How to Ask: Querying LMs with Mixtures of Soft Prompts.** *Guanghui Qin and Jason Eisner.* \u003Cins>NAACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.410.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fhiaoxui\u002Fsoft-prompts)]. \n   \n11. **Prefix-Tuning: Optimizing Continuous Prompts for Generation.** *Xiang Lisa Li and Percy Liang.* \u003Cins>ACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.acl-long.353.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FXiangLi1999\u002FPrefixTuning)]. \n   \n12. **Making Pre-trained Language Models Better Few-shot Learners.** *Tianyu Gao, Adam Fisch, and Danqi Chen.* \u003Cins>ACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.acl-long.295.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fprinceton-nlp\u002FLM-BFF)]. \n   \n13. **Template-Based Named Entity Recognition Using BART.** *Leyang Cui, Yu Wu, Jian Liu, Sen Yang, and Yue Zhang.* \u003Cins>Findings of ACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.findings-acl.161.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FNealcly\u002FtemplateNER)]. \n   \n14. **Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference.** *Timo Schick and Hinrich Schütze.* \u003Cins>EACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.eacl-main.20.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ftimoschick\u002Fpet)].\n   \n15. **Language Models are Unsupervised Multitask Learners.** *Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever.* \u003Cins>Preprint\u003C\u002Fins> 2019. [[pdf](https:\u002F\u002Flife-extension.github.io\u002F2020\u002F05\u002F27\u002FGPT%E6%8A%80%E6%9C%AF%E5%88%9D%E6%8E%A2\u002Flanguage-models.pdf)]. \n\n\n### 4.3 Human-oriented Instruction\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)]. -->\n\n![Human-oriented Instruction](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_756415682fd0.png)\n\nHuman-oriented instruction is initially designed for human to understand the task and annotate the data, such as the [Amazon MTurk](https:\u002F\u002Fwww.mturk.com\u002F) Instructions, which provides sufficient information about the task (e.g., detailed definition).\n   \n1. **Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors.** *Kai Zhang, Bernal Jiménez Gutiérrez, and Yu Su.* \u003Cins>Findings of ACL\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11159.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FQA4RE)].\n   \n2. **Symbol tuning improves in-context learning in language models.** *Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.08298.pdf)].\n   \n3. **Small Models are Valuable Plug-ins for Large Language Models.** *Canwen Xu, Yichong Xu, Shuohang Wang, Yang Liu, Chenguang Zhu, and Julian McAuley.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.08848.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FJetRunner\u002FSuperICL)].\n   \n4. **How Many Data Samples is an Additional Instruction Worth?** *Ravsehaj Singh Puri, Swaroop Mishra, Mihir Parmar, and Chitta Baral.* \u003Cins>Findings of EACL\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.09161.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FRavsehajsinghpuri\u002FMulti-Variant-Instructions)].\n   \n5. **In-Context Instruction Learning.** *Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, and Minjoon Seo.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.14691.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fseonghyeonye\u002FICIL)]. \n   \n6. **InstructABSA: Instruction Learning for Aspect Based Sentiment Analysis.** *Kevin Scaria, Himanshu Gupta, Saurabh Arjun Sawant, Swaroop Mishra, and Chitta Baral.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.08624.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fkevinscaria\u002FInstructABSA)].\n   \n7. **HINT: Hypernetwork Instruction Tuning for Efficient Zero-Shot Generalisation.** *Hamish Ivison, Akshita Bhagia, Yizhong Wang, Hannaneh Hajishirzi, and Matthew Peters.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10315.pdf)].\n\n8. **Boosting Natural Language Generation from Instructions with Meta-Learning.** *Budhaditya Deb, Guoqing Zheng, and Ahmed Hassan Awadallah.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.11617.pdf)]. \n   \n9.  **GrIPS: Gradient-free, Edit-based Instruction Search for Prompting Large Language Models.** *Archiki Prasad, Peter Hase, Xiang Zhou, and Mohit Bansal.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.07281.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Farchiki\u002FGrIPS)].\n   \n10. **ConTinTin: Continual Learning from Task Instructions.** *Wenpeng Yin, Jia Li, and Caiming Xiong.* \u003Cins>ACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-long.218.pdf)]. \n   \n11. **InstructDial: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning.** *Prakhar Gupta, Cathy Jiao, Yi-Ting Yeh, Shikib Mehri, Maxine Eskenazi, and Jeffrey P. Bigham.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf]([link](http:\u002F\u002F128.84.21.203\u002Fpdf\u002F2205.12673))]; [[code](https:\u002F\u002Fgithub.com\u002Fprakharguptaz\u002FInstructdial)]. \n   \n12. **Learning to Generate Task-Specific Adapters from Task Description.** *Qinyuan Ye and Xiang Ren.* \u003Cins>ACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.acl-short.82.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FINK-USC\u002Fhypter)]. \u003C!-- TODO -->\n   \n13. **The Turking Test: Can Language Models Understand Instructions?** *Avia Efrat and Omer Levy.* \u003Cins>Preprint\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2010.11982.pdf)]. \n\n\n## 5. 📊 Analyses\n\n### 5.1 Scale\nThe model and task scale are found to be important for instruction-based fine-tuning. Basically, the larger model scale brings more benefits to the generalization, and so does the task scale. However, some works raised objections (e.g., [Jang et al.](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.03202.pdf) and [Wang et al.](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.00185.pdf)).\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)].  -->\n   \n1. **Exploring the Benefits of Training Expert Language Models over Instruction Tuning.** *Joel Jang, Seungone Kim, Seonghyeon Ye, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.03202.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fjoeljang\u002FELM)]. \n   \n2. **The Flan Collection: Designing Data and Methods for Effective Instruction Tuning.** *Shayne Longpre, Le Hou, Tu Vu, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.13688.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002FFLAN\u002Ftree\u002Fmain\u002Fflan\u002Fv2)]; [[corpus](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSirNeural\u002Fflan_v2)].\n   \n3. **UL2: Unifying Language Learning Paradigms.** *Yi Tay, Mostafa Dehghani, Vinh Q. Tran, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.05131.pdf)]; [[checkpoint](https:\u002F\u002Fhuggingface.co\u002Fgoogle\u002Fflan-ul2)].\n   \n4. **OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization.** *Srinivasan Iyer, Xi Victoria Lin, Ramakanth Pasunuru, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.12017.pdf)].   \n   \n5. **Scaling Instruction-Finetuned Language Models.** *Hyung Won Chung, Le Hou, Shayne Longpre, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.11416.pdf)]; [[checkpoint](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Fflan-t5)]. \n   \n6. **Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization.** *Yuxian Gu, Pei Ke, Xiaoyan Zhu, and Minlie Huang.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.09175.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fthu-coai\u002FUDIT)]. \n   \n7. **Emergent Abilities of Large Language Models.** *Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, and et al.* \u003Cins>TMLR\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=yzkSU5zdwD)].\n   \n8.  **Multitask Prompted Training Enables Zero-Shot Task Generalization.** *Victor Sanh, Albert Webson, Colin Raffel, and et al.* \u003Cins>ICLR\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=9Vrb9D0WI4)]; [[checkpoint](https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Ft-zero)]; [[corpus](https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fpromptsource)]. \n   \n9.  **Finetuned Language Models are Zero-Shot Learners.** *Jason Wei, Maarten Bosma, Vincent Zhao, and et al.* \u003Cins>ICLR\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=gEZrGCozdqR)]; [[code](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fflan)].\n    \n10. **Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks.** *Zhenhailong Wang, Xiaoman Pan, Dian Yu, Dong Yu, Jianshu Chen, and Heng Ji.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.00185.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FMikeWangWZHL\u002FZemi)].  \n    \n11. **ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization.** *Hanwei Xu, Yujun Chen, Yulun Du, Nan Shao, Yanggang Wang, Haiyu Li, and Zhilin Yang.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.06910.pdf)]. \n    \n12. **The Power of Scale for Parameter-Efficient Prompt Tuning.** *Brian Lester, Rami Al-Rfou, and Noah Constant.* \u003Cins>EMNLP\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.emnlp-main.243.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fprompt-tuning)]. \n\n### 5.2 Explanability\n\nWe exhibit works that focus on the interpretability and reliability of instruction learning, i.e., explaining *when* and *why* instruction can take effect.\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)]. -->\n   \n1. **What In-Context Learning \"Learns\" In-Context: Disentangling Task Recognition and Task Learning.** *Jane Pan, Tianyu Gao, Howard Chen, and Danqi Chen.* \u003Cins>Findings of ACL\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.09731.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fprinceton-nlp\u002FWhatICLLearns)].\n   \n2. **REV: Information-Theoretic Evaluation of Free-Text Rationales.** *Hanjie Chen, Faeze Brahman, Xiang Ren, and et al.* \u003Cins>ACL\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.04982.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FHanjieChen\u002FREV)].\n   \n3. **Interpretability at Scale: Identifying Causal Mechanisms in Alpaca.** *Zhengxuan Wu, Atticus Geiger, Christopher Potts, and Noah D. Goodman.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.08809.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ffrankaging\u002Falign-transformers)].\n   \n4. **Large Language Models Are Implicitly Topic Models: Explaining and Finding Good Demonstrations for In-Context Learning.** *Xinyi Wang, Wanrong Zhu, Michael Saxon, Mark Steyvers, and William Yang Wang.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.11916.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FWANGXinyiLinda\u002Fconcept-based-demonstration-selection)].\n   \n5. **The Learnability of In-Context Learning.** *Noam Wies, Yoav Levine, and Amnon Shashua.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.07895.pdf)].\n   \n6. **Why think step-by-step? Reasoning emerges from the locality of experience.** *Ben Prystawski, and Noah D. Goodman.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.03843.pdf)].\n   \n7. **Larger language models do in-context learning differently.** *Jerry Wei, Jason Wei, Yi Tay, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.03846.pdf)].\n   \n8. **​​What learning algorithm is in-context learning? Investigations with linear models.** *Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou.* \u003Cins>ICLR\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=0g0X4H8yN4I)]; [[code](https:\u002F\u002Fgithub.com\u002Fekinakyurek\u002Fgoogle-research\u002Ftree\u002Fmaster\u002Fincontext)].\n   \n9.  **Can language models learn from explanations in context?** *Andrew K. Lampinen, Ishita Dasgupta, Stephanie C. Y. Chan, and et al.* \u003Cins>Findings of EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.02329.pdf)]. \n   \n10. **Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?** *Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi, and Luke Zettlemoyer.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2202.12837.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FAlrope123\u002Frethinking-demonstrations)]. \n   \n11. **Prompt Waywardness: The Curious Case of Discretized Interpretation of Continuous Prompts.** *Daniel Khashabi, Xinxi Lyu, Sewon Min, and et al.* \u003Cins>NAACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.naacl-main.266.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FAlrope123\u002Fprompt-waywardness)]. \n   \n12. **Do Prompt-Based Models Really Understand the Meaning of Their Prompts?.** *Albert Webson and Ellie Pavlick.* \u003Cins>NAACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.naacl-main.167.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fawebson\u002Fprompt_semantics)].\n   \n13. **Reframing Instructional Prompts to GPTk’s Language.** *Swaroop Mishra, Daniel Khashabi, Chitta Baral, Yejin Choi, and Hannaneh Hajishirzi.* \u003Cins>Findings of ACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.findings-acl.50.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fallenai\u002Freframing\u002F)]. \n   \n14. **What Makes Good In-Context Examples for GPT-3?** *Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin, and Weizhu Chen.* \u003Cins>ACL Workshop\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.deelio-1.10.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fjiachangliu\u002FKATEGPT3)]. \n   \n15. **Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity.** *Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp.* \u003Cins>ACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-long.556.pdf)].\n   \n16. **Calibrate Before Use: Improving Few-shot Performance of Language Models.** *Zihao Zhao, Eric Wallace, Shi Feng, Dan Klein, and Sameer Singh.* \u003Cins>ICML\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.09690.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ftonyzhaozh\u002Ffew-shot-learning)].\n\n### 5.3 Robustness and Safety\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)]. -->\n   \n1. **Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection.** *Jun Yan, Vikas Yadav, Shiyang Li, and et al.* \u003Cins>Workshop @ NeurIPS\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.16888)].\n   \n2. **Evaluating the Zero-shot Robustness ofInstruction-tuned Language Models.** *Jiuding Sun, Chantal Shaib, and Byron C. Wallace.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.11270.pdf)].\n   \n3. **Poisoning Language Models During Instruction Tuning.** *Alexander Wan, Eric Wallace, Sheng Shen, and Dan Klein.* \u003Cins>ICML\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.00944.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FAlexWan0\u002FPoisoning-Instruction-Tuned-Models)].\n   \n4. **Multi-step Jailbreaking Privacy Attacks on ChatGPT.** *Haoran Li, Dadi Guo, Wei Fan, Mingshi Xu, Jie Huang, Fanpu Meng, and Yangqiu Song.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.05197.pdf)].\n   \n5. **More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models.** *Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz, and Mario Fritz.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.12173.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fgreshake\u002Fllm-security)]. \n   \n6. **Robustness of Learning from Task Instructions.** *Jiasheng Gu, Hanzi Xu, Liangyu Nie, and Wenpeng Yin.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.03813.pdf)]. \n\n7. **Learning from Task Descriptions.** *Orion Weller, Nicholas Lourie, Matt Gardner, and Matthew E. Peters.* \u003Cins>EMNLP\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Faclanthology.org\u002F2020.emnlp-main.105.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fzest)]; [[corpus](https:\u002F\u002Fallenai.org\u002Fdata\u002Fzest)]. \n\n\n### 5.4 Evaluation\nStop using old-school automatic metrics to evaluate your instruction-tuned system; try more advanced methods to do it comprehensively!\n\n1. **Camels in a Changing Climate: Enhancing LM Adaptation with Tulu 2.** *Hamish Ivison, Yizhong Wang, Valentina Pyatkin, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2311.10702.pdf)]; [[model&data](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fallenai\u002Ftulu-v2-suite-6551b56e743e6349aab45101)]\n   \n2. **How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources.** *Yizhong Wang, Hamish Ivison, Pradeep Dasigi, and et al.* \u003Cins>NeurIPS Datasets and Benchmarks\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.04751.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fopen-instruct)].\n\n3. **Instruction-following Evaluation through Verbalizer Manipulation.** *Shiyang Li, Jun Yan, Hai Wang, Zheng Tang, Xiang Ren, Vijay Srinivasan, Hongxia Jin* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.10558.pdf)].\n   \n4. **INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large Language Models.** *Yew Ken Chia, Pengfei Hong, Lidong Bing, and Soujanya Poria.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.04757.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fdeclare-lab\u002Finstruct-eval)]; [[leaderboard](https:\u002F\u002Fdeclare-lab.net\u002Finstruct-eval\u002F)].\n\n\n### 5.5 Negation\n\nNegation expressions, such as `do not` and `avoid doing`, are difficult for models to corretly understand and follow.\n\n1. **Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts.** *Joel Jang, Seonghyeon Ye, and Minjoon Seo.* \u003Cins>ICML Workshop\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Fproceedings.mlr.press\u002Fv203\u002Fjang23a\u002Fjang23a.pdf)].\n   \n2. **Understanding by Understanding Not: Modeling Negation in Language Models.** *Arian Hosseini, Siva Reddy, Dzmitry Bahdanau, and et al.* \u003Cins>NAACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.102.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Farianhosseini\u002Fnegation-learning)]. \n\n\n### 5.6 Complexity\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)]. -->\nPapers are focusing on enhancing the complexity of instructions to enhance model competence. More complex data in the mix of instruction data, more competent performance model could achieve.\n\n1. **Wizardlm: Empowering large language models to follow complex instructions.** *Xu, Can and Sun, Qingfeng and Zheng, Kai and Geng, Xiubo and Zhao, Pu and Feng, Jiazhan and Tao, Chongyang and Jiang, Daxin*. \u003Cins>Prepint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.12244.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM)]. \n\n2. **Orca: Progressive learning from complex explanation traces of gpt-4.** *Mukherjee, Subhabrata and Mitra, Arindam and Jawahar, Ganesh and Agarwal, Sahaj and Palangi, Hamid and Awadallah, Ahmed*. \u003Cins>Prepint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.02707.pdf)].\n\n3. **A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment.** *Zhao, Yingxiu and Yu, Bowen and Hui, Binyuan and Yu, Haiyang and Huang, Fei and Li, Yongbin and Zhang, Nevin L*. \u003Cins>Prepint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2308.05696.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FAlibabaResearch\u002FDAMO-ConvAI\u002Ftree\u002Fmain\u002Ftree-instruct)].\n\n### 5.7 Other Papers\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)]. -->\n   \n1. **Don't Blame the Annotator: Bias Already Starts in the Annotation Instructions.** *Mihir Parmar, Swaroop Mishra, Mor Geva, and Chitta Baral.* \u003Cins>EACL\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.00415.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FMihir3009\u002Finstruction-bias)].\n2. **Instruction Tuned Models are Quick Learners.** *Himanshu Gupta, Saurabh Arjun Sawant, Swaroop Mishra, et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.05539.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fsrsawant34\u002Fefficient_instruction_learning)].\n3. **Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning.** *Haokun Liu, Derek Tam, Mohammed Muqeeth, Jay Mohta, Tenghao Huang, Mohit Bansal, and Colin Raffel.* \u003Cins>NeurIPS\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=rBCvMG-JsPd)]; [[code](https:\u002F\u002Fgithub.com\u002Fr-three\u002Ft-few)]. \n4. **A Survey of NLP-Related Crowdsourcing HITs: what works and what does not.** *Jessica Huynh, Jeffrey Bigham, and Maxine Eskenazi.* \u003Cins>Preprint\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2111.05241.pdf)].\n   \n\n   \n\n   \n\n\n## 6. 🤖 Applications\n\n### 6.1 Human-Computer Interaction\n\nInstructions are used in various human-computer interaction (HCI) tasks, such as virtual assistants, chatbots, etc. \n\n\n1. **Help me write a poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing.** *Tuhin Chakrabarty, Vishakh Padmakumar, and He He.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.13669.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fvishakhpk\u002Fcreative-instructions)]. \n   \n2. **HELP ME THINK: A Simple Prompting Strategy for Non-experts to Create Customized Content with Models.** *Swaroop Mishra, and Elnaz Nouri.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2208.08232.pdf)]. \n   \n3. **EditEval: An Instruction-Based Benchmark for Text Improvements.** *Jane Dwivedi-Yu, Timo Schick, Zhengbao Jiang, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.13331.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FEditEval)]; [[website](https:\u002F\u002Feval.ai\u002Fweb\u002Fchallenges\u002Fchallenge-page\u002F1866\u002Foverview)].\n   \n4. **Communicating Natural Programs to Humans and Machines.** *Sam Acquaviva, Yewen Pu, Marta Kryven, and et al.* \u003Cins>NeurIPS Workshop\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=OxFoLTKDcNm)]; [[code](https:\u002F\u002Fgithub.com\u002Fsamacqua\u002FLARC)]. \n   \n5. **Interactive Task Learning from GUI-Grounded Natural Language Instructions and Demonstrations.** *Toby Jia-Jun Li, Tom Mitchell, and Brad Myers.* \u003Cins>ACL Demo\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Faclanthology.org\u002F2020.acl-demos.25.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ftobyli\u002FSugilite_development)]; [[video](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=tdHEk-GeaqE)].\n   \n6. **Multi-Modal Interactive Task Learning from Demonstrations and Natural Language Instructions.** *Toby Jia-Jun Li.* \u003Cins>UIST\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3379350.3415803)]; [[code](https:\u002F\u002Fgithub.com\u002Ftobyli\u002FSugilite_development)].\n   \n7. **Pre-Learning Environment Representations for Data-Efficient Neural Instruction Following.** *David Gaddy, and Dan Klein.* \u003Cins>ACL\u003C\u002Fins> 2019. [[pdf](https:\u002F\u002Faclanthology.org\u002FP19-1188.pdf)]. \n   \n8. **VirtualHome: Simulating Household Activities via Programs.** *Xavier Puig, Kevin Ra, Marko Boben, and et al.* \u003Cins>CVPR\u003C\u002Fins> 2018. [[pdf](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2018\u002Fpapers\u002FPuig_VirtualHome_Simulating_Household_CVPR_2018_paper.pdf)]; [[website](http:\u002F\u002Fvirtual-home.org\u002F)]. \n   \n9.  **Natural Language Communication with Robots.** *Yonatan Bisk, Deniz Yuret, and Daniel Marcu.* \u003Cins>NAACL\u003C\u002Fins> 2016. [[pdf](https:\u002F\u002Faclanthology.org\u002FN16-1089.pdf)]; [[website](https:\u002F\u002Fgroundedlanguage.github.io\u002F)].\n    \n10. **Jointly Learning to Parse and Perceive: Connecting Natural Language to the Physical World.** *Jayant Krishnamurthy, and Thomas Kollar.* \u003Cins>TACL\u003C\u002Fins> 2013. [[pdf](http:\u002F\u002Frtw.ml.cmu.edu\u002Ftacl2013_lsp\u002Ftacl2013-krishnamurthy-kollar.pdf)]; [[code](http:\u002F\u002Frtw.ml.cmu.edu\u002Ftacl2013_lsp\u002F)]. \n\n11. **Weakly Supervised Learning of Semantic Parsers for Mapping Instructions to Actions.** *Yoav Artzi, and Luke Zettlemoyer.* \u003Cins>TACL\u003C\u002Fins> 2013. [[pdf](https:\u002F\u002Faclanthology.org\u002FQ13-1005.pdf)].\n    \n12. **Unsupervised PCFG Induction for Grounded Language Learning with Highly Ambiguous Supervision.** *Joohyun Kim, and Raymond Mooney.* \u003Cins>EMNLP\u003C\u002Fins> 2012. [[pdf](https:\u002F\u002Faclanthology.org\u002FD12-1040.pdf)].\n    \n13. **A joint model of language and perception for grounded attribute learning.** *Cynthia Matuszek, Nicholas FitzGerald, Luke Zettlemoyer, Liefeng Bo, and Dieter Fox.* \u003Cins>ICML\u003C\u002Fins> 2012. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1206.6423.pdf)]. \n    \n14. **Learning to Interpret Natural Language Instructions.** *Monica Babeş-Vroman, James MacGlashan, Ruoyuan Gao, and et al.* \u003Cins>ACL Workshop\u003C\u002Fins> 2012. [[pdf](https:\u002F\u002Faclanthology.org\u002FW12-2801.pdf)]. \n    \n15. **Fast Online Lexicon Learning for Grounded Language Acquisition.** *David Chen.* \u003Cins>ACL\u003C\u002Fins> 2012. [[pdf](https:\u002F\u002Faclanthology.org\u002FP12-1045.pdf)].\n    \n16. **Learning to Win by Reading Manuals in a Monte-Carlo Framework.** *S.R.K. Branavan, David Silver, and Regina Barzilay.* \u003Cins>ACL\u003C\u002Fins> 2011. [[pdf](https:\u002F\u002Faclanthology.org\u002FP11-1028.pdf)]; [[website](http:\u002F\u002Fgroups.csail.mit.edu\u002Frbg\u002Fcode\u002Fciv\u002F)].\n    \n17. **Learning from natural instructions.** *Dan Goldwasse, and Dan Roth.* \u003Cins>IJCAI\u003C\u002Fins> 2011. [[pdf](https:\u002F\u002Fciteseerx.ist.psu.edu\u002Fdocument?repid=rep1&type=pdf&doi=2aba84801935041774c1e2b749e0331efa322ed8)].  \n    \n18. **Learning to Interpret Natural Language Navigation Instructions from Observations.** *David L. Chen and Raymond J. Mooney.* \u003Cins>AAAI\u003C\u002Fins> 2011. [[pdf](https:\u002F\u002Fwww.cs.utexas.edu\u002Fusers\u002Fml\u002Fpapers\u002Fchen.aaai11.pdf)]. \n    \n19. **Approaching the Symbol Grounding Problem with Probabilistic Graphical Models.** *Stefanie Tellex, Thomas Kollar, Steven Dickerson, and et al.* \u003Cins>AAAI\u003C\u002Fins> 2011. [[pdf](https:\u002F\u002Fcs.brown.edu\u002Fpeople\u002Fstellex\u002Fpublications\u002Ftellex11a.pdf)]. \n    \n20. **Driving Semantic Parsing from the World’s Response.** *James Clarke, Dan Goldwasser, Ming-Wei Chang, and Dan Roth.* \u003Cins>CoNLL\u003C\u002Fins> 2010. [[pdf](https:\u002F\u002Faclanthology.org\u002FW10-2903.pdf)]. \n    \n21. **Learning to Follow Navigational Directions.** *Adam Vogel, and Daniel Jurafsky.* \u003Cins>ACL\u003C\u002Fins> 2010. [[pdf](https:\u002F\u002Faclanthology.org\u002FP10-1083.pdf)].\n    \n22. **Reading between the Lines: Learning to Map High-Level Instructions to Commands.** *S.R.K. Branavan, Luke Zettlemoyer, and Regina Barzilay.* \u003Cins>ACL\u003C\u002Fins> 2010. [[pdf](https:\u002F\u002Faclanthology.org\u002FP10-1129.pdf)]; [[website](http:\u002F\u002Fgroups.csail.mit.edu\u002Frbg\u002Fcode\u002Frl-hli\u002F)]. \n    \n23. **Reading to Learn: Constructing Features from Semantic Abstracts.** *Jacob Eisenstein, James Clarke, Dan Goldwasser, and Dan Roth.* \u003Cins>EMNLP\u003C\u002Fins> 2009. [[pdf](https:\u002F\u002Faclanthology.org\u002FD09-1100.pdf)]; [[website](http:\u002F\u002Fwww.comlab.ox.ac.uk\u002Factivities\u002Fmachinelearning\u002FAleph\u002F)]. \n    \n24. **Learning Semantic Correspondences with Less Supervision.** *Percy Liang, Michael Jordan, and Dan Klein.* \u003Cins>ACL\u003C\u002Fins> 2009. [[pdf](https:\u002F\u002Faclanthology.org\u002FP09-1011.pdf)]. \n    \n25. **Reinforcement Learning for Mapping Instructions to Actions.** *S.R.K. Branavan, Harr Chen, Luke Zettlemoyer, and Regina Barzilay.* \u003Cins>ACL\u003C\u002Fins> 2009. [[pdf](https:\u002F\u002Faclanthology.org\u002FP09-1010.pdf)]; [[website](http:\u002F\u002Fgroups.csail.mit.edu\u002Frbg\u002Fcode\u002Frl\u002F)]. \n    \n26. **Learning to sportscast: a test of grounded language acquisition.** *David L. Chen and Raymond J. Mooney.* \u003Cins>ICML\u003C\u002Fins> 2008. [[pdf](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F1390156.1390173)]. \n    \n27. **Guiding a Reinforcement Learner with Natural Language Advice: Initial Results in RoboCup Soccer.** *Gregory Kuhlmann, Peter Stone, Raymond Mooney, and Jude Shavlik.* \u003Cins>AAAI Workshop\u003C\u002Fins> 2004. [[pdf](https:\u002F\u002Fftp.cs.wisc.edu\u002Fmachine-learning\u002Fshavlik-group\u002Fkuhlmann-aaai04.pdf)]; [[website](http:\u002F\u002Fwww.cs.utexas.edu\u002FAustinVilla\u002Fsim\u002Fkeepaway\u002F)]. \n\n\n### 6.2 Data and Feature Augmentation\n\nSome instructions (e.g., label explanations) are also be used for automatic annotation (i.e., data augmentation), or for enriching feature.\n\n1. **One Embedder, Any Task: Instruction-Finetuned Text Embeddings.** *Hongjin Su, Weijia Shi, Jungo Kasai, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09741.pdf)]; [[website](https:\u002F\u002Finstructor-embedding.github.io\u002F)]. \n   \n2. **Prompt Consistency for Zero-Shot Task Generalization.** *Chunting Zhou, Junxian He, Xuezhe Ma, Taylor Berg-Kirkpatrick, and Graham Neubig.* \u003Cins>Findings of EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.00049.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fviolet-zct\u002Fswarm-distillation-zero-shot)]. \n   \n3. **Teaching Machine Comprehension with Compositional Explanations.** *Qinyuan Ye, Xiao Huang, Elizabeth Boschee, and Xiang Ren.* \u003Cins>Findings of EMNLP\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Faclanthology.org\u002F2020.findings-emnlp.145.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FINK-USC\u002Fmrc-explanation)]. \n   \n4. **Learning from Explanations with Neural Execution Tree.** *Ziqi Wang, Yujia Qin, Wenxuan Zhou, Jun Yan, Qinyuan Ye, Leonardo Neves, Zhiyuan Liu, and Xiang Ren.* \u003Cins>ICLR\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=rJlUt0EYwS)]; [[website](http:\u002F\u002Finklab.usc.edu\u002Fproject-NExT\u002F)]. \n   \n5. **Training Classifiers with Natural Language Explanations.** *Braden Hancock, Paroma Varma, Stephanie Wang, Martin Bringmann, Percy Liang, and Christopher Ré.* \u003Cins>ACL\u003C\u002Fins> 2018. [[pdf](https:\u002F\u002Faclanthology.org\u002FP18-1175.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fbabble)]. \n   \n6. **Zero-shot Learning of Classifiers from Natural Language Quantification.** *Shashank Srivastava, Igor Labutov, and Tom Mitchell.* \u003Cins>ACL\u003C\u002Fins> 2018. [[pdf](https:\u002F\u002Faclanthology.org\u002FP18-1029.pdf)]. \n   \n7. **Joint Concept Learning and Semantic Parsing from Natural Language Explanations.** *Shashank Srivastava, Igor Labutov, and Tom Mitchell.* \u003Cins>EMNLP\u003C\u002Fins> 2017. [[pdf](https:\u002F\u002Faclanthology.org\u002FD17-1161.pdf)]. \n\n### 6.3 General-purpose Language Models\n\nGeneral-purpose language models are also one of the most attractive applications of instruction learning, e.g., [ChatGPT](https:\u002F\u002Fchat.openai.com\u002Fchat), which can align nicely with human values.\n\n\n1. **Sparks of Artificial General Intelligence: Early experiments with GPT-4.** *Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.12712.pdf)]. \n   \n2. **GPT-4 Technical Report.** *OpenAI.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Fcdn.openai.com\u002Fpapers\u002Fgpt-4.pdf)]; [[blog](https:\u002F\u002Fopenai.com\u002Fresearch\u002Fgpt-4)].  \n   \n3. **The Wisdom of Hindsight Makes Language Models Better Instruction Followers.** *Tianjun Zhang, Fangchen Liu, Justin Wong, Pieter Abbeel, and Joseph E. Gonzalez.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.05206.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ftianjunz\u002FHIR)].\n    \n4. **Adding Instructions during Pretraining: Effective Way of Controlling Toxicity in Language Models.** *Shrimai Prabhumoye, Mostofa Patwary, Mohammad Shoeybi, and Bryan Catanzaro.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.07388.pdf)]. \n   \n5. **Training language models to follow instructions with human feedback.** *Long Ouyang, Jeffrey Wu, Xu Jiang, and et al.* \u003Cins>NeurIPS\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=TG8KACxEON)]. \n\n\n### 6.4 Other Papers\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)]. -->\n1. **GPTScore: Evaluate as You Desire.** *Jinlan Fu, See-Kiong Ng, Zhengbao Jiang, and Pengfei Liu.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.04166.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fjinlanfu\u002FGPTScore)]. \n   \n2. **MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning.** *Zhiyang Xu, Ying Shen, and Lifu Huang.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10773.pdf)].\n   \n3. **Task-aware Retrieval with Instructions.** *Akari Asai, Timo Schick, Patrick Lewis, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.09260.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ftart)]. \n   \n4. **UnifiedABSA: A Unified ABSA Framework Based on Multi-task Instruction Tuning.** *Zengzhi Wang, Rui Xia, and Jianfei Yu.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.10986.pdf)].  \n \n5. **In-Context Learning for Few-Shot Dialogue State Tracking.** *Yushi Hu, Chia-Hsuan Lee, Tianbao Xie, Tao Yu, Noah A. Smith, and Mari Ostendorf.* \u003Cins>Findings of EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.08568.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FYushi-Hu\u002FIC-DST)]. \n   \n6. **Few-shot Learning with Multilingual Language Models.** *Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, and et al.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.10668.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fxglm)].\n   \n7. **UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models.** *Tianbao Xie, Chen Henry Wu, Peng Shi, and et al.* \u003Cins>EMNLP\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.05966.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FHKUNLP\u002FUnifiedSKG)]; [[website](https:\u002F\u002Funifiedskg.com\u002F)]. \n   \n8. **In-BoXBART: Get Instructions into Biomedical Multi-Task Learning .** *Mihir Parmar, Swaroop Mishra, Mirali Purohit, Man Luo, M. Hassan Murad, and Chitta Baral.* \u003Cins>Findings of NAACL\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07600.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FMihir3009\u002FIn-BoXBART)].\n\n\n\n## 7. 📖 Extended Reading\n\n\nWe also share some other awesome papers that might inspire the future work.\n\n### 7.1 Instruction Induction\n\n   \n1. **Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-Shot Learners.** *Seonghyeon Ye, Doyoung Kim, Joel Jang, Joongbo Shin, and Minjoon Seo.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.02969.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fseonghyeonye\u002FFlipped-Learning)]. \n   \n2. **Instruction Induction: From Few Examples to Natural Language Task Descriptions.** *Or Honovich, Uri Shaham, Samuel R. Bowman, and Omer Levy.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.10782.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Forhonovich\u002Finstruction-induction)].\n   \n3. **Learning to Decompose and Organize Complex Tasks.** *Yi Zhang, Sujay Kumar Jauhar, Julia Kiseleva, Ryen White, and Dan Roth.* \u003Cins>NAACL\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.217.pdf)]; [[corpus](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FMSComplexTasks)]. \n   \n4. **Analogous Process Structure Induction for Sub-event Sequence Prediction.** *Hongming Zhang, Muhao Chen, Haoyu Wang, Yangqiu Song, and Dan Roth.* \u003Cins>EMNLP\u003C\u002Fins> 2020. [[pdf](https:\u002F\u002Faclanthology.org\u002F2020.emnlp-main.119.pdf)]; [[code](https:\u002F\u002Fcogcomp.github.io\u002FAPSI\u002F)]. \n\n\n### 7.2 ChatGPT-related Papers\n\n\u003C!-- **ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks.** *Fabrizio Gilardi, Meysam Alizadeh, and Maël Kubli.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.15056.pdf)]; [[other resources](link)]. -->\n\nNowdays, ChatGPT is a super star 🌟 in the NLP community. Since there is no official paper for ChatGPT, we share some frontier works that can provide deep insights into ChatGPT.\n   \n1. **When do you need Chain-of-Thought Prompting for ChatGPT?** *Jiuhai Chen, Lichang Chen, Heng Huang, and Tianyi Zhou.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.03262.pdf)].\n   \n2. **Toxicity in ChatGPT: Analyzing Persona-assigned Language Models.** *Ameet Deshpande, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, and Karthik Narasimhan.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.05335.pdf)].\n   \n3. **Is ChatGPT a General-Purpose Natural Language Processing Task Solver?** *Chengwei Qin, Aston Zhang, Zhuosheng Zhang, Jiaao Chen, Michihiro Yasunaga, and Diyi Yang.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.06476.pdf)].\n   \n4. **How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection.** *Biyang Guo, Xin Zhang, Ziyuan Wang, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.07597.pdf)]; [[corpus](https:\u002F\u002Fgithub.com\u002FHello-SimpleAI\u002Fchatgpt-comparison-detection)]. \n   \n5. **ChatGPT: Jack of all trades, master of none.** *Jan Kocoń, Igor Cichecki, Oliwier Kaszyca, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.10724.pdf)].\n   \n6. **On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective.** *Jindong Wang, Xixu Hu, Wenxin Hou, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.12095.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Frobustlearn)]. \n\n\n### 7.3 Human Feedback vs. Model Feedback\n\n\n\u003C!-- **Paper Title.** *Author 1, Author 2, and Author 3.* \u003Cins>Conference\u002FJournal\u002FPreprint\u003C\u002Fins> Year. [[pdf](link)]; [[other resources](link)]. -->\n   \n1. **Aligning Large Language Models through Synthetic Feedback.** *Sungdong Kim, Sanghwan Bae, Jamin Shin, Soyoung Kang, Donghyun Kwak, Kang Min Yoo, and Minjoon Seo.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.13735.pdf)].\n   \n2. **LIMA: Less Is More for Alignment.** *Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11206.pdf)].\n   \n3. **Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision.** *Zhiqing Sun, Yikang Shen, Qinhong Zhou, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.03047.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002FIBM\u002FDromedary)].\n   \n4. **Chain of Hindsight Aligns Language Models with Feedback.** *Hao Liu, Carmelo Sferrazza, and Pieter Abbeel.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.02676.pdf)]; [[code](https:\u002F\u002Fgithub.com\u002Flhao499\u002FCoH)]. \n   \n5. **Pretraining Language Models with Human Preferences.** *Tomasz Korbak, Kejian Shi, Angelica Chen, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.08582.pdf)].\n   \n6. **Constitutional AI: Harmlessness from AI Feedback.** *Yuntao Bai, Saurav Kadavath, Sandipan Kundu, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.08073.pdf)]; [[corpus](https:\u002F\u002Fgithub.com\u002Fanthropics\u002FConstitutionalHarmlessnessPaper)].\n   \n7. **Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback.** *Yuntao Bai, Andy Jones, Kamal Ndousse, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.05862.pdf)]; [[corpus](https:\u002F\u002Fgithub.com\u002Fanthropics\u002Fhh-rlhf)]. \n\n\n### 7.4 Scalable Oversight and Alignment\n\n\n1. **Measuring Progress on Scalable Oversight for Large Language Models.** *Samuel R. Bowman, Jeeyoon Hyun, Ethan Perez, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.03540.pdf)].\n\n2. **Aligning AI With Shared Human Values.** *Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song, and Jacob Steinhardt.* \u003Cins>ICLR\u003C\u002Fins> 2021. [[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=dNy_RKzJacY)].\n\n\n### 7.5 Other Papers\n\n\n1. **Navigating the Grey Area: Expressions of Overconfidence and Uncertainty in Language Models.** *Kaitlyn Zhou, Dan Jurafsky, and Tatsunori Hashimoto.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.13439.pdf)].\n   \n2. **The Capacity for Moral Self-Correction in Large Language Models.** *Deep Ganguli, Amanda Askell, Nicholas Schiefer, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.07459.pdf)]. \n   \n3. **Large Language Models Can Be Easily Distracted by Irrelevant Context.** *Freda Shi, Xinyun Chen, Kanishka Misra, Nathan Scales, David Dohan, Ed Chi, Nathanael Schärli, and Denny Zhou.* \u003Cins>Preprint\u003C\u002Fins> 2023. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.00093.pdf)]; [[corpus](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002FGSM-IC)].\n\n4. **Language Models (Mostly) Know What They Know.** *Saurav Kadavath, Tom Conerly, Amanda Askell, and et al.* \u003Cins>Preprint\u003C\u002Fins> 2022. [[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.05221.pdf)].\n\n\n\n\u003C!-- TODO: tweets & slides? -->\n\n---\n\n\u003C!-- omit in toc -->\n## ⭐ Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_7d709610a7a3.png)](https:\u002F\u002Fstar-history.com\u002F#RenzeLou\u002Fawesome-instruction-learning&Date)\n","\u003C!-- omit in toc -->\n\u003Ch1 align=\"center\"> 令人惊叹的指令学习 \u003C\u002Fh1>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\">\u003Cimg src=\"https:\u002F\u002Fawesome.re\u002Fbadge.svg\" alt=\"Awesome\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning#-star-history\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FRenzeLou\u002Fawesome-instruction-learning?style=social\" alt=\"Stars\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fcommits\u002Fmain\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FRenzeLou\u002Fawesome-instruction-learning?color=#00FA9A\" alt=\"Commit\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fblob\u002Fmain\u002Fcount_number.py\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaperNumber-199-blue\" alt=\"PaperNumber\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fpulls\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-Welcome-red\" alt=\"PullRequests\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C!-- [![Awesome](https:\u002F\u002Fawesome.re\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning) [![Stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FRenzeLou\u002Fawesome-instruction-learning?style=social)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning#-star-history)\n\n[![Commit](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002FRenzeLou\u002Fawesome-instruction-learning?color=#00FA9A)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fcommits\u002Fmain) [![PaperNumber](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaperNumber-161-blue)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fblob\u002Fmain\u002Fcount_number.py) [![PullRequests](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-Welcome-red)](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fpulls)  -->\n\n\u003Cp align=\"center\">\n🔥🔥🔥 一份关于\u003Cb>指令调优与遵循\u003C\u002Fb>的超赞阅读清单，包含\u003Cem>论文\u003C\u002Fem>和\u003Cem>数据集\u003C\u002Fem>。\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ci> 👉 探索我们最新的调查更新！欢迎深入了解并发现我们的改进成果 👀 🤗 ：\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.10475\"> \u003Cb>最新调查\u003C\u002Fb> \u003C\u002Fa> \u003C\u002Fi>\n\u003C\u002Fp>\n\u003C!-- https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1vrx3BSkHlkNO6_nP9G9l9Ape7vEoTOdf\u002Fview?usp=sharing -->\n\n---\n\n\u003C!-- 指令学习是什么？\n为什么选择指令学习？ -->\n\n\u003C!-- TODO\n添加“必读”章节，精选核心指令调优论文\n-->\n\n\n\u003C!-- omit in toc -->\n## ❤️ 贡献\n\n本仓库目前由\u003Cins>[Renze Lou](https:\u002F\u002Frenzelou.github.io\u002F) @宾州州立大学\u003C\u002Fins>和\u003Cins>[Kai Zhang](https:\u002F\u002Fdrogozhang.github.io\u002F) @俄亥俄州立大学\u003C\u002Fins>维护。**我们非常感谢任何贡献** ❤️.\n\n\n\u003C!-- **\u003Cfont color='red'>工作仍在进行中\u003C\u002Ffont>**  🚀，**我们非常感谢任何建议和贡献** ❤️。 -->\n\n如果你有任何建议或发现遗漏的论文，欢迎[联系](https:\u002F\u002Foutlook.office.com\u002Fmail\u002Fdeeplink\u002Fcompose?mailtouri=mailto%3Amarionojump0722%40gmail.com)或提交[拉取请求](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning\u002Fpulls)：\n\n1. 使用以下Markdown格式。\n\n```markdown\n**论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]; [[其他资源](链接)]。\n```\n\u003C!-- >1. **论文标题。** *作者1、作者2和作者3。* 会议\u002F期刊\u002F预印本 年份。[[pdf](链接)]。 -->\n\n\n2. 如果一篇预印本论文有多个版本，请使用**最早提交的年份**。\n   \n3. 按**年份降序排列**展示论文（最新的排在最前面）。\n\n\n\u003C!-- omit in toc -->\n## 🥳 引用\n\n觉得这个仓库对你有帮助吗？😊😊😊  \n\n请考虑引用我们的论文。👇👇👇\n\n\n\u003C!-- *(**请注意，我们当前的调查版本还只是草稿，我们仍在努力完善中。** 第一个可读版本即将发布。)* 🚀 -->\n\n```\n@article{lou2023instruction,\n  title={关于指令遵循的全面调查},\n  author={Lou, Renze 和 Zhang, Kai 和 Yin, Wenpeng},\n  journal={arXiv预印本 arXiv:2303.10475},\n  year={2023}\n}\n```\n\n\n\n---\n\n\u003C!-- omit in toc -->\n## 🔍 目录 \n\n- [1. 💁🏽‍♀️ 简介](#1-️-introduction)\n- [2. 🎓 调查与教程](#2--surveys-and-tutorials)\n- [3. 📚 语料库](#3--corpora)\n- [4. 🗂️ 分类](#4-️-taxonomy)\n  - [4.1 基于蕴含的指令](#41-entailment-oriented-instruction)\n  - [4.2 基于PLM的指令](#42-plm-oriented-instruction)\n  - [4.3 基于人类的指令](#43-human-oriented-instruction)\n- [5. 📊 分析](#5--analyses)\n  - [5.1 规模](#51-scale)\n  - [5.2 可解释性](#52-explanability)\n  - [5.3 鲁棒性和安全性](#53-robustness-and-safety)\n  - [5.4 评估](#54-evaluation)\n  - [5.5 否定](#55-negation)\n  - [5.6 复杂度](#56-complexity)\n  - [5.7 其他论文](#57-other-papers)\n- [6. 🤖 应用](#6--applications)\n  - [6.1 人机交互](#61-human-computer-interaction)\n  - [6.2 数据与特征增强](#62-data-and-feature-augmentation)\n  - [6.3 通用语言模型](#63-general-purpose-language-models)\n  - [6.4 其他论文](#64-other-papers)\n- [7. 📖 扩展阅读](#7--extended-reading)\n  - [7.1 指令归纳](#71-instruction-induction)\n  - [7.2 与ChatGPT相关的论文](#72-chatgpt-related-papers)\n  - [7.3 人类反馈 vs. 模型反馈](#73-human-feedback-vs-model-feedback)\n  - [7.4 可扩展的监督与对齐](#74-scalable-oversight-and-alignment)\n  - [7.5 其他论文](#75-other-papers)\n\n---\n\n\n## 1. 💁🏽‍♀️ 简介\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_55e1c024b05a.png width=85% title=\"指令学习 vs. 完全监督学习\" \u002F>\n\u003C\u002Fdiv>\n\n\u003C!-- \u003Ccenter>\n    \u003Cimg style=\"border-radius: 0.3125em;\n    box-shadow: 0 2px 4px 0 rgba(34,36,38,.12),0 2px 10px 0 rgba(34,36,38,.08);\" \n    src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_55e1c024b05a.png\">\n    \u003Cbr>\n    \u003Cdiv style=\"color:orange; border-bottom: 1px solid #d9d9d9;\n    display: inline-block;\n    color: #999;\n    padding: 2px;\">完全监督学习 vs. 指令学习\u003C\u002Fdiv>\n\u003C\u002Fcenter> -->\n\n\n\n为什么选择*指令驱动*学习而非*示例驱动*学习？\n\n\n- 👉 **经济实惠。** 对于传统的示例驱动监督学习，每个\u003Cins>*下游*\u003C\u002Fins>任务通常需要大量标注好的示例 💰。而指令学习中，每个\u003Cins>*下游*\u003C\u002Fins>任务可能只需要一条指令和少量示例 🤩。\n- 👉 **一个模型，所有任务。** 理想的AI系统应能快速理解并处理各种新任务 💫。\n- 👉 **一个充满前景的研究方向。** 传统示例驱动监督学习通过标注实例来表示任务语义，即通过观察大量示例训练模型以恢复原始任务含义。那么，**为什么不直接使用已经蕴含关键任务语义的指令呢**？\n\n\u003C!-- 我们都知道收集大量标注好的示例通常成本高昂 💰。 -->\n\n## 2. 🎓 调查与教程\n\n\u003C!-- 有许多关于文本指令学习的精彩调查与教程。 -->\n\u003C!-- 据我们所知，我们的调查是首个对指令学习领域进行全面且更广泛综述的文献。 -->\n\u003C!-- 由于每项调查都聚焦于特定的上下文指令，我们为每项调查都附上了标签以区分这些主题。 -->\n\u003C!-- 包括“提示”、“演示”、“推理”和“概览”（即更广阔的视角）。 -->\n\n\n我们使用标签![comprehensive](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcomprehensive-FFA07A)来标注那些具有更全面视角的论文。而其他一些论文则更专注于某一特定的上下文指令，包括![prompt](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fprompt-90EE90)、少样本![in-context demonstrations](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdemonstrations-FFB6C1)，以及CoT![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf)。\n\n1. **指令遵循的全面调查。** *Renze Lou、Kai Zhang 和 Wenpeng Yin.* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.10475)]；[[论文列表](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning)]。![comprehensive](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcomprehensive-FFA07A)\n\n2. **从任务指令中学习。** *Wenpeng Yin、Qinyuan Ye、Pengfei Liu、Xiang Ren 和 Hinrich Schütze.* \u003Cins>EMNLP教程\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2023.emnlp-tutorial.4.pdf)]。![comprehensive](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcomprehensive-FFA07A)\n\n3. **自然语言推理：一项调查。** *Fei Yu、Hongbo Zhang 和 Benyou Wang.* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.14725.pdf)]；[[论文列表](https:\u002F\u002Fgithub.com\u002FFreedomIntelligence\u002FReasoningNLP)]。![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf)\n\n4. **预训练、提示与预测：自然语言处理中提示方法的系统性调查。** *Pengfei Liu、Weizhe Yuan、Jinlan Fu、Zhengbao Jiang、Hiroaki Hayashi 和 Graham Neubig.* \u003Cins>ACM计算调查\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3560815)]；[[网站](http:\u002F\u002Fpretrain.nlpedia.ai\u002F)]。![prompt](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fprompt-90EE90)\n\n5. **上下文学习调查。** *Qingxiu Dong、Lei Li、Damai Dai、Ce Zheng、Zhiyong Wu、Baobao Chang、Xu Sun、Jingjing Xu、Lei Li 和 Zhifang Sui.* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.00234.pdf)]。![in-context demonstrations](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdemonstrations-FFB6C1)\n\n6. **迈向大语言模型中的推理：一项调查。** *Jie Huang 和 Kevin Chen-Chuan Chang.* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10403.pdf)]；[[论文列表](https:\u002F\u002Fgithub.com\u002Fjeffhj\u002FLM-reasoning)]。![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf)\n\n7. **利用语言模型提示进行推理：一项调查。** *Shuofei Qiao、Yixin Ou、Ningyu Zhang、Xiang Chen、Yunzhi Yao、Shumin Deng、Chuanqi Tan、Fei Huang 和 Huajun Chen.* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09597.pdf)]；[[论文列表](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FPrompt4ReasoningPapers)]。![reasoning](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Freasoning-9cf)\n\n\n\n## 3. 📚 语料库\n\n**高质量的数据集是成功指令微调的关键因素**。因此，我们将“语料库”部分放在这里，以强调其重要性。\n\n我们精心设计了下表，使其易于查阅并保持更新。希望它能为未来的指令微调研究贡献力量。🤗\n\n*（部分行内容来自[Longpre等人](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.13688.pdf)，感谢他们的卓越工作❤️。）\n\n\u003Ctable id=\"copora-table\" style=\"height: 353px; width: 690px;\" width=\"629\">\n\u003Ctbody>\n\u003Ctr style=\"height: 37px;\">\n\u003Ctd style=\"height: 47px; width: 124.992px; text-align: left;\" rowspan=\"2\">\u003Cstrong>Name \u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 47px; width: 61.2891px; text-align: right;\" rowspan=\"2\">\u003Cstrong>Release\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 47px; width: 85.1875px; text-align: center;\" rowspan=\"2\">\u003Cstrong>Data\u002FCode\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 37px; width: 144.289px; text-align: center;\" colspan=\"2\">\u003Cstrong>Scale\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 47px; width: 109.258px; text-align: center;\" rowspan=\"2\">\u003Cstrong>Language\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 47px;\" rowspan=\"2\">\u003Cstrong>Annotator\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 10px;\">\n\u003Ctd style=\"height: 10px; width: 60.7969px; text-align: right;\">\u003Cstrong>#Tasks\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd style=\"height: 10px; width: 77.4922px; text-align: right;\">\u003Cstrong>#Ins. (K)\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2005.00700.pdf\">UnifiedQA\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2020\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fallenai\u002Funifiedqa\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">46\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">750\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.08835.pdf\">CrossFit\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FINK-USC\u002FCrossFit\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">159\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">71,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2104.08773.pdf\">Natural Inst. v1\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Finstructions.apps.allenai.org\u002F\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">61\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">620\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.01652.pdf\">Flan 2021\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">09\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002FFLAN\u002Ftree\u002Fmain#flan-2021\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">62\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">4,400\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2202.01279.pdf\">P3\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbigscience\u002FP3\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">62\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">12,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2110.15943.pdf\">MetaICL\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FMetaICL\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">142\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">3,500\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fopenreview.net\u002Fpdf?id=Vzh1BFUCiIX\">ExMix\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">11\u002F2021\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Ftext-to-text-transfer-transformer\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">107\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">500\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\n\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07705.pdf\">SuperNI\u003C\u002Fa>\u003C\u002Fp>\n\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07705.pdf\">(Natural Inst. v2)\u003C\u002Fa>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Finstructions.apps.allenai.org\u002F\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">1,613\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">5,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.02414.pdf\">GLM\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FTHUDM\u002FGLM-130B\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">77\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">12,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fbilingual-yellow\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.13688.pdf\">Flan 2022\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002FFLAN\u002Ftree\u002Fmain\u002Fflan\u002Fv2\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">1,836\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">15,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.01786.pdf\">xP3\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">11\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbigscience\u002FxP3\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">71\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">81,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09689.pdf\">Unnatural Inst.\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Forhonovich\u002Funnatural-instructions\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">117\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">64\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 InstructGPT\u003Csub>002\u003C\u002Fsub>\u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>text-davinci-002\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10560.pdf\">Self-Instruct\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fyizhongw\u002Fself-instruct\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">82\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 GPT-3 \u003C\u002Fp>\n\u003Cp>\u003Ccode>\u003Csub>davinci\u003C\u002Fsub>\u003C\u002Fcode>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.12017.pdf\">OPT-IML\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2022\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">2,207\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">18,000\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fcrfm.stanford.edu\u002F2023\u002F03\u002F13\u002Falpaca.html\">Alpaca\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">03\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">52\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 InstructGPT\u003Csub>003\u003C\u002Fsub>\u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>text-davinci-003\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.01196.pdf\">Baize\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fproject-baize\u002Fbaize-chatbot\u002Ftree\u002Fmain\u002Fdata\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">100\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fbair.berkeley.edu\u002Fblog\u002F2023\u002F04\u002F03\u002Fkoala\u002F\">Koala\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fs3.amazonaws.com\u002Fstatic.nomic.ai\u002Fgpt4all\u002F2023_GPT4All_Technical_Report.pdf\">GPT4All\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fnomic-ai\u002Fgpt4all-j-prompt-generations\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">808\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.03277.pdf\">Alpaca-gpt4\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FInstruction-Tuning-with-GPT-4\u002FGPT-4-LLM\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">113\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fbilingual-yellow\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>🤖 GPT-4 \u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>gpt-4\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fvicuna.lmsys.org\u002F\">Vicuna\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">76\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fwww.databricks.com\u002Fblog\u002F2023\u002F04\u002F12\u002Fdolly-first-open-commercially-viable-instruction-tuned-llm\">Dolly\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fdatabrickslabs\u002Fdolly\u002Ftree\u002Fmaster\u002Fdata\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">15\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F10iR5hKwFqAKhL3umx8muOWSRm7hs5FqX\u002Fview\">Oasst\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FOpenAssistant\u002Foasst1\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">84\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmultilingual-red\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">✍ Human\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.08460.pdf\">LongForm\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fakoksal\u002FLongForm\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">27\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>🤖 InstructGPT\u003Csub>003\u003C\u002Fsub>\u003C\u002Fp>\n\u003Cp>\u003Csub>\u003Ccode>text-davinci-003\u003C\u002Fcode>\u003C\u002Fsub>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr style=\"height: 18px;\">\n\u003Ctd style=\"height: 18px; width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.07995.pdf\">Symbolic-Instruct\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fsail\u002Fsymbolic-instruction-tuning\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 77.4922px; text-align: right;\">796\u003C\u002Ftd>\n\u003Ctd style=\"height: 18px; width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center; height: 18px;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003Cp>Synthetic Examples\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.14402.pdf\">LaMini\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMBZUAI\u002FLaMini-instruction\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">2,580\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.12244.pdf\">WizardLM\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">196\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.09857.pdf\">COEDIT\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fvipulraheja\u002Fcoedit\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">82\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C!-- \u003Cp>collecting from existing text-editing datasets\u003C\u002Fp> -->\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14233.pdf\">UltraChat\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fstingning\u002Fultrachat\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">1,500\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fdialogue-%E2%9C%94-lightgreen\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14045.pdf\">CoT Collection\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FkaistAI\u002FCoT-Collection\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">1,060\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">1,880\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 Codex\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.14327.pdf\">Dynosaur\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">05\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fdynosaur-it.github.io\u002F\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">5,740\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">801\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Frenzelou.github.io\u002FMuffin\u002F\">MUFFIN\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FReza8848\u002FMUFFIN_68k\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">68\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003Cp>🤖 GPT-4 \u003C\u002Fp>\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.19651.pdf\">Dynamics-of-Instruction\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">10\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FChiyuSONG\u002Fdynamics-of-instruction-tuning\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">40\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2311.13246.pdf\">CoachLM\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">11\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Flunyiliu\u002FCoachLM\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">2\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>✍ Human\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2312.15685.pdf\">DEITA\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fhkust-nlp\u002Fdeita\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">10\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fpdf\u002F2312.14187.pdf\">WaveCoder\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">12\u002F2023\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">4 code-related tasks\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">20\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 ChatGPT\u003C\u002Fp>\n\u003Cp>🤖 GPT-4\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd style=\"width: 124.992px; text-align: left;\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.02823\">Conifer\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 61.2891px; text-align: right;\">\u003Cspan style=\"text-decoration: underline;\">04\u002F2024\u003C\u002Fspan>\u003C\u002Ftd>\n\u003Ctd style=\"width: 85.1875px; text-align: center;\">\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FConiferLM\u002FConifer\">Link\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd style=\"width: 60.7969px; text-align: right;\">\u002F\u003C\u002Ftd>\n\u003Ctd style=\"width: 77.4922px; text-align: right;\">13\u003C\u002Ftd>\n\u003Ctd style=\"width: 109.258px; text-align: center;\">\u003Cp>\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fmonolingual-informational\" alt=\"\" \u002F>\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003Ctd style=\"width: 124.984px; text-align: center;\">\n\u003Cp>🤖 GPT-4\u003C\u002Fp>\n\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n\u003C!-- 关于Alpaca的一些说明：\n1. 斯坦福Alpaca论文尚未发表。该论文主要基于Self-Instruct的数据生成流程，其主要区别在于作者使用了InstructGPT-3.5（text-davinci-003）替代了GPT-3（davinci）。此外，他们还调整了提示词、解码策略，并去除了cls任务的判别。\n2. Alpaca-gpt4基于Alpaca，其中5.2万条英文指令（含可选输入）直接来源于Alpaca。主要差异包括：(a) 使用ChatGPT将5.2万条英文指令翻译成对应的中文指令（含可选输入）；(b) 使用GPT-4替代GPT-3.5来标注这些双语指令的输出；(c) 此外，还采用了Unnatural Instructions的数据生成流程，以GPT-4作为标注模型。 -->\n\n\n\u003C!-- 由于上述与数据相关的论文已在上表中展示，此处不再逐一列出。\n\n1. **Self-Instruct：通过自我生成指令对语言模型进行对齐。** *Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi 和 Hannaneh Hajishirzi.* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10560.pdf)]；[[语料库](https:\u002F\u002Fgithub.com\u002Fyizhongw\u002Fself-instruct)]。\n\n2. **Unnatural Instructions：几乎无需人工劳动即可调优语言模型。** *Or Honovich, Thomas Scialom, Omer Levy 和 Timo Schick.* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09689.pdf)]；[[语料库](https:\u002F\u002Fgithub.com\u002Forhonovich\u002Funnatural-instructions)]。\n\n3. **Super-NaturalInstructions：通过声明式指令在1600多项NLP任务上实现泛化。** *Yizhong Wang, Swaroop Mishra, Pegah Alipoormolabashi 等.* \u003Cins>EMNLP\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07705.pdf)]；[[语料库](https:\u002F\u002Finstructions.apps.allenai.org\u002F)]。\n\n4. **通过自然语言众包指令实现跨任务泛化。** *Swaroop Mishra, Daniel Khashabi, Chitta Baral 和 Hannaneh Hajishirzi.* \u003Cins>ACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-long.244.pdf)]；[[语料库](https:\u002F\u002Finstructions.apps.allenai.org\u002F)]。\n\n5. **PromptSource：自然语言提示的集成开发环境和存储库。** *Stephen Bach, Victor Sanh, Zheng Xin Yong 等.* \u003Cins>ACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-demo.9.pdf)]；[[工具包](https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fpromptsource)]；[[语料库](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbigscience\u002FP3)]。\n\n\n## 4. 🗂️ 分类体系\n\n在我们的论文中，我们将文本指令分为三类。\n\n### 4.1 基于蕴含的指令\n\n\u003C!-- 基于蕴含的指令将任务输出构建成假设，而将原始任务输入视为前提。例如，原始任务是将“I love this movie”分类为“positive”标签。而基于蕴含的范式则旨在判断“前提：I love this movie”与“假设：这是情感正面吗？”之间是否存在蕴含关系。 -->\n\n\u003C!-- 例如，“前提：I love this movie”与“假设：这是情感正面吗？” -->\n\n![entailment_oriented](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_501c8a547d9b.png)\n\n基于蕴含的指令将任务**输入**视为**前提**，并将任务**输出**构建成**假设**。它将传统的分类问题统一到文本蕴含的范式中。\n\n1. **用于零样本泛化的通用判别器。** *Haike Xu, Zongyu Lin, Jing Zhou, Yanan Zheng 和 Zhilin Yang.* \u003Cins>ACL\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.08099.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FRafa-zy\u002FUD)]。\n\n2. **ConEntail：基于蕴含的框架，用于带监督对比预训练的通用零样本和少样本分类。** *Ranran Haoran Zhang, Aysa Xuemo Fan 和 Rui Zhang.* \u003Cins>EACL\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.07587.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fpsunlpgroup\u002FConEntail)]。\n\n3. **OpenStance：真实世界中的零样本立场检测。** *Hanzi Xu, Slobodan Vucetic 和 Wenpeng Yin.* \u003Cins>CoNLL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.14299.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fxhz0809\u002FOpenStance)]。\n\n4. **利用自然语言推理的间接监督进行超细粒度实体类型标注。** *Bangzheng Li, Wenpeng Yin 和 Muhao Chen.* \u003Cins>TACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.tacl-1.35.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fluka-group\u002Flite)]。\n\n5. **用于事件论元抽取的文本蕴含：零样本和少样本多源学习。** *Oscar Sainz, Itziar Gonzalez-Dios, Oier Lopez de Lacalle, Bonan Min 和 Eneko Agirre.* \u003Cins>NAACL发现\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.findings-naacl.187.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fluka-group\u002Flite)]。\n\n6. **标签词汇化与蕴含用于有效的零样本和少样本关系抽取。** *Oscar Sainz, Oier Lopez de Lacalle, Gorka Labaka, Ander Barrena 和 Eneko Agirre.* \u003Cins>EMNLP\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.emnlp-main.92.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fosainz59\u002FAsk2Transformers)]。\n\n7. **通过数据集和提示词集合的元微调适应语言模型进行零样本学习。** *Ruiqi Zhong, Kristy Lee, Zheng Zhang 和 Dan Klein.* \u003Cins>EMNLP发现\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.findings-emnlp.244.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fruiqi-zhong\u002FMeta-tuning)]。\n\n8. **多轮新增类别的增量少样本文本分类：公式、数据集和系统。** *Congying Xia, Wenpeng Yin, Yihao Feng 和 Philip Yu.* \u003Cins>NAACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.106.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fcongyingxia\u002FIncrementalFSTC)]。\n\n9. **ExpBERT：利用自然语言解释进行表示工程。** *Shikhar Murty, Pang Wei Koh 和 Percy Liang.* \u003Cins>ACL\u003C\u002Fins> 2020年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2020.acl-main.190.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FMurtyShikhar\u002FExpBERT)]。\n\n10. **零样本文本分类基准测试：数据集、评估与蕴含方法。** *Wenpeng Yin, Jamaal Hay, Dan Roth* *.* \u003Cins>EMNLP\u003C\u002Fins> 2019年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1909.00161.pdf)]；[[网站](https:\u002F\u002Fcogcomp.seas.upenn.edu\u002Fpage\u002Fpublication_view\u002F883)]。\n\n### 4.2 面向PLM的指令\n\n![plm_oriented](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_354679a19188.png)\n\n面向PLM的指令（即提示词）旨在构建一种填空式输入，以引导预训练语言模型（PLM）生成相应回答。在此，我们展示了若干具有代表性的面向PLM的指令学习研究。更多相关工作，请参阅[此仓库](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FPromptPapers)和[这篇综述](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3560815)。\n\n1. **上下文学习如何助力提示词调优？** *Simeng Sun, Yang Liu, Dan Iter, Chenguang Zhu 和 Mohit Iyyer.* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.11521.pdf)]。\n\n2. **通过困惑度估计揭秘语言模型中的提示词。** *Hila Gonen, Srini Iyer, Terra Blevins, Noah A. Smith 和 Luke Zettlemoyer.* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.04037.pdf)]。\n\n3. **RLPrompt：利用强化学习优化离散文本提示词。** *Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh 等.* \u003Cins>EMNLP\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.12548.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fmingkaid\u002Frl-prompt)]。\n\n4. **PPT：用于少样本学习的预训练提示词调优。** *Yuxian Gu, Xu Han, Zhiyuan Liu 和 Minlie Huang.* \u003Cins>ACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2109.04332.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fthu-coai\u002FPPT)]。\n\n5. **P-Tuning v2：提示词调优在规模与任务上均可媲美微调。** *Xiao Liu, Kaixuan Ji, Yicheng Fu, Weng Lam Tam, Zhengxiao Du, Zhilin Yang 和 Jie Tang.* \u003Cins>ACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2110.07602.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning-v2)]。\n\n6. **KnowPrompt：基于协同优化的知识感知提示词调优用于关系抽取。** *Xiang Chen, Ningyu Zhang, Xin Xie 等.* \u003Cins>WWW\u003C\u002Fins> 2022年。[[pdf](http:\u002F\u002F128.84.21.203\u002Fpdf\u002F2104.07650)]；[[代码](https:\u002F\u002Fgithub.com\u002Fzjunlp\u002FKnowPrompt)]。\n\n7. **GPT也懂！** *Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang 和 Jie Tang.* \u003Cins>预印本\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2103.10385.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning)]。\n\n8. **利用自然语言指令进行少样本文本生成。** *Timo Schick 和 Hinrich Schütze.* \u003Cins>EMNLP\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.emnlp-main.32.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ftimoschick\u002Fpet)]。\n\n9. **不仅仅是规模重要：小型语言模型也是少样本学习者。** *Timo Schick 和 Hinrich Schütze.* \u003Cins>NAACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.185.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ftimoschick\u002Fpet)]。\n\n10. **学习如何提问：用软提示词混合体查询语言模型。** *Guanghui Qin 和 Jason Eisner.* \u003Cins>NAACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.410.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fhiaoxui\u002Fsoft-prompts)]。\n\n11. **前缀调优：为生成优化连续提示词。** *Xiang Lisa Li 和 Percy Liang.* \u003Cins>ACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.acl-long.353.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FXiangLi1999\u002FPrefixTuning)]。\n\n12. **让预训练语言模型成为更优秀的少样本学习者。** *Tianyu Gao, Adam Fisch 和 Danqi Chen.* \u003Cins>ACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.acl-long.295.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fprinceton-nlp\u002FLM-BFF)]。\n\n13. **基于模板的命名实体识别使用BART。** *Leyang Cui, Yu Wu, Jian Liu, Sen Yang 和 Yue Zhang.* \u003Cins>ACL发现\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.findings-acl.161.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FNealcly\u002FtemplateNER)]。\n\n14. **利用填空式问题进行少样本文本分类与自然语言推理。** *Timo Schick 和 Hinrich Schütze.* \u003Cins>EACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.eacl-main.20.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ftimoschick\u002Fpet)]。\n\n15. **语言模型是无监督多任务学习者。** *Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei 和 Ilya Sutskever.* \u003Cins>预印本\u003C\u002Fins> 2019年。[[pdf](https:\u002F\u002Flife-extension.github.io\u002F2020\u002F05\u002F27\u002FGPT%E6%8A%80%E6%9C%AF%E5%88%9D%E6%8E%A2\u002Flanguage-models.pdf)]。\n\n### 4.3 以人为本的指令\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]; [[其他资源](链接)]。 -->\n\n![以人为本的指令](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_756415682fd0.png)\n\n以人为本的指令最初旨在帮助人类理解任务并标注数据，例如[Amazon MTurk](https:\u002F\u002Fwww.mturk.com\u002F)的说明，它提供了关于任务的充分信息（例如详细的定义）。\n\n1. **对齐指令任务解锁了大型语言模型作为零样本关系抽取器。** *张凯、贝尔纳尔·希门尼斯·古铁雷斯、苏宇。* \u003Cins>ACL发现\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11159.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FQA4RE)]。\n\n2. **符号微调提升了语言模型的上下文学习能力。** *杰瑞·魏、乐厚、安德鲁·兰皮嫩、向宁陈等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.08298.pdf)]。\n\n3. **小型模型是大型语言模型的宝贵插件。** *徐灿文、徐一冲、王舒航、刘洋、朱晨光、朱利安·麦考利。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.08848.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FJetRunner\u002FSuperICL)]。\n\n4. **额外一条指令值得多少数据样本？** *拉夫塞哈吉·辛格·普里、斯瓦鲁普·米什拉、米希尔·帕尔马尔、奇塔·巴拉尔。* \u003Cins>EACL发现\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.09161.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FRavsehajsinghpuri\u002FMulti-Variant-Instructions)]。\n\n5. **上下文指令学习。** *叶圣贤、黄贤彬、杨素熙、尹亨求、金艺仁、徐敏俊。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.14691.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fseonghyeonye\u002FICIL)]。\n\n6. **InstructABSA：面向方面情感分析的指令学习。** *凯文·斯卡里亚、希曼舒·古普塔、索拉布·阿琼·萨旺特、斯瓦鲁普·米什拉、奇塔·巴拉尔。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.08624.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fkevinscaria\u002FInstructABSA)]。\n\n7. **HINT：用于高效零样本泛化的超网络指令微调。** *哈米什·伊维森、阿克希塔·巴吉亚、王益忠、哈娜内·哈吉希日齐、马修·彼得斯。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10315.pdf)]。\n\n8. **通过元学习提升基于指令的自然语言生成。** *布达迪蒂亚·德布、郭庆郑、艾哈迈德·哈桑·阿瓦达拉。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.11617.pdf)]。\n\n9. **GrIPS：无梯度、基于编辑的指令搜索，用于提示大型语言模型。** *阿尔基·普拉萨德、彼得·哈塞、向周、莫希特·班萨尔。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.07281.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Farchiki\u002FGrIPS)]。\n\n10. **ConTinTin：从任务指令中进行持续学习。** *尹文鹏、李佳、熊才明。* \u003Cins>ACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-long.218.pdf)]。\n\n11. **InstructDial：通过指令微调提升对话中的零样本与少样本泛化能力。** *普拉卡尔·古普塔、凯茜·焦、易婷·叶、希基卜·梅赫里、马克西恩·埃斯肯纳齐、杰弗里·P·比格姆。* \u003Cins>EMNLP\u003C\u002Fins> 2022年。[[pdf]([链接](http:\u002F\u002F128.84.21.203\u002Fpdf\u002F2205.12673))]; [[代码](https:\u002F\u002Fgithub.com\u002Fprakharguptaz\u002FInstructdial)]。\n\n12. **从任务描述中学习生成特定于任务的适配器。** *叶钦源、任翔。* \u003Cins>ACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.acl-short.82.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FINK-USC\u002Fhypter)]。\u003C!-- TODO -->\n\n13. **图灵测试：语言模型能理解指令吗？** *阿维娅·埃夫拉特、奥默·列维。* \u003Cins>预印本\u003C\u002Fins> 2020年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2010.11982.pdf)]。\n\n\n## 5. 📊 分析\n\n### 5.1 规模\n研究发现，模型规模和任务规模对于基于指令的微调至关重要。一般来说，更大的模型规模有助于提升泛化能力，任务规模同样如此。不过，也有一些研究提出了不同观点（例如，[Jang 等人](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.03202.pdf) 和 [Wang 等人](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.00185.pdf)）。\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]；[[其他资源](链接)]。  -->\n   \n1. **探索训练专家语言模型相较于指令微调的优势。** *乔尔·张、金承恩、吕圣贤等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.03202.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fjoeljang\u002FELM)]。 \n   \n2. **Flan数据集：为高效指令微调设计数据与方法。** *谢恩·朗普雷、乐厚、涂武等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.13688.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002FFLAN\u002Ftree\u002Fmain\u002Fflan\u002Fv2)]；[[语料库](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSirNeural\u002Fflan_v2)]。\n   \n3. **UL2：统一语言学习范式。** *易泰、穆斯塔法·德赫加尼、文·Q·陈等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.05131.pdf)]；[[检查点](https:\u002F\u002Fhuggingface.co\u002Fgoogle\u002Fflan-ul2)]。\n   \n4. **OPT-IML：从泛化视角出发，扩展语言模型指令元学习。** *斯里尼瓦桑·艾耶尔、西维克托利亚·林、拉马坎特·帕苏努鲁等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.12017.pdf)]。   \n   \n5. **扩展指令微调语言模型。** *洪源忠、乐厚、谢恩·朗普雷等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.11416.pdf)]；[[检查点](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fmodel_doc\u002Fflan-t5)]。 \n   \n6. **利用无标签数据学习指令，实现零样本跨任务泛化。** *于贤顾、裴可、夏燕朱、黄敏莉。* \u003Cins>EMNLP\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.09175.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fthu-coai\u002FUDIT)]。 \n   \n7. **大型语言模型的涌现能力。** *杰森·魏、易泰、里希·博马萨尼、科林·拉菲尔等。* \u003Cins>TMLR\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=yzkSU5zdwD)]。\n   \n8. **多任务提示训练实现零样本任务泛化。** *维克托·桑、阿尔伯特·韦布森、科林·拉菲尔等。* \u003Cins>ICLR\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=9Vrb9D0WI4)]；[[检查点](https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Ft-zero)]；[[语料库](https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fpromptsource)]。 \n   \n9. **微调语言模型即零样本学习者。** *杰森·魏、马滕·博斯马、文森特·赵等。* \u003Cins>ICLR\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=gEZrGCozdqR)]；[[代码](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fflan)]。\n    \n10. **Zemi：从多个任务中学习零样本半参数语言模型。** *王振海龙、潘晓曼、余典、余东、陈建树、季恒。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.00185.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FMikeWangWZHL\u002FZemi)]。  \n    \n11. **ZeroPrompt：将基于提示的预训练扩展至1000个任务，提升零样本泛化能力。** *徐瀚伟、陈宇俊、杜玉伦、邵楠、王阳刚、李海宇、杨志林。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.06910.pdf)]。 \n    \n12. **规模的力量：用于参数高效提示微调的规模效应。** *布莱恩·莱斯特、拉米·阿尔-尔福、诺亚·康斯坦特。* \u003Cins>EMNLP\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.emnlp-main.243.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fprompt-tuning)]。\n\n### 5.2 可解释性\n\n我们展示了聚焦于指令学习的可解释性和可靠性的相关工作，即阐释指令在何时以及为何能够发挥作用。\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]; [[其他资源](链接)]。 -->\n   \n1. **上下文学习“学到”了什么：解耦任务识别与任务学习。** *Jane Pan、Tianyu Gao、Howard Chen 和 Danqi Chen。* \u003Cins>ACL发现\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.09731.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fprinceton-nlp\u002FWhatICLLearns)]。\n   \n2. **REV：自由文本推理的信息论评估。** *Hanjie Chen、Faeze Brahman、Xiang Ren 等。* \u003Cins>ACL\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.04982.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FHanjieChen\u002FREV)]。\n   \n3. **大规模可解释性：识别Alpaca中的因果机制。** *Zhengxuan Wu、Atticus Geiger、Christopher Potts 和 Noah D. Goodman。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.08809.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Ffrankaging\u002Falign-transformers)]。\n   \n4. **大型语言模型本质上是主题模型：解释并寻找上下文学习的良好示范。** *Xinyi Wang、Wanrong Zhu、Michael Saxon、Mark Steyvers 和 William Yang Wang。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.11916.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FWANGXinyiLinda\u002Fconcept-based-demonstration-selection)]。\n   \n5. **上下文学习的可学习性。** *Noam Wies、Yoav Levine 和 Amnon Shashua。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.07895.pdf)]。\n   \n6. **为什么需要逐步思考？推理源于经验的局部性。** *Ben Prystawski 和 Noah D. Goodman。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.03843.pdf)]。\n   \n7. **更大的语言模型以不同的方式进行上下文学习。** *Jerry Wei、Jason Wei、Yi Tay 等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.03846.pdf)]。\n   \n8. **上下文学习背后是什么学习算法？基于线性模型的探究。** *Ekin Akyürek、Dale Schuurmans、Jacob Andreas、Tengyu Ma 和 Denny Zhou。* \u003Cins>ICLR\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=0g0X4H8yN4I)]; [[代码](https:\u002F\u002Fgithub.com\u002Fekinakyurek\u002Fgoogle-research\u002Ftree\u002Fmaster\u002Fincontext)]。\n   \n9. **语言模型能否从上下文中的解释中学习？** *Andrew K. Lampinen、Ishita Dasgupta、Stephanie C. Y. Chan 等。* \u003Cins>EMNLP发现\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.02329.pdf)]。\n   \n10. **重新思考示范的作用：是什么让上下文学习奏效？** *Sewon Min、Xinxi Lyu、Ari Holtzman、Mikel Artetxe、Mike Lewis、Hannaneh Hajishirzi 和 Luke Zettlemoyer。* \u003Cins>EMNLP\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2202.12837.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FAlrope123\u002Frethinking-demonstrations)]。\n   \n11. **提示的偏差：连续提示离散化解释的奇特案例。** *Daniel Khashabi、Xinxi Lyu、Sewon Min 等。* \u003Cins>NAACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.naacl-main.266.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FAlrope123\u002Fprompt-waywardness)]。\n   \n12. **基于提示的模型真的理解其提示的含义吗？** *Albert Webson 和 Ellie Pavlick。* \u003Cins>NAACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.naacl-main.167.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fawebson\u002Fprompt_semantics)]。\n   \n13. **将指令提示重构成GPTk的语言。** *Swaroop Mishra、Daniel Khashabi、Chitta Baral、Yejin Choi 和 Hannaneh Hajishirzi。* \u003Cins>ACL发现\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.findings-acl.50.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fallenai\u002Freframing\u002F)]。\n   \n14. **对GPT-3来说，什么样的上下文示例是好的？** *Jiachang Liu、Dinghan Shen、Yizhe Zhang、Bill Dolan、Lawrence Carin 和 Weizhu Chen。* \u003Cins>ACL研讨会\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.deelio-1.10.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fjiachangliu\u002FKATEGPT3)]。\n   \n15. **奇妙排序的提示及其查找方法：克服少样本提示顺序敏感性。** *Yao Lu、Max Bartolo、Alastair Moore、Sebastian Riedel 和 Pontus Stenetorp。* \u003Cins>ACL\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2022.acl-long.556.pdf)]。\n   \n16. **使用前校准：提升语言模型的少样本性能。** *Zihao Zhao、Eric Wallace、Shi Feng、Dan Klein 和 Sameer Singh。* \u003Cins>ICML\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.09690.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Ftonyzhaozh\u002Ffew-shot-learning)]。\n\n### 5.3 鲁棒性与安全性\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]; [[其他资源](链接)]。 -->\n   \n1. **通过虚拟提示注入对指令微调的大型语言模型进行后门攻击。** *Jun Yan、Vikas Yadav、Shiyang Li 等。* \u003Cins>NeurIPS研讨会\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.16888)]。\n   \n2. **评估指令微调语言模型的零样本鲁棒性。** *Jiuding Sun、Chantal Shaib 和 Byron C. Wallace。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.11270.pdf)]。\n   \n3. **在指令微调过程中毒害语言模型。** *Alexander Wan、Eric Wallace、Sheng Shen 和 Dan Klein。* \u003Cins>ICML\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.00944.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002FAlexWan0\u002FPoisoning-Instruction-Tuned-Models)]。\n   \n4. **针对ChatGPT的多步骤越狱隐私攻击。** *Haoran Li、Dadi Guo、Wei Fan、Mingshi Xu、Jie Huang、Fanpu Meng 和 Yangqiu Song。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.05197.pdf)]。\n   \n5. **远超你的要求：应用集成大型语言模型新型提示注入威胁的全面分析。** *Kai Greshake、Sahar Abdelnabi、Shailesh Mishra、Christoph Endres、Thorsten Holz 和 Mario Fritz。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.12173.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fgreshake\u002Fllm-security)]。\n   \n6. **从任务指令中学习的鲁棒性。** *Jiasheng Gu、Hanzi Xu、Liangyu Nie 和 Wenpeng Yin。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.03813.pdf)]。\n\n7. **从任务描述中学习。** *Orion Weller、Nicholas Lourie、Matt Gardner 和 Matthew E. Peters。* \u003Cins>EMNLP\u003C\u002Fins> 2020年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2020.emnlp-main.105.pdf)]; [[代码](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fzest)]; [[语料库](https:\u002F\u002Fallenai.org\u002Fdata\u002Fzest)]。\n\n### 5.4 评估\n别再用老式的自动指标来评估你的指令微调系统了；试试更先进的方法，全面地进行评估吧！\n\n1. **气候变化中的骆驼：利用Tulu 2增强语言模型适应性。** *哈米什·伊维森、王一忠、瓦伦蒂娜·皮亚特金等* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2311.10702.pdf)]；[[模型与数据](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fallenai\u002Ftulu-v2-suite-6551b56e743e6349aab45101)]\n\n2. **骆驼能走多远？探索开放资源上的指令微调现状。** *王一忠、哈米什·伊维森、普拉迪普·达西吉等* \u003Cins>NeurIPS 数据集与基准\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.04751.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fallenai\u002Fopen-instruct)]\n\n3. **通过调整动词形式进行指令遵循评估。** *李世阳、严俊、王海、唐峥、任翔、维杰·斯里尼瓦桑、金红霞* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2307.10558.pdf)]\n\n4. **INSTRUCTEVAL：迈向对指令微调大型语言模型的全面评估。** *谢伟健、洪鹏飞、冰立东、波里亚·索贾尼亚* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.04757.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fdeclare-lab\u002Finstruct-eval)]；[[排行榜](https:\u002F\u002Fdeclare-lab.net\u002Finstruct-eval\u002F)]\n\n\n### 5.5 否定\n\n否定表达，如“不要”和“避免做”，是模型难以正确理解和遵循的。\n\n1. **大型语言模型真的能理解提示吗？否定提示的案例研究。** *乔尔·张、成贤叶、徐敏俊* \u003Cins>ICML研讨会\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Fproceedings.mlr.press\u002Fv203\u002Fjang23a\u002Fjang23a.pdf)]\n\n2. **通过不理解来理解：语言模型中否定的建模。** *阿里安·侯赛尼、西瓦·雷迪、季米特里·巴赫达瑙等* \u003Cins>NAACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.102.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Farianhosseini\u002Fnegation-learning)]\n\n\n### 5.6 复杂性\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]；[[其他资源](链接)] -->\n论文正聚焦于提升指令的复杂性以增强模型能力。在指令数据中加入更多复杂的数据，模型的表现就能更加出色。\n\n1. **Wizardlm：赋能大型语言模型遵循复杂指令。** *徐灿、孙庆峰、郑凯、耿秀波、赵璞、冯嘉展、陶崇阳、蒋大鑫* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.12244.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fnlpxucan\u002FWizardLM)]\n\n2. **Orca：从GPT-4复杂解释轨迹中逐步学习。** *穆克吉、苏巴布拉塔、米特拉、加内什、阿加瓦尔、萨哈吉、帕兰吉、哈米德、阿瓦达拉* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.02707.pdf)]\n\n3. **复杂性与对齐之间内在关系的初步研究。** *赵英秀、于博文、胡彬源、于海阳、黄飞、李永斌、张宁林* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2308.05696.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FAlibabaResearch\u002FDAMO-ConvAI\u002Ftree\u002Fmain\u002Ftree-instruct)]\n\n\n### 5.7 其他论文\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]；[[其他资源](链接)] -->\n\n1. **别怪标注员：偏差早已始于标注指令。** *米希尔·帕尔马尔、斯瓦鲁普·米什拉、莫尔·盖瓦、奇塔·巴拉尔* \u003Cins>EACL\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.00415.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FMihir3009\u002Finstruction-bias)]\n2. **指令微调模型是快速学习者。** *希曼舒·古普塔、索拉布·阿琼·萨旺特、斯瓦鲁普·米什拉等* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.05539.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fsrsawant34\u002Fefficient_instruction_learning)]\n3. **少样本参数高效微调比上下文学习更好也更便宜。** *刘浩坤、德里克·谭、穆罕默德·穆基斯、杰伊·莫赫塔、黄腾浩、莫希特·班萨尔、科林·拉菲尔* \u003Cins>NeurIPS\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=rBCvMG-JsPd)]；[[代码](https:\u002F\u002Fgithub.com\u002Fr-three\u002Ft-few)]\n4. **NLP相关众包HIT调查：哪些有效，哪些无效。** *杰西卡·许云、杰弗里·比格姆、马克辛·埃斯克纳齐* \u003Cins>预印本\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2111.05241.pdf)]\n\n\n## 6. 🤖 应用\n\n### 6.1 人机交互\n\n指令在各种人机交互（HCI）任务中都有应用，例如虚拟助手、聊天机器人等。\n\n\n1. **帮我写首诗：指令微调作为协作诗歌创作的载体。** *图欣·查克拉巴蒂、维沙克·帕德马库马尔和何何。* \u003Cins>EMNLP\u003C\u002Fins> 2022。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.13669.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fvishakhpk\u002Fcreative-instructions)]。\n\n2. **帮我思考：一种面向非专家的简单提示策略，用于借助模型生成定制内容。** *斯瓦鲁普·米什拉和埃尔纳兹·努里。* \u003Cins>预印本\u003C\u002Fins> 2022。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2208.08232.pdf)]。\n\n3. **EditEval：基于指令的文本改进基准测试。** *简·德维迪-尤、蒂莫·希克、郑宝江等。* \u003Cins>预印本\u003C\u002Fins> 2022。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2209.13331.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FEditEval)]；[[网站](https:\u002F\u002Feval.ai\u002Fweb\u002Fchallenges\u002Fchallenge-page\u002F1866\u002Foverview)]。\n\n4. **向人类和机器传达自然程序。** *萨姆·阿夸维瓦、叶文·普、玛尔塔·克里文等。* \u003Cins>NeurIPS研讨会\u003C\u002Fins> 2022。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=OxFoLTKDcNm)]；[[代码](https:\u002F\u002Fgithub.com\u002Fsamacqua\u002FLARC)]。\n\n5. **基于GUI的自然语言指令与演示的交互式任务学习。** *托比·贾俊·李、汤姆·米切尔和布拉德·迈尔斯。* \u003Cins>ACL演示\u003C\u002Fins> 2020。[[pdf](https:\u002F\u002Faclanthology.org\u002F2020.acl-demos.25.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ftobyli\u002FSugilite_development)]；[[视频](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=tdHEk-GeaqE)]。\n\n6. **基于演示与自然语言指令的多模态交互式任务学习。** *托比·贾俊·李。* \u003Cins>UIST\u003C\u002Fins> 2020。[[pdf](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F3379350.3415803)]；[[代码](https:\u002F\u002Fgithub.com\u002Ftobyli\u002FSugilite_development)]。\n\n7. **为数据高效神经指令跟随预学习环境表示。** *大卫·加迪和丹·克莱因。* \u003Cins>ACL\u003C\u002Fins> 2019。[[pdf](https:\u002F\u002Faclanthology.org\u002FP19-1188.pdf)]。\n\n8. **VirtualHome：通过程序模拟家庭活动。** *哈维尔·普伊格、凯文·拉、马尔科·博本等。* \u003Cins>CVPR\u003C\u002Fins> 2018。[[pdf](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent_cvpr_2018\u002Fpapers\u002FPuig_VirtualHome_Simulating_Household_CVPR_2018_paper.pdf)]；[[网站](http:\u002F\u002Fvirtual-home.org\u002F)]。\n\n9. **与机器人进行自然语言交流。** *约纳坦·比斯克、德尼兹·尤雷特和丹尼尔·马尔库。* \u003Cins>NAACL\u003C\u002Fins> 2016。[[pdf](https:\u002F\u002Faclanthology.org\u002FN16-1089.pdf)]；[[网站](https:\u002F\u002Fgroundedlanguage.github.io\u002F)]。\n\n10. **联合学习解析与感知：将自然语言与物理世界连接起来。** *贾扬特·克里希纳穆提和托马斯·科拉尔。* \u003Cins>TACL\u003C\u002Fins> 2013。[[pdf](http:\u002F\u002Frtw.ml.cmu.edu\u002Ftacl2013_lsp\u002Ftacl2013-krishnamurthy-kollar.pdf)]；[[代码](http:\u002F\u002Frtw.ml.cmu.edu\u002Ftacl2013_lsp\u002F)]。\n\n11. **弱监督学习语义解析器，将指令映射到动作。** *约阿夫·阿茨基和卢克·泽特勒莫耶。* \u003Cins>TACL\u003C\u002Fins> 2013。[[pdf](https:\u002F\u002Faclanthology.org\u002FQ13-1005.pdf)]。\n\n12. **无监督PCFG诱导，用于高度模糊监督下的具身语言学习。** *金周贤和雷蒙德·穆尼。* \u003Cins>EMNLP\u003C\u002Fins> 2012。[[pdf](https:\u002F\u002Faclanthology.org\u002FD12-1040.pdf)]。\n\n13. **语言与感知的联合模型，用于具身属性学习。** *辛西娅·马图塞克、尼古拉斯·菲茨杰拉德、卢克·泽特勒莫耶、李峰波和迪特·福克斯。* \u003Cins>ICML\u003C\u002Fins> 2012。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1206.6423.pdf)]。\n\n14. **学习解读自然语言指令。** *莫妮卡·巴贝什-弗罗马恩、詹姆斯·麦克格拉申、若元高和等。* \u003Cins>ACL研讨会\u003C\u002Fins> 2012。[[pdf](https:\u002F\u002Faclanthology.org\u002FW12-2801.pdf)]。\n\n15. **快速在线词典学习，用于具身语言获取。** *大卫·陈。* \u003Cins>ACL\u003C\u002Fins> 2012。[[pdf](https:\u002F\u002Faclanthology.org\u002FP12-1045.pdf)]。\n\n16. **在蒙特卡洛框架下通过阅读手册学会取胜。** *S.R.K. 布拉纳万、大卫·西尔弗和雷吉娜·巴尔齐莱。* \u003Cins>ACL\u003C\u002Fins> 2011。[[pdf](https:\u002F\u002Faclanthology.org\u002FP11-1028.pdf)]；[[网站](http:\u002F\u002Fgroups.csail.mit.edu\u002Frbg\u002Fcode\u002Fciv\u002F)]。\n\n17. **从自然指令中学习。** *丹·戈德瓦瑟和丹·罗斯。* \u003Cins>IJCAI\u003C\u002Fins> 2011。[[pdf](https:\u002F\u002Fciteseerx.ist.psu.edu\u002Fdocument?repid=rep1&type=pdf&doi=2aba84801935041774c1e2b749e0331efa322ed8)]。\n\n18. **从观察中学习解读自然语言导航指令。** *大卫·L·陈和雷蒙德·J·穆尼。* \u003Cins>AAAI\u003C\u002Fins> 2011。[[pdf](https:\u002F\u002Fwww.cs.utexas.edu\u002Fusers\u002Fml\u002Fpapers\u002Fchen.aaai11.pdf)]。\n\n19. **用概率图模型逼近符号接地问题。** *斯特凡妮·泰利克斯、托马斯·科拉尔、史蒂文·迪克森等。* \u003Cins>AAAI\u003C\u002Fins> 2011。[[pdf](https:\u002F\u002Fcs.brown.edu\u002Fpeople\u002Fstellex\u002Fpublications\u002Ftellex11a.pdf)]。\n\n20. **从世界的反应中驱动语义解析。** *詹姆斯·克拉克、丹·戈德瓦瑟、明伟昌和丹·罗斯。* \u003Cins>CoNLL\u003C\u002Fins> 2010。[[pdf](https:\u002F\u002Faclanthology.org\u002FW10-2903.pdf)]。\n\n21. **学习遵循导航指示。** *亚当·沃格尔和丹尼尔·朱拉夫斯基。* \u003Cins>ACL\u003C\u002Fins> 2010。[[pdf](https:\u002F\u002Faclanthology.org\u002FP10-1083.pdf)]。\n\n22. **字里行间阅读：学习将高层指令映射到命令。** *S.R.K. 布拉纳万、卢克·泽特勒莫耶和雷吉娜·巴尔齐莱。* \u003Cins>ACL\u003C\u002Fins> 2010。[[pdf](https:\u002F\u002Faclanthology.org\u002FP10-1129.pdf)]；[[网站](http:\u002F\u002Fgroups.csail.mit.edu\u002Frbg\u002Fcode\u002Frl-hli\u002F)]。\n\n23. **阅读以学习：从语义摘要中构造特征。** *雅各布·艾森斯坦、詹姆斯·克拉克、丹·戈德瓦瑟和丹·罗斯。* \u003Cins>EMNLP\u003C\u002Fins> 2009。[[pdf](https:\u002F\u002Faclanthology.org\u002FD09-1100.pdf)]；[[网站](http:\u002F\u002Fwww.comlab.ox.ac.uk\u002Factivities\u002Fmachinelearning\u002FAleph\u002F)]。\n\n24. **在较少监督下学习语义对应关系。** *珀西·梁、迈克尔·乔丹和丹·克莱因。* \u003Cins>ACL\u003C\u002Fins> 2009。[[pdf](https:\u002F\u002Faclanthology.org\u002FP09-1011.pdf)]。\n\n25. **强化学习，将指令映射到动作。** *S.R.K. 布拉纳万、哈瑞·陈、卢克·泽特勒莫耶和雷吉娜·巴尔齐莱。* \u003Cins>ACL\u003C\u002Fins> 2009。[[pdf](https:\u002F\u002Faclanthology.org\u002FP09-1010.pdf)]；[[网站](http:\u002F\u002Fgroups.csail.mit.edu\u002Frbg\u002Fcode\u002Frl\u002F)]。\n\n26. **学习体育解说：具身语言获取的测试。** *大卫·L·陈和雷蒙德·J·穆尼。* \u003Cins>ICML\u003C\u002Fins> 2008。[[pdf](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002Fpdf\u002F10.1145\u002F1390156.1390173)]。\n\n27. **用自然语言建议引导强化学习者：RoboCup足球赛的初步结果。** *格雷戈里·库尔曼、彼得·斯通、雷蒙德·穆尼和朱德·沙夫利克。* \u003Cins>AAAI研讨会\u003C\u002Fins> 2004。[[pdf](https:\u002F\u002Fftp.cs.wisc.edu\u002Fmachine-learning\u002Fshavlik-group\u002Fkuhlmann-aaai04.pdf)]；[[网站](http:\u002F\u002Fwww.cs.utexas.edu\u002FAustinVilla\u002Fsim\u002Fkeepaway\u002F)]。\n\n### 6.2 数据与特征增强\n\n一些指令（例如标签说明）也可用于自动标注（即数据增强），或用于丰富特征。\n\n1. **一个嵌入器，适用于任何任务：基于指令微调的文本嵌入。** *苏洪锦、史伟嘉、笠井纯吾等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.09741.pdf)]；[[网站](https:\u002F\u002Finstructor-embedding.github.io\u002F)]。 \n\n2. **提示一致性用于零样本任务泛化。** *周春婷、何俊贤、马学哲、泰勒·伯格-柯克帕特里克、格雷厄姆·纽比格。* \u003Cins>EMNLP发现\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.00049.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fviolet-zct\u002Fswarm-distillation-zero-shot)]。 \n\n3. **用组合式解释教授机器理解能力。** *叶钦源、黄晓、伊丽莎白·博舍、任翔。* \u003Cins>EMNLP发现\u003C\u002Fins> 2020年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2020.findings-emnlp.145.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FINK-USC\u002Fmrc-explanation)]。 \n\n4. **通过神经执行树从解释中学习。** *王子琪、秦宇佳、周文轩、闫军、叶钦源、莱昂纳多·内维斯、刘志远、任翔。* \u003Cins>ICLR\u003C\u002Fins> 2020年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=rJlUt0EYwS)]；[[网站](http:\u002F\u002Finklab.usc.edu\u002Fproject-NExT\u002F)]。 \n\n5. **用自然语言解释训练分类器。** *布拉登·汉考克、帕罗玛·瓦尔玛、斯蒂芬妮·王、马丁·布林格曼、珀西·梁、克里斯托弗·雷。* \u003Cins>ACL\u003C\u002Fins> 2018年。[[pdf](https:\u002F\u002Faclanthology.org\u002FP18-1175.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FHazyResearch\u002Fbabble)]。 \n\n6. **从自然语言量化中进行分类器的零样本学习。** *沙尚克·斯里瓦斯塔瓦、伊戈尔·拉布托夫、汤姆·米切尔。* \u003Cins>ACL\u003C\u002Fins> 2018年。[[pdf](https:\u002F\u002Faclanthology.org\u002FP18-1029.pdf)]。 \n\n7. **从自然语言解释中联合概念学习与语义解析。** *沙尚克·斯里瓦斯塔瓦、伊戈尔·拉布托夫、汤姆·米切尔。* \u003Cins>EMNLP\u003C\u002Fins> 2017年。[[pdf](https:\u002F\u002Faclanthology.org\u002FD17-1161.pdf)]。 \n\n### 6.3 通用语言模型\n\n通用语言模型也是指令学习最具吸引力的应用之一，例如[ChatGPT](https:\u002F\u002Fchat.openai.com\u002Fchat)，它能很好地契合人类价值观。\n\n\n1. **人工通用智能的火花：GPT-4的早期实验。** *塞巴斯蒂安·布贝克、瓦伦·钱德拉塞卡兰、罗嫩·埃尔丹等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.12712.pdf)]。 \n\n2. **GPT-4技术报告。** *OpenAI。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Fcdn.openai.com\u002Fpapers\u002Fgpt-4.pdf)]；[[博客](https:\u002F\u002Fopenai.com\u002Fresearch\u002Fgpt-4)]。 \n\n3. **事后智慧让语言模型成为更好的指令遵循者。** *张天俊、刘芳晨、黄俊杰、皮特·阿贝勒、约瑟夫·E·冈萨雷斯。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.05206.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ftianjunz\u002FHIR)]。 \n\n4. **在预训练中添加指令：控制语言模型毒性的有效方法。** *施瑞迈·普拉布莫耶、莫斯塔法·帕特瓦里、穆罕默德·肖耶比、布莱恩·卡坦扎罗。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.07388.pdf)]。 \n\n5. **利用人类反馈训练语言模型以遵循指令。** *龙欧阳、杰弗里·吴、徐江等。* \u003Cins>NeurIPS\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=TG8KACxEON)]。 \n\n\n### 6.4 其他论文\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]；[[其他资源](链接)]。 -->\n1. **GPTScore：随心评估。** *傅金兰、吴锡强、蒋正宝、刘鹏飞。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.04166.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fjinlanfu\u002FGPTScore)]。 \n\n2. **MultiInstruct：通过指令微调提升多模态零样本学习。** *徐志扬、沈颖、黄立夫。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.10773.pdf)]。 \n\n3. **带指令的任务感知检索。** *浅井明里、蒂莫·希克、帕特里克·刘易斯等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.09260.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ftart)]。 \n\n4. **UnifiedABSA：基于多任务指令微调的统一ABSA框架。** *王增志、夏瑞、于建飞。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.10986.pdf)]。 \n\n5. **面向少样本对话状态追踪的上下文学习。** *胡宇石、李家萱、谢天宝、余涛、诺亚·A·史密斯、玛丽·奥斯滕多夫。* \u003Cins>EMNLP发现\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2203.08568.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FYushi-Hu\u002FIC-DST)]。 \n\n6. **使用多语言语言模型进行少样本学习。** *林曦薇、托多尔·米哈伊洛夫、米凯尔·阿尔特克塞、等。* \u003Cins>EMNLP\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2112.10668.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairseq\u002Ftree\u002Fmain\u002Fexamples\u002Fxglm)]。 \n\n7. **UnifiedSKG：用文本到文本语言模型统一并多任务处理结构化知识接地。** *谢天宝、吴陈亨利、石鹏、等。* \u003Cins>EMNLP\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2201.05966.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FHKUNLP\u002FUnifiedSKG)]；[[网站](https:\u002F\u002Funifiedskg.com\u002F)]。 \n\n8. **In-BoXBART：将指令引入生物医学多任务学习。** *帕尔马尔·米希尔、米什拉·斯瓦鲁普、普罗希特·米拉莉、罗曼·曼、穆拉德·M·哈桑、巴拉尔·奇塔。* \u003Cins>NAACL发现\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.07600.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FMihir3009\u002FIn-BoXBART)]。\n\n\n## 7. 📖 扩展阅读\n\n\n我们还分享了一些其他很棒的论文，它们可能会为未来的研究提供灵感。\n\n### 7.1 指令归纳\n\n   \n1. **猜猜指令！翻转学习让语言模型成为更强的零样本学习者。** *叶圣贤、金道勇、张乔恩、申仲宝、徐敏俊。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2210.02969.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fseonghyeonye\u002FFlipped-Learning)]。 \n\n2. **指令归纳：从少量示例到自然语言任务描述。** *奥尔·霍诺维奇、乌里·沙哈姆、塞缪尔·R·鲍曼、奥梅尔·列维。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2205.10782.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Forhonovich\u002Finstruction-induction)]。 \n\n3. **学习分解和组织复杂任务。** *张毅、苏贾伊·库马尔·焦哈尔、尤莉娅·基塞列娃、赖恩·怀特、丹·罗斯。* \u003Cins>NAACL\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2021.naacl-main.217.pdf)]；[[语料库](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FMSComplexTasks)]。 \n\n4. **用于子事件序列预测的类比过程结构归纳。** *张宏明、陈慕浩、王浩宇、宋阳秋、丹·罗斯。* \u003Cins>EMNLP\u003C\u002Fins> 2020年。[[pdf](https:\u002F\u002Faclanthology.org\u002F2020.emnlp-main.119.pdf)]；[[代码](https:\u002F\u002Fcogcomp.github.io\u002FAPSI\u002F)]。\n\n### 7.2 与ChatGPT相关的论文\n\n\u003C!-- **ChatGPT在文本标注任务中表现优于众包工作者。** *法布里齐奥·吉拉尔迪、梅萨姆·阿里扎德和马埃尔·库布利。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2303.15056.pdf)]；[[其他资源](链接)]。 -->\n\n如今，ChatGPT在自然语言处理领域可谓一颗耀眼的明星🌟。由于目前尚无关于ChatGPT的官方论文，我们分享一些前沿研究，这些工作能为深入理解ChatGPT提供宝贵见解。\n\n1. **何时需要为ChatGPT使用思维链提示？** *陈九海、陈立昌、黄恒和周天一。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.03262.pdf)]。\n\n2. **ChatGPT中的毒性：分析人格设定的语言模型。** *阿米特·德什潘德、维什瓦克·穆拉哈里、坦迈·拉杰普罗希特、阿什温·卡利亚恩和卡蒂克·纳拉西曼。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2304.05335.pdf)]。\n\n3. **ChatGPT是通用自然语言处理任务求解器吗？** *秦成伟、阿斯顿·张、张卓升、陈嘉奥、安永田和杨迪。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.06476.pdf)]。\n\n4. **ChatGPT距离人类专家有多近？对比语料库、评估与检测。** *郭碧阳、张欣、王子元等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2301.07597.pdf)]；[[语料库](https:\u002F\u002Fgithub.com\u002FHello-SimpleAI\u002Fchatgpt-comparison-detection)]。\n\n5. **ChatGPT：样样精通，却样样不精。** *扬·科孔、伊戈尔·奇切基、奥利维尔·卡什察等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.10724.pdf)]。\n\n6. **ChatGPT的鲁棒性：对抗性和分布外视角。** *王金东、胡锡旭、侯文欣等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.12095.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Frobustlearn)]。\n\n\n### 7.3 人类反馈 vs. 模型反馈\n\n\n\u003C!-- **论文标题。** *作者1、作者2和作者3。* \u003Cins>会议\u002F期刊\u002F预印本\u003C\u002Fins> 年份。[[pdf](链接)]；[[其他资源](链接)]。 -->\n   \n1. **通过合成反馈对大型语言模型进行对齐。** *金圣东、裴相焕、申佳敏、姜素英、郭东贤、柳康敏和徐敏俊。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.13735.pdf)]。\n\n2. **LIMA：对齐的少即是多。** *周冲婷、刘鹏飞、徐璞鑫、艾耶尔·斯里尼等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.11206.pdf)]。\n\n3. **从零开始以最少人类监督驱动的语言模型自我对齐原则。** *孙志清、沈益康、周钦红等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2305.03047.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002FIBM\u002FDromedary)]。\n\n4. **事后链使语言模型与反馈对齐。** *刘浩、卡梅洛·斯费拉扎和皮特·阿贝勒。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.02676.pdf)]；[[代码](https:\u002F\u002Fgithub.com\u002Flhao499\u002FCoH)]。 \n\n5. **用人类偏好预训练语言模型。** *托马斯·科尔巴克、史凯健、陈安琪等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.08582.pdf)]。\n\n6. **宪法AI：来自AI反馈的无害性。** *白云涛、索拉夫·卡达瓦特、桑迪潘·昆杜等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2212.08073.pdf)]；[[语料库](https:\u002F\u002Fgithub.com\u002Fanthropics\u002FConstitutionalHarmlessnessPaper)]。\n\n7. **用人类反馈的强化学习训练有益且无害的助手。** *白云涛、安迪·琼斯、卡马尔·恩杜塞等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2204.05862.pdf)]；[[语料库](https:\u002F\u002Fgithub.com\u002Fanthropics\u002Fhh-rlhf)]。\n\n\n### 7.4 可扩展的监督与对齐\n\n\n1. **衡量大型语言模型可扩展监督的进展。** *塞缪尔·R·鲍曼、玄智允、伊森·佩雷斯等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2211.03540.pdf)]。\n\n2. **让AI与共享的人类价值观对齐。** *丹·亨德里克斯、科林·伯恩斯、史蒂文·巴萨特、安德鲁·克里奇、杰瑞·李、道恩·宋和雅各布·斯坦哈特。* \u003Cins>ICLR\u003C\u002Fins> 2021年。[[pdf](https:\u002F\u002Fopenreview.net\u002Fpdf?id=dNy_RKzJacY)]。\n\n\n### 7.5 其他论文\n\n\n1. **穿越灰色地带：语言模型中过度自信与不确定性的表达。** *周凯琳、丹·朱拉夫斯基和桥本辰典。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.13439.pdf)]。\n\n2. **大型语言模型中道德自我修正的能力。** *迪普·冈古利、阿曼达·阿斯克尔、尼古拉斯·谢弗等。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.07459.pdf)]。\n\n3. **大型语言模型很容易被无关上下文分散注意力。** *弗雷达·石、陈心韵、卡尼什卡·米斯拉、内森·斯凯尔斯、大卫·多汉、埃德·奇、纳塔内尔·舍尔利和邓尼·周。* \u003Cins>预印本\u003C\u002Fins> 2023年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2302.00093.pdf)]；[[语料库](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002FGSM-IC)]。\n\n4. **语言模型（大部分）知道自己知道什么。** *索拉夫·卡达瓦特、汤姆·科纳利、阿曼达·阿斯克尔等。* \u003Cins>预印本\u003C\u002Fins> 2022年。[[pdf](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.05221.pdf)]。\n\n\n\n\u003C!-- TODO: 推文 & 幻灯片？ -->\n\n---\n\n\u003C!-- omit in toc -->\n## ⭐ 星标历史\n\n[![星标历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_readme_7d709610a7a3.png)](https:\u002F\u002Fstar-history.com\u002F#RenzeLou\u002Fawesome-instruction-learning&Date)","# awesome-instruction-learning 快速上手指南\n\n## 环境准备\n\n本项目为一个**指令学习（Instruction Learning）文献综述仓库**，无需安装任何软件或依赖。  \n仅需一个现代浏览器即可浏览全部内容，推荐使用 Chrome、Edge 或 Firefox。\n\n> ✅ 系统要求：Windows \u002F macOS \u002F Linux  \n> ✅ 前置依赖：无（纯 Markdown + HTML 文档）\n\n## 安装步骤\n\n本项目为 GitHub 上的开源文献清单，无需安装。只需克隆或在线访问：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning.git\n```\n\n如需国内加速访问，可使用 Gitee 镜像（如有）或通过 [GitHub 镜像站](https:\u002F\u002Fghproxy.com\u002F) 加速下载：\n\n```bash\ngit clone https:\u002F\u002Fghproxy.com\u002Fhttps:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning.git\n```\n\n## 基本使用\n\n1. 进入项目目录：\n\n```bash\ncd awesome-instruction-learning\n```\n\n2. 用浏览器打开 `README.md` 查看最新文献列表：\n\n```bash\n# 在终端中直接打开（macOS\u002FLinux）\nopen README.md\n\n# 或 Windows 用户使用\nstart README.md\n```\n\n3. **推荐直接访问在线版**（无需下载）：  \n   👉 [https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning](https:\u002F\u002Fgithub.com\u002FRenzeLou\u002Fawesome-instruction-learning)\n\n4. 核心内容查看：\n   - **最新综述论文**：[A Comprehensive Survey on Instruction Following](https:\u002F\u002Farxiv.org\u002Fabs\u002F2303.10475)\n   - **数据集列表**：查看 `#3. 📚 Corpora` 部分\n   - **论文格式规范**：参考 `#❤️ Contribution` 中的 Markdown 模板，可用于提交新论文\n\n> 💡 本项目为**文献聚合仓库**，非代码工具。用于快速追踪指令微调（Instruction Tuning）领域的前沿论文与数据集。","某AI初创公司的算法工程师李明，正在为公司新开发的客服对话系统寻找高效指令微调（Instruction Tuning）的数据集和前沿论文，以提升模型对复杂用户意图的理解能力。\n\n### 没有 awesome-instruction-learning 时\n- 花费超过一周时间在Google Scholar和arXiv中手动搜索相关论文，结果杂乱，大量重复或过时的研究混杂其中。\n- 找到的几个数据集（如FLAN、T0）缺乏清晰的使用说明和适用场景对比，难以判断哪个更适合客服对话任务。\n- 团队内部对“指令微调”与“提示工程”的区别存在分歧，缺乏权威综述作为技术共识依据。\n- 试图复现一篇2022年的论文时，发现其开源数据链接已失效，而网上没有替代资源。\n- 项目进度严重滞后，因无法快速定位核心文献，导致模型迭代周期从预期的3天延长至近2周。\n\n### 使用 awesome-instruction-learning 后\n- 仅用10分钟就通过分类目录定位到《Instruction Tuning with GPT-4》《Alpaca》《OpenChatKit》等5篇最相关的最新论文，全部附带PDF和代码链接。\n- 直接下载了经过整理的12个高质量指令数据集，每个都标注了任务类型（如问答、多轮对话、指令遵循），并附有作者推荐的适用场景。\n- 参考其2023年最新综述论文（arXiv:2303.10475），团队迅速统一了技术路线，明确了以“指令微调+人类反馈”为核心优化方向。\n- 发现一篇2021年的关键论文虽已下线，但仓库中提供了其数据集的镜像存档和替代方案，避免了重复劳动。\n- 模型迭代周期缩短至48小时内完成，准确率提升19%，客户满意度显著上升。\n\nawesome-instruction-learning 让算法团队从“信息搜救”回归到真正有价值的模型创新，大幅降低技术探索门槛。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FRenzeLou_awesome-instruction-learning_501c8a54.png","RenzeLou","Renze Lou","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FRenzeLou_ef426f64.jpg","PhD @ Penn State University\r\n",null,"State College, USA","Reza0843","https:\u002F\u002Frenzelou.github.io\u002F","https:\u002F\u002Fgithub.com\u002FRenzeLou",[85],{"name":86,"color":87,"percentage":88},"Python","#3572A5",100,509,23,"2026-03-19T12:38:00","MIT",1,"","未说明",{"notes":97,"python":95,"dependencies":98},"这是一个指令学习领域的论文与数据集清单仓库，不包含可运行的代码或模型，无需安装依赖或配置环境。仅用于阅读和参考学术文献。",[],[16,27],[101,102,103,104,105,106,107,108,109,110,111],"pretrained-language-model","instruction-learning","paper-list","awesome-list","datasets","in-context-learning","large-language-models","prompt","survey","instruction","instruction-tuning","2026-03-27T02:49:30.150509","2026-04-08T16:32:31.603455",[],[]]