[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-openai--following-instructions-human-feedback":3,"similar-openai--following-instructions-human-feedback":47},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":16,"owner_avatar_url":17,"owner_bio":18,"owner_company":7,"owner_location":7,"owner_email":7,"owner_twitter":7,"owner_website":19,"owner_url":20,"languages":7,"stars":21,"forks":22,"last_commit_at":23,"license":7,"difficulty_score":24,"env_os":18,"env_gpu":25,"env_ram":25,"env_deps":26,"category_tags":29,"github_topics":7,"view_count":31,"oss_zip_url":7,"oss_zip_packed_at":7,"status":32,"created_at":33,"updated_at":34,"faqs":35,"releases":46},8607,"openai\u002Ffollowing-instructions-human-feedback","following-instructions-human-feedback",null,"following-instructions-human-feedback 是 OpenAI 推出的 InstructGPT 项目核心资源，旨在解决大型语言模型“能力强但听不懂人话”的痛点。尽管传统大模型参数量巨大，却常生成虚假、有毒或偏离用户意图的内容。该项目通过引入人类反馈，成功让模型学会精准遵循指令。\n\n其核心技术亮点在于独特的训练流程：首先利用人工编写的示范数据对 GPT-3 进行监督微调，教会模型“怎么做”；随后收集人类对不同输出的排序偏好，利用强化学习（RLHF）进一步对齐人类价值观。令人惊叹的是，经过这种优化的 13 亿参数模型，在人类评估中的表现甚至优于未微调的 1750 亿参数 GPT-3，同时在真实性和安全性上显著提升。\n\n这套方案非常适合 AI 研究人员深入探究对齐技术原理，也适合开发者参考其数据构建与训练范式，以开发更懂用户需求的应用。对于关注 AI 伦理与安全的设计师而言，其中的毒性标注指南也极具参考价值。following-instructions-human-feedback 证明了让模型“听话”的关键不在于盲目堆砌参数，而在于高质量的人类反馈引导，为构建","following-instructions-human-feedback 是 OpenAI 推出的 InstructGPT 项目核心资源，旨在解决大型语言模型“能力强但听不懂人话”的痛点。尽管传统大模型参数量巨大，却常生成虚假、有毒或偏离用户意图的内容。该项目通过引入人类反馈，成功让模型学会精准遵循指令。\n\n其核心技术亮点在于独特的训练流程：首先利用人工编写的示范数据对 GPT-3 进行监督微调，教会模型“怎么做”；随后收集人类对不同输出的排序偏好，利用强化学习（RLHF）进一步对齐人类价值观。令人惊叹的是，经过这种优化的 13 亿参数模型，在人类评估中的表现甚至优于未微调的 1750 亿参数 GPT-3，同时在真实性和安全性上显著提升。\n\n这套方案非常适合 AI 研究人员深入探究对齐技术原理，也适合开发者参考其数据构建与训练范式，以开发更懂用户需求的应用。对于关注 AI 伦理与安全的设计师而言，其中的毒性标注指南也极具参考价值。following-instructions-human-feedback 证明了让模型“听话”的关键不在于盲目堆砌参数，而在于高质量的人类反馈引导，为构建安全、可靠且有用的 AI 助手指明了方向。","# InstructGPT: Training Language Models to Follow Instructions with Human Feedback\n\n[Paper link][LINK_TO_PAPER]\n\n> Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI-API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback (RLHF). We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.\n\n\n## Contents\n- [model-card.md](model-card.md) - InstructGPT model card\n- [automatic-eval-samples](automatic-eval-samples\u002F) - Samples from our models (both GPT-3 and InstructGPT) on public NLP benchmarks.\n- [API distribution labeling instructions](https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1MJCqDNjzD04UbcnVZ-LmeXJ04-TKEICDAepXyMCBUb8\u002Fedit#) - Google doc of instructions given to contractors for final evaluations on our API prompt distribution.\n- [Toxicity labeling instructions](https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1d3n6AqNrd-SJEKm_etEo3rUwXxKG4evCbzfWExvcGxg\u002Fedit?usp=sharing) - Google doc of instructions given to contractors for labeling toxic outputs on the RealToxicityPrompts dataset\n\n[LINK_TO_PAPER]: https:\u002F\u002Fcdn.openai.com\u002Fpapers\u002FTraining_language_models_to_follow_instructions_with_human_feedback.pdf\n\n","# InstructGPT：通过人类反馈训练语言模型以遵循指令\n\n[论文链接][LINK_TO_PAPER]\n\n> 仅仅增大语言模型的规模，并不能使其更自然地理解并执行用户的意图。例如，大型语言模型可能会生成不真实、具有毒性或对用户毫无帮助的输出。换句话说，这些模型与用户的需求并不一致。在本文中，我们展示了一种通过结合人类反馈进行微调的方法，能够在广泛的任务上使语言模型更好地对齐用户意图。我们首先收集了一组由标注人员编写的提示以及通过 OpenAI API 提交的提示，进而构建了一个包含标注人员示范理想模型行为的数据集。利用该数据集，我们采用监督学习的方式对 GPT-3 进行微调。随后，我们又收集了一组针对模型输出的排序数据，并基于此进一步使用人类反馈强化学习（RLHF）对已有的监督学习模型进行微调。最终得到的模型被称为 InstructGPT。在针对我们提示分布的人类评估中，尽管参数量仅为 GPT-3 的百分之一，13亿参数的 InstructGPT 模型生成的输出仍更受青睐。此外，InstructGPT 模型在真实性方面有所提升，生成有毒内容的情况也显著减少，同时在公开的 NLP 数据集上的性能几乎没有下降。尽管 InstructGPT 仍然会犯一些简单的错误，但我们的研究结果表明，通过人类反馈进行微调是实现语言模型与人类意图对齐的一个很有前景的方向。\n\n\n## 目录\n- [model-card.md](model-card.md) - InstructGPT 模型卡片\n- [automatic-eval-samples](automatic-eval-samples\u002F) - 我们的模型（包括 GPT-3 和 InstructGPT）在公开 NLP 基准测试中的示例。\n- [API 分发标注说明](https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1MJCqDNjzD04UbcnVZ-LmeXJ04-TKEICDAepXyMCBUb8\u002Fedit#) - 提供给承包商用于对我们 API 提示分布进行最终评估的 Google 文档说明。\n- [毒性标注说明](https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1d3n6AqNrd-SJEKm_etEo3rUwXxKG4evCbzfWExvcGxg\u002Fedit?usp=sharing) - 提供给承包商用于对 RealToxicityPrompts 数据集中的毒性输出进行标注的 Google 文档说明。\n\n[LINK_TO_PAPER]: https:\u002F\u002Fcdn.openai.com\u002Fpapers\u002FTraining_language_models_to_follow_instructions_with_human_feedback.pdf","# InstructGPT 快速上手指南\n\nInstructGPT 是通过人类反馈强化学习（RLHF）微调的语言模型，旨在更好地遵循用户指令。本项目主要包含论文数据、模型卡片及评估样本，**核心训练代码与模型权重并未完全开源**（需通过 OpenAI API 访问或参考论文复现）。以下指南基于项目提供的资源进行说明。\n\n## 环境准备\n\n由于本项目主要是研究资料库而非直接可运行的 Python 包，环境准备主要针对阅读文档和运行评估样本分析。\n\n*   **操作系统**: Linux, macOS 或 Windows\n*   **前置依赖**:\n    *   Git (用于克隆仓库)\n    *   Python 3.8+ (用于处理数据样本)\n    *   网络连接 (访问论文链接及 Google Docs 标注指南)\n\n## 安装步骤\n\n该项目无需通过 `pip` 安装特定包，只需克隆仓库即可获取所有资源。\n\n1.  **克隆仓库**:\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fopenai\u002Ffollowing-instructions-human-feedback.git\n    cd following-instructions-human-feedback\n    ```\n\n2.  **查看资源结构**:\n    克隆后，你将获得以下关键文件：\n    *   `model-card.md`: 模型详细信息卡片。\n    *   `automatic-eval-samples\u002F`: GPT-3 与 InstructGPT 在公共 NLP 基准测试上的输出样本。\n    *   相关标注指南链接（位于 README 中，需浏览器访问）。\n\n> **注意**: 若需使用 InstructGPT 模型进行推理，目前官方途径是调用 **OpenAI API** (`text-davinci-003` 等模型)，而非本地部署。\n\n## 基本使用\n\n### 1. 查阅评估样本\n你可以直接查看 `automatic-eval-samples` 目录下的文件，对比原始 GPT-3 与 InstructGPT 在不同任务上的表现差异。\n\n```bash\nls automatic-eval-samples\ncat automatic-eval-samples\u002F\u003C具体文件名>.jsonl\n```\n\n### 2. 通过 API 调用 InstructGPT (推荐方式)\n由于模型权重未公开，实际使用需通过 OpenAI API。请确保已安装 `openai` 库并配置好 `OPENAI_API_KEY`。\n\n**安装 SDK**:\n```bash\npip install openai\n```\n\n**Python 调用示例**:\n```python\nimport openai\n\n# 设置 API Key (请替换为你的真实密钥)\nopenai.api_key = \"YOUR_OPENAI_API_KEY\"\n\nresponse = openai.Completion.create(\n  model=\"text-davinci-003\", # InstructGPT 系列模型\n  prompt=\"Translate the following English text to Chinese: 'Hello, world!'\",\n  max_tokens=60\n)\n\nprint(response.choices[0].text.strip())\n```\n\n### 3. 参考标注指南\n若需进行类似的数据标注或评估工作，请参考 README 中提供的 Google Docs 链接：\n*   **API 分布标注指南**: [点击查看](https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1MJCqDNjzD04UbcnVZ-LmeXJ04-TKEICDAepXyMCBUb8\u002Fedit#)\n*   **毒性内容标注指南**: [点击查看](https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1d3n6AqNrd-SJEKm_etEo3rUwXxKG4evCbzfWExvcGxg\u002Fedit?usp=sharing)\n\n---\n*注：本指南基于开源仓库内容整理。如需深入复现 RLHF 训练流程，建议研读原文论文《Training Language Models to Follow Instructions with Human Feedback》。*","某电商平台的客服团队正利用大语言模型自动处理海量用户咨询，旨在提升响应速度并统一服务标准。\n\n### 没有 following-instructions-human-feedback 时\n- **意图理解偏差**：模型常将用户的投诉误判为普通咨询，机械地回复产品说明书而非提供安抚或解决方案。\n- **内容安全隐患**：在面对恶意挑衅或复杂语境时，模型可能生成带有毒性、偏见或不真实的误导性信息。\n- **指令遵循度低**：即使提示词中明确要求“语气亲切”或“禁止编造政策”，模型仍经常忽略约束，输出生硬或虚构的条款。\n- **人工复核成本高**：由于输出质量不稳定，运营团队不得不投入大量人力逐条审核和修改回答，自动化效率大打折扣。\n\n### 使用 following-instructions-human-feedback 后\n- **精准对齐意图**：经过人类反馈强化学习（RLHF）微调，模型能准确识别用户情绪与真实需求，优先提供共情回应和实质帮助。\n- **显著提升安全性**：模型在真实性与无害性上大幅优化，能有效拒绝有害请求并避免生成虚假或攻击性内容。\n- **严格遵循指令**：模型对“语气”、“格式”及“事实边界”等复杂约束的执行力显著增强，输出风格高度符合品牌规范。\n- **降低运维负担**：输出结果可直接发布比例大幅提升，人工仅需处理极少数边缘案例，真正实现了高效的人机协作。\n\nfollowing-instructions-human-feedback 通过引入人类价值观对齐，将原本不可控的通用大模型转化为懂规矩、可信赖的专业业务助手。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopenai_following-instructions-human-feedback_44ea1309.png","openai","OpenAI","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fopenai_1960bbf4.png","","https:\u002F\u002Fopenai.com\u002F","https:\u002F\u002Fgithub.com\u002Fopenai",1257,147,"2026-04-09T07:52:27",5,"未说明",{"notes":27,"python":25,"dependencies":28},"该 README 仅为论文介绍及资源链接索引，未包含具体的代码运行环境、依赖库或安装指南。文中提到的模型（InstructGPT）是基于 GPT-3 通过人类反馈强化学习（RLHF）微调而成，原始研究由 OpenAI 进行，通常不直接提供完整的开源训练代码或预训练权重供本地部署。如需复现，需参考论文链接或查找社区基于此论文实现的第三方代码库。",[],[30],"语言模型",2,"ready","2026-03-27T02:49:30.150509","2026-04-18T02:20:34.466784",[36,41],{"id":37,"question_zh":38,"answer_zh":39,"source_url":40},38558,"如何使用 InstructGPT 模型？","InstructGPT 模型可通过 OpenAI API 使用。请访问 https:\u002F\u002Fbeta.openai.com\u002F 注册账号以获取访问权限。","https:\u002F\u002Fgithub.com\u002Fopenai\u002Ffollowing-instructions-human-feedback\u002Fissues\u002F1",{"id":42,"question_zh":43,"answer_zh":44,"source_url":45},38559,"ChatGPT 显示的 macOS 版本信息错误怎么办？","此类问题不建议在此处报告。请使用 ChatGPT 应用内的“踩”（thumbs-down）按钮反馈具体错误案例。如需核实 macOS 版本信息，可参考苹果官方支持页面：https:\u002F\u002Fsupport.apple.com\u002Fen-us\u002FHT201260。","https:\u002F\u002Fgithub.com\u002Fopenai\u002Ffollowing-instructions-human-feedback\u002Fissues\u002F5",[],[48,58,68,76,84,97],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":31,"last_commit_at":54,"category_tags":55,"status":32},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159267,"2026-04-17T11:29:14",[56,57,30],"开发框架","Agent",{"id":59,"name":60,"github_repo":61,"description_zh":62,"stars":63,"difficulty_score":64,"last_commit_at":65,"category_tags":66,"status":32},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[30,67,57,56],"图像",{"id":69,"name":70,"github_repo":71,"description_zh":72,"stars":73,"difficulty_score":31,"last_commit_at":74,"category_tags":75,"status":32},8553,"spec-kit","github\u002Fspec-kit","Spec Kit 是一款专为提升软件开发效率而设计的开源工具包，旨在帮助团队快速落地“规格驱动开发”（Spec-Driven Development）模式。传统开发中，需求文档往往与代码实现脱节，导致沟通成本高且结果不可控；而 Spec Kit 通过将规格说明书转化为可执行的指令，让 AI 直接依据明确的业务场景生成高质量代码，从而减少从零开始的随意编码，确保产出结果的可预测性。\n\n该工具特别适合希望利用 AI 辅助编程的开发者、技术负责人及初创团队。无论是启动全新项目还是在现有工程中引入规范化流程，用户只需通过简单的命令行操作，即可初始化项目并集成主流的 AI 编程助手。其核心技术亮点在于“规格即代码”的理念，支持社区扩展与预设模板，允许用户根据特定技术栈定制开发流程。此外，Spec Kit 强调官方维护的安全性，提供稳定的版本管理，帮助开发者在享受 AI 红利的同时，依然牢牢掌握架构设计的主动权，真正实现从“凭感觉写代码”到“按规格建系统”的转变。",88749,"2026-04-17T09:48:14",[30,67,57,56],{"id":77,"name":78,"github_repo":79,"description_zh":80,"stars":81,"difficulty_score":31,"last_commit_at":82,"category_tags":83,"status":32},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[56,30],{"id":85,"name":86,"github_repo":87,"description_zh":88,"stars":89,"difficulty_score":31,"last_commit_at":90,"category_tags":91,"status":32},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[67,92,93,94,57,95,30,56,96],"数据工具","视频","插件","其他","音频",{"id":98,"name":99,"github_repo":100,"description_zh":101,"stars":102,"difficulty_score":103,"last_commit_at":104,"category_tags":105,"status":32},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[30,92,95]]