[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-HarderThenHarder--transformers_tasks":3,"tool-HarderThenHarder--transformers_tasks":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":54,"last_commit_at":63,"category_tags":64,"status":16},6590,"gpt4all","nomic-ai\u002Fgpt4all","GPT4All 是一款让普通电脑也能轻松运行大型语言模型（LLM）的开源工具。它的核心目标是打破算力壁垒，让用户无需依赖昂贵的显卡（GPU）或云端 API，即可在普通的笔记本电脑和台式机上私密、离线地部署和使用大模型。\n\n对于担心数据隐私、希望完全掌控本地数据的企业用户、研究人员以及技术爱好者来说，GPT4All 提供了理想的解决方案。它解决了传统大模型必须联网调用或需要高端硬件才能运行的痛点，让日常设备也能成为强大的 AI 助手。无论是希望构建本地知识库的开发者，还是单纯想体验私有化 AI 聊天的普通用户，都能从中受益。\n\n技术上，GPT4All 基于高效的 `llama.cpp` 后端，支持多种主流模型架构（包括最新的 DeepSeek R1 蒸馏模型），并采用 GGUF 格式优化推理速度。它不仅提供界面友好的桌面客户端，支持 Windows、macOS 和 Linux 等多平台一键安装，还为开发者提供了便捷的 Python 库，可轻松集成到 LangChain 等生态中。通过简单的下载和配置，用户即可立即开始探索本地大模型的无限可能。",77307,"2026-04-11T06:52:37",[15,13],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":80,"owner_twitter":80,"owner_website":82,"owner_url":83,"languages":84,"stars":105,"forks":106,"last_commit_at":107,"license":80,"difficulty_score":23,"env_os":108,"env_gpu":109,"env_ram":110,"env_deps":111,"category_tags":117,"github_topics":118,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":125,"updated_at":126,"faqs":127,"releases":168},5808,"HarderThenHarder\u002Ftransformers_tasks","transformers_tasks","⭐️ NLP Algorithms with transformers lib. Supporting Text-Classification, Text-Generation, Information-Extraction, Text-Matching, RLHF, SFT etc.","transformers_tasks 是一个基于 Hugging Face transformers 库构建的开源项目，旨在为开发者提供一套开箱即用的 NLP 算法实现方案。它解决了自然语言处理领域中模型训练门槛高、代码复用难的问题，让用户无需从零编写底层逻辑，只需替换数据集即可快速训练符合特定需求的模型。\n\n该项目非常适合 AI 工程师、研究人员以及希望深入理解大模型技术的开发者使用。其核心亮点在于覆盖面极广，不仅包含文本分类、匹配、信息抽取、文本生成等经典任务，还紧跟前沿技术，提供了 RLHF（人类反馈强化学习）、SFT（监督微调）、Prompt Tuning 以及 ChatGLM 等大模型的零样本应用与全量训练代码。无论是想复现 DSSM、SimCSE 等经典算法，还是探索从预训练到奖励模型训练的完整大模型链路，transformers_tasks 都提供了清晰的代码示例和脚本支持，是学习与实践 Transformer 架构及大模型应用的优质工具库。","\u003Cdiv align=center> \n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHarderThenHarder_transformers_tasks_readme_068592188eb8.png\" width=500>\n\n[![Author](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FAuthor-Pankeyu-green.svg \"Author\")](https:\u002F\u002Fwww.zhihu.com\u002Fcolumn\u002Fc_1451236880973426688) [![OS](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FOS-Linux\u002FWindows\u002FMac-red.svg \"OS\")](.\u002F) [![Based](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FBased-huggingface_transformers-blue.svg \"OS\")](.\u002F)\n\n[![Status](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FStatus-WIP-darkslateblue.svg \"Status\")](.\u002F) [![Stars](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FStars-1.3k-yellow.svg \"Stars\")](.\u002F) [![Fork](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFork-271-sandybrown.svg \"Stars\")](.\u002F) [![Python](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-3.6+-darkseagreen.svg \"Python\")](.\u002F)\n\n[![Typing SVG](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHarderThenHarder_transformers_tasks_readme_d7c515b71e7b.png)](https:\u002F\u002Fgit.io\u002Ftyping-svg)\n\n\u003C\u002Fdiv>\n\n---\n\n该项目集成了基于 [transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Findex) 库实现的多种 NLP 任务。\n\n[huggingface transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Findex) 是一个非常棒的开源框架，支持非常方便的加载\u002F训练 transformer 模型，你可以在[这里](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fquicktour)看到该库的安装方法和入门级调用，该库也能支持用户非常便捷的[微调一个属于自己的模型](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Ftraining)。\n\n在该项目中我们集成了一些主流的NLP任务，你可以找到对应的任务，将代码中的`训练数据集`更换成`你自己任务下的数据集`从而训练一个符合你自己任务下的模型。\n\n\u003Cbr>\n\n目前已经实现的NLP任务如下（更新中）：\n\n#### 1. 文本匹配（Text Matching）\n\n> 计算文本间的相似度，多用于：`搜索召回`、`文本检索`、`蕴含识别` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| 【监督】概览  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Freadme.md) |\n| 【监督】PointWise（单塔）  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Ftrain_pointwise.sh) |\n| 【监督】DSSM（双塔）  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Ftrain_dssm.sh) |\n| 【监督】Sentence Bert（双塔）  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Ftrain_sentence_transformer.sh) |\n| 【无监督】SimCSE  | [[这里]](.\u002Ftext_matching\u002Funsupervised\u002Fsimcse\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 2. 信息抽取（Information Extraction）\n\n> 在给定的文本段落中抽取目标信息，多用于：`命名实体识别（NER）`，`实体关系抽取（RE）` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| 通用信息抽取（Universe Information Extraction, UIE）  | [[这里]](.\u002FUIE\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 3. Prompt任务（Prompt Tasks）\n\n> 通过设计提示（prompt）模板，实现使用更少量的数据在预训练模型（Pretrained Model）上得到更好的效果，多用于：`Few-Shot`，`Zero-Shot` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| PET（基于人工定义 prompt pattern 的方法）  | [[这里]](.\u002Fprompt_tasks\u002FPET\u002Freadme.md) |\n| p-tuning（机器自动学习 prompt pattern 的方法）  | [[这里]](.\u002Fprompt_tasks\u002Fp-tuning\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 4. 文本分类（Text Classification）\n\n> 对给定文本进行分类，多用于：`情感识别`，`文章分类识别` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| BERT-CLS（基于 BERT 的分类器）  | [[这里]](.\u002Ftext_classification\u002Ftrain.sh) |\n\n\u003Cbr>\n\n#### 5. 强化学习 & 语言模型（Reinforcement Learning & Language Model）\n\n> RLHF（Reinforcement Learning from Human Feedback）通过人类的反馈，将强化学习（RL）用于更新语言生成模型（LM），从而达到更好的生成效果（代表例子：ChatGPT）；通常包括：`奖励模型（Reward Model）` 训练和 `强化学习（Reinforcement Learning）` 训练两个阶段。\n\n| 模型  | 传送门  |\n|---|---|\n| RLHF（Reward Model 训练，PPO 更新 GPT2）  | [[这里]](.\u002FRLHF\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 6. 文本生成（Text Generation）\n\n> 文本生成（NLG），通常用于：`小说续写`，`智能问答`，`对话机器人` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| 中文问答模型（T5-Based） | [[这里]](.\u002Fanswer_generation\u002Freadme.md) |\n| Filling 模型（T5-Based） | [[这里]](.\u002Fdata_augment\u002Ffilling_model\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 7. 大模型应用（LLM Application）\n\n> 构建大模型（LLM）zero-shot 解决多种任务所需的 prompt pattern(s)。\n\n| 模型  | 传送门  |\n|---|---|\n| 文本分类（chatglm-6b-Based） | [[这里]](.\u002FLLM\u002Fzero-shot\u002Freadme.md) |\n| 文本匹配（chatglm-6b-Based） | [[这里]](.\u002FLLM\u002Fzero-shot\u002Freadme.md) |\n| 信息抽取（chatglm-6b-Based） | [[这里]](.\u002FLLM\u002Fzero-shot\u002Freadme.md) |\n| 大模型性格测试（LLMs MBTI） | [[这里]](.\u002FLLM\u002Fllms_mbti\u002Freadme.md) |\n\n\n\u003Cbr>\n\n#### 8. 大模型训练（LLM Training）\n\n> 大模型训练相关，涵盖预训练，指令微调，奖励模型，强化学习。\n\n| 模型  | 传送门  |\n|---|---|\n| ChatGLM-6B Finetune | [[这里]](.\u002FLLM\u002Fchatglm_finetune\u002Freadme.md) |\n| 从零开始训练大模型 | [[这里]](.\u002FLLM\u002FLLMsTrainer\u002Freadme.md) |\n\n\n\u003Cbr>\n\n#### 9. 工具类（Tools）\n\n> 一些常用工具集合。\n\n| 工具名  | 传送门  |\n|---|---|\n| Tokenizer Viewer | [[这里]](.\u002Ftools\u002Ftokenizer_viewer\u002Freadme.md) |","\u003Cdiv align=center> \n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHarderThenHarder_transformers_tasks_readme_068592188eb8.png\" width=500>\n\n[![作者](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F作者-Pankeyu-green.svg \"作者\")](https:\u002F\u002Fwww.zhihu.com\u002Fcolumn\u002Fc_1451236880973426688) [![操作系统](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F操作系统-Linux\u002FWindows\u002FMac-red.svg \"操作系统\")](.\u002F) [![基于](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F基于-huggingface_transformers-blue.svg \"操作系统\")](.\u002F)\n\n[![状态](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F状态-WIP-darkslateblue.svg \"状态\")](.\u002F) [![星标](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F星标-1.3k-yellow.svg \"星标\")](.\u002F) [![叉子](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F叉子-271-sandybrown.svg \"星标\")](.\u002F) [![Python](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-3.6+-darkseagreen.svg \"Python\")](.\u002F)\n\n[![打字效果SVG](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHarderThenHarder_transformers_tasks_readme_d7c515b71e7b.png)](https:\u002F\u002Fgit.io\u002Ftyping-svg)\n\n\u003C\u002Fdiv>\n\n---\n\n该项目集成了基于 [transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Findex) 库实现的多种 NLP 任务。\n\n[huggingface transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Findex) 是一个非常棒的开源框架，支持非常方便的加载\u002F训练 transformer 模型，你可以在[这里](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Fquicktour)看到该库的安装方法和入门级调用，该库也能支持用户非常便捷的[微调一个属于自己的模型](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Ftraining)。\n\n在该项目中我们集成了一些主流的NLP任务，你可以找到对应的任务，将代码中的`训练数据集`更换成`你自己任务下的数据集`从而训练一个符合你自己任务下的模型。\n\n\u003Cbr>\n\n目前已经实现的NLP任务如下（更新中）：\n\n#### 1. 文本匹配（Text Matching）\n\n> 计算文本间的相似度，多用于：`搜索召回`、`文本检索`、`蕴含识别` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| 【监督】概览  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Freadme.md) |\n| 【监督】PointWise（单塔）  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Ftrain_pointwise.sh) |\n| 【监督】DSSM（双塔）  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Ftrain_dssm.sh) |\n| 【监督】Sentence Bert（双塔）  | [[这里]](.\u002Ftext_matching\u002Fsupervised\u002Ftrain_sentence_transformer.sh) |\n| 【无监督】SimCSE  | [[这里]](.\u002Ftext_matching\u002Funsupervised\u002Fsimcse\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 2. 信息抽取（Information Extraction）\n\n> 在给定的文本段落中抽取目标信息，多用于：`命名实体识别（NER）`，`实体关系抽取（RE）` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| 通用信息抽取（Universe Information Extraction, UIE）  | [[这里]](.\u002FUIE\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 3. Prompt任务（Prompt Tasks）\n\n> 通过设计提示（prompt）模板，实现使用更少量的数据在预训练模型（Pretrained Model）上得到更好的效果，多用于：`Few-Shot`，`Zero-Shot` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| PET（基于人工定义 prompt pattern 的方法）  | [[这里]](.\u002Fprompt_tasks\u002FPET\u002Freadme.md) |\n| p-tuning（机器自动学习 prompt pattern 的方法）  | [[这里]](.\u002Fprompt_tasks\u002Fp-tuning\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 4. 文本分类（Text Classification）\n\n> 对给定文本进行分类，多用于：`情感识别`，`文章分类识别` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| BERT-CLS（基于 BERT 的分类器）  | [[这里]](.\u002Ftext_classification\u002Ftrain.sh) |\n\n\u003Cbr>\n\n#### 5. 强化学习 & 语言模型（Reinforcement Learning & Language Model）\n\n> RLHF（Reinforcement Learning from Human Feedback）通过人类的反馈，将强化学习（RL）用于更新语言生成模型（LM），从而达到更好的生成效果（代表例子：ChatGPT）；通常包括：`奖励模型（Reward Model）` 训练和 `强化学习（Reinforcement Learning）` 训练两个阶段。\n\n| 模型  | 传送门  |\n|---|---|\n| RLHF（Reward Model 训练，PPO 更新 GPT2）  | [[这里]](.\u002FRLHF\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 6. 文本生成（Text Generation）\n\n> 文本生成（NLG），通常用于：`小说续写`，`智能问答`，`对话机器人` 等任务。\n\n| 模型  | 传送门  |\n|---|---|\n| 中文问答模型（T5-Based） | [[这里]](.\u002Fanswer_generation\u002Freadme.md) |\n| Filling 模型（T5-Based） | [[这里]](.\u002Fdata_augment\u002Ffilling_model\u002Freadme.md) |\n\n\u003Cbr>\n\n#### 7. 大模型应用（LLM Application）\n\n> 构建大模型（LLM）zero-shot 解决多种任务所需的 prompt pattern(s)。\n\n| 模型  | 传送门  |\n|---|---|\n| 文本分类（chatglm-6b-Based） | [[这里]](.\u002FLLM\u002Fzero-shot\u002Freadme.md) |\n| 文本匹配（chatglm-6b-Based） | [[这里]](.\u002FLLM\u002Fzero-shot\u002Freadme.md) |\n| 信息抽取（chatglm-6b-Based） | [[这里]](.\u002FLLM\u002Fzero-shot\u002Freadme.md) |\n| 大模型性格测试（LLMs MBTI） | [[这里]](.\u002FLLM\u002Fllms_mbti\u002Freadme.md) |\n\n\n\u003Cbr>\n\n#### 8. 大模型训练（LLM Training）\n\n> 大模型训练相关，涵盖预训练，指令微调，奖励模型，强化学习。\n\n| 模型  | 传送门  |\n|---|---|\n| ChatGLM-6B Finetune | [[这里]](.\u002FLLM\u002Fchatglm_finetune\u002Freadme.md) |\n| 从零开始训练大模型 | [[这里]](.\u002FLLM\u002FLLMsTrainer\u002Freadme.md) |\n\n\n\u003Cbr>\n\n#### 9. 工具类（Tools）\n\n> 一些常用工具集合。\n\n| 工具名  | 传送门  |\n|---|---|\n| Tokenizer Viewer | [[这里]](.\u002Ftools\u002Ftokenizer_viewer\u002Freadme.md) |","# transformers_tasks 快速上手指南\n\n`transformers_tasks` 是一个基于 Hugging Face `transformers` 库的 NLP 任务集成项目，涵盖了文本匹配、信息抽取、Prompt 学习、文本分类、RLHF、文本生成及大模型应用与训练等多种主流任务。本项目旨在帮助开发者快速替换数据集，微调出符合自身业务需求的模型。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux \u002F Windows \u002F macOS\n*   **Python 版本**：3.6 或更高版本（推荐 3.8+）\n*   **前置依赖**：\n    *   PyTorch\n    *   Hugging Face `transformers`\n    *   `datasets`, `accelerate` 等常用 NLP 库\n\n> **提示**：国内用户建议在安装依赖时配置清华源或阿里源以加速下载。\n\n## 2. 安装步骤\n\n### 步骤一：克隆项目\n首先从 GitHub 克隆本项目到本地：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fpankeyu\u002Ftransformers_tasks.git\ncd transformers_tasks\n```\n\n### 步骤二：安装依赖\n进入项目目录后，安装所需的 Python 依赖包。\n\n**通用安装命令：**\n```bash\npip install -r requirements.txt\n```\n\n**国内加速安装（推荐）：**\n如果下载速度较慢，请使用国内镜像源：\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> *注：若项目中未提供 `requirements.txt`，请根据具体任务文件夹下的说明安装核心库，通常只需：*\n> ```bash\n> pip install transformers datasets torch accelerate -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 3. 基本使用\n\n本项目的核心使用逻辑是：**选择任务模板 -> 替换数据集 -> 运行脚本**。\n\n以下以**文本分类（Text Classification）**任务为例，展示最简单的使用流程：\n\n### 3.1 准备数据\n将您的训练数据整理为项目支持的格式（通常为 JSON 或 CSV），并放置在指定目录。大多数任务示例默认读取 `data\u002F` 目录下的文件。\n\n### 3.2 修改配置\n打开对应任务的脚本或配置文件，将默认的示例数据集路径替换为您自己的数据路径。\n\n以 `text_classification` 任务为例，编辑 `train.sh` 或对应的 Python 脚本：\n\n```bash\n# 示例：编辑训练脚本 (具体文件名请参考 text_classification 目录)\nvim text_classification\u002Ftrain.sh\n```\n\n在脚本中找到数据加载部分，修改 `--train_file` 和 `--validation_file` 参数：\n\n```bash\n# 原内容示例\n--train_file data\u002Fexample_train.json \\\n--validation_file data\u002Fexample_dev.json \\\n\n# 修改为您的数据路径\n--train_file \u002Fpath\u002Fto\u002Fyour\u002Ftrain_data.json \\\n--validation_file \u002Fpath\u002Fto\u002Fyour\u002Fdev_data.json \\\n```\n\n### 3.3 启动训练\n直接运行修改后的脚本即可开始训练：\n\n```bash\ncd text_classification\nbash train.sh\n```\n\n### 3.4 其他任务快速入口\n项目集成了多种任务，您只需进入对应目录，参照上述“换数据 -> 跑脚本”的逻辑即可：\n\n*   **文本匹配**：`cd text_matching\u002Fsupervised && bash train_pointwise.sh`\n*   **信息抽取 (UIE)**：`cd UIE && python run_uie.py` (参考目录下 readme)\n*   **Prompt 任务**：`cd prompt_tasks\u002FPET && python run_pet.py`\n*   **大模型微调 (ChatGLM-6B)**：`cd LLM\u002Fchatglm_finetune && bash finetune.sh`\n\n详细参数说明和特定任务的数据格式要求，请参阅各子目录下的 `readme.md` 文档。","某电商初创团队急需构建一个能理解用户评论情感并自动提取商品关键属性的智能客服系统，以替代昂贵的人工审核流程。\n\n### 没有 transformers_tasks 时\n- **开发门槛高**：工程师需从零搭建 BERT 分类器和 NER 抽取模型，反复调试 Hugging Face 底层 API，耗时数周才能跑通基线。\n- **任务割裂严重**：情感分析与实体抽取需分别编写两套独立代码库，数据预处理格式不统一，导致模型串联困难。\n- **缺乏最佳实践**：面对双塔匹配（DSSM）或无监督 SimCSE 等进阶需求，团队只能盲目搜索零散教程，难以复现工业级效果。\n- **大模型落地难**：想尝试用 ChatGLM-6B 进行零样本测试，却因缺少标准的 Prompt 模板和微调脚本而被迫搁置计划。\n\n### 使用 transformers_tasks 后\n- **快速启动项目**：直接调用内置的 `text_classification` 和 `UIE`（通用信息抽取）模块，仅需替换数据集路径，半天即可完成模型训练与验证。\n- **统一任务框架**：利用项目集成的标准化接口，轻松将情感分类结果与属性抽取逻辑串联，大幅降低了多任务系统的集成复杂度。\n- **复用成熟方案**：直接运行提供的 `train_dssm.sh` 或 `SimCSE` 脚本，立即获得经过验证的高精度文本匹配能力，无需重复造轮子。\n- **平滑演进架构**：基于现有的 `LLM\u002Fzero-shot` 示例，迅速部署 ChatGLM-6B 进行少样本测试，并参考 `chatglm_finetune` 文档完成指令微调，实现系统智能化升级。\n\ntransformers_tasks 通过提供一站式、模块化的 NLP 任务模板，将原本数周的算法研发周期压缩至数天，让团队能专注于业务逻辑而非底层模型构建。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHarderThenHarder_transformers_tasks_8cfcdceb.png","HarderThenHarder","何枝","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FHarderThenHarder_b4dbdee2.jpg","笑一个吧，功成名就不是目的。",null,"Beijing","https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fwho-u","https:\u002F\u002Fgithub.com\u002FHarderThenHarder",[85,89,93,97,101],{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",74.7,{"name":90,"color":91,"percentage":92},"Python","#3572A5",24.4,{"name":94,"color":95,"percentage":96},"MDX","#fcb32c",0.7,{"name":98,"color":99,"percentage":100},"Shell","#89e051",0.2,{"name":102,"color":103,"percentage":104},"Makefile","#427819",0,2414,403,"2026-04-04T09:24:48","Linux, Windows, macOS","未说明（基于 transformers 和 RLHF\u002FLLM 任务通常建议 NVIDIA GPU，具体显存取决于所选模型大小）","未说明",{"notes":112,"python":113,"dependencies":114},"该项目集成多种 NLP 任务（包括大模型训练与 RLHF），具体硬件需求高度依赖于所选择的具体任务脚本（如 ChatGLM-6B 微调或从头训练大模型需要较高显存）。项目状态标记为 WIP（进行中），使用时请参考各子任务目录下的具体 readme 文档获取详细配置。","3.6+",[115,116],"transformers","torch",[15],[119,120,121,122,123,115,124],"nlp","text-classification","text-matching","information-extraction","reinforcement-learning","text-generation","2026-03-27T02:49:30.150509","2026-04-11T16:53:11.160371",[128,133,138,143,148,153,158,163],{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},26321,"如何正确运行训练脚本并避免模型被重复下载或覆盖？","直接运行 `train.sh` 脚本即可。程序会自动检测当前目录下是否存在 `uie-base-zh` 文件夹。如果您已经手动从云端下载了该文件夹到本地，程序将不会执行自动下载，因此无需担心已下载的模型会被覆盖。\n注意：云端的每一个文件都需要下载到本地，不仅仅是 `pytorch_model.bin`。","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F2",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},26322,"使用 torch.load 加载模型时报错 \"no module named model\" 如何解决？","这通常是由于环境版本不一致导致的。建议对齐以下库的版本：\n- transformers==4.22.1\n- tokenizers==0.12.1\n您可以尝试更新 `tokenizers` 库或重新安装指定版本的依赖来解决此问题。","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F24",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},26323,"运行代码时提示缺少 pandas 模块怎么办？","需要在代码文件开头添加 pandas 的引用。如果尚未安装，请执行以下命令安装指定版本：\npip install pandas==1.5.0","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F66",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},26324,"遇到 AttributeError: 'PeftModelForCausalLM' object has no attribute 'merge_and_unload' 错误如何处理？","这是因为 `peft` 库版本过旧或不兼容。需要重新安装项目自带的 peft 版本，请执行以下命令：\n1. pip uninstall peft\n2. cd peft-chatglm\n3. python setup.py install\n安装完成后即可解决该属性缺失问题。","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F39",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},26325,"多卡训练时出现显存溢出（OOM）错误，单卡却正常，该如何排查？","多卡训练显存溢出可能与序列长度设置或混合精度参数有关。建议采取以下步骤排查：\n1. 使用 `watch -n 1 nvidia-smi` 实时观察每张卡的显存使用情况，确认是单卡溢出还是所有卡溢出。\n2. 调整序列长度参数，例如在测试中，设置 `--max_source_seq_len=400` 和 `--max_target_seq_len=300` 时，双卡显存占用约为 30G。如果显存不足（如 24G 显卡），需减小这两个参数的值。\n3. 检查是否开启了混合精度训练，尝试调整相关参数。","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F27",{"id":154,"question_zh":155,"answer_zh":156,"source_url":157},26326,"运行 RLHF 示例代码时报错 \"The size of tensor a must match the size of tensor b\" 是什么原因？","这是代码中的已知 Bug，导致 advantages 和 values 张量维度不匹配。维护者已修复该问题，请直接拉取（pull）项目的最新代码版本即可解决。","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F11",{"id":159,"question_zh":160,"answer_zh":161,"source_url":162},26327,"Doccano 标注导出的文件无法传入数据增强模块，格式不对怎么办？","不要直接将文件拖拽到 Web 页面窗口中，这会导致路径识别错误。正确的做法是通过指定文件的完整路径来载入文件。确保经过 `doccano.py` 转换后的文件格式与数据集示例文件一致。","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F21",{"id":164,"question_zh":165,"answer_zh":166,"source_url":167},26328,"RLHF 训练中为什么要在最后一位加上人工给的 reward，其理论依据是什么？","因为 Reward 是定义在句子级别的，一句话生成结束后只能得到一个奖励值。而传统的策略梯度（PG）方法要求每个时刻的 advantage 值都与局末奖励挂钩，且贡献随距离呈指数衰减。\n代码中计算 advantage（变量 `lastgaelam`）是从后往前计算的，为了配合这一逻辑，必须将 reward 放在数组的最后。具体原理可参考 John Schulman 2017 年的论文 (https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347) 第 5 章。","https:\u002F\u002Fgithub.com\u002FHarderThenHarder\u002Ftransformers_tasks\u002Fissues\u002F16",[]]