[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jsksxs360--How-to-use-Transformers":3,"tool-jsksxs360--How-to-use-Transformers":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",148568,2,"2026-04-09T23:34:24",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":72,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":32,"env_os":94,"env_gpu":95,"env_ram":95,"env_deps":96,"category_tags":101,"github_topics":104,"view_count":32,"oss_zip_url":117,"oss_zip_packed_at":117,"status":17,"created_at":118,"updated_at":119,"faqs":120,"releases":161},6188,"jsksxs360\u002FHow-to-use-Transformers","How-to-use-Transformers","Transformers 库快速入门教程","How-to-use-Transformers 是一个专为 Hugging Face Transformers 库打造的中文快速入门教程与代码实战仓库。面对 BERT、GPT 及各类大语言模型技术迭代快、上手门槛高的问题，该项目通过系统化的章节安排，帮助用户从零掌握自然语言处理的核心知识与应用技巧。\n\n内容涵盖从基础的注意力机制、模型原理，到开箱即用的 Pipeline 使用、预训练模型微调，再到翻译、摘要、问答等具体任务实战。特别值得一提的是，项目紧跟技术前沿，近期新增了关于大语言模型（LLM）的专题，包括技术简介、预训练原理以及 FlanT5、Llama2 等模型的指令微调指南。\n\n该资源非常适合希望进入 NLP 领域的开发者、人工智能研究人员以及高校学生。其独特的亮点在于“理论 + 代码”的双轨模式：不仅提供详尽的在线图文教程，还配套了结构清晰的 GitHub 代码库。每个任务模块（如序列标注、情感分析）均包含独立可运行的示例代码和数据集，支持用户下载后直接复用或修改，极大地降低了学习成本，是通往大模型应用开发的实用桥梁。","![title](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjsksxs360_How-to-use-Transformers_readme_ea83f7c7edec.jpg)\n\n[Transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Findex) 是由 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002F) 公司开发的一个 Python 库，支持加载目前绝大部分的预训练语言模型。随着 BERT、GPT 等模型的兴起，越来越多的用户采用 Transformers 库来构建自然语言处理应用。\n\n该项目为[《Transformers 库快速入门》](https:\u002F\u002Ftransformers.run\u002F)教程的代码仓库，按照以下方式组织代码：\n\n- *data*：存储使用到的数据集；\n- *src*：存储示例代码，每个任务对应一个文件夹，可以下载下来单独使用。\n\n> 该教程处于更新中，正在逐渐添加大语言模型的相关内容。\n\n## Transformers 库快速入门\n\n- **第一部分：背景知识**\n  - 第一章：[自然语言处理](https:\u002F\u002Ftransformers.run\u002Fc1\u002Fnlp\u002F)\n  - 第二章：[Transformer 模型](https:\u002F\u002Ftransformers.run\u002Fc1\u002Ftransformer\u002F)\n  - 第三章：[注意力机制](https:\u002F\u002Ftransformers.run\u002Fc1\u002Fattention\u002F)\n\n- **第二部分：初识 Transformers**\n  - 第四章：[开箱即用的 pipelines](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-08-transformers-note-1\u002F)\n  - 第五章：[模型与分词器](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-11-transformers-note-2\u002F)\n  - 第六章：[必要的 Pytorch 知识](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-14-transformers-note-3\u002F)\n  - 第七章：[微调预训练模型](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-17-transformers-note-4\u002F)\n\n- **第三部分：Transformers 实战**\n  - 第八章：[快速分词器](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-08-transformers-note-5\u002F)\n  - 第九章：[序列标注任务](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-18-transformers-note-6\u002F)\n  - 第十章：[翻译任务](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-24-transformers-note-7\u002F)\n  - 第十一章：[文本摘要任务](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-29-transformers-note-8\u002F)\n  - 第十二章：[抽取式问答](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-04-02-transformers-note-9\u002F)\n  - 第十三章：[Prompting 情感分析](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-10-10-transformers-note-10\u002F)\n\n- **第四部分：大语言模型时代**\n  - 第十四章：[大语言模型技术简介](https:\u002F\u002Ftransformers.run\u002Fc4\u002Fc14_intro_to_llms\u002F)\n  - 第十五章：[预训练大语言模型](https:\u002F\u002Ftransformers.run\u002Fc4\u002Fc15_pretrain_llms\u002F)\n  - 第十六章：[使用大语言模型](https:\u002F\u002Ftransformers.run\u002Fc4\u002Fc16_finetune_llms)\n  - 第十七章：指令微调 FlanT5 模型\n  - 第十八章：指令微调 Llama2 模型\n\n## 示例代码\n\n- [pairwise_cls_similarity_afqmc](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fpairwise_cls_similarity_afqmc)：句子对分类任务，[金融同义句判断](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-17-transformers-note-4\u002F)。\n- [sequence_labeling_ner_cpd](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fsequence_labeling_ner_cpd)：序列标注任务，[命名实体识别](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-18-transformers-note-6\u002F)。\n- [seq2seq_translation](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fseq2seq_translation)：seq2seq任务，[中英翻译](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-24-transformers-note-7\u002F)。\n- [seq2seq_summarization](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fseq2seq_summarization)：seq2seq任务，[文本摘要](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-29-transformers-note-8\u002F)。\n- [sequence_labeling_extractiveQA_cmrc](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fsequence_labeling_extractiveQA_cmrc)：序列标注任务，[抽取式问答](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-04-02-transformers-note-9\u002F)。\n- [text_cls_prompt_senti_chnsenticorp](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Ftext_cls_prompt_senti_chnsenticorp)：文本分类任务，[Prompt 情感分析](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-10-10-transformers-note-10\u002F)。\n\n## 重要更新\n\n| 日期       | 内容                                                         |\n| ---------- | ------------------------------------------------------------ |\n| 2024-07-06 | 优化了第一章《自然语言处理》的文字表述，增加了一些图片，增加了大语言模型的简介。 |\n| 2024-07-27 | 完成大语言模型技术简介（第14至16章）初稿 |\n\n","![标题](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjsksxs360_How-to-use-Transformers_readme_ea83f7c7edec.jpg)\n\n[Transformers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Ftransformers\u002Findex) 是由 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002F) 公司开发的一个 Python 库，支持加载目前绝大部分的预训练语言模型。随着 BERT、GPT 等模型的兴起，越来越多的用户采用 Transformers 库来构建自然语言处理应用。\n\n该项目为[《Transformers 库快速入门》](https:\u002F\u002Ftransformers.run\u002F)教程的代码仓库，按照以下方式组织代码：\n\n- *data*：存储使用到的数据集；\n- *src*：存储示例代码，每个任务对应一个文件夹，可以下载下来单独使用。\n\n> 该教程处于更新中，正在逐渐添加大语言模型的相关内容。\n\n## Transformers 库快速入门\n\n- **第一部分：背景知识**\n  - 第一章：[自然语言处理](https:\u002F\u002Ftransformers.run\u002Fc1\u002Fnlp\u002F)\n  - 第二章：[Transformer 模型](https:\u002F\u002Ftransformers.run\u002Fc1\u002Ftransformer\u002F)\n  - 第三章：[注意力机制](https:\u002F\u002Ftransformers.run\u002Fc1\u002Fattention\u002F)\n\n- **第二部分：初识 Transformers**\n  - 第四章：[开箱即用的 pipelines](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-08-transformers-note-1\u002F)\n  - 第五章：[模型与分词器](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-11-transformers-note-2\u002F)\n  - 第六章：[必要的 Pytorch 知识](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-14-transformers-note-3\u002F)\n  - 第七章：[微调预训练模型](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-17-transformers-note-4\u002F)\n\n- **第三部分：Transformers 实战**\n  - 第八章：[快速分词器](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-08-transformers-note-5\u002F)\n  - 第九章：[序列标注任务](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-18-transformers-note-6\u002F)\n  - 第十章：[翻译任务](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-24-transformers-note-7\u002F)\n  - 第十一章：[文本摘要任务](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-29-transformers-note-8\u002F)\n  - 第十二章：[抽取式问答](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-04-02-transformers-note-9\u002F)\n  - 第十三章：[Prompting 情感分析](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-10-10-transformers-note-10\u002F)\n\n- **第四部分：大语言模型时代**\n  - 第十四章：[大语言模型技术简介](https:\u002F\u002Ftransformers.run\u002Fc4\u002Fc14_intro_to_llms\u002F)\n  - 第十五章：[预训练大语言模型](https:\u002F\u002Ftransformers.run\u002Fc4\u002Fc15_pretrain_llms\u002F)\n  - 第十六章：[使用大语言模型](https:\u002F\u002Ftransformers.run\u002Fc4\u002Fc16_finetune_llms)\n  - 第十七章：指令微调 FlanT5 模型\n  - 第十八章：指令微调 Llama2 模型\n\n## 示例代码\n\n- [pairwise_cls_similarity_afqmc](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fpairwise_cls_similarity_afqmc)：句子对分类任务，[金融同义句判断](https:\u002F\u002Ftransformers.run\u002Fc2\u002F2021-12-17-transformers-note-4\u002F)。\n- [sequence_labeling_ner_cpd](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fsequence_labeling_ner_cpd)：序列标注任务，[命名实体识别](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-18-transformers-note-6\u002F)。\n- [seq2seq_translation](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fseq2seq_translation)：seq2seq任务，[中英翻译](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-24-transformers-note-7\u002F)。\n- [seq2seq_summarization](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fseq2seq_summarization)：seq2seq任务，[文本摘要](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-03-29-transformers-note-8\u002F)。\n- [sequence_labeling_extractiveQA_cmrc](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Fsequence_labeling_extractiveQA_cmrc)：序列标注任务，[抽取式问答](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-04-02-transformers-note-9\u002F)。\n- [text_cls_prompt_senti_chnsenticorp](https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Ftree\u002Fmain\u002Fsrc\u002Ftext_cls_prompt_senti_chnsenticorp)：文本分类任务，[Prompt 情感分析](https:\u002F\u002Ftransformers.run\u002Fc3\u002F2022-10-10-transformers-note-10\u002F)。\n\n## 重要更新\n\n| 日期       | 内容                                                         |\n| ---------- | ------------------------------------------------------------ |\n| 2024-07-06 | 优化了第一章《自然语言处理》的文字表述，增加了一些图片，增加了大语言模型的简介。 |\n| 2024-07-27 | 完成大语言模型技术简介（第14至16章）初稿 |","# How-to-use-Transformers 快速上手指南\n\n本指南基于《Transformers 库快速入门》教程代码仓库，帮助开发者快速掌握 Hugging Face Transformers 库的使用，涵盖从基础 NLP 任务到大语言模型（LLM）的微调实战。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows (推荐 Linux 环境以获得最佳兼容性)\n*   **Python 版本**：Python 3.8 或更高版本\n*   **硬件建议**：若需进行模型微调或运行大语言模型，建议使用配备 NVIDIA GPU 的环境并安装 CUDA 驱动。\n\n**前置依赖**：\n本项目主要依赖 `transformers`, `torch` (PyTorch), `datasets` 等核心库。\n\n## 安装步骤\n\n推荐使用国内镜像源加速安装过程。\n\n1.  **克隆项目代码**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers.git\n    cd How-to-use-Transformers\n    ```\n\n2.  **安装 Python 依赖**\n    使用清华源安装所需库：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n    *注：若项目中未包含 `requirements.txt`，请直接安装核心库：*\n    ```bash\n    pip install transformers datasets torch accelerate -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n## 基本使用\n\nTransformers 库的核心优势在于其简洁的 API。以下是两种最常用的使用方式：直接使用 Pipeline 进行推理，以及加载模型进行自定义处理。\n\n### 1. 开箱即用：Pipeline 快速推理\n无需编写复杂代码，一行命令即可实现情感分析、文本生成、翻译等任务。\n\n```python\nfrom transformers import pipeline\n\n# 初始化情感分析管道\nclassifier = pipeline(\"sentiment-analysis\")\n\n# 执行预测\nresult = classifier(\"I love using Transformers library!\")\nprint(result)\n# 输出示例：[{'label': 'POSITIVE', 'score': 0.9998}]\n```\n\n### 2. 核心组件：模型与分词器\n对于更复杂的任务（如微调、序列标注），需要手动加载分词器（Tokenizer）和模型（Model）。\n\n```python\nfrom transformers import AutoTokenizer, AutoModelForSequenceClassification\nimport torch\n\n# 指定预训练模型名称\nmodel_name = \"bert-base-chinese\"\n\n# 加载分词器和模型\ntokenizer = AutoTokenizer.from_pretrained(model_name)\nmodel = AutoModelForSequenceClassification.from_pretrained(model_name)\n\n# 准备输入文本\ntext = \"如何使用 Transformers 库？\"\n\n# 分词处理\ninputs = tokenizer(text, return_tensors=\"pt\", padding=True, truncation=True)\n\n# 模型推理\nwith torch.no_grad():\n    outputs = model(**inputs)\n\n# 获取结果\npredictions = torch.softmax(outputs.logits, dim=-1)\nprint(predictions)\n```\n\n### 3. 运行本仓库示例代码\n本项目 `src` 目录下包含了针对特定任务的完整示例（如命名实体识别、机器翻译、大模型指令微调等）。以运行“中英翻译”示例为例：\n\n```bash\n# 进入对应的任务目录\ncd src\u002Fseq2seq_translation\n\n# 运行脚本 (具体参数请参考各目录下的 README 或脚本注释)\npython train.py --model_name_or_path google\u002Fmt5-small --output_dir .\u002Foutput\n```\n\n您可以访问 [教程网站](https:\u002F\u002Ftransformers.run\u002F) 查看每个示例对应的详细原理解析。","某初创公司的算法工程师需要在两周内为金融客服系统构建一个能自动识别用户意图并提取关键实体（如金额、时间）的智能模块。\n\n### 没有 How-to-use-Transformers 时\n- **理论门槛高**：面对 BERT、Attention 等复杂概念，开发者需花费数天查阅零散的学术论文和官方文档，难以快速建立系统性认知。\n- **代码调试难**：直接上手 Hugging Face 官方库时，因缺乏针对具体任务（如序列标注、抽取式问答）的中文示例，常在数据预处理和模型微调环节陷入报错困境。\n- **试错成本大**：从环境配置到模型落地全凭摸索，缺乏标准化的代码模板，导致重复造轮子，项目进度严重滞后。\n- **大模型跟进慢**：面对 Llama2、FlanT5 等新涌现的大语言模型，找不到清晰的指令微调（Instruction Tuning）实践指南，无法及时升级技术方案。\n\n### 使用 How-to-use-Transformers 后\n- **学习路径清晰**：依托其结构化的四部分教程，开发者能迅速掌握从自然语言处理基础到大模型技术的核心知识，将理论学习时间压缩至一天内。\n- **实战代码即用**：直接复用仓库中“命名实体识别”和“抽取式问答”等现成的中文示例代码（如 `sequence_labeling_ner_cpd`），快速跑通金融场景下的模型微调流程。\n- **开发效率倍增**：参考其标准化的数据组织方式和训练脚本，避免了底层细节的反复调试，使原型开发周期从两周缩短至三天。\n- **技术无缝演进**：通过最新更新的第 14-18 章，轻松获取大语言模型预训练与指令微调的最佳实践，顺利将系统升级为基于 Llama2 的更强版本。\n\nHow-to-use-Transformers 通过提供体系化的中文教程与开箱即用的实战代码，极大地降低了 NLP 与大模型应用的落地门槛，让开发者能将精力专注于业务逻辑而非底层实现。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjsksxs360_How-to-use-Transformers_ea83f7c7.jpg","jsksxs360","Sheng Xu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjsksxs360_8628f7f5.jpg","NLP researcher","Soochow University","Suzhou, China","jsksxs360@163.com","xiaosheng.blog","https:\u002F\u002Fgithub.com\u002Fjsksxs360",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",97.9,{"name":87,"color":88,"percentage":89},"Shell","#89e051",2.1,1860,223,"2026-04-10T00:36:52","Apache-2.0","","未说明",{"notes":97,"python":95,"dependencies":98},"该项目为《Transformers 库快速入门》教程的代码仓库，主要依赖 Hugging Face Transformers 库和 PyTorch。内容涵盖从基础 NLP 到大语言模型（如 Llama2, FlanT5）的微调与应用。具体环境配置需参考各章节示例代码或官方文档，README 中未列出具体的版本号和硬件硬性指标。",[99,100],"transformers","torch",[14,15,35,102,103],"视频","音频",[105,106,99,107,108,109,110,111,112,113,114,115,116],"nlp","pytorch","bert","classification","natural-language-processing","ner","prompt","qa","sentiment-classification","summarization","transformer","translation",null,"2026-03-27T02:49:30.150509","2026-04-10T19:05:41.334901",[121,126,131,136,141,146,151,156],{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},28028,"项目推荐的 Python 版本是多少？使用 Python 3.12 安装依赖报错怎么办？","作者原本使用的是 Python 3.8 或 3.9。如果在 Python 3.12 环境下安装依赖（如 numpy）报错，建议升级依赖包的版本要求。社区用户验证可行的配置如下：\nnumpy>=1.26.0\ntorch>=2.1.0\nscikit-learn>=1.3.0\ntransformers>=4.36.0\ntqdm>=4.65.0","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F29",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},28029,"如何获取项目中提到的数据集（如 LCSTS）？","部分数据集文件（如 data\u002Flcsts_tsv\u002Fdata1.tsv）未直接包含在仓库中，需要手动下载。以 LCSTS 中文短文本摘要语料库为例，可以从以下来源下载处理好的数据：\n1. 和鲸社区：https:\u002F\u002Fwww.heywhale.com\u002Fmw\u002Fdataset\u002F5f05ae9c3af6a6002d0f0997\n2. 百度云盘（提取码 xszb）：https:\u002F\u002Fpan.baidu.com\u002Fs\u002F10zbcluvILlL8J-KnX56Fgw?pwd=xszb\n具体下载链接也可参考项目文档第十一章。","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F5",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},28030,"如何实现模型的继续预训练（Continued Pre-training）？","继续预训练通常指按照预训练任务（如 MLM）进行微调。方法是随机 Mask 掉一些 token，然后使用 `AutoModelForMaskedLM` 加载模型参数进行训练。\n如果是针对大规模语言模型（LLM），推荐使用 Huggingface 官方的 PEFT 库（https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft），其中提供了 LoRA（Low-Rank Adaptation）等高效的微调方法。","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F8",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},28031,"代码中为什么直接将 Q、K、V 设置为 inputs_embeds？它们不应该乘以权重矩阵吗？","这是自注意力机制（Self-Attention）的一种简化表示或特定实现上下文。在标准的自注意力机制中，Q、K、V 确实是由输入嵌入（inputs_embeds）分别乘以可学习的权重矩阵 W_Q、W_K、W_V 得到的。如果代码中直接赋值 `Q = K = V = inputs_embeds`，通常意味着在该示例中暂时假设权重矩阵为单位矩阵，或者这只是一个演示注意力分数计算逻辑的片段，实际的完整模型层中会包含线性变换层。","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F12",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},28032,"进行多卡训练时报错 'DataParallel object has no attribute prepare_decoder_input_ids_from_labels' 如何解决？","该错误通常不是多卡训练本身导致的，而是代码调用方式有误。`prepare_decoder_input_ids_from_labels()` 是 `AutoModelForSeq2SeqLM` 模型的方法。请检查代码，确保是通过模型实例来调用该方法，例如：`model.prepare_decoder_input_ids_from_labels(labels)`。此外，作者指出当前项目代码主要面向单机单卡训练，未专门优化多卡配置。","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F13",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},28033,"文档中的矩阵维度描述（dxn vs nxd）是否有误？","关于维度描述的争议，作者解释这主要是形式化表示的差异。通常理解为：每个句子有 n 个词，每个词向量维度为 d，因此矩阵尺寸为 n x d（行数为样本数\u002F词数，列数为维度）。如果文中写成 d x n，可能是将其视为列向量的集合。在实际代码实现（如 PyTorch）中，通常采用 (batch_size, seq_len, hidden_dim) 即类似 n x d 的形式，不必过于纠结符号定义，以代码实际形状为准。","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F9",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},28034,"摘要评估代码中 Rouge 分数的计算逻辑是否正确？","是的，原始代码中存在逻辑问题。Rouge 分数应该基于整个测试集的所有预测结果和标签进行整体计算，而不是在循环中每次只取一个样本计算或错误地切片。正确的做法是在遍历完所有 dataloader 批次后，收集所有的 `preds`（预测列表）和 `labels`（真实标签列表），然后一次性调用 `rouge.get_scores(hyps=preds, refs=labels)` 来计算最终的平均分数。","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F2",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},28035,"项目计划发布 PDF 格式的文档吗？","目前作者暂无发布 PDF 文档的计划。作者表示部分内容撰写于四五年前，可能已过时，计划先更新内容后再考虑制作 PDF。对于需要在墨水屏等设备阅读的用户，目前建议通过浏览器打印页面保存为 PDF，尽管这可能比较繁琐。","https:\u002F\u002Fgithub.com\u002Fjsksxs360\u002FHow-to-use-Transformers\u002Fissues\u002F11",[]]