[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-THUDM--P-tuning":3,"tool-THUDM--P-tuning":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74939,"2026-04-05T23:16:38",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70626,"2026-04-05T22:51:36",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":93,"forks":94,"last_commit_at":95,"license":96,"difficulty_score":45,"env_os":97,"env_gpu":98,"env_ram":99,"env_deps":100,"category_tags":103,"github_topics":104,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":111,"updated_at":112,"faqs":113,"releases":154},4135,"THUDM\u002FP-tuning","P-tuning","A novel method to tune language models. Codes and datasets for paper ``GPT understands, too''.","P-tuning 是一种高效微调大型语言模型的创新方法，源自清华大学团队发表的论文《GPT Understands, Too》。传统的全参数微调不仅需要巨大的计算资源，还难以在少样本场景下取得理想效果，而 P-tuning 通过引入可学习的连续提示向量（Continuous Prompts），仅更新极少量参数即可让模型适应下游任务，显著降低了算力门槛。\n\n该方法特别适合 AI 研究人员和开发者使用，尤其是那些希望在有限硬件条件下（如消费级显卡）探索大模型应用，或专注于少样本学习、知识探测等场景的技术人员。P-tuning 的核心亮点在于其“参数高效”特性：它证明了即使不调整模型主体权重，仅优化输入端的提示嵌入，也能让 GPT 等大模型达到甚至超越全参数微调的性能。此外，该技术已迭代至 P-tuning v2，进一步提升了在不同规模模型和任务上的通用性与稳定性。项目开源了完整的代码及 LAMA、SuperGLUE 等基准数据集，方便用户快速复现实验或进行二次开发，是连接大模型理论与落地实践的有力工具。","# P-tuning\n## ❗ News \n\n🌟 [2022-10-06] Thrilled to present [GLM-130B: An Open Bilingual Pre-trained Model](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.02414). It is an open-sourced LLM outperforming GPT-3 175B over various benchmarks. Get model weights and do inference and P-Tuning with only **4 * RTX 3090 or 8 * RTX 2080 Ti** [FOR FREE](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FGLM-130B)!\n\n🌟 [2022-07-14] [Parameter-Efficient Prompt Tuning Makes Generalized and Calibrated Neural Text Retrievers](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.07087.pdf) is out! Check our [code](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning-v2\u002Ftree\u002Fmain\u002FPT-Retrieval).\n\n🌟 [2021-10-15] [P-tuning v2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.07602) is out! Check our [Github repo](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning-v2).\n\nA novel method to tune language models. Codes and datasets for paper [``GPT understands, too''](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.10385).\n\n[Xiao Liu*](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=VKI8EhUAAAAJ&hl=zh-CN), [Yanan Zheng*](zheng-yanan.github.io), [Zhengxiao Du](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=A8x07E0AAAAJ&hl=en), [Ming Ding](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=Va50YzkAAAAJ&hl=en), [Yujie Qian](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=93a-9kkAAAAJ&hl=en), [Zhilin Yang](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=7qXxyJkAAAAJ&hl=en), [Jie Tang](http:\u002F\u002Fkeg.cs.tsinghua.edu.cn\u002Fjietang\u002F)\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_P-tuning_readme_60e2187fc0f0.png)\n\nYou may be also interested in our another work GLM: [All NLP Tasks Are Generation Tasks: A General Pretraining Framework](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FGLM)\n\n## How to use our code\nWe have released the code and datasets for LAMA and few-shot SuperGLUE (32-dev) experiments. Please check **README.md** and **requirement.txt** in the corresponding subdirectories for details.\n\nThe [LAMA](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F21b9dcf05cc44adfad25\u002F?dl=1) and [FewGLUE_32dev](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Ftree\u002Fmain\u002FFewGLUE_32dev) datasets are available. The LAMA dataset should be placed in .\u002Fdata directory, and the SuperGLUE dataset should be placed in the .\u002F (project root) directory.\n\n## Citation\n\nIf you find our work useful, please cite the following paper:\n```\n    @article{liu2021gpt,\n    title={GPT Understands, Too},\n    author={Liu, Xiao and Zheng, Yanan and Du, Zhengxiao and Ding, Ming and Qian, Yujie and Yang, Zhilin and Tang, Jie},\n    journal={arXiv:2103.10385},\n    year={2021}\n    }\n```\n","# P-tuning\n## ❗ 新闻 \n\n🌟 [2022-10-06] 我们非常高兴地推出 [GLM-130B：一个开源的双语预训练模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.02414)。这是一个开源的大规模语言模型，在多个基准测试中表现超越 GPT-3 175B。只需 **4 张 RTX 3090 或 8 张 RTX 2080 Ti**，即可免费获取模型权重并进行推理和 P-Tuning！[立即访问](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FGLM-130B)！\n\n🌟 [2022-07-14] 论文 [参数高效的提示调优使神经文本检索器具备泛化能力和校准性](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2207.07087.pdf) 已发布！请查看我们的 [代码](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning-v2\u002Ftree\u002Fmain\u002FPT-Retrieval)。\n\n🌟 [2021-10-15] [P-tuning v2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.07602) 已发布！请访问我们的 [GitHub 仓库](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning-v2)。\n\n一种全新的语言模型调优方法。附带论文 [``GPT 也懂了''](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.10385) 的代码和数据集。\n\n[Xiao Liu*](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=VKI8EhUAAAAJ&hl=zh-CN), [Yanan Zheng*](zheng-yanan.github.io), [Zhengxiao Du](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=A8x07E0AAAAJ&hl=en), [Ming Ding](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=Va50YzkAAAAJ&hl=en), [Yujie Qian](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=93a-9kkAAAAJ&hl=en), [Zhilin Yang](https:\u002F\u002Fscholar.google.com.hk\u002Fcitations?user=7qXxyJkAAAAJ&hl=en), [Jie Tang](http:\u002F\u002Fkeg.cs.tsinghua.edu.cn\u002Fjietang\u002F)\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_P-tuning_readme_60e2187fc0f0.png)\n\n您可能也会对我们的另一项工作 GLM 感兴趣：[所有 NLP 任务都是生成任务：一种通用的预训练框架](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FGLM)\n\n## 如何使用我们的代码\n我们已发布了用于 LAMA 和少样本 SuperGLUE (32-dev) 实验的代码和数据集。详情请参阅相应子目录中的 **README.md** 和 **requirement.txt** 文件。\n\n[LAMA](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F21b9dcf05cc44adfad25\u002F?dl=1) 和 [FewGLUE_32dev](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Ftree\u002Fmain\u002FFewGLUE_32dev) 数据集现已开放下载。LAMA 数据集应放置在 .\u002Fdata 目录下，而 SuperGLUE 数据集则应放置在 .\u002F（项目根目录）下。\n\n## 引用方式\n\n如果您认为我们的工作有所帮助，请引用以下论文：\n```\n    @article{liu2021gpt,\n    title={GPT 也懂了},\n    author={刘晓、郑雅楠、杜正霄、丁明、钱宇杰、杨志林、唐杰},\n    journal={arXiv:2103.10385},\n    year={2021}\n    }\n```","# P-tuning 快速上手指南\n\nP-tuning 是一种新颖的语言模型微调方法，旨在让预训练模型（如 GPT）更好地理解和执行下游任务。本指南基于官方仓库 `THUDM\u002FP-tuning` 整理，帮助开发者快速启动 LAMA 和 Few-shot SuperGLUE 实验。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux (推荐) 或 macOS\n*   **Python 版本**：Python 3.6+\n*   **深度学习框架**：PyTorch (需匹配您的 CUDA 版本)\n*   **硬件建议**：支持 CUDA 的 NVIDIA GPU（显存需求视模型大小而定）\n\n**前置依赖安装：**\n建议使用 `pip` 安装基础依赖。国内用户可使用清华源加速安装：\n\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **注意**：具体的依赖包列表请查看项目对应子目录下的 `requirements.txt` 文件。\n\n## 安装步骤与数据配置\n\n本项目代码已开源，需克隆仓库并配置数据集。\n\n### 1. 克隆代码库\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning.git\ncd P-tuning\n```\n\n### 2. 数据集下载与放置\n\n项目主要涉及 **LAMA** 和 **FewGLUE_32dev** (SuperGLUE few-shot) 两个数据集。请按照以下路径规范放置数据：\n\n*   **LAMA 数据集**：\n    *   下载地址：[LAMA Dataset](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F21b9dcf05cc44adfad25\u002F?dl=1)\n    *   放置路径：解压后放入项目根目录下的 `.\u002Fdata` 文件夹中。\n    \n*   **FewGLUE_32dev 数据集**：\n    *   下载地址：[FewGLUE_32dev Repo](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Ftree\u002Fmain\u002FFewGLUE_32dev)\n    *   放置路径：直接放置在项目根目录 `.\u002F` 下。\n\n最终目录结构应类似于：\n```text\nP-tuning\u002F\n├── data\u002F\n│   └── [LAMA 数据集内容]\n├── FewGLUE_32dev\u002F\n│   └── [SuperGLUE 数据集内容]\n├── src\u002F\n├── requirements.txt\n└── README.md\n```\n\n## 基本使用\n\n完成环境配置和数据准备后，您可以参考各任务子目录下的具体脚本运行实验。以下以典型的训练流程为例（具体参数请参考对应任务的 `README.md`）：\n\n### 运行示例\n\n进入对应的实验目录（例如 LAMA 或 SuperGLUE 的子目录），执行训练脚本。假设当前位于包含训练脚本的目录：\n\n```bash\npython train.py \\\n    --model_name_or_path bert-base-uncased \\\n    --task_name lama \\\n    --data_dir .\u002Fdata \\\n    --output_dir .\u002Foutputs \\\n    --do_train \\\n    --do_eval \\\n    --per_device_train_batch_size 16 \\\n    --learning_rate 5e-4 \\\n    --num_train_epochs 10\n```\n\n> **提示**：\n> 1. `--model_name_or_path` 可替换为您本地下载的预训练模型路径。\n> 2. 对于 SuperGLUE 任务，请将 `--task_name` 和 `--data_dir` 调整为对应的配置。\n> 3. 更多高级用法（如 P-tuning v2 或 GLM-130B 适配）请访问 [P-tuning v2 仓库](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning-v2)。\n\n---\n*如果您在研究中使用了此工具，请引用论文：*\n> Liu, Xiao, et al. \"GPT Understands, Too.\" arXiv preprint arXiv:2103.10385 (2021).","某电商初创公司的算法团队需要在资源有限的情况下，快速让大语言模型掌握垂直领域的商品评论情感分析能力。\n\n### 没有 P-tuning 时\n- **算力门槛极高**：团队试图对预训练模型进行全量微调，但受限于显存，必须租用昂贵的多卡 A100 集群，导致推理成本远超预算。\n- **小样本效果差**：由于标注数据稀缺（仅几百条特定品类评论），传统微调方法极易过拟合，模型在测试集上表现不稳定，无法泛化到新商品。\n- **部署周期漫长**：每次迭代都需要保存和加载完整的巨型模型权重文件，传输与更新耗时数小时，严重拖慢产品上线节奏。\n- **灾难性遗忘**：模型在学习新任务后，丢失了原有的通用语言理解能力，导致在处理非垂直领域问题时胡言乱语。\n\n### 使用 P-tuning 后\n- **消费级显卡即可运行**：利用 P-tuning 仅优化连续提示向量（Continuous Prompts）的特性，团队仅用单张 RTX 3090 甚至更低的配置就完成了高效训练。\n- **小样本性能卓越**：在极少标注数据下，P-tuning 激发了模型的内在理解力，情感分析准确率迅速达到生产可用标准，且泛化能力强。\n- **轻量化极速部署**：只需存储和更新极少量的提示参数（通常不到模型总参数的 1%），模型切换与更新可在秒级完成。\n- **保留通用能力**：模型主体参数被冻结，完美保留了预训练时的通用知识，既能精准分析评论，又能流畅回答用户的一般咨询。\n\nP-tuning 通过参数高效微调技术，让中小团队也能以极低算力成本，将通用大模型快速转化为高精度的垂直领域专家。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_P-tuning_b5aeaa8d.png","THUDM","THUKEG","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FTHUDM_698cabbc.png","ChatGLM, GLM-4, CogVLM, CodeGeeX, CogView, ImageReward, CogVideoX | CogDL, GraphMAE, AMiner | Zhipu.ai (Z.ai) & Knowledge Engineering Group (KEG)",null,"keg.cs.tsinghua@gmail.com","thukeg","https:\u002F\u002Fhuggingface.co\u002FTHUDM","https:\u002F\u002Fgithub.com\u002FTHUDM",[85,89],{"name":86,"color":87,"percentage":88},"Python","#3572A5",98.3,{"name":90,"color":91,"percentage":92},"Shell","#89e051",1.7,938,114,"2025-12-31T03:43:50","MIT","","未说明具体型号，但新闻提及运行 GLM-130B 需 4*RTX 3090 或 8*RTX 2080 Ti；基础 P-tuning 需求未在本文档明确","未说明",{"notes":101,"python":99,"dependencies":102},"README 中未直接列出环境配置，具体依赖请查看子目录中的 requirement.txt 文件。新闻部分提到大规模模型（GLM-130B）的推理和微调需要高端多卡环境（如 4 张 RTX 3090），但基础 P-tuning 方法的硬件门槛需参考原始论文或代码实现细节。数据集（LAMA 和 FewGLUE_32dev）需手动下载并放置于指定目录。",[],[15],[105,106,107,108,109,110],"natural-language-processing","pre-trained-language-models","prompt-tuning","p-tuning","parameter-efficient-learning","few-shot-learning","2026-03-27T02:49:30.150509","2026-04-06T11:56:40.225568",[114,119,124,129,134,139,144,149],{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},18837,"为什么更换预训练模型（如从 ALBERT 换成 BERT）后会报错 embedding_dim 不一致？","这是因为不同的预训练模型使用了不同的嵌入参数化技术。例如，albert-xxlarge-v2 使用了因子化嵌入参数化（Factorized embedding parameterization），将 1024 维的嵌入分解为 128 维向量乘以矩阵进行压缩，导致其嵌入维度与标准 BERT 不同。此外，不同预训练模型需要不同的超参数进行微调，直接使用在某一模型上的最优超参通常无法在其他模型上得到最优结果，甚至会导致维度不匹配的错误。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F37",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},18838,"在 SuperGLUE 任务中，寻找 prompt 和微调模型是分开进行的还是同时进行的？","在 SuperGLUE 任务实验中，寻找 prompt 和微调模型是同时进行的（searching prompts and fine-tuning are conducted simultaneously），而不是先固定预训练模型找出 prompt 后再微调整个模型。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F5",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},18839,"运行代码时遇到 'output' object has no attribute 'loss' 或 'logits' 报错怎么办？","这是 Hugging Face Transformers 库的版本兼容性问题。如果使用的是较新版本（4.3.0 以上），模型输出默认是字典对象而非元组。解决方法是在调用 model 时添加参数 `return_dict=True`，或者根据代码逻辑直接解包返回的元组（如 `loss, logits = self.model(...)`）。建议检查 `requirements.txt` 中的版本要求，确保环境与代码匹配。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F24",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},18840,"P-tuning 中的伪提示（pseudo prompts）是如何初始化的？是随机初始化还是使用模板嵌入？","伪提示（pseudo prompts）是随机初始化的，它们作为占位符存在。这是因为我们只能对 prompt encoder 进行随机初始化。虽然图示意图可能让人误解为使用了模板嵌入，但实际上是通过随机初始化并结合 prompt encoder 的非线性激活函数来优化生成的。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F2",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},18841,"论文中提到的优化过程中的“离散性”（discreteness）问题具体指什么？Prompt Encoder 如何解决这个问题？","这里的“离散性”指的是嵌入空间中的优化挑战。虽然嵌入向量在连续空间中，但梯度优化往往只能在参数的小邻域内变化，容易导致陷入局部最小值。Prompt Encoder 作为一种重参数化技术（包含非线性激活函数），旨在鼓励输出的嵌入向量优化到嵌入空间中更远的位置，从而跳出局部最优。不过作者后来也指出，即使没有 Prompt Encoder，梯度也能大幅改变嵌入，当时的解释更多是基于早期的假设。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F39",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},18842,"为什么 P-tuning V2 论文中报告的 SuperGLUE 指标比 P-tuning V1 论文中的差，甚至不如全量微调？","这是因为在 P-tuning V2 论文中，为了遵循 Lester 等人（Prefix Tuning 作者）的实验设置，报告的是固定骨干网络（fixed backbone）版本的 P-tuning V1 结果，而不是原始 P-tuning 论文中允许微调部分参数的最佳结果。这种实验设置的差异导致了指标看起来比全量微调差，并不代表算法本身的性能下降。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F33",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},18843,"如果预测标签不在给定的词表中，或者标签被分成多个子词，应该如何处理？","原始的 P-tuning 方法继承自传统 Prompt，未充分考虑标签不在词表中的情况。对于标签数量多且无实际语义的任务，建议参考 P-tuning V2 的实现。如果标签被分词器分成多个子词，通常的做法是映射到词表中存在的单个词（如 Yes\u002FNo\u002FMaybe），或者在数据预处理阶段过滤掉标签不在词表中的样本。若不想舍弃样本且类别繁多，需采用更灵活的映射策略或升级到支持此类情况的 P-tuning V2 版本。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F27",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},18844,"在哪里可以找到运行该项目所需的依赖包和环境配置信息？","项目所需的依赖包和环境配置信息可以在仓库根目录下的 `requirements.txt` 文件中找到。用户可以根据该文件安装相应的 Python 包以复现代码。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FP-tuning\u002Fissues\u002F28",[]]