[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-PaddlePaddle--PaddleNLP":3,"tool-PaddlePaddle--PaddleNLP":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":76,"owner_url":77,"languages":78,"stars":112,"forks":113,"last_commit_at":114,"license":115,"difficulty_score":10,"env_os":116,"env_gpu":117,"env_ram":118,"env_deps":119,"category_tags":125,"github_topics":126,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":145,"updated_at":146,"faqs":147,"releases":178},6297,"PaddlePaddle\u002FPaddleNLP","PaddleNLP","Easy-to-use and powerful LLM and SLM library with awesome model zoo.","PaddleNLP 是一款基于飞桨深度学习框架打造的开源大语言模型（LLM）开发套件，旨在为开发者提供从模型训练、压缩到高性能推理的一站式解决方案。它有效解决了大模型在实际应用中面临的开发门槛高、资源消耗大及部署复杂等痛点，让构建产业级 AI 应用变得更加简单高效。\n\n无论是希望快速上手大模型开发的工程师，还是致力于前沿算法探索的研究人员，都能通过 PaddleNLP 丰富的“模型库”轻松调用包括 Qwen3、DeepSeek-R1 在内的众多主流模型。其核心优势在于极致的性能优化：支持 FP8、INT8 及 4-bit 等多种量化技术，显著降低显存需求并提升推理速度，甚至在单卡环境下也能流畅运行超大参数模型。此外，PaddleNLP 还具备先进的分布式训练能力，独创的 FlashMask 等技术大幅降低了训练成本，并提供了模型融合、信息抽取等实用工具。凭借简单易用的接口和跨平台特性，PaddleNLP 正助力各类用户低成本、高效率地释放人工智能的创新潜力。","**简体中文**🀄 | [English🌎](.\u002FREADME_en.md)\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_dec172a6fd5a.png\" align=\"middle\" width=\"500\" \u002F>\n\u003C\u002Fp>\n\n------------------------------------------------------------------------------------------\n\n\u003Cp align=\"center\">\n \u003Ca href=\"https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fen\u002Flatest\u002F?badge=latest\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_13d664e1afd7.png\">\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Frelease\u002FPaddlePaddle\u002FPaddleNLP?color=ffa\">\u003C\u002Fa>\n \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.7+-aff.svg\">\u003C\u002Fa>\n \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fos-linux%2C%20win%2C%20mac-pink.svg\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fgraphs\u002Fcontributors\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcontributors\u002FPaddlePaddle\u002FPaddleNLP?color=9ea\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcommits\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcommit-activity\u002Fm\u002FPaddlePaddle\u002FPaddleNLP?color=3af\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fpypi.org\u002Fproject\u002Fpaddlenlp\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdm\u002Fpaddlenlp?color=9cf\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues\u002FPaddlePaddle\u002FPaddleNLP?color=9cc\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPaddlePaddle\u002FPaddleNLP?color=ccf\">\u003C\u002Fa>\n \u003Ca href=\".\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache%202-dfd.svg\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Ch4 align=\"center\">\n \u003Ca href=#特性> 特性 \u003C\u002Fa> |\n \u003Ca href=#模型支持> 模型支持 \u003C\u002Fa> |\n \u003Ca href=#安装> 安装 \u003C\u002Fa> |\n \u003Ca href=#快速开始> 快速开始 \u003C\u002Fa> |\n \u003Ca href=#社区交流> 社区交流 \u003C\u002Fa>\n\u003C\u002Fh4>\n\n**PaddleNLP**是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件，支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP 具备**简单易用**和**性能极致**的特点，致力于助力开发者实现高效的大模型产业级应用。\n\n\u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F2246\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_da43bb0fd7bb.png\" alt=\"PaddlePaddle%2FPaddleNLP | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\n## News 📢\n\n* **2025.04.29 PaddleNLP 现已支持 Qwen3 系列模型**: Qwen3 系列模型支持持两种思考模式，预训练约 36 万亿个 token、119 种语言和方言。包括六个 Dense 模型, Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B。两个 MoE 模型的权重：Qwen3-235B-A22B，Qwen3-30B-A3B。\n\n* **2025.03.12 [PaddleNLP v3.0 Beta4](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta4)**：全面支持 DeepSeek V3\u002FR1\u002FR1-Distill, 及 QwQ-32B 等热门思考模型。**DeepSeek V3\u002FR1完整版支持 FP8、INT8、4-bit 量化推理，MTP 投机解码**。单机 FP8推理输出超**1000 tokens\u002Fs**; 4-bit 推理输出超**2100 tokens\u002Fs**! 发布新版推理部署镜像，热门模型[一键部署](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fserver\u002Fdocs\u002Fgeneral_model_inference.html)。推理部署[使用文档](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fdocs\u002Fpredict\u002Findex.html)全面更新，体验全面提升！自研下一代通用信息抽取模型 PP-UIE [全新发布](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fapplication\u002Finformation_extraction)，支持8K 长度信息抽取。新增大模型 Embedding 训练，支持 INF-CL 超大 batch size 训练。新增[MergeKit](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fdocs\u002Fmergekit.html)模型融合工具，缓解对齐代价。低资源训练全面优化，16G 小显存可以流畅训练。\n\n\n* **2025.02.10 PaddleNLP 现已支持 DeepSeek-R1系列模型，[在线使用](https:\u002F\u002Faistudio.baidu.com\u002Fprojectdetail\u002F8775758)**：依托全新的 PaddleNLP 3.0套件，DeepSeek-R1系列模型现已全面支持。凭借数据并行、数据分组切分并行、模型并行、流水线并行以及专家并行等一系列先进的分布式训练能力，结合 Paddle 框架独有的列稀疏注意力掩码表示技术——FlashMask 方法，DeepSeek-R1系列模型在训练过程中显著降低了显存消耗，同时取得了卓越的训练性能提升。\n\n\u003Cdetails>\u003Csummary> \u003Cb>点击展开\u003C\u002Fb> \u003C\u002Fsummary>\u003Cdiv>\n\n* **2025.03.17 《DeepSeek-R1满血版单机部署实测》** 🔥🔥🔥 飞桨框架3.0大模型推理部署全面升级，支持多款主流大模型，DeepSeek-R1满血版实现单机部署，吞吐提升一倍！欢迎广大用户开箱体验～现已开启有奖活动：完成 DeepSeek-R1-MTP 单机部署任务、提交高质量测评 blog，即可实时赢取奖金！💰💰💰\n报名[地址](https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FOlzzmbG.aspx#)， 活动详情：https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F10166 ， 参考文档：https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F10157 。\n\n* **2025.03.06 PaddleNLP 现已支持 Qwen\u002FQwQ-32B 模型**: 其模型参数仅有 32B，但其数学推理、编程能力和通用能力可与具备 671B 参数（其中 37B 被激活）的 DeepSeek-R1 媲美。借助 PaddleNLP 3.0套件，现可实现多种并行策略[微调训练](.\u002Fllm\u002FREADME.md)、[高性能推理、低比特量化](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md)和[服务化部署](.\u002Fllm\u002Fserver\u002FREADME.md)。\n\n* **2025.02.20 🔥🔥《PP-UIE 信息抽取智能引擎全新升级》** 强化零样本学习能力，支持极少甚至零标注数据实现高效冷启动与迁移学习，显著降低数据标注成本；具备处理长文本能力，支持 8192 个 Token 长度文档信息抽取，实现跨段落识别关键信息，形成完整理解；提供完整可定制化的训练和推理全流程，训练效率相较于 LLama-Factory 实现了1.8倍的提升。\n2月26日（周三）19：00为您深度解析全新 PP-UIE 技术方案及在部署方面的功能、优势与技巧。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FmBKC6pb.aspx?udsid=606418\n\n* **2024.12.16 [PaddleNLP v3.0 Beta3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta3)**：大模型功能全新升级，新增了 Llama-3.2、DeepSeekV2模型，升级了 TokenizerFast，快速分词，重构了 SFTTrainer，一键开启 SFT 训练。此外，PaddleNLP 还支持了优化器状态的卸载和重载功能，实现了精细化的重新计算，训练性能提升7%。在 Unified Checkpoint 方面，进一步优化了异步保存逻辑，新增 Checkpoint 压缩功能，可节省78.5%存储空间。\n最后，在大模型推理方面，升级 Append Attention，支持了 FP8量化，支持投机解码。\n\n* **2024.12.13 📚《飞桨大模型套件 Unified Checkpoint 技术》**，加速模型存储95%，节省空间78%。支持全分布式策略调整自适应转换，提升模型训练的灵活性与可扩展性。训练-压缩-推理统一存储协议，无需手动转换提升全流程体验。Checkpoint 无损压缩结合异步保存，实现秒级存储并降低模型存储成本。适用于智能制造、指挥交通、医疗健康、金融服务等产业实际场景。12月24日（周二）19：00直播为您详细解读该技术如何优化大模型训练流程。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FhuZkHn9.aspx?udsid=787976\n\n* **2024.11.28 📚《FlashRAG-Paddle | 基于 PaddleNLP 的高效开发与评测 RAG 框架》**，为文本更快更好构建准确嵌入表示、加速推理生成速度。PaddleNLP 支持超大 Batch 嵌入表示学习与多硬件高性能推理，涵盖 INT8\u002FINT4量化技术及多种高效注意力机制优化与 TensorCore 深度优化。内置全环节算子融合技术，使得 FlashRAG 推理性能相比 transformers 动态图提升70%以上，结合检索增强知识输出结果更加准确，带来敏捷高效的使用体验。直播时间：12月3日（周二）19：00。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FeaBa1vA.aspx?udsid=682361\n\n* **2024.08.08 📚《飞桨产业级大语言模型开发利器 PaddleNLP 3.0 重磅发布》**，训压推全流程贯通，主流模型全覆盖。大模型自动并行，千亿模型训推全流程开箱即用。提供产业级高性能精调与对齐解决方案，压缩推理领先，多硬件适配。覆盖产业级智能助手、内容创作、知识问答、关键信息抽取等应用场景。直播时间：8月22日（周四）19：00。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FY2f7FFY.aspx?udsid=143844\n\n* **2024.06.27 [PaddleNLP v3.0 Beta](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta0)**：拥抱大模型，体验全升级。统一大模型套件，实现国产计算芯片全流程接入；全面支持飞桨4D 并行配置、高效精调策略、高效对齐算法、高性能推理等大模型产业级应用流程；自研极致收敛的 RsLoRA+算法、自动扩缩容存储机制 Unified Checkpoint 和通用化支持的 FastFFN、FusedQKV 助力大模型训推；主流模型持续支持更新，提供高效解决方案。\n\n* **2024.04.24 [PaddleNLP v2.8](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv2.8.0)**：自研极致收敛的 RsLoRA+算法，大幅提升 PEFT 训练收敛速度以及训练效果；引入高性能生成加速到 RLHF PPO 算法，打破 PPO 训练中生成速度瓶颈，PPO 训练性能大幅领先。通用化支持 FastFFN、FusedQKV 等多个大模型训练性能优化方式，大模型训练更快、更稳定。\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n## 特性\n\n### \u003Ca href=#多硬件训推一体> 🔧 多硬件训推一体 \u003C\u002Fa>\n\n支持英伟达 GPU、昆仑 XPU、昇腾 NPU、燧原 GCU 和海光 DCU 等多个硬件的大模型和自然语言理解模型训练和推理，套件接口支持硬件快速切换，大幅降低硬件切换研发成本。\n当前支持的自然语言理解模型：[多硬件自然语言理解模型列表](.\u002Fdocs\u002Fzh\u002Fmodel_zoo\u002Fmodel_list_multy_device.md)\n\n### \u003Ca href=#高效易用的预训练> 🚀 高效易用的预训练 \u003C\u002Fa>\n\n支持纯数据并行策略、分组参数切片的数据并行策略、张量模型并行策略和流水线模型并行策略的4D 高性能训练，Trainer 支持分布式策略配置化，降低复杂分布式组合带来的使用成本；\n[Unified Checkpoint 大模型存储工具](.\u002Fllm\u002Fdocs\u002Funified_checkpoint.md)可以使得训练断点支持机器资源动态扩缩容恢复。此外，异步保存，模型存储可加速95%，Checkpoint 压缩，可节省78.5%存储空间。\n\n### \u003Ca href=#高效精调> 🤗 高效精调 \u003C\u002Fa>\n\n精调算法深度结合零填充数据流和 [FlashMask](.\u002Fllm\u002Fdocs\u002Fflashmask.md) 高性能算子，降低训练无效数据填充和计算，大幅提升精调训练吞吐。\n\n### \u003Ca href=#无损压缩和高性能推理> 🎛️ 无损压缩和高性能推理 \u003C\u002Fa>\n\n大模型套件高性能推理模块内置动态插入和全环节算子融合策略，极大加快并行推理速度。底层实现细节封装化，实现开箱即用的高性能并行推理能力。\n\n## 文档\n更多详细文档, 请访问 [PaddleNLP Documentation](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002F).\n\n------------------------------------------------------------------------------------------\n\n## 模型支持\n\n* 模型参数已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Gemma 系列、Mistral 系列、OPT 系列和 Qwen 系列，详细列表👉【LLM】模型参数支持列表如下：\n\n| 模型系列 | 模型名称 |\n|:-------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| [PP-UIE](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fapplication\u002Finformation_extraction) | paddlenlp\u002FPP-UIE-0.5B, paddlenlp\u002FPP-UIE-1.5B, paddlenlp\u002FPP-UIE-7B, paddlenlp\u002FPP-UIE-14B |\n| [LLaMA](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | facebook\u002Fllama-7b, facebook\u002Fllama-13b, facebook\u002Fllama-30b, facebook\u002Fllama-65b |\n| [Llama2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FLlama-2-7b, meta-llama\u002FLlama-2-7b-chat, meta-llama\u002FLlama-2-13b, meta-llama\u002FLlama-2-13b-chat, meta-llama\u002FLlama-2-70b, meta-llama\u002FLlama-2-70b-chat |\n| [Llama3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FMeta-Llama-3-8B, meta-llama\u002FMeta-Llama-3-8B-Instruct, meta-llama\u002FMeta-Llama-3-70B, meta-llama\u002FMeta-Llama-3-70B-Instruct |\n| [Llama3.1](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FMeta-Llama-3.1-8B, meta-llama\u002FMeta-Llama-3.1-8B-Instruct, meta-llama\u002FMeta-Llama-3.1-70B, meta-llama\u002FMeta-Llama-3.1-70B-Instruct, meta-llama\u002FMeta-Llama-3.1-405B, meta-llama\u002FMeta-Llama-3.1-405B-Instruct, meta-llama\u002FLlama-Guard-3-8B |\n| [Llama3.2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FLlama-3.2-1B, meta-llama\u002FLlama-3.2-1B-Instruct, meta-llama\u002FLlama-3.2-3B, meta-llama\u002FLlama-3.2-3B-Instruct, meta-llama\u002FLlama-Guard-3-1B |\n| [Llama3.3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FLlama-3.3-70B-Instruct |\n| [Baichuan](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbaichuan) | baichuan-inc\u002FBaichuan-7B, baichuan-inc\u002FBaichuan-13B-Base, baichuan-inc\u002FBaichuan-13B-Chat |\n| [Baichuan2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbaichuan) | baichuan-inc\u002FBaichuan2-7B-Base, baichuan-inc\u002FBaichuan2-7B-Chat, baichuan-inc\u002FBaichuan2-13B-Base, baichuan-inc\u002FBaichuan2-13B-Chat |\n| [Bloom](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbloom) | bigscience\u002Fbloom-560m, bigscience\u002Fbloom-560m-bf16, bigscience\u002Fbloom-1b1, bigscience\u002Fbloom-3b, bigscience\u002Fbloom-7b1, bigscience\u002Fbloomz-560m, bigscience\u002Fbloomz-1b1, bigscience\u002Fbloomz-3b, bigscience\u002Fbloomz-7b1-mt, bigscience\u002Fbloomz-7b1-p3, bigscience\u002Fbloomz-7b1, bellegroup\u002Fbelle-7b-2m |\n| [ChatGLM](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm\u002F) | THUDM\u002Fchatglm-6b, THUDM\u002Fchatglm-6b-v1.1 |\n| [ChatGLM2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm2) | THUDM\u002Fchatglm2-6b |\n| [ChatGLM3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm2) | THUDM\u002Fchatglm3-6b |\n| [DeepSeekV2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2) | deepseek-ai\u002FDeepSeek-V2, deepseek-ai\u002FDeepSeek-V2-Chat, deepseek-ai\u002FDeepSeek-V2-Lite, deepseek-ai\u002FDeepSeek-V2-Lite-Chat, deepseek-ai\u002FDeepSeek-Coder-V2-Base, deepseek-ai\u002FDeepSeek-Coder-V2-Instruct, deepseek-ai\u002FDeepSeek-Coder-V2-Lite-Base, deepseek-ai\u002FDeepSeek-Coder-V2-Lite-Instruct |\n| [DeepSeekV3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2) | deepseek-ai\u002FDeepSeek-V3, deepseek-ai\u002FDeepSeek-V3-Base |\n| [DeepSeek-R1](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2) | deepseek-ai\u002FDeepSeek-R1, deepseek-ai\u002FDeepSeek-R1-Zero, deepseek-ai\u002FDeepSeek-R1-Distill-Llama-70B, deepseek-ai\u002FDeepSeek-R1-Distill-Llama-8B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-14B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-1.5B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-32B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-7B |\n| [Gemma](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fgemma) | google\u002Fgemma-7b, google\u002Fgemma-7b-it, google\u002Fgemma-2b, google\u002Fgemma-2b-it |\n| [Mistral](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fmistral) | mistralai\u002FMistral-7B-Instruct-v0.3, mistralai\u002FMistral-7B-v0.1 |\n| [Mixtral](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fmixtral) | mistralai\u002FMixtral-8x7B-Instruct-v0.1 |\n| [OPT](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fopt) | facebook\u002Fopt-125m, facebook\u002Fopt-350m, facebook\u002Fopt-1.3b, facebook\u002Fopt-2.7b, facebook\u002Fopt-6.7b, facebook\u002Fopt-13b, facebook\u002Fopt-30b, facebook\u002Fopt-66b, facebook\u002Fopt-iml-1.3b, opt-iml-max-1.3b |\n| [Qwen](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | qwen\u002Fqwen-7b, qwen\u002Fqwen-7b-chat, qwen\u002Fqwen-14b, qwen\u002Fqwen-14b-chat, qwen\u002Fqwen-72b, qwen\u002Fqwen-72b-chat, |\n| [Qwen1.5](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen1.5-0.5B, Qwen\u002FQwen1.5-0.5B-Chat, Qwen\u002FQwen1.5-1.8B, Qwen\u002FQwen1.5-1.8B-Chat, Qwen\u002FQwen1.5-4B, Qwen\u002FQwen1.5-4B-Chat, Qwen\u002FQwen1.5-7B, Qwen\u002FQwen1.5-7B-Chat, Qwen\u002FQwen1.5-14B, Qwen\u002FQwen1.5-14B-Chat, Qwen\u002FQwen1.5-32B, Qwen\u002FQwen1.5-32B-Chat, Qwen\u002FQwen1.5-72B, Qwen\u002FQwen1.5-72B-Chat, Qwen\u002FQwen1.5-110B, Qwen\u002FQwen1.5-110B-Chat, Qwen\u002FQwen1.5-MoE-A2.7B, Qwen\u002FQwen1.5-MoE-A2.7B-Chat |\n| [Qwen2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2-0.5B, Qwen\u002FQwen2-0.5B-Instruct, Qwen\u002FQwen2-1.5B, Qwen\u002FQwen2-1.5B-Instruct, Qwen\u002FQwen2-7B, Qwen\u002FQwen2-7B-Instruct, Qwen\u002FQwen2-72B, Qwen\u002FQwen2-72B-Instruct, Qwen\u002FQwen2-57B-A14B, Qwen\u002FQwen2-57B-A14B-Instruct |\n| [Qwen2-Math](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2-Math-1.5B, Qwen\u002FQwen2-Math-1.5B-Instruct, Qwen\u002FQwen2-Math-7B, Qwen\u002FQwen2-Math-7B-Instruct, Qwen\u002FQwen2-Math-72B, Qwen\u002FQwen2-Math-72B-Instruct, Qwen\u002FQwen2-Math-RM-72B |\n| [Qwen2.5](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2.5-0.5B, Qwen\u002FQwen2.5-0.5B-Instruct, Qwen\u002FQwen2.5-1.5B, Qwen\u002FQwen2.5-1.5B-Instruct, Qwen\u002FQwen2.5-3B, Qwen\u002FQwen2.5-3B-Instruct, Qwen\u002FQwen2.5-7B, Qwen\u002FQwen2.5-7B-Instruct, Qwen\u002FQwen2.5-7B-Instruct-1M, Qwen\u002FQwen2.5-14B, Qwen\u002FQwen2.5-14B-Instruct, Qwen\u002FQwen2.5-14B-Instruct-1M, Qwen\u002FQwen2.5-32B, Qwen\u002FQwen2.5-32B-Instruct, Qwen\u002FQwen2.5-72B, Qwen\u002FQwen2.5-72B-Instruct |\n| [Qwen2.5-Math](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2.5-Math-1.5B, Qwen\u002FQwen2.5-Math-1.5B-Instruct, Qwen\u002FQwen2.5-Math-7B, Qwen\u002FQwen2.5-Math-7B-Instruct, Qwen\u002FQwen2.5-Math-72B, Qwen\u002FQwen2.5-Math-72B-Instruct, Qwen\u002FQwen2.5-Math-RM-72B |\n| [Qwen2.5-Coder](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2.5-Coder-1.5B, Qwen\u002FQwen2.5-Coder-1.5B-Instruct, Qwen\u002FQwen2.5-Coder-7B, Qwen\u002FQwen2.5-Coder-7B-Instruct |\n| [Qwen3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen3-0.6B, Qwen\u002FQwen3-1.7B, Qwen\u002FQwen3-4B, Qwen\u002FQwen3-8B, Qwen\u002FQwen3-14B, Qwen\u002FQwen3-32B, Qwen\u002FQwen3-30B-A3B, Qwen\u002FQwen3-235B-A22B, Qwen\u002FQwen3-0.6B-Base, Qwen\u002FQwen3-1.7B-Base, Qwen\u002FQwen3-4B-Base, Qwen\u002FQwen3-8B-Base, Qwen\u002FQwen3-14B-Base, Qwen\u002FQwen3-30B-A3B-Base |\n| [QwQ](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwQ-32B, Qwen\u002FQwQ-32B-Preview |\n| [Yuan2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fyuan\u002F) | IEITYuan\u002FYuan2-2B, IEITYuan\u002FYuan2-51B, IEITYuan\u002FYuan2-102B |\n\n* 4D 并行和算子优化已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Gemma 系列、Mistral 系列、OPT 系列和 Qwen 系列，【LLM】模型4D 并行和算子支持列表如下：\n\n| 模型名称\u002F并行能力支持 | 数据并行 | 张量模型并行 | | 参数分片并行 | | | 流水线并行 |\n|:---------------------:|:--------:|:------------:|:--------:|:------------:|:------:|:------:|:----------:|\n| | | 基础能力 | 序列并行 | stage1 | stage2 | stage3 | |\n| Llama | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Qwen | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Qwen1.5 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Qwen2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Mixtral(moe) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 |\n| Mistral | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| Baichuan | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Baichuan2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| ChatGLM | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| ChatGLM2 | ✅ | 🚧 | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| ChatGLM3 | ✅ | 🚧 | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| Bloom | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| GPT-2\u002FGPT-3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| OPT | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| Gemma | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Yuan2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 |\n\n* 大模型预训练、精调（包含 SFT、PEFT 技术）、对齐、量化已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Mistral 系列、OPT 系列和 Qwen 系列，【LLM】模型预训练、精调、对齐、量化支持列表如下：\n\n\n| Model | Pretrain | SFT | LoRA | FlashMask | Prefix Tuning | DPO\u002FSimPO\u002FORPO\u002FKTO | RLHF | Mergekit | Quantization |\n|--------------------------------------------|:--------:|:---:|:----:|:---------:|:-------------:|:------------------:|:----:|:--------:|:------------:|\n| [Llama](.\u002Fllm\u002Fconfig\u002Fllama) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| [Qwen](.\u002Fllm\u002Fconfig\u002Fqwen) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 |\n| [Mixtral](.\u002Fllm\u002Fconfig\u002Fmixtral) | ✅ | ✅ | ✅ | 🚧 | 🚧 | ✅ | 🚧 | ✅ | 🚧 |\n| [Mistral](.\u002Fllm\u002Fconfig\u002Fmistral) | ✅ | ✅ | ✅ | 🚧 | ✅ | ✅ | 🚧 | ✅ | 🚧 |\n| [Baichuan\u002FBaichuan2](.\u002Fllm\u002Fconfig\u002Fllama) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 | ✅ | ✅ |\n| [ChatGLM-6B](.\u002Fllm\u002Fconfig\u002Fchatglm) | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 | 🚧 | ✅ | ✅ |\n| [ChatGLM2\u002FChatGLM3](.\u002Fllm\u002Fconfig\u002Fchatglm2) | ✅ | ✅ | ✅ | 🚧 | ✅ | ✅ | 🚧 | ✅ | ✅ |\n| [Bloom](.\u002Fllm\u002Fconfig\u002Fbloom) | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 | 🚧 | ✅ | ✅ |\n| [GPT-3](.\u002Fllm\u002Fconfig\u002Fgpt-3) | ✅ | ✅ | 🚧 | 🚧 | 🚧 | 🚧 | 🚧 | ✅ | 🚧 |\n| [OPT](.\u002Fllm\u002Fconfig\u002Fopt) | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 | 🚧 | ✅ | 🚧 |\n| [Gemma](.\u002Fllm\u002Fconfig\u002Fgemma) | ✅ | ✅ | ✅ | 🚧 | 🚧 | ✅ | 🚧 | ✅ | 🚧 |\n| [Yuan](.\u002Fllm\u002Fconfig\u002Fyuan) | ✅ | ✅ | ✅ | 🚧 | 🚧 | ✅ | 🚧 | ✅ | 🚧 |\n* [大模型推理](.\u002Fllm\u002Fdocs\u002Fpredict\u002Finference.md)已支持 LLaMA 系列、Qwen 系列、DeepSeek 系列、Mistral 系列、ChatGLM 系列、Bloom 系列和 Baichuan 系列，支持 Weight Only INT8及 INT4推理，支持 WAC（权重、激活、Cache KV）进行 INT8、FP8量化的推理，【LLM】模型推理支持列表如下：\n\n| 模型名称\u002F量化类型支持 | FP16\u002FBF16 | WINT8 | WINT4 | INT8-A8W8 | FP8-A8W8 | INT8-A8W8C8 |\n|:------------------------------------------:|:---------:|:-----:|:-----:|:---------:|:--------:|:-----------:|\n| [LLaMA](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fllama.md) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| [Qwen](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| [DeepSeek](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fdeepseek.md) | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 |\n| [Qwen-Moe](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md) | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| [Mixtral](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fmixtral.md) | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| ChatGLM | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| Bloom | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| BaiChuan | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 |\n\n## 安装\n\n### 环境依赖\n\n* python >= 3.8\n* paddlepaddle >= 3.0.0rc1\n\n如果您尚未安装 PaddlePaddle，请参考 [飞桨官网](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002F) 进行安装。\n\n### pip 安装\n\n```shell\npip install --upgrade paddlenlp==3.0.0b4\n```\n\n或者可通过以下命令安装最新 develop 分支代码：\n\n```shell\npip install --pre --upgrade paddlenlp -f https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fwhl\u002Fpaddlenlp.html\n```\n\n更多关于 PaddlePaddle 和 PaddleNLP 安装的详细教程请查看[Installation](.\u002Fdocs\u002Fzh\u002Fget_started\u002Finstallation.rst)。\n\n------------------------------------------------------------------------------------------\n\n## 快速开始\n\n### 大模型文本生成\n\nPaddleNLP 提供了方便易用的 Auto API，能够快速的加载模型和 Tokenizer。这里以使用 `Qwen\u002FQwen2-0.5B` 模型做文本生成为例：\n\n```python\nfrom paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM\ntokenizer = AutoTokenizer.from_pretrained(\"Qwen\u002FQwen2-0.5B\")\n# if using CPU, please change float16 to float32\nmodel = AutoModelForCausalLM.from_pretrained(\"Qwen\u002FQwen2-0.5B\", dtype=\"float16\")\ninput_features = tokenizer(\"你好！请自我介绍一下。\", return_tensors=\"pd\")\noutputs = model.generate(**input_features, max_new_tokens=128)\nprint(tokenizer.batch_decode(outputs[0], skip_special_tokens=True))\n# ['我是一个AI语言模型，我可以回答各种问题，包括但不限于：天气、新闻、历史、文化、科学、教育、娱乐等。请问您有什么需要了解的吗？']\n```\n\n### 大模型预训练\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP.git && cd PaddleNLP # 如已clone或下载PaddleNLP可跳过\nmkdir -p llm\u002Fdata && cd llm\u002Fdata\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fllama\u002Fdata\u002Fllama_openwebtext_100k.bin\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fllama\u002Fdata\u002Fllama_openwebtext_100k.idx\ncd .. # change folder to PaddleNLP\u002Fllm\n# 如需使用use_fused_rms_norm=true，需要前往slm\u002Fmodel_zoo\u002Fgpt-3\u002Fexternal_ops安装fused_ln\npython -u run_pretrain.py .\u002Fconfig\u002Fqwen\u002Fpretrain_argument_0p5b.json\n```\n\n### 大模型 SFT 精调\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP.git && cd PaddleNLP # 如已clone或下载PaddleNLP可跳过\nmkdir -p llm\u002Fdata && cd llm\u002Fdata\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fdatasets\u002Fexamples\u002FAdvertiseGen.tar.gz && tar -zxvf AdvertiseGen.tar.gz\ncd .. # change folder to PaddleNLP\u002Fllm\npython -u run_finetune.py .\u002Fconfig\u002Fqwen\u002Fsft_argument_0p5b.json\n```\n\n更多大模型全流程步骤，请参考[飞桨大模型套件](.\u002Fllm)介绍。\n另外我们还提供了快速微调方式, 无需 clone 源代码：\n\n```python\nfrom paddlenlp.trl import SFTConfig, SFTTrainer\nfrom datasets import load_dataset\n\ndataset = load_dataset(\"ZHUI\u002Falpaca_demo\", split=\"train\")\n\ntraining_args = SFTConfig(output_dir=\"Qwen\u002FQwen2.5-0.5B-SFT\", device=\"gpu\")\ntrainer = SFTTrainer(\n args=training_args,\n model=\"Qwen\u002FQwen2.5-0.5B-Instruct\",\n train_dataset=dataset,\n)\ntrainer.train()\n```\n\n更多 PaddleNLP 内容可参考：\n\n* [精选模型库](.\u002Fslm\u002Fmodel_zoo)，包含优质预训练模型的端到端全流程使用。\n* [多场景示例](.\u002Fslm\u002Fexamples)，了解如何使用 PaddleNLP 解决 NLP 多种技术问题，包含基础技术、系统应用与拓展应用。\n* [交互式教程](https:\u002F\u002Faistudio.baidu.com\u002Faistudio\u002Fpersonalcenter\u002Fthirdview\u002F574995)，在🆓免费算力平台 AI Studio 上快速学习 PaddleNLP。\n\n------------------------------------------------------------------------------------------\n\n## 社区交流\n\n* 微信扫描二维码并填写问卷，即可加入交流群与众多社区开发者以及官方团队深度交流.\n\n\u003Cdiv align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_67926bed455c.png\" width=\"150\" height=\"150\" \u002F>\n\u003C\u002Fdiv>\n\n## Citation\n\n如果 PaddleNLP 对您的研究有帮助，欢迎引用\n\n```bibtex\n@misc{=paddlenlp,\n title={PaddleNLP: An Easy-to-use and High Performance NLP Library},\n author={PaddleNLP Contributors},\n howpublished = {\\url{https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP}},\n year={2021}\n}\n```\n\n## Acknowledge\n\n我们借鉴了 Hugging Face 的[Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)🤗关于预训练模型使用的优秀设计，在此对 Hugging Face 作者及其开源社区表示感谢。\n\n## License\n\nPaddleNLP 遵循[Apache-2.0开源协议](.\u002FLICENSE)。\n","**简体中文**🀄 | [English🌎](.\u002FREADME_en.md)\n\n\u003Cp align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_dec172a6fd5a.png\" align=\"middle\" width=\"500\" \u002F>\n\u003C\u002Fp>\n\n------------------------------------------------------------------------------------------\n\n\u003Cp align=\"center\">\n \u003Ca href=\"https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fen\u002Flatest\u002F?badge=latest\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_13d664e1afd7.png\">\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Frelease\u002FPaddlePaddle\u002FPaddleNLP?color=ffa\">\u003C\u002Fa>\n \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.7+-aff.svg\">\u003C\u002Fa>\n \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fos-linux%2C%20win%2C%20mac-pink.svg\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fgraphs\u002Fcontributors\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcontributors\u002FPaddlePaddle\u002FPaddleNLP?color=9ea\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcommits\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcommit-activity\u002Fm\u002FPaddlePaddle\u002FPaddleNLP?color=3af\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fpypi.org\u002Fproject\u002Fpaddlenlp\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdm\u002Fpaddlenlp?color=9cf\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues\u002FPaddlePaddle\u002FPaddleNLP?color=9cc\">\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPaddlePaddle\u002FPaddleNLP?color=ccf\">\u003C\u002Fa>\n \u003Ca href=\".\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache%202-dfd.svg\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Ch4 align=\"center\">\n \u003Ca href=#特性> 特性 \u003C\u002Fa> |\n \u003Ca href=#模型支持> 模型支持 \u003C\u002Fa> |\n \u003Ca href=#安装> 安装 \u003C\u002Fa> |\n \u003Ca href=#快速开始> 快速开始 \u003C\u002Fa> |\n \u003Ca href=#社区交流> 社区交流 \u003C\u002Fa>\n\u003C\u002Fh4>\n\n**PaddleNLP**是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件，支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP 具备**简单易用**和**性能极致**的特点，致力于助力开发者实现高效的大模型产业级应用。\n\n\u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F2246\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_da43bb0fd7bb.png\" alt=\"PaddlePaddle%2FPaddleNLP | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\n## News 📢\n\n* **2025.04.29 PaddleNLP 现已支持 Qwen3 系列模型**: Qwen3 系列模型支持持两种思考模式，预训练约 36 万亿个 token、119 种语言和方言。包括六个 Dense 模型, Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B。两个 MoE 模型的权重：Qwen3-235B-A22B，Qwen3-30B-A3B。\n\n* **2025.03.12 [PaddleNLP v3.0 Beta4](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta4)**：全面支持 DeepSeek V3\u002FR1\u002FR1-Distill, 及 QwQ-32B 等热门思考模型。**DeepSeek V3\u002FR1完整版支持 FP8、INT8、4-bit 量化推理，MTP 投机解码**。单机 FP8推理输出超**1000 tokens\u002Fs**; 4-bit 推理输出超**2100 tokens\u002Fs**! 发布新版推理部署镜像，热门模型[一键部署](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fserver\u002Fdocs\u002Fgeneral_model_inference.html)。推理部署[使用文档](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fdocs\u002Fpredict\u002Findex.html)全面更新，体验全面提升！自研下一代通用信息抽取模型 PP-UIE [全新发布](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fapplication\u002Finformation_extraction)，支持8K 长度信息抽取。新增大模型 Embedding 训练，支持 INF-CL 超大 batch size 训练。新增[MergeKit](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fdocs\u002Fmergekit.html)模型融合工具，缓解对齐代价。低资源训练全面优化，16G 小显存可以流畅训练。\n\n\n* **2025.02.10 PaddleNLP 现已支持 DeepSeek-R1系列模型，[在线使用](https:\u002F\u002Faistudio.baidu.com\u002Fprojectdetail\u002F8775758)**：依托全新的 PaddleNLP 3.0套件，DeepSeek-R1系列模型现已全面支持。凭借数据并行、数据分组切分并行、模型并行、流水线并行以及专家并行等一系列先进的分布式训练能力，结合 Paddle 框架独有的列稀疏注意力掩码表示技术——FlashMask 方法，DeepSeek-R1系列模型在训练过程中显著降低了显存消耗，同时取得了卓越的训练性能提升。\n\n\u003Cdetails>\u003Csummary> \u003Cb>点击展开\u003C\u002Fb> \u003C\u002Fsummary>\u003Cdiv>\n\n* **2025.03.17 《DeepSeek-R1满血版单机部署实测》** 🔥🔥🔥 飞桨框架3.0大模型推理部署全面升级，支持多款主流大模型，DeepSeek-R1满血版实现单机部署，吞吐提升一倍！欢迎广大用户开箱体验～现已开启有奖活动：完成 DeepSeek-R1-MTP 单机部署任务、提交高质量测评 blog，即可实时赢取奖金！💰💰💰\n报名[地址](https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FOlzzmbG.aspx#)， 活动详情：https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F10166 ， 参考文档：https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F10157 。\n\n* **2025.03.06 PaddleNLP 现已支持 Qwen\u002FQwQ-32B 模型**: 其模型参数仅有 32B，但其数学推理、编程能力和通用能力可与具备 671B 参数（其中 37B 被激活）的 DeepSeek-R1 媲美。借助 PaddleNLP 3.0套件，现可实现多种并行策略[微调训练](.\u002Fllm\u002FREADME.md)、[高性能推理、低比特量化](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md)和[服务化部署](.\u002Fllm\u002Fserver\u002FREADME.md)。\n\n* **2025.02.20 🔥🔥《PP-UIE 信息抽取智能引擎全新升级》** 强化零样本学习能力，支持极少甚至零标注数据实现高效冷启动与迁移学习，显著降低数据标注成本；具备处理长文本能力，支持 8192 个 Token 长度文档信息抽取，实现跨段落识别关键信息，形成完整理解；提供完整可定制化的训练和推理全流程，训练效率相较于 LLama-Factory 实现了1.8倍的提升。\n2月26日（周三）19：00为您深度解析全新 PP-UIE 技术方案及在部署方面的功能、优势与技巧。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FmBKC6pb.aspx?udsid=606418\n\n* **2024.12.16 [PaddleNLP v3.0 Beta3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta3)**：大模型功能全新升级，新增了 Llama-3.2、DeepSeekV2模型，升级了 TokenizerFast，快速分词，重构了 SFTTrainer，一键开启 SFT 训练。此外，PaddleNLP 还支持了优化器状态的卸载和重载功能，实现了精细化的重新计算，训练性能提升7%。在 Unified Checkpoint 方面，进一步优化了异步保存逻辑，新增 Checkpoint 压缩功能，可节省78.5%存储空间。\n最后，在大模型推理方面，升级 Append Attention，支持了 FP8量化，支持投机解码。\n\n* **2024.12.13 📚《飞桨大模型套件 Unified Checkpoint 技术》**，加速模型存储95%，节省空间78%。支持全分布式策略调整自适应转换，提升模型训练的灵活性与可扩展性。训练-压缩-推理统一存储协议，无需手动转换提升全流程体验。Checkpoint 无损压缩结合异步保存，实现秒级存储并降低模型存储成本。适用于智能制造、指挥交通、医疗健康、金融服务等产业实际场景。12月24日（周二）19：00直播为您详细解读该技术如何优化大模型训练流程。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FhuZkHn9.aspx?udsid=787976\n\n* **2024.11.28 📚《FlashRAG-Paddle | 基于 PaddleNLP 的高效开发与评测 RAG 框架》**，为文本更快更好构建准确嵌入表示、加速推理生成速度。PaddleNLP 支持超大 Batch 嵌入表示学习与多硬件高性能推理，涵盖 INT8\u002FINT4量化技术及多种高效注意力机制优化与 TensorCore 深度优化。内置全环节算子融合技术，使得 FlashRAG 推理性能相比 transformers 动态图提升70%以上，结合检索增强知识输出结果更加准确，带来敏捷高效的使用体验。直播时间：12月3日（周二）19：00。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FeaBa1vA.aspx?udsid=682361\n\n* **2024.08.08 📚《飞桨产业级大语言模型开发利器 PaddleNLP 3.0 重磅发布》**，训压推全流程贯通，主流模型全覆盖。大模型自动并行，千亿模型训推全流程开箱即用。提供产业级高性能精调与对齐解决方案，压缩推理领先，多硬件适配。覆盖产业级智能助手、内容创作、知识问答、关键信息抽取等应用场景。直播时间：8月22日（周四）19：00。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FY2f7FFY.aspx?udsid=143844\n\n* **2024.06.27 [PaddleNLP v3.0 Beta](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta0)**：拥抱大模型，体验全升级。统一大模型套件，实现国产计算芯片全流程接入；全面支持飞桨4D 并行配置、高效精调策略、高效对齐算法、高性能推理等大模型产业级应用流程；自研极致收敛的 RsLoRA+算法、自动扩缩容存储机制 Unified Checkpoint 和通用化支持的 FastFFN、FusedQKV 助力大模型训推；主流模型持续支持更新，提供高效解决方案。\n\n* **2024.04.24 [PaddleNLP v2.8](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv2.8.0)**：自研极致收敛的 RsLoRA+算法，大幅提升 PEFT 训练收敛速度以及训练效果；引入高性能生成加速到 RLHF PPO 算法，打破 PPO 训练中生成速度瓶颈，PPO 训练性能大幅领先。通用化支持 FastFFN、FusedQKV 等多个大模型训练性能优化方式，大模型训练更快、更稳定。\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n## 特性\n\n### \u003Ca href=#多硬件训推一体> 🔧 多硬件训推一体 \u003C\u002Fa>\n\n支持英伟达 GPU、昆仑 XPU、昇腾 NPU、燧原 GCU 和海光 DCU 等多个硬件的大模型和自然语言理解模型训练和推理，套件接口支持硬件快速切换，大幅降低硬件切换研发成本。\n当前支持的自然语言理解模型：[多硬件自然语言理解模型列表](.\u002Fdocs\u002Fzh\u002Fmodel_zoo\u002Fmodel_list_multy_device.md)\n\n### \u003Ca href=#高效易用的预训练> 🚀 高效易用的预训练 \u003C\u002Fa>\n\n支持纯数据并行策略、分组参数切片的数据并行策略、张量模型并行策略和流水线模型并行策略的4D 高性能训练，Trainer 支持分布式策略配置化，降低复杂分布式组合带来的使用成本；\n[Unified Checkpoint 大模型存储工具](.\u002Fllm\u002Fdocs\u002Funified_checkpoint.md)可以使得训练断点支持机器资源动态扩缩容恢复。此外，异步保存，模型存储可加速95%，Checkpoint 压缩，可节省78.5%存储空间。\n\n### \u003Ca href=#高效精调> 🤗 高效精调 \u003C\u002Fa>\n\n精调算法深度结合零填充数据流和 [FlashMask](.\u002Fllm\u002Fdocs\u002Fflashmask.md) 高性能算子，降低训练无效数据填充和计算，大幅提升精调训练吞吐。\n\n### \u003Ca href=#无损压缩和高性能推理> 🎛️ 无损压缩和高性能推理 \u003C\u002Fa>\n\n大模型套件高性能推理模块内置动态插入和全环节算子融合策略，极大加快并行推理速度。底层实现细节封装化，实现开箱即用的高性能并行推理能力。\n\n## 文档\n更多详细文档, 请访问 [PaddleNLP Documentation](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002F).\n\n------------------------------------------------------------------------------------------\n\n## 模型支持\n\n* 模型参数已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Gemma 系列、Mistral 系列、OPT 系列和 Qwen 系列，详细列表👉【LLM】模型参数支持列表如下：\n\n| 模型系列 | 模型名称 |\n|:-------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| [PP-UIE](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fapplication\u002Finformation_extraction) | paddlenlp\u002FPP-UIE-0.5B, paddlenlp\u002FPP-UIE-1.5B, paddlenlp\u002FPP-UIE-7B, paddlenlp\u002FPP-UIE-14B |\n| [LLaMA](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | facebook\u002Fllama-7b, facebook\u002Fllama-13b, facebook\u002Fllama-30b, facebook\u002Fllama-65b |\n| [Llama2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FLlama-2-7b, meta-llama\u002FLlama-2-7b-chat, meta-llama\u002FLlama-2-13b, meta-llama\u002FLlama-2-13b-chat, meta-llama\u002FLlama-2-70b, meta-llama\u002FLlama-2-70b-chat |\n| [Llama3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FMeta-Llama-3-8B, meta-llama\u002FMeta-Llama-3-8B-Instruct, meta-llama\u002FMeta-Llama-3-70B, meta-llama\u002FMeta-Llama-3-70B-Instruct |\n| [Llama3.1](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FMeta-Llama-3.1-8B, meta-llama\u002FMeta-Llama-3.1-8B-Instruct, meta-llama\u002FMeta-Llama-3.1-70B, meta-llama\u002FMeta-Llama-3.1-70B-Instruct, meta-llama\u002FMeta-Llama-3.1-405B, meta-llama\u002FMeta-Llama-3.1-405B-Instruct, meta-llama\u002FLlama-Guard-3-8B |\n| [Llama3.2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FLlama-3.2-1B, meta-llama\u002FLlama-3.2-1B-Instruct, meta-llama\u002FLlama-3.2-3B, meta-llama\u002FLlama-3.2-3B-Instruct, meta-llama\u002FLlama-Guard-3-1B |\n| [Llama3.3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama) | meta-llama\u002FLlama-3.3-70B-Instruct |\n| [Baichuan](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbaichuan) | baichuan-inc\u002FBaichuan-7B, baichuan-inc\u002FBaichuan-13B-Base, baichuan-inc\u002FBaichuan-13B-Chat |\n| [Baichuan2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbaichuan) | baichuan-inc\u002FBaichuan2-7B-Base, baichuan-inc\u002FBaichuan2-7B-Chat, baichuan-inc\u002FBaichuan2-13B-Base, baichuan-inc\u002FBaichuan2-13B-Chat |\n| [Bloom](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbloom) | bigscience\u002Fbloom-560m, bigscience\u002Fbloom-560m-bf16, bigscience\u002Fbloom-1b1, bigscience\u002Fbloom-3b, bigscience\u002Fbloom-7b1, bigscience\u002Fbloomz-560m, bigscience\u002Fbloomz-1b1, bigscience\u002Fbloomz-3b, bigscience\u002Fbloomz-7b1-mt, bigscience\u002Fbloomz-7b1-p3, bigscience\u002Fbloomz-7b1, bellegroup\u002Fbelle-7b-2m |\n| [ChatGLM](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm\u002F) | THUDM\u002Fchatglm-6b, THUDM\u002Fchatglm-6b-v1.1 |\n| [ChatGLM2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm2) | THUDM\u002Fchatglm2-6b |\n| [ChatGLM3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm2) | THUDM\u002Fchatglm3-6b |\n| [DeepSeekV2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2) | deepseek-ai\u002FDeepSeek-V2, deepseek-ai\u002FDeepSeek-V2-Chat, deepseek-ai\u002FDeepSeek-V2-Lite, deepseek-ai\u002FDeepSeek-V2-Lite-Chat, deepseek-ai\u002FDeepSeek-Coder-V2-Base, deepseek-ai\u002FDeepSeek-Coder-V2-Instruct, deepseek-ai\u002FDeepSeek-Coder-V2-Lite-Base, deepseek-ai\u002FDeepSeek-Coder-V2-Lite-Instruct |\n| [DeepSeekV3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2) | deepseek-ai\u002FDeepSeek-V3, deepseek-ai\u002FDeepSeek-V3-Base |\n| [DeepSeek-R1](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2) | deepseek-ai\u002FDeepSeek-R1, deepseek-ai\u002FDeepSeek-R1-Zero, deepseek-ai\u002FDeepSeek-R1-Distill-Llama-70B, deepseek-ai\u002FDeepSeek-R1-Distill-Llama-8B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-14B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-1.5B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-32B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-7B |\n| [Gemma](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fgemma) | google\u002Fgemma-7b, google\u002Fgemma-7b-it, google\u002Fgemma-2b, google\u002Fgemma-2b-it |\n| [Mistral](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fmistral) | mistralai\u002FMistral-7B-Instruct-v0.3, mistralai\u002FMistral-7B-v0.1 |\n| [Mixtral](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fmixtral) | mistralai\u002FMixtral-8x7B-Instruct-v0.1 |\n| [OPT](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fopt) | facebook\u002Fopt-125m, facebook\u002Fopt-350m, facebook\u002Fopt-1.3b, facebook\u002Fopt-2.7b, facebook\u002Fopt-6.7b, facebook\u002Fopt-13b, facebook\u002Fopt-30b, facebook\u002Fopt-66b, facebook\u002Fopt-iml-1.3b, opt-iml-max-1.3b |\n| [Qwen](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | qwen\u002Fqwen-7b, qwen\u002Fqwen-7b-chat, qwen\u002Fqwen-14b, qwen\u002Fqwen-14b-chat, qwen\u002Fqwen-72b, qwen\u002Fqwen-72b-chat, |\n| [Qwen1.5](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen1.5-0.5B, Qwen\u002FQwen1.5-0.5B-Chat, Qwen\u002FQwen1.5-1.8B, Qwen\u002FQwen1.5-1.8B-Chat, Qwen\u002FQwen1.5-4B, Qwen\u002FQwen1.5-4B-Chat, Qwen\u002FQwen1.5-7B, Qwen\u002FQwen1.5-7B-Chat, Qwen\u002FQwen1.5-14B, Qwen\u002FQwen1.5-14B-Chat, Qwen\u002FQwen1.5-32B, Qwen\u002FQwen1.5-32B-Chat, Qwen\u002FQwen1.5-72B, Qwen\u002FQwen1.5-72B-Chat, Qwen\u002FQwen1.5-110B, Qwen\u002FQwen1.5-110B-Chat, Qwen\u002FQwen1.5-MoE-A2.7B, Qwen\u002FQwen1.5-MoE-A2.7B-Chat |\n| [Qwen2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2-0.5B, Qwen\u002FQwen2-0.5B-Instruct, Qwen\u002FQwen2-1.5B, Qwen\u002FQwen2-1.5B-Instruct, Qwen\u002FQwen2-7B, Qwen\u002FQwen2-7B-Instruct, Qwen\u002FQwen2-72B, Qwen\u002FQwen2-72B-Instruct, Qwen\u002FQwen2-57B-A14B, Qwen\u002FQwen2-57B-A14B-Instruct |\n| [Qwen2-Math](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2-Math-1.5B, Qwen\u002FQwen2-Math-1.5B-Instruct, Qwen\u002FQwen2-Math-7B, Qwen\u002FQwen2-Math-7B-Instruct, Qwen\u002FQwen2-Math-72B, Qwen\u002FQwen2-Math-72B-Instruct, Qwen\u002FQwen2-Math-RM-72B |\n| [Qwen2.5](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2.5-0.5B, Qwen\u002FQwen2.5-0.5B-Instruct, Qwen\u002FQwen2.5-1.5B, Qwen\u002FQwen2.5-1.5B-Instruct, Qwen\u002FQwen2.5-3B, Qwen\u002FQwen2.5-3B-Instruct, Qwen\u002FQwen2.5-7B, Qwen\u002FQwen2.5-7B-Instruct, Qwen\u002FQwen2.5-7B-Instruct-1M, Qwen\u002FQwen2.5-14B, Qwen\u002FQwen2.5-14B-Instruct, Qwen\u002FQwen2.5-14B-Instruct-1M, Qwen\u002FQwen2.5-32B, Qwen\u002FQwen2.5-32B-Instruct, Qwen\u002FQwen2.5-72B, Qwen\u002FQwen2.5-72B-Instruct |\n| [Qwen2.5-Math](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2.5-Math-1.5B, Qwen\u002FQwen2.5-Math-1.5B-Instruct, Qwen\u002FQwen2.5-Math-7B, Qwen\u002FQwen2.5-Math-7B-Instruct, Qwen\u002FQwen2.5-Math-72B, Qwen\u002FQwen2.5-Math-72B-Instruct, Qwen\u002FQwen2.5-Math-RM-72B |\n| [Qwen2.5-Coder](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen2.5-Coder-1.5B, Qwen\u002FQwen2.5-Coder-1.5B-Instruct, Qwen\u002FQwen2.5-Coder-7B, Qwen\u002FQwen2.5-Coder-7B-Instruct |\n| [Qwen3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwen3-0.6B, Qwen\u002FQwen3-1.7B, Qwen\u002FQwen3-4B, Qwen\u002FQwen3-8B, Qwen\u002FQwen3-14B, Qwen\u002FQwen3-32B, Qwen\u002FQwen3-30B-A3B, Qwen\u002FQwen3-235B-A22B, Qwen\u002FQwen3-0.6B-Base, Qwen\u002FQwen3-1.7B-Base, Qwen\u002FQwen3-4B-Base, Qwen\u002FQwen3-8B-Base, Qwen\u002FQwen3-14B-Base, Qwen\u002FQwen3-30B-A3B-Base |\n| [QwQ](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F) | Qwen\u002FQwQ-32B, Qwen\u002FQwQ-32B-Preview |\n| [Yuan2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fyuan\u002F) | IEITYuan\u002FYuan2-2B, IEITYuan\u002FYuan2-51B, IEITYuan\u002FYuan2-102B |\n\n* 4D 并行和算子优化已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Gemma 系列、Mistral 系列、OPT 系列和 Qwen 系列，【LLM】模型4D 并行和算子支持列表如下：\n\n| 模型名称\u002F并行能力支持 | 数据并行 | 张量模型并行 | | 参数分片并行 | | | 流水线并行 |\n|:---------------------:|:--------:|:------------:|:--------:|:------------:|:------:|:------:|:----------:|\n| | | 基础能力 | 序列并行 | stage1 | stage2 | stage3 | |\n| Llama | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Qwen | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Qwen1.5 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Qwen2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Mixtral(moe) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 |\n| Mistral | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| Baichuan | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Baichuan2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| ChatGLM | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| ChatGLM2 | ✅ | 🚧 | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| ChatGLM3 | ✅ | 🚧 | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| Bloom | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| GPT-2\u002FGPT-3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| OPT | ✅ | ✅ | 🚧 | ✅ | ✅ | ✅ | 🚧 |\n| Gemma | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| Yuan2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 |\n\n* 大模型预训练、精调（包含 SFT、PEFT 技术）、对齐、量化已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Mistral 系列、OPT 系列和 Qwen 系列，【LLM】模型预训练、精调、对齐、量化支持列表如下：\n\n\n| Model | Pretrain | SFT | LoRA | FlashMask | Prefix Tuning | DPO\u002FSimPO\u002FORPO\u002FKTO | RLHF | Mergekit | Quantization |\n|--------------------------------------------|:--------:|:---:|:----:|:---------:|:-------------:|:------------------:|:----:|:--------:|:------------:|\n| [Llama](.\u002Fllm\u002Fconfig\u002Fllama) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| [Qwen](.\u002Fllm\u002Fconfig\u002Fqwen) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 |\n| [Mixtral](.\u002Fllm\u002Fconfig\u002Fmixtral) | ✅ | ✅ | ✅ | 🚧 | 🚧 | ✅ | 🚧 | ✅ | 🚧 |\n| [Mistral](.\u002Fllm\u002Fconfig\u002Fmistral) | ✅ | ✅ | ✅ | 🚧 | ✅ | ✅ | 🚧 | ✅ | 🚧 |\n| [Baichuan\u002FBaichuan2](.\u002Fllm\u002Fconfig\u002Fllama) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 | ✅ | ✅ |\n| [ChatGLM-6B](.\u002Fllm\u002Fconfig\u002Fchatglm) | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 | 🚧 | ✅ | ✅ |\n| [ChatGLM2\u002FChatGLM3](.\u002Fllm\u002Fconfig\u002Fchatglm2) | ✅ | ✅ | ✅ | 🚧 | ✅ | ✅ | 🚧 | ✅ | ✅ |\n| [Bloom](.\u002Fllm\u002Fconfig\u002Fbloom) | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 | 🚧 | ✅ | ✅ |\n| [GPT-3](.\u002Fllm\u002Fconfig\u002Fgpt-3) | ✅ | ✅ | 🚧 | 🚧 | 🚧 | 🚧 | 🚧 | ✅ | 🚧 |\n| [OPT](.\u002Fllm\u002Fconfig\u002Fopt) | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 | 🚧 | ✅ | 🚧 |\n| [Gemma](.\u002Fllm\u002Fconfig\u002Fgemma) | ✅ | ✅ | ✅ | 🚧 | 🚧 | ✅ | 🚧 | ✅ | 🚧 |\n| [Yuan](.\u002Fllm\u002Fconfig\u002Fyuan) | ✅ | ✅ | ✅ | 🚧 | 🚧 | ✅ | 🚧 | ✅ | 🚧 |\n* [大模型推理](.\u002Fllm\u002Fdocs\u002Fpredict\u002Finference.md)已支持 LLaMA 系列、Qwen 系列、DeepSeek 系列、Mistral 系列、ChatGLM 系列、Bloom 系列和 Baichuan 系列，支持 Weight Only INT8及 INT4推理，支持 WAC（权重、激活、Cache KV）进行 INT8、FP8量化的推理，【LLM】模型推理支持列表如下：\n\n| 模型名称\u002F量化类型支持 | FP16\u002FBF16 | WINT8 | WINT4 | INT8-A8W8 | FP8-A8W8 | INT8-A8W8C8 |\n|:------------------------------------------:|:---------:|:-----:|:-----:|:---------:|:--------:|:-----------:|\n| [LLaMA](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fllama.md) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| [Qwen](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |\n| [DeepSeek](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fdeepseek.md) | ✅ | ✅ | ✅ | 🚧 | ✅ | 🚧 |\n| [Qwen-Moe](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md) | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| [Mixtral](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fmixtral.md) | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| ChatGLM | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| Bloom | ✅ | ✅ | ✅ | 🚧 | 🚧 | 🚧 |\n| BaiChuan | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 |\n\n\n\n## 安装\n\n### 环境依赖\n\n* python >= 3.8\n* paddlepaddle >= 3.0.0rc1\n\n如果您尚未安装 PaddlePaddle，请参考 [飞桨官网](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002F) 进行安装。\n\n### pip 安装\n\n```shell\npip install --upgrade paddlenlp==3.0.0b4\n```\n\n或者可通过以下命令安装最新 develop 分支代码：\n\n```shell\npip install --pre --upgrade paddlenlp -f https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fwhl\u002Fpaddlenlp.html\n```\n\n更多关于 PaddlePaddle 和 PaddleNLP 安装的详细教程请查看[Installation](.\u002Fdocs\u002Fzh\u002Fget_started\u002Finstallation.rst)。\n\n------------------------------------------------------------------------------------------\n\n## 快速开始\n\n### 大模型文本生成\n\nPaddleNLP 提供了方便易用的 Auto API，能够快速的加载模型和 Tokenizer。这里以使用 `Qwen\u002FQwen2-0.5B` 模型做文本生成为例：\n\n```python\nfrom paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM\ntokenizer = AutoTokenizer.from_pretrained(\"Qwen\u002FQwen2-0.5B\")\n# if using CPU, please change float16 to float32\nmodel = AutoModelForCausalLM.from_pretrained(\"Qwen\u002FQwen2-0.5B\", dtype=\"float16\")\ninput_features = tokenizer(\"你好！请自我介绍一下。\", return_tensors=\"pd\")\noutputs = model.generate(**input_features, max_new_tokens=128)\nprint(tokenizer.batch_decode(outputs[0], skip_special_tokens=True))\n# ['我是一个AI语言模型，我可以回答各种问题，包括但不限于：天气、新闻、历史、文化、科学、教育、娱乐等。请问您有什么需要了解的吗？']\n```\n\n### 大模型预训练\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP.git && cd PaddleNLP # 如已clone或下载PaddleNLP可跳过\nmkdir -p llm\u002Fdata && cd llm\u002Fdata\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fllama\u002Fdata\u002Fllama_openwebtext_100k.bin\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fllama\u002Fdata\u002Fllama_openwebtext_100k.idx\ncd .. # change folder to PaddleNLP\u002Fllm\n# 如需使用use_fused_rms_norm=true，需要前往slm\u002Fmodel_zoo\u002Fgpt-3\u002Fexternal_ops安装fused_ln\npython -u run_pretrain.py .\u002Fconfig\u002Fqwen\u002Fpretrain_argument_0p5b.json\n```\n\n### 大模型 SFT 精调\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP.git && cd PaddleNLP # 如已clone或下载PaddleNLP可跳过\nmkdir -p llm\u002Fdata && cd llm\u002Fdata\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fdatasets\u002Fexamples\u002FAdvertiseGen.tar.gz && tar -zxvf AdvertiseGen.tar.gz\ncd .. # change folder to PaddleNLP\u002Fllm\npython -u run_finetune.py .\u002Fconfig\u002Fqwen\u002Fsft_argument_0p5b.json\n```\n\n更多大模型全流程步骤，请参考[飞桨大模型套件](.\u002Fllm)介绍。\n另外我们还提供了快速微调方式, 无需 clone 源代码：\n\n```python\nfrom paddlenlp.trl import SFTConfig, SFTTrainer\nfrom datasets import load_dataset\n\ndataset = load_dataset(\"ZHUI\u002Falpaca_demo\", split=\"train\")\n\ntraining_args = SFTConfig(output_dir=\"Qwen\u002FQwen2.5-0.5B-SFT\", device=\"gpu\")\ntrainer = SFTTrainer(\n args=training_args,\n model=\"Qwen\u002FQwen2.5-0.5B-Instruct\",\n train_dataset=dataset,\n)\ntrainer.train()\n```\n\n更多 PaddleNLP 内容可参考：\n\n* [精选模型库](.\u002Fslm\u002Fmodel_zoo)，包含优质预训练模型的端到端全流程使用。\n* [多场景示例](.\u002Fslm\u002Fexamples)，了解如何使用 PaddleNLP 解决 NLP 多种技术问题，包含基础技术、系统应用与拓展应用。\n* [交互式教程](https:\u002F\u002Faistudio.baidu.com\u002Faistudio\u002Fpersonalcenter\u002Fthirdview\u002F574995)，在🆓免费算力平台 AI Studio 上快速学习 PaddleNLP。\n\n------------------------------------------------------------------------------------------\n\n## 社区交流\n\n* 微信扫描二维码并填写问卷，即可加入交流群与众多社区开发者以及官方团队深度交流.\n\n\u003Cdiv align=\"center\">\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_readme_67926bed455c.png\" width=\"150\" height=\"150\" \u002F>\n\u003C\u002Fdiv>\n\n## Citation\n\n如果 PaddleNLP 对您的研究有帮助，欢迎引用\n\n```bibtex\n@misc{=paddlenlp,\n title={PaddleNLP: An Easy-to-use and High Performance NLP Library},\n author={PaddleNLP Contributors},\n howpublished = {\\url{https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP}},\n year={2021}\n}\n```\n\n## Acknowledge\n\n我们借鉴了 Hugging Face 的[Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)🤗关于预训练模型使用的优秀设计，在此对 Hugging Face 作者及其开源社区表示感谢。\n\n## License\n\nPaddleNLP 遵循[Apache-2.0开源协议](.\u002FLICENSE)。","# PaddleNLP 快速上手指南\n\nPaddleNLP 是基于飞桨（PaddlePaddle）深度学习框架的大语言模型（LLM）开发套件，支持多硬件高效训练、无损压缩及高性能推理。本指南将帮助您快速完成环境搭建并运行第一个示例。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n* **操作系统**：Linux, Windows, macOS\n* **Python 版本**：3.7 及以上\n* **深度学习框架**：需先安装 PaddlePaddle (飞桨)。\n\n### 安装 PaddlePaddle (前置依赖)\n\n建议优先使用国内镜像源加速安装。根据您的硬件环境选择对应的安装命令：\n\n**CPU 版本：**\n```bash\npython -m pip install paddlepaddle -i https:\u002F\u002Fmirror.baidu.com\u002Fpypi\u002Fsimple\n```\n\n**GPU 版本 (以 CUDA 11.8 为例，其他版本请参考飞桨官网)：**\n```bash\npython -m pip install paddlepaddle-gpu==2.6.0 -i https:\u002F\u002Fmirror.baidu.com\u002Fpypi\u002Fsimple\n```\n\n> **注意**：请确保已安装对应版本的 NVIDIA 驱动和 CUDA\u002FcuDNN 工具包。\n\n## 2. 安装 PaddleNLP\n\n安装完 PaddlePaddle 后，即可通过 pip 安装 PaddleNLP。推荐使用国内 PyPI 镜像以提升下载速度。\n\n```bash\npip install paddlenlp -i https:\u002F\u002Fmirror.baidu.com\u002Fpypi\u002Fsimple\n```\n\n安装完成后，可通过以下命令验证安装是否成功：\n```bash\npython -c \"import paddlenlp; print(paddlenlp.__version__)\"\n```\n\n## 3. 基本使用\n\nPaddleNLP 提供了极简的 API 来加载预训练模型并进行推理。以下是一个使用 BERT 模型进行情感分析的最简示例。\n\n### 示例：中文情感分析\n\n创建一个 `demo.py` 文件，写入以下代码：\n\n```python\nfrom paddlenlp.taskflow import SentimentAnalysis\n\n# 初始化情感分析任务\nsenta = SentimentAnalysis()\n\n# 执行预测\ntext = \"PaddleNLP 非常好用，模型加载速度很快！\"\nresult = senta(text)\n\nprint(result)\n# 输出示例：[{'text': 'PaddleNLP 非常好用，模型加载速度很快！', 'label': 'positive', 'score': 0.999...}]\n```\n\n运行脚本：\n```bash\npython demo.py\n```\n\n### 示例：大模型推理 (LLM)\n\n如果您想体验大语言模型（如 Qwen 或 Llama 系列）的生成能力，可以使用 `TaskFlow` 或直接加载模型。以下是基于 TaskFlow 的简单对话示例（首次运行会自动下载模型权重）：\n\n```python\nfrom paddlenlp.taskflow import ChatBot\n\n# 初始化聊天机器人，默认使用轻量级模型，也可指定 model=\"qwen-7b-chat\" 等\nchatbot = ChatBot(model=\"ernie-bot-turbo\") \n\nresponse = chatbot(\"请用一句话介绍 PaddleNLP。\")\nprint(response)\n```\n\n> **提示**：大模型推理对显存有一定要求。如需进行高性能推理或量化部署，请参考官方文档中的 `llm\u002Fserver` 模块使用一键部署工具。\n\n---\n更多高级功能（如分布式训练、SFT 微调、RAG 应用等），请访问 [PaddleNLP 官方文档](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002F)。","某金融科技公司需将内部数万份历史合同转化为结构化数据，以支持智能风控系统的快速检索与分析。\n\n### 没有 PaddleNLP 时\n- **模型适配难**：面对最新的 DeepSeek-R1 或 Qwen3 等高性能模型，团队需手动编写复杂的分布式训练代码，难以利用其强大的推理能力。\n- **硬件门槛高**：受限于显存资源，无法在单卡或小集群上部署“满血版”大模型，被迫使用效果较差的小模型或依赖昂贵的云端 API。\n- **推理速度慢**：缺乏高效的量化与投机解码技术，处理长文档时生成速度缓慢，无法满足业务对实时性的要求。\n- **开发周期长**：从环境搭建到模型微调、部署，需耗费数周时间整合各类开源组件，且稳定性难以保证。\n\n### 使用 PaddleNLP 后\n- **开箱即用新模型**：直接调用 PaddleNLP 内置的 DeepSeek-R1 和 Qwen3 系列模型，一键加载预训练权重，无缝衔接最新算法能力。\n- **低资源高效运行**：借助 FP8\u002F4-bit 量化及 FlashMask 技术，在单张消费级显卡上即可流畅运行超大参数模型，大幅降低硬件成本。\n- **极致推理性能**：利用 MTP 投机解码加速，长文本信息抽取速度提升至 2000+ tokens\u002Fs，批量处理效率翻倍。\n- **全流程简化**：通过统一的 API 完成从数据预处理、模型微调到服务部署的全链路开发，项目上线周期从数周缩短至几天。\n\nPaddleNLP 让企业能以最低的成本和最快的速度，将顶尖大模型转化为实际的生产力工具。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPaddlePaddle_PaddleNLP_dec172a6.png","PaddlePaddle","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FPaddlePaddle_0457ef24.jpg","",null,"http:\u002F\u002Fpaddlepaddle.org","https:\u002F\u002Fgithub.com\u002FPaddlePaddle",[79,83,87,91,95,99,103,106,109],{"name":80,"color":81,"percentage":82},"Python","#3572A5",84,{"name":84,"color":85,"percentage":86},"Cuda","#3A4E3A",7,{"name":88,"color":89,"percentage":90},"C++","#f34b7d",4.4,{"name":92,"color":93,"percentage":94},"Shell","#89e051",4.1,{"name":96,"color":97,"percentage":98},"Jupyter Notebook","#DA5B0B",0.3,{"name":100,"color":101,"percentage":102},"CMake","#DA3434",0,{"name":104,"color":105,"percentage":102},"C","#555555",{"name":107,"color":108,"percentage":102},"Makefile","#427819",{"name":110,"color":111,"percentage":102},"Dockerfile","#384d54",12932,3052,"2026-04-10T02:17:53","Apache-2.0","Linux, Windows, macOS","支持 NVIDIA GPU、昆仑 XPU、昇腾 NPU、燧原 GCU 和海光 DCU。显存需求视模型而定：低资源训练优化后支持 16GB 显存；高性能推理（如 DeepSeek V3 FP8）需更高显存。基于飞桨框架，NVIDIA 显卡需对应 CUDA 版本（具体版本未说明，通常随飞桨版本而定）。","未说明（建议根据模型大小配置，低资源训练场景提及 16GB 显存，系统内存通常需更大）",{"notes":120,"python":121,"dependencies":122},"该工具基于飞桨（PaddlePaddle）深度学习框架，而非 PyTorch。支持多种国产硬件（昆仑、昇腾等）。针对大模型训练，支持 4D 并行策略及显存优化技术，16GB 小显存即可流畅进行低资源训练。推理支持 FP8、INT8、4-bit 量化以降低显存需求。建议使用 Unified Checkpoint 功能以节省存储空间并加速断点恢复。","3.7+",[123,124],"paddlepaddle","paddlenlp",[14,35],[127,128,129,130,124,131,132,133,134,135,136,137,138,139,140,141,142,143,144],"nlp","embedding","bert","ernie","pretrained-models","transformers","information-extraction","question-answering","search-engine","semantic-analysis","sentiment-analysis","neural-search","uie","document-intelligence","compression","llm","distributed-training","llama","2026-03-27T02:49:30.150509","2026-04-11T00:43:18.566172",[148,153,158,163,168,173],{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},28492,"UIE-X 模型体积过大且显存占用高，是否有蒸馏或压缩后的中小版本（如 medium, tiny）？","目前官方尚未直接提供 UIE-X 的 medium 或 tiny 版本。用户可参考 UIE 模型的蒸馏方案进行自行压缩。相关蒸馏方案代码位于：https:\u002F\u002Fgithub.com\u002Flinjieccc\u002FPaddleNLP\u002Ftree\u002Fadd-doc-ie\u002Fapplications\u002Finformation_extraction\u002Fdocument\u002Fclosed_domain。在进行蒸馏时，需注意 PaddlePaddle、PaddleNLP 和 PaddleOCR 的版本兼容性（例如有人使用 paddlepaddle-gpu==2.4.2, paddlenlp==2.5.2, paddleocr==2.7.3），以避免报错。","https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F6371",{"id":154,"question_zh":155,"answer_zh":156,"source_url":157},28493,"文本分类预测时出现属性获取错误，提示 config.json 中缺少某些属性怎么办？","该问题通常是由于版本不一致导致的。如果在训练时使用了较老版本的 PaddleNLP，生成的 config.json 可能缺少新代码所需的属性。建议检查并统一训练和推理环境的 PaddleNLP 版本。此外，确保运行目录正确，建议使用命令行运行并通过 `pwd` 命令确认当前工作目录，以避免路径配置错误导致 checkpoint 文件未正确保存。","https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F4261",{"id":159,"question_zh":160,"answer_zh":161,"source_url":162},28494,"微调后的 ERNIE-Layout 模型在使用 Taskflow 加载推理时报 'ReshapeOps is invalid' 错误，如何解决？","DoPrompt 模型结构与原始的 ERNIE-Layout 不同，因此不能直接使用 Taskflow 工具加载微调后的模型。正确的做法是使用专门的部署脚本进行推理。请参考以下脚本进行部署：https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fmodel_zoo\u002Fernie-layout\u002Fdeploy\u002Fpython。不要将微调后的文件直接放入 taskflow 的静态目录中调用。","https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F4212",{"id":164,"question_zh":165,"answer_zh":166,"source_url":167},28495,"ERNIE 3.0 模型在进行量化操作时遇到 dtype 不匹配或算子找不到内核（kernel not found）的错误怎么办？","在 Windows 环境下对 ERNIE 3.0 进行量化时，可能会遇到底层 C++ 类型不匹配或 GPU 算子不支持特定数据类型（如 int64）的问题。常见报错包括 'Expected dtype() == ...' 或 'Operator (quantize_linear) does not have kernel'。这通常与 PaddlePaddle 版本及量化参数配置有关。尝试调整量化参数，例如切换 `onnx_format` (True\u002FFalse) 或检查 `dtype` 设置是否被当前环境支持。如果问题依旧，可能是特定版本在 Windows 上的兼容性限制，建议查阅对应版本的量化文档或尝试在 Linux 环境下操作。","https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F2987",{"id":169,"question_zh":170,"answer_zh":171,"source_url":172},28496,"是否可以使用英文 DocVQA 数据集来微调 ERNIE-Layout 模型？","可以。英文版的 DocVQA 数据集可以直接用于 ERNIE-Layout 的微调，无需特殊的数据转换。有用户反馈使用 PyTorch 版本的实现（参考仓库：https:\u002F\u002Fgithub.com\u002FNormXU\u002FERNIE-Layout-Pytorch）在英文 DocVQA 上微调效果很好。如果直接从 HuggingFace 加载预训练模型遇到视觉层权重缺失的问题，可以考虑使用 DocVQA 数据集重新训练以学习这些权重。","https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F4599",{"id":174,"question_zh":175,"answer_zh":176,"source_url":177},28497,"FAQ 模型部署后，在多轮问答中出现“一次成功、一次失败”交替的现象，可能是什么原因？","这种现象通常与环境状态、会话上下文管理或异常捕获逻辑有关。虽然具体案例已通过私下远程协助解决（涉及检查具体运行环境和微信沟通），但一般建议检查以下几点：1. 确认异常捕获逻辑是否在每次请求后正确重置了模型状态或清理了临时变量；2. 检查多轮对话中是否积累了导致显存溢出或张量形状错误的上下文数据；3. 验证部署环境的依赖库版本是否与训练时一致。若问题复现，建议提供详细的错误日志以便排查环境差异。","https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F8175",[179,184,189,194,199,204,209,214,219,224,229,234,239,244,249,254,259,264,269,274],{"id":180,"version":181,"summary_zh":182,"released_at":183},189464,"rl-v1.0.0","GRPO、RF++ 准备就绪","2025-05-21T04:16:30",{"id":185,"version":186,"summary_zh":187,"released_at":188},189465,"v3.0.0-beta4","本次版本中，我们全面集成了 DeepSeek R1类的思考模型。推理团队深度优化了模型推理，速度业界领先。此外，我们还发布了自研PP-UIE信息抽取模型。本次重点更新如下。\r\n\r\n## 重点更新：\n* #### 模型新增\n * DeepSeek V3\u002FR1, R1-distill, QwQ-32B 热门思考模型，全面支持。用户可以点击[官方模型文档列表](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fmodel_list.html)查看、下载所有模型。\n * 飞桨自研发布下一代通用信息抽取工具 PP-UIE 全新发布。支持8K长度信息抽取。[使用文档](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fapplication\u002Finformation_extraction)。\n* #### 推理部署\n * 全面支持DeepSeek V3\u002FR1满血版FP8、INT8、4比特量化推理，MTP投机解码。\n * FP8推理，单机输出超1000 tokens\u002Fs；4比特单机部署，输出超2100 tokens\u002Fs！\n * 首次协同推理团队，发布统一推理部署镜像，热门模型一键部署。推理部署使用文档全面更新，体验全面提升！见[文档](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fserver\u002Fdocs\u002Fgeneral_model_inference.html)。\n* #### 模型训练：\n * 新增大模型 Embedding 训练，支持INF-CL超大batch size训练。\n * 新增MergeKit模型融合工具，缓解对齐代价。见[文档](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fdocs\u002Fmergekit.html)。\n * 低资源训练 全面优化。16G小显存可以流畅训练。\n* #### 其他重点特性：\n * 文档页面，新增模型列表展示。用户可查看、下载对应模型文件。见[文档](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fmodel_list.html)。\n * 训练新增 adam-mini 优化器。AdamW优化器支持 BF16 动量。\n \n\n下面是一些对应的更新细节：\n\n### 1. 模型、框架组件更新\n* 模型新增\n * 模型新增列表： \n * paddlenlp\u002FPP-UIE-0.5B, paddlenlp\u002FPP-UIE-1.5B, paddlenlp\u002FPP-UIE-7B, paddlenlp\u002FPP-UIE-14B\n * deepseek-ai\u002FDeepSeek-V3, deepseek-ai\u002FDeepSeek-V3-Base，deepseek-ai\u002FDeepSeek-R1, deepseek-ai\u002FDeepSeek-R1-Zero,\n * deepseek-ai\u002FDeepSeek-R1-Distill-Llama-70B, deepseek-ai\u002FDeepSeek-R1-Distill-Llama-8B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-14B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-1.5B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-32B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-7B\n * Qwen\u002FQwen2.5-7B-Instruct-1M，Qwen\u002FQwen2.5-14B-Instruct-1M, Qwen\u002FQwQ-32B, Qwen\u002FQwQ-32B-Preview\n * PR #9738: Deepseek V3 模型新增。PR #9876: 增加 MTP 支持。PR #9797:修复 TP问题。 PR #9643: Deepseek llama3.3 新增模型说明（@DrownFish19）\n * PR #9906: Deepseek V3 支持动态图直接加载 Float8 参数并进行推理 (@ZHUI) \n * PR #9845: 新增PP-UIE系列模型 @Fantasy-02 i PR #9911 & PR #9913: PP-UIE 相关文档更新（@DrownFish19）\n* Tokenizer 改进\n * PR #9548、PR #9577、PR #9594: “Hackathon No.43” 系列，完善 TokenizerFast 功能支持（@yinfan98）\n * PR #9745: 修复 AutoTokenizer 问题（@DrownFish19）PR #9837: 保存额外的 special tokens（@DesmonDay）\n* Unified Checkpoint 相关: \n * PR #9540: 修复加载master weight PR #9523: 修复缺失key问题。 \n * PR #9669: 统一检查点的 Bug 修复 PR #9935: 针对忽略 merge optimizer 时直接加载参数的问题进行修复\n * PR #9741 & PR #9821: 修复专家并行支持问题\n* [MergeKit 功能增强与优化](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9811)\n * 新增功能与优化\n * PR #9561: 新增 mergekit_with_sparsify 功能，支持稀疏化合并（@Mangodadada）。\n * PR #9702: 优化 MergeKit 的 GPU 支持，提升处理效率（@Mangodadada）。\n * PR #9811: 添加 LoRA（低秩适配器）合并功能，扩展模型融合能力（@lugimzzz）。\n * 工具更新与维护\n * PR #9885: 对 MergeKit 工具进行代码更新与维护，优化整体逻辑。\n * 日志与调试支持\n * PR #9948: 添加日志记录功能，增强调试与过程追踪能力（@lugimzzz）。\n* 低资源特性优化\n * PR #9804: 添加 use_fused_linear_cross_entropy 支持，减小显存。加入 pre_divided_factor 避免FP16溢出。\n* 文档更新、其他：\n * PR #9634: unified_checkpoint 文档更新\n * PR #9734: 自定义设备代码重构（@ZHUI）\n * PR #9715: 增加 offload_recompute_inputs（@will-jl944）\n * PR #9800: 增加训练 token 计数功能（@lugimzz","2025-03-12T08:19:35",{"id":190,"version":191,"summary_zh":192,"released_at":193},189466,"v3.0.0-beta3","本次更新增强了PaddleNLP的基础体验，新增了Llama-3.2、DeepSeekV2模型，升级了TokenizerFast功能，重构了SFTTrainer。\r\n\r\n此外，PaddleNLP还支持了优化器状态的卸载和重载功能，实现了精细化的重新计算，训练性能提升7%。在Unified Checkpoint方面，进一步优化了异步保存逻辑，新增Checkpoint压缩功能，可节省78.5%存储空间。\r\n最后，在大模型推理、自动并行、多硬件支持、文档使用上，我们都进行了深度优化。\r\n\r\n\r\n\r\n### 主要更新与增强\r\n\r\n1. **新增模型**：\r\n - 新增了Llama-3.2模型（#9199）、DeepSeekV2模型（#9250），进一步丰富了大型模型的选择。\r\n\r\n2. **基础架构改进**：\r\n - 重构了SFTTrainer和SFTConfig，提高了代码的可维护性。（#9318)\r\n - 支持优化器状态的卸载和重载功能（#9467），有效降低了内存使用。\r\n - 通过Hook实现了精细化的重新计算支持，例如，在llama模型上，训练性能可提升7%。（#9396）\r\n - **Unified Checkpoint优化**：\r\n - 更新了异步保存逻辑（#9173, #9274, #9321），显著提升了检查点的保存与加载效率。\r\n - 增加了对专家并行的支持（#9055），使模型训练更加灵活。\r\n - 支持在开启sharding_comm_overlap时使用Unified Checkpoint。（#9392）\r\n - 新增了Checkpoint压缩功能，最多可节省78.5%的存储空间。（[#9183](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9183)）\r\n - 通过多线程技术减少了检查点的加载时间（#9034）。\r\n\r\n - **Tokenizer功能增强**：\r\n - 允许在Tokenizer调用时指定`padding_side`参数（#9258），提升了用户体验。\r\n - Qwen tokenizer现支持添加特殊标记（#9344），增强了其灵活性。\r\n - 修复了TokenizerFast中缺失的`clean_up_tokenization_spaces`问题（#9304），提高了文本处理的准确性。\r\n - 统一了分词器的`_pad`函数到基类。[#9280](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9280)\r\n - 新增了对`BertTokenizerFast`的支持，并允许在调用时注册tokenizer。（[#9353](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9353)）\r\n - 改进了Qwen、Gemma、Yuan模型chat template的特殊输入处理。（[#9462](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9462)）\r\n\r\n3. **推理性能提升**：\r\n - 支持LLM推理直接量化内置bos模型（#9197）。\r\n - 加强了对LLM推理中FP8 量化的支持（如#9328, #9423），满足了多样化的精度需求。\r\n - 增强了投机解码（speculative decoding）和Append Attention 的支持。(#9180) (#9244)\r\n\r\n4. **硬件兼容性扩展**：\r\n - 加强了对Intel HPU的支持（#9273），现在支持动态图预测。\r\n - 为XPU等国产硬件提供了统一检查点功能（#9312）。\r\n - 修复了XPU和DCU支持中的错误，并提升了性能。[#9414](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9414) 和[#9433](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9433)\r\n\r\n5. **自动并行优化**：\r\n - 修复了自动并行过程中的多个问题（如#9217, #9355），确保了并行训练的稳定性。\r\n - 更新了自动并行配置与检查点转换器（如#9136, #9432），提升了训练的灵活性和稳定性。\r\n\r\n6. **文档和测试更新**：\r\n - 更新了多个文档，包括LLM模型文档（如#9314）和量化文档（如#9330），确保了信息的时效性和准确性。\r\n - 新增了多个测试用例，如分布式数据加载测试（#9438），提高了测试的覆盖率。\r\n - 修复了文档中的链接错误和排版问题（如#9127, #9515），提升了用户体验。\r\n\r\n\r\n本次更新标志着PaddleNLP的持续进步，为用户提供了更加全面、高效和稳定的NLP解决方案。我们期待在未来的版本中，继续为用户带来更多的创新和价值。\r\n\r\n## What's Changed\r\n* [Unified Checkpoint] update async_save_info in develop by @DesmonDay in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9173\r\n* add flashmask rm by @lugimzzz in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9154\r\n* [LLM_INFER] Support quantized model from bos and fix docs by @yuanlehome in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9197\r\n* fix ci not set no_proxy and modify tests in pir mode by @fightfat in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9205\r\n* [Models] Add Llama-3.2 by @DrownFish19 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9199\r\n* move some auto_parallel args into class AutoTrainingArguments by @Wennie396 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F9155\r\n* [Performance] Compatible with flashmask API rename upgrade by @GuoxiaWang in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FP","2024-12-16T09:35:00",{"id":195,"version":196,"summary_zh":197,"released_at":198},189467,"v3.0.0-beta2","本次更新强化了PaddleNLP的基础设施，新增了Qwen2.5、Mixtral 8*22B模型并升级了Tokenizer功能，同时重命名了数据索引工具。\r\n\r\n此外，还修复了MoE模型参数保存与加载等问题，提升了文本处理准确性，并更新了文档与测试用例。在推理性能、硬件支持及自动并行方面也进行了优化，包括支持更多模型与参数配置、多GPU推理、国产硬件支持增强以及分布式训练流程优化等。\r\n\r\n\r\n### 核心变更与增强功能\r\n\r\n1. **基础设施强化**：\r\n - 新增Qwen2.5模型（#9157 ），Mixtral 8*22B。进一步丰富模型库。\r\n - Tokenizer功能升级，现支持加载额外解码标记added_tokens_decoder（#8997 ），提升灵活性。\r\n - 数据索引工具`tool_helpers`重命名为`fast_dataindex`（#9134 ），以更直观反映其功能特性。\r\n - 实现训练过程中数据间隔跳过的功能（#8989 ），优化数据处理效率。\r\n - **Unified Checkpoint优化**：\r\n - 更新优化器异步保存信号（#8975 ），保证保存稳定。\r\n - 修复统一检查点中的多项问题（#9082 ），确保功能正确性。\r\n\r\n3. **问题修复**：\r\n - 解决了MoE模型参数保存与加载的问题（#9045 ）。\r\n - 修正Tokenizer中空格与特殊符号处理的不足（#9010 , #9144 ），提升文本处理准确性。\r\n\r\n4. **文档与测试更新**：\r\n - 更新多个文档，涵盖LLM模型文档（如#8990 , #8999 ）及量化文档（#9057 ）等，确保信息的时效性与准确性。\r\n - 新增测试用例，如针对PIR模式序列并行的测试（#9015 ），强化测试覆盖度。\r\n - 修复文档中的链接错误（如#9127 ），提升用户体验。\r\n\r\n5. **其他关键变更**：\r\n - **推理性能优化**：\r\n - LLM推理代码得到优化，支持更多模型与参数配置（如#8986 , #8995 ），拓宽应用场景。\r\n - 实现Qwen2_Moe多GPU推理（#9121 ）及wint4量化（#9129 ），提升推理效率。\r\n - 加强LLM推理对FP8与INT8的支持（如#9032 , #9151 ），满足多样化精度需求。\r\n - **硬件支持拓展**：\r\n - 增强对DCU、XPU、MLU等国产硬件的支持（如#8983 , #8504 , #9075 ），促进国产化替代。\r\n - 优化上述硬件上的模型训练与推理性能，提升整体运算效率。\r\n - **自动并行优化**：\r\n - 修复训练过程中数据重复跳过的问题（#8980 ），确保数据处理的正确性。\r\n - 更新自动并行配置与检查点转换器（如#8847 , #9136 ），提升并行训练的灵活性与稳定性。\r\n - 新增损失NaN\u002FInf检查器（#8943 ），及时发现并处理潜在数值问题。\r\n - 优化分布式训练中的数据加载与梯度合并流程（如#9120 , #9179 ），提升训练速度与稳定性。\r\n\r\n\r\n## What's Changed\r\n* [Unified checkpoint] update optimizer async save signal by @DesmonDay in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8975\r\n* 更正run_dpo.py文件路径 by @Mangodadada in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8952\r\n* fix the loss base in llama_align_dygraph_dy2st_auto_bs2_bf16_DP2-MP1-… by @winter-wang in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8986\r\n* [Bug fix] fix skip consumed_samples twice bug by @zhangyuqin1998 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8980\r\n* fix pip error in legacy benchmarks by @fightfat in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8978\r\n* 【auto_parallel】Add checkpoint convertor by @xingmingyyj in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8847\r\n* [llm]update finetune.md by @lugimzzz in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8990\r\n* tool_helpers升级后可以支持32766个数据集. by @JunnYu in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8994\r\n* add DCU inference docs by @YanhuiDua in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8983\r\n* [Distributed]Add loss nan\u002Finf checker by @ForFishes in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8943\r\n* 【llm】update docs by @lugimzzz in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8999\r\n* [Feature] Fused Mixtral support by @penPenf28 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8901\r\n* [XPU] Add README.md for llama2-7b by @xiguapipi in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8979\r\n* Add gcu llama readme by @EnflameGCU in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8950\r\n* fix qwen model use_casual_mask by @deepllz in https:\u002F\u002Fgit","2024-10-08T08:52:31",{"id":200,"version":201,"summary_zh":202,"released_at":203},189468,"v3.0.0-beta1","PaddleNLP从v3.0.0-beta0升级至v3.0.0-beta1版本，带来了多项重要更新与增强。新引入了Yuan、mamba和jamba模型，并优化了LLM推理代码，提升了兼容性和效率。\r\n\r\n基础性能优化方面，添加了快速分词器，实现了MoE优化器参数广播，加速了层归一化。同时，修复了多个bug，包括safetensors shape切片问题和Windows下mmap问题，提升了系统稳定性和兼容性。\r\n\r\n文档与测试方面，进行了全面更新和优化，确保了文档的准确性和代码的可读性。此外，还增强了国产硬件支持，包括DCU和XPU的优化，以及PIR模式和自动并行的配置更新。\r\n\r\n\r\n### 主要变更与新增功能\r\n\r\n#### 1. 新模型与特性引入\r\n- **新模型**：在#8654 中引入了Yuan模型；在#8513 和#8517 中分别添加了mamba和jamba新模型，并在后续Pull Request中修复了相关bug，确保了模型的稳定运行。\r\n- **LLM推理优化**：通过多个Pull Request，我们优化了LLM推理代码，并新增了对新模型和参数的支持，进一步提升了推理效率和兼容性。\r\n\r\n#### 2. 基础性能优化\r\n- **快速分词器**：在#8832 中，我们添加了基于`tokenizers`库的快速分词器，显著提升了分词速度和性能。\r\n- **MoE优化**：在#8810 中，我们实现了MoE（Mixture of Experts）优化器参数的广播，有效增强了模型训练的效率。\r\n- **层归一化加速**：通过多个Pull Request，我们添加了fast_rmsnorm，启用了use_fast_layer_norm，并更新了基准测试配置，进一步加速了模型训练过程。特别是在#8717 中，我们支持了在微调过程中使用use_fast_layer_norm，为用户提供了更多灵活性。\r\n- **训练性能优化**：在#8803 中，我们添加了`enable_sp_async_reduce_scatter`选项，有效优化了训练性能。\r\n- **字典参数支持**：在#8446 中，我们为trainer的argparser添加了支持字典参数的新特性，增强了参数传递的灵活性。同时，在#8904 中，我们更新了tensorboard的要求，确保了与最新版本的兼容性。\r\n\r\n#### 3. Bug修复\r\n- **safetensors修复**：在#8702 中，我们修复了safetensors的形状问题。\r\n- **Windows系统mmap修复**：在#8734 中修复了mmap问题，提升了windows的兼容性。\r\n- **其他Bug修复**：包括#8687 、#8730 等多个Pull Request中的bug修复。\r\n\r\n#### 4. 文档与测试更新\r\n- **文档优化**：在多个Pull Request中，我们进行了文档更新、代码风格清理和版本信息更新，确保了文档的准确性和可读性。\r\n- **README修复与增强**：在#8741 中，我们修复了README中的断链问题；同时，多个贡献者更新了README文档，添加了新的测试用例，确保了文档与代码的同步更新。\r\n\r\n#### 5. 其他重要变更\r\n\r\n##### 国产硬件支持增强\r\n- **DCU支持**：在#8580 中，我们实现了针对DCU的高性能LLM训练和推理，拓展了PaddleNLP的硬件支持范围。\r\n- **XPU优化**：在#8527 中，我们为XPU添加了LoRA优化；在#8697 和#8710 中，我们分别实现了XPU的allgather功能和修复了统一检查点的gather问题，进一步提升了XPU上的模型训练效率。\r\n\r\n##### PIR模式支持\r\n- **导出与加载优化**：在#8689 中，我们修改了PIR模式下llama模型的导出方式；在#8712 和#8766 中，我们支持了以三种模式（旧IR、PIR模型文件、PIR JSON文件）加载或保存Llama2-7b模型，为用户提供了更多灵活性和兼容性。\r\n\r\n##### 自动并行优化\r\n- **配置更新**：在#8679 中，我们更改了Llama2-7b配置中的`max_steps`以适应自动并行；在#8767 和#8828 中，我们优化了自动训练器的保存和加载功能；在#8750 中，我们更新了全局剪切的损失函数，进一步提升了自动并行的效率和准确性。\r\n\r\n\r\n## What's Changed\r\n* [DCU] high performance LLM train and inference for DCU by @yuguo-Jack in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8580\r\n* fix benchmark dir and add CUDA_DEVICE_MAX_CONNECTIONS to qwen by @fightfat in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8678\r\n* bug fix by @wtmlon in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8687\r\n* [XPU] add lora optimization by @dynamicheart in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8527\r\n* [pir save] Modiy export llama model file in pir mode by @xiaoguoguo626807 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8689\r\n* [AutoParallel]Change `max_steps` in Llama2-7b config for auto-parallel. by @heavyrain-lzy in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8679\r\n* [benchmark] Change the mirror source for pip by @mmglove in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8699\r\n* update loss base of auto-parallel tests by @zhiqiu in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8701\r\n* Add new mistral by @wtmlon in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7425\r\n* [Safetensors] Fix safetensors shape by @DesmonDay in https:\u002F\u002F","2024-08-22T03:41:34",{"id":205,"version":206,"summary_zh":207,"released_at":208},189469,"v3.0.0-beta0","很高兴地通知大家，飞桨大模型套件发布v3.0.0beat版本：拥抱大模型，体验全升级。具体工作如下：\r\n* 统一大模型工具链，实现国产计算芯片全流程接入；\r\n* 全面支持飞桨4D并行配置、高效精调策略、高效对齐算法、高性能推理等大模型产业级应用流程；\r\n* 自研极致收敛的RsLoRA+算法、自动扩缩容存储机制Unified Checkpoint和通用化支持FastFFN、FusedQKV助力大模型训推；\r\n* 主流模型持续支持更新，提供高效解决方案。\r\n\r\n## 大模型精调对齐训推优化\r\n\r\n* PEFT：\r\n * 新增scaling策略，支持rslora, pissa算法 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8256\r\n * 适配FusedQKV和FastFFN参数 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8372 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8526\r\n* DPO：\r\n * 支持DPO（llama，qwen）in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8474\r\n * 支持序列并行 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7953\r\n* 国产芯片支持：\r\n * 适配NPU in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8303 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8342 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8359 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8399 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8409 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8401 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8431 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8439 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8438 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8442 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8528 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8642\r\n * 适配XPU in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8282 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8505 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8515 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8588 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8595 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8598\r\n * 适配GCU in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8445 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8470\r\n\r\n* 性能优化：\r\n * 优化Unified Checkpoint机制 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8204 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8409 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8422 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8512\r\n * 模型并行优化 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8370\r\n * 序列并行优化 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8551\r\n * 支持llama3 (wint8|4\u002Fa8w8) in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8630\r\n\r\n* 其他\r\n * 新增模型内存监控 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8269\r\n\r\n## 模型新增\r\n\r\n* 新增Gemma模型 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8082\r\n * google\u002Fgemma-7b\r\n * google\u002Fgemma-7b-it\r\n * google\u002Fgemma-2b\r\n * google\u002Fgemma-2b-it\r\n\r\n* 新增llama3模型 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8307 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8371\r\n * meta-llama\u002FMeta-Llama-3-8B\r\n * meta-llama\u002FMeta-Llama-3-8B-Instruct\r\n * meta-llama\u002FMeta-Llama-3-70B\r\n * meta-llama\u002FMeta-Llama-3-70B-Instruct\r\n\r\n* 新增Qwen2模型 in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8338 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8584 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8601\r\n * Qwen\u002FQwen1.5-0.5B\r\n * Qwen\u002FQwen1.5-0.5B-Chat\r\n * Qwen\u002FQwen1.5","2024-06-28T03:05:46",{"id":210,"version":211,"summary_zh":212,"released_at":213},189470,"v2.8.1","## 变更内容\n* [训练器] 由 @DesmonDay 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8334 中修复分片重叠 bug\n* [Cherry-pick] 由 @KB-Ding 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8375 中更新截断逻辑\n* [BugFix] 修复 llama3 的 `eot_id`。由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8373 中完成\n* [训练器] 由 @DesmonDay 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8426 中更新分布式数据加载器\n* [BugFix] 修复随机数生成器的兼容性问题。由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8451 中完成\n* Cherry pick\u002Ffast_safe_open，由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8458 中完成\n* 【cherry pick】为 Paddle 2.6 添加适配器新类型提升规则，由 @zxcd 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8463 中完成\n* 从预训练模型快速修复。由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8487 中完成\n* Release\u002F2.8，由 @Galaxy1458 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8437 中完成\n* 修复 from_pretrained 中的 `os.path.split` 调用，由 @DesmonDay 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8508 中完成\n* [fea] 从 develop 分支 cherry-pick MOE 相关更新，由 @bo-ke 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8531 中完成\n* [LLM] 将 tensor_parallel_output 移位以避免冲突 (#8419)，由 @DesmonDay 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8533 中完成\n* 为预测更新 sequence_parallel，由 @DesmonDay 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8547 中完成\n* Cp\u002Ffix，由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8569 中完成\n* 不保存 moe_group，由 @DesmonDay 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8570 中完成\n* [Release] 2.8.1，由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F8636 中完成\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcompare\u002Fv2.8.0...v2.8.1","2024-06-20T07:42:46",{"id":215,"version":216,"summary_zh":217,"released_at":218},189471,"v2.8.0","很高兴地通知大家，飞桨大模型套件发布v2.8.0版本。这个版本中，我们深度优化套件的大模型精调对齐的能力，提升大模型套件在国产计算硬件训推能力，具体工作如下：\r\n* 特色精调和高效对齐：提供自研极致收敛的RsLoRA+算法，大幅提升PEFT训练收敛速度以及训练效果；引入高性能生成加速到RLHF PPO算法，打破 PPO 训练中生成速度瓶颈，PPO训练性能大幅领先。\r\n* 大模型训练提速：通用化支持 FastFNN、FusedQKV等多个大模型训练性能优化方式，大模型训练更快、更稳定。\r\n\r\n大模型精调对齐训推优化\r\n* 精调\r\n * PEFT\r\n * 新增QLoRA pipeline parallel支持 #7801\r\n * 自定义python算子，优化LoRA的前反向计算 #8106\r\n * 新增 rslora，lora+，pissa 算法 #8111\r\n * 长序列\r\n * 新增长序列方案和模型解耦。RotaryEmbedding，LinearScalingRotaryEmbedding，NTKScalingRotaryEmbedding，DynamicNTKScalingRotaryEmbedding等。#8076\r\n * Alignment\r\n * 新增PPO 对齐算法 #7305\r\n * 训练策略\r\n * 新增LLaMA sequence parallel #7746\r\n * 新增LLaMa master_grad #7658\r\n * GPT新增auto_parallel的支持。 #8160\r\n * 新增算子\r\n * 新增GQA 算子支持 #7906\r\n * 新增gqa fuse attention qkv #7890\r\n * 新增SwiGLU 算子 #8038\r\n* 推理\r\n * 新增QWenVL 的静态图推理 #7808\r\n模型新增\r\n* 新增Deberta，Debertav2模型 #8227\r\n * deepset\u002Fdeberta-v3-large-squad2\r\n * microsoft\u002Fdeberta-v2-xlarge\r\n * microsoft\u002Fdeberta-v3-base\r\n * microsoft\u002Fdeberta-v3-large\r\n * microsoft\u002Fdeberta-base\r\n* 新增mixtral-of-experts #7803\r\n * mistralai\u002FMixtral-8x7B-Instruct-v0.1\r\n * mistralai\u002FMixtral-8x7B-v0.1\r\n* 新增LLama3 #8315\r\n * meta-llama\u002FMeta-llama-3-8b\r\n * meta-llama\u002FMeta-Llama-3-8B-Instruct\r\n * meta-llama\u002FMeta-llama-3-70b\r\n * meta-llama\u002FMeta-Llama-3-70B-Instruct\r\n\r\n基础框架升级\r\n* Trainer升级\r\n * Trainer新增 ignore_save_lr_and_optim 参数，可以忽略保存lr scheduler以及optimizer权重 #7978\r\n * Trainer新增 Wandb 和 Tensorboard 支持。#7863\r\n * Trainer支持同时解析命令行与json文件参数 #7768\r\n * trainer新增gradient_sync_after_accumulate支持。#8045\r\n * dataloader新增cuda编译检查 #8099\r\n* AutoParallel升级\r\n * llama 自动并行支持bf16损失 #7874\r\n * 增加refined-recompute机制#7349\r\n * 在AMP-O2策略下支持master_grad#7658\r\n * 进一步完善动静统一自动并行分布式训练基本功能#7985 #8114\r\n * 新增Llama2模型基于AutoTrainer的半自动训练 #7851 #7885\r\n * 新增llama的hybrid_parallel_topo_order策略。#8011\r\n * llama模型组网动静统一 #8127\r\n* 其他\r\n * 重构download下载逻辑，支持从bos、hf hub、aistudio、model scope下载模型 #7608 #8020 #8088\r\n * 新增分布式训练的pipeline parallel #8051\r\n * 适配npu的FA #8171 #8210\r\n * llama新增block_attention\u002Fcachekv quant #7649\r\n\r\n其他支持\r\n* 新增俄罗斯套娃（matryoshka representation learning）检索策略，节省计算和存储资源。#8165\r\n\r\n问题修复\r\n1. 日志级别修改，并增加timelog计时日志，兼容不同设备。#8261\r\n2. 修复pipeline并行中随机初始化的shared weights不一致的问题，覆盖GPT\u002FOPT等模型。#7772\r\n3. 关闭CI及单测中从huggingface hub下载的逻辑 #7798 #8198\r\n4. 修复llm的gradio开启chat template时候重复拼接query 和 history的问题。#7992\r\n5. 修复GPT模型下载key error问题。#8253\r\n6. 修复LlamaRotaryEmbedding #7882\r\n7. 修复allreduce dtype的问题 #7876\r\n8. 修复框架侧dev分支清理 paddle.jit.dy2static.utils_helperAPI的问题 #7989\r\n9. 修复read-data timer在ignore_data_skip=False and skip_profile_timer=False 的问题。#8177\r\n10. 修复Wandb单测问题 #8066 #8056\r\n11. 修复Trainer同时解析json与命令行列表参数报错问题#7860\r\n12. 修复Gradio UI 中的推理问题 #7740 #7788\r\n13. 修复 Tokenizer 相关的基础问题 #7797 7870\r\n14. 修复 custom devices上loading rng state的问题。#7894\r\n15. 修复自动并行打印BF16的loss编码错乱的问题#7874\r\n16. 采用float初始化模型，修复静态图自动并行AMP报错问题#8033#8199\r\n17. 修复ShardDataloader接口在PipeLine Parallelism下使用错误问题#8014\r\n18. 修复llama在custom devices的精度问题。#7895\r\n19. 修复NPU AICPU算子问题 #7976\r\n20. 修复FusedLinearWithGradAdd少传参数的问题。","2024-04-24T10:04:41",{"id":220,"version":221,"summary_zh":222,"released_at":223},189472,"v2.7.2","本版本做了一些小问题的修复\n\n## 本次更新内容\n* [统一检查点] 由 @DrownFish19 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7794 中修复检查点命名问题\n* [统一检查点] 由 @DrownFish19 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7810 中修复最后一次检查点保存问题\n* [PEFT] 由 @lugimzzz 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7826 中 cherry-pick 修复 LoRA 相关问题\n* [统一检查点] 由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7855 中修复因缓存为空导致的统一检查点问题\n* [修复下载] 由 @JunnYu 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7911 中更新转换逻辑并修复 Hugging Face Hub 下载子文件夹的 bug\n* [cherry-pick] 由 @KB-Ding 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7920 中调整日志级别\n* [cherry-pick] 由 @KB-Ding 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7921 中为工具包添加 RuntimeTimer 功能（#7913）\n* [发布] 由 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7892 中发布 PaddleNLP 2.7.2 版本，用于修复相关 bug\n\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcompare\u002Fv2.7.1...v2.7.2","2024-01-30T07:50:22",{"id":225,"version":226,"summary_zh":227,"released_at":228},189473,"v2.7.1","本版本做了一些小问题的修复\n\n## 本次更新内容\n\n* 修复了训练恢复过程中遇到的一些问题 @ZHUI 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7771 中\n* 修复了 GPT 在 Pipeline 模式下的初始化问题 @DrownFish19 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7775 中\n* 修复了 dist dataloader 在评估时出现的问题 @DesmonDay 在 https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7778 中\n\n\n**完整更新日志**: https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcompare\u002Fv2.7.0...v2.7.1","2024-01-04T14:24:29",{"id":230,"version":231,"summary_zh":232,"released_at":233},189474,"v2.7.0","很高兴地通知大家，飞桨大模型套件发布v2.7.0版本。这个版本中，我们深入优化套件的大模型能力。从易用性、性能、到稳定性都有巨大提升。\r\n\r\n总体而言，当前版本更新有以下亮点：\r\n* **统一工具链大模型入口**。统一预训练、精调、压缩、推理以及部署等环节的实现代码，到 PaddleNLP\u002Fllm目录。\r\n* **全新大模型工具链文档**。一站式指引用户从大模型入门到业务部署上线。文档见： https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Ffinetune.html\r\n* **全断点存储机制 Unified Checkpoint**。 在存储断点时将模型权重、优化器权重等进行统一safetensors格式存储，不再区分分布式策略存储，并且支持恢复训练的动态扩缩容，大大提高大模型存储的通用性。\r\n* **高效微调升级**。支持了高效微调+LoRA同时使用，支持了QLoRA等算法。\r\n\r\n## 大模型训推全流程\r\n* 预训练\r\n * 统一了预训练入口到 `llm\u002Frun_pretrain.py`。\r\n * 支持了qwen 等模型预训练，支持flash attention。\r\n* 精调\r\n * 支持可LoRA + Linear量化同时使用\r\n * 支持了流水线并行模型 + lora一起使用 \r\n * 支持了NEFTune方法\r\n * 添加了QLoRA支持\r\n* 压缩\r\n * 支持PTQ、QAT量化功能，包括A8W8、WINT8、WINT4、A8W4\r\n * 支持SmoothQuant、GPTQ、AWQ等量化算法\r\n\r\n## Unified Checkpoint\r\n* 在大模型背景下，通常我们需要进行多卡分布式的训练，在保存Checkpoint时所得到的模型权重通常是分片放置的，例如根据张量并行、流水线并行进行切分保存。这种根据分布式策略直接存储Checkpoint的方式非常直接明了，但也存在如下的问题：\r\n * 对下游推理不够友好，当用户希望获取中间阶段保存的Checkpoint做下游推理时，需要手动对模型权重进行合并。\r\n * 不利于应对做恢复训练时，可能会面临的分布式策略改变、训练节点数发生变化的情况。用户往往需要手动对Checkpoint进行处理，增加了操作复杂度。\r\n* 为了最大程度地解决上述的问题，降低用户操作难度，我们对大模型存储框架进行了升级，提出了大模型统一存储方案——Unified Checkpoint。Unified Checkpoint的核心思想是将模型权重、优化器权重等进行统一safetensors格式存储，在Checkpoint存储时不再对分布式策略进行区分，提高大模型存储的通用性。\r\n* Unified Checkpoint具备以下功能与特点：\r\n * **权重存储不区分分布式策略**，并采用safetensors格式统一存储；\r\n * 灵活支持**大模型训练扩容、缩容**等各种情况，能够适配不同**分布式训练策略的切换**。\r\n\r\n## 模型新增\r\n* `moka-ai\u002Fm3e-base` 检索模型\r\n* `BAAI\u002Fbge-small-zh-v1.5` 检索模型\r\n\r\n## 基础框架升级\r\n* Trainer 升级\r\n * 支持了 \"--skip_memory_metrics 0\"是，显示实时 显存、内存占用\r\n * 支持 \"--unified_checkpoint\" \"--unified_checkpoint_config\" 支持混合并行下模型save，动态扩缩容重启。\r\n* 新增 PretrainModelPipe基础类，支持流水线并行训练。\r\n其他支持\r\n* 支持了paddlenlp commit id 展示 `paddlenlp.version.commit` \r\n* 支持AI Studio download add save to aistudio hub \r\n\r\n## 问题修复\r\n* 修复了dist_dataloader的一些问题\r\n* 修复了一些模型动转静问题\r\n* 修复了GPT训练的一些bug，移除了GPT2。修复了一些seed设置问题\r\n* 修复了baichuan模型在流水线并行的一些问题。\r\n\r\n## New Contributors\r\n* @Wennie396 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6897\r\n* @Wong4j made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7008\r\n* @yuanlehome made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7080\r\n* @Xreki made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7105\r\n* @Tom-Zheng made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7092\r\n* @TimeYWL made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7122\r\n* @From00 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7168\r\n* @RichardWooSJTU made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7186\r\n* @heavyrain-lzy made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7269\r\n* @LokeZhou made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7337\r\n* @JZ-LIANG made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7301\r\n* @WAI-clear made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7402\r\n* @tianhaodongbd made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7293\r\n* @zzjjay made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7504\r\n* @anexplore made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7558\r\n* @niuliling123 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7528\r\n* @zxcd made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7577\r\n* @MayYouBeProsperous made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7575\r\n* @iosmers made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7613\r\n* @AndSonder made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7343\r\n* @zhink made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7679\r\n* @kingTLE made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F7708\r\nFull Changelog: https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcompare\u002Fv2.6.1...v2.7.0\r\n\r\n","2024-01-03T04:07:25",{"id":235,"version":236,"summary_zh":237,"released_at":238},189475,"v2.6.1","## What's Changed\r\n在v2.6.1版本中，我们做了大量的bug修复，提高了LLM模型和相关组件的稳定性。除了bug修复以外，主要新增功能如下：\r\n- LLM：新增了 qwen 模型，InTokens数据流兼容了Pipeline Parallel，LLM精调支持从多个训练文件加载以及热启动，增强了LLaMA模型的不同recompute粒度\r\n- Trainer: hybrid_parallel_topo_order 选项，并修复了 sharding stage3 的保存模型。\r\n- Paddle-pipelines: 添加了对 ERNIE-Bot-turbo和ERNIE-embedding 的支持, 更新了分层搜索示例并且增强了 ChatPaper 的UI\r\n- Megatron 数据集：添加了加载 megatron 数据集的支持，支持ernie-1.0和T5数据类型\r\n\r\n## New Contributors\r\n* @xiezheng-XD made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6764\r\n* @carryyu made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6676\r\n* @xiaoxiaohehe001 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6798\r\n* @MARD1NO made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6865\r\n* @zhoutianzi666 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6905\r\n* @lchdl made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6964\r\n* @LaiXinyi823 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6659\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcompare\u002Fv2.6.0...v2.6.1","2023-09-14T03:57:43",{"id":240,"version":241,"summary_zh":242,"released_at":243},189476,"v2.6.0","# PaddleNLP 2.6 正式版本：全新升级，迈进大模型时代！\r\n\r\n我们很高兴宣布，PaddleNLP 2.6版本现已全新升级并正式发布！此次升级标志着我们正式迈入了大模型时代。在PaddleNLP 2.6版本中，我们推出了全新的飞桨大语言模型全流程工具链。这套工具链涵盖了预训练、精调、压缩、推理以及部署等环节，为用户提供了一个完整的端到端大模型解决方案。\r\n\r\n我们的工具链全面支持LLaMA 1\u002F2, BLOOM, ChatGLM 1\u002F2, GLM, OPT等主流大模型。这使得用户可以在使用同一套工具的前提下，以低成本的方式尝试各种不同的大模型。\r\n\r\n为了支持这套大模型工具链，我们进行了大量的底层和基础框架侧的升级：\r\n\r\n- 我们将Trainer API升级成为了4D并行分布式Trainer，这让模型的训练过程变得更加高效。\r\n- 我们实现了高效微调算法LoRA\u002FPrefix Tuning，使得单机可以精调千亿级别的模型。\r\n- 同时，我们还依托PaddleSlim的自研量化算法，在所有支持的大模型上全面实现了无损量化。\r\n\r\n这些升级都是为了让我们的用户能在大模型时代中更加轻松地进行模型的训练、优化和部署。我们期待你的试用，并期待你的反馈，让我们一起推进PaddleNLP的发展。在2.5版本到2.6版本中PaddleNLP有 40 位新增Contributors，感谢大家对PaddleNLP开源工作的支持！\r\n\r\n## New Contributors\r\n* @zws-2019 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5167\r\n* @qiuwenbogdut made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5098\r\n* @kuizhiqing made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5347\r\n* @46319943 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5419\r\n* @jiaohuix made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5465\r\n* @kangguangli made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5438\r\n* @vivienfanghuagood made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5563\r\n* @zhiboniu made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5470\r\n* @cyber-pioneer made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5598\r\n* @invokerbyxv made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5622\r\n* @megemini made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5658\r\n* @zhenyun-li made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5683\r\n* @solrex made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5736\r\n* @nemonameless made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5487\r\n* @Yulv-git made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5709\r\n* @wangxinxin08 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5773\r\n* @AlphaHinex made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5815\r\n* @houj04 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5820\r\n* @Joker1718 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5816\r\n* @pkuzyc made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5538\r\n* @jadepeng made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5841\r\n* @KB-Ding made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5886\r\n* @parap1uie-s made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5775\r\n* @zirui made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5866\r\n* @GOH-Gu made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5951\r\n* @yangjianfengo1 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6069\r\n* @zhangting2020 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F5922\r\n* @rogerserper made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6192\r\n* @wtmlon made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6258\r\n* @qingzhong1 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6251\r\n* @BeingGod made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6307\r\n* @zhiqiu made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6347\r\n* @DesmonDay made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6435\r\n* @cyk1337 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6447\r\n* @lxp521125 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6491\r\n* @littsk made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6425\r\n* @RachelXu7 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6572\r\n* @wanghuancoder made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6539\r\n* @DrownFish19 made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6570\r\n* @GhostScreaming made their first contribution in https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fpull\u002F6673\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcompare\u002Fv2.5.2...v2.6.0","2023-08-15T13:11:37",{"id":245,"version":246,"summary_zh":247,"released_at":248},189477,"v2.6.0rc","# PaddleNLP v2.6.0rc 预览版\r\n\r\n## 核心改动\r\n\r\n- 全面支持主流开源大模型[bloom](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fexamples\u002Flanguage_model\u002Fbloom), [chatglm](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fexamples\u002Flanguage_model\u002Fchatglm), [glm](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fexamples\u002Flanguage_model\u002Fglm), [llama](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fexamples\u002Flanguage_model\u002Fllama), [opt](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fexamples\u002Flanguage_model\u002Fopt)的训练和推理范例\r\n- 新增跨模态模型[minigpt4](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fpaddlenlp\u002Ftransformers\u002Fminigpt4), [speecht5](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fpaddlenlp\u002Ftransformers\u002Fspeecht5)\r\n- Trainer新增模型并行能力，对于支持模型并行的模型可一键开启tensor parallel训练\r\n- 新增低参数高效微调能力[peft](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fpaddlenlp\u002Fpeft), 包括单卡和分布式的LoRA和Prefix Tuning策略，助力大模型应用落地\r\n- Pipelines新增实验性质的大模型应用和Agents功能，包括[文档单多轮问答](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fpipelines\u002Fexamples\u002Fchatbot)和[基于ReACT的agents](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fpipelines\u002Fexamples\u002Fagents)\r\n","2023-06-12T03:23:17",{"id":250,"version":251,"summary_zh":252,"released_at":253},189478,"v2.5.2","# New Features\r\n\r\n## PPDiffusers\r\n\r\n- 新增基于FastDeploy的CycleDiffusionPipeline和动态图版CycleDiffusionPipeline、增加动态图版的Gradio调用界面 #4945 #4830\r\n- 更新LoRA，支持自定义lora_rank #4894 #4925\r\n- 新增ControlNet、支持推理与训练 #5009 #5090\r\n- 升级community目录下clip_guided_stable_diffusion, interpolate_stable_diffusion, lpw_stable_diffusion, stable_diffusion_mega #4920 #4947\r\n\r\n## AutoNLP\r\n- autonlp文本分类支持使用taskflow进行推理部署 #4896 \r\n- 支持文本分类模型finetune和prompt tune训练--评估-压缩-推理全流程#4967 #4963\r\n- 支持visualdl和训练日志分发到每个trial #4990 #5021 \r\n\r\n## 基础底座\r\n- 完成MegatronBERT, MobileBert, Reformer, Roformerv2, skep的transformers模型升级\r\n- 新增14个BART中文模型 #4636 \r\n- 新增3个文本摘要Taskflow中文模型 #4933 \r\n\r\n## FastGeneration\r\n- 新增CodeGen-16B的示例 #4895 \r\n- BART FastGeneration新增FusedAttention优化 #5111 \r\n\r\n# Bug Fix\r\n- 修复BART FastGeneration推理结果不正确的问题 #5111 \r\n- 修复UIE-M系列模型zero-shot抽取问题 #5108 \r\n- 修复DocParser图片读取及PDF缩放问题 #4975 \r\n- 修复CLIP和ChineseCLIP中的project dim，确保text_config与vision_config与之前一致 #5074\r\n- 修复Trainer在Sharding Stage3时，GroupNorm与框架PyLayer API的Bug #4930 \r\n","2023-03-07T08:43:24",{"id":255,"version":256,"summary_zh":257,"released_at":258},189479,"v2.5.1","# New Features\r\n\r\n## PPDiffusers\r\n\r\n- PPDiffusers支持从HF Hub加载和上传模型 #4640 #4625\r\n- 新增 AutoEncoder 的训练流程 #4137\r\n- 新增 LoRa ，支持使用lora训练 dreambooth、text_to_image，同步更新上述训练脚本 #4768\r\n\r\n## AutoNLP\r\n\r\n- AutoNLP分类支持英语模型 #4704\r\n- AutoNLP分类中文模型统一升级为Ernie 3.0 Tiny v2系列 #4827\r\n- AutoNLP优化log控制能力 #4844\r\n\r\n## 基础底座\r\n\r\n- ERNIE-Layout支持re-compute #4490 \r\n- Roberta, T5结构新增AutoConverter功能，可以直接加载torch模型\r\n- 将PaddleNLP内所有激活函数统一至`paddlenlp.transformers.activations` #4589\r\n- Nezha, GauAlpha 模型结构完成transformers统一体验升级\r\n- 给 Chineseclip 模型支持AutoModel 的功能 #4585\r\n- 添加 model-zoo 测试样板间 #4398\r\n- 新增BLIP 1.0模型，支持CLIP Interrogator图生文 #4676\r\n- 删除CLIP、ErnieVil、ChineseCLIP中重写的 from_pretrained_v2 方法 #4797\r\n- 新增polynomial学习率变化策略，DataCollatorForLanguageModeling，DataCollatorForWholeWordMask API #4826\r\n\r\n## UTC\r\n\r\n- 新增 utc-xbase, utc-base, utc-medium, utc-mini, utc-micro, utc-nano, utc-pico 版本，默认模型由 utc-large 切换为 utc-base #4716 #4825\r\n- 新增 UTC 英文文档 #4476 \r\n\r\n## Pipelines\r\n\r\n+ 新增跨模态检索端到端的方案，支持以文搜图的整套服务化部署方案。#4516\r\n\r\n# Bug Fix\r\n\r\n- 修复UIE-X特殊字符预测结果偏移问题 #4687 \r\n- 修复Taskflow中zero_shot_text_classification任务本地模型加载失败的问题 #4505 \r\n- 修复UTC 模型batch内对cls_positions gather结果不符合预期的问题 #4785 \r\n- 修复bos模型下载notebook内的tqdm体验问题 #4603\r\n- 删除多余的protobuf依赖 #4600\r\n- 修复ernie-m自动生成attention_mask的错误 #4494\r\n- 修复pre-release版本下载安装 #4661\r\n- 修改 AutoConverter 中精度对比随机性的问题 #4568\r\n- 修复非community的model权重，在多机或者多卡情况下下载的错误问题 #4491\r\n- 修复information_extraction, unified_sentiment_analysis, model_zoo\u002Fuie中参数is_shuffle的传参类型问题 #4460\r\n- 修复 T5 FastGeneration sampling 结果出错的问题 #4624 \r\n\r\n","2023-02-17T12:38:30",{"id":260,"version":261,"summary_zh":262,"released_at":263},189480,"v2.5.0","# Highlights\r\nPaddleNLP 2.5 正式版本全新升级来了！在PaddleNLP 2.5版本中我们发布了飞桨扩散模型工具箱PPDiffuers, 可以降低扩散模型的研究和使用成本。在产业应用侧我们发布了文档信息抽取UIE-X、统一文本分类UTC、统一情感分析UIE-Senta、无监督问答应用；为了降低端上部署难度，我们开源了最新ERNIE 3.0 Tiny v2 系列模型，同时提供了全量化和词表量化加持的端到端语义理解压缩方案。在基础框侧我们提供 PretrainedConfig 来统一预训练模型配置，同时 Trainer API、Prompt API、数据增强API 等框架API做了升级。在2.5正式发版中我们做了Huggingface生态联合相关工作，欢迎大家Huggingface体验PaddleNLP预训练模型效果。在2.4版本到2.5版本中PaddleNLP有 34 位新增Contributors，感谢大家对PaddleNLP开源工作的支持！下面是PaddleNLP 2.5 正式版本的发版内容介绍。\r\n\r\n# New Features\r\n## [PPDiffusers 扩散模型工具库发布](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fppdiffusers)\r\n\r\n大火的AI绘画扩散模型来了 🔥\r\n\r\n\u003Cpicture>\r\n \u003Cimg src=\"https:\u002F\u002Fuser-images.githubusercontent.com\u002F14105589\u002F212271202-f8d81442-4865-43a9-a491-cc104129f0be.png\", heigh=200, width=400>\r\n\u003C\u002Fpicture>\r\n\r\nPPDiffusers是基于PaddlePaddle的扩散模型工具箱，提供多模态的扩散模型，希望助力开发者快速使用和开发文生图、文生视频、文生文相关扩散模型\r\n\r\n### SOTA扩散模型Pipelines集合\r\n- 通过pipelines几行代码即可使用 Stable Diffusion 绘画，还能够基于FastDeploy高性能加速；这样出色的模型应用pipelines还有[30+](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fppdiffusers\u002Fppdiffusers\u002Fpipelines\u002FREADME.md)，包括最新的中文文生图模型 IDEA\u002FTaiyi-Stable-Diffusion、BAAI\u002FAltDiffusion、MindDiffusion\u002Fwukonghuahua。 \r\n\r\n### 丰富的Noise Scheduler和模型组件\r\n- 提供丰富的噪声调度器（Noise Scheduler），不仅支持主流使用的DDPM、DDIM 和 PNDM，还支持最新的 DPMSolver，14+ Scheduler供您在速度与质量之间权衡。集成多种 Diffusion 模型组件，如UNet1d、UNet2d、UNet2d Conditional，方便的搭建自己的扩散模型。\r\n\r\n### 全方位的训练和推理教程 \r\n- 提供了多场景需求的训练教程，[从头训练](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fv2.5.0\u002Fppdiffusers\u002Fexamples\u002Ftext_to_image_laion400m)、[领域微调](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fv2.5.0\u002Fppdiffusers\u002Fexamples\u002Ftext_to_image)及[小样本定制化](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fv2.5.0\u002Fppdiffusers\u002Fexamples\u002Fdreambooth)都可以满足。训练后您自己的模型也可以参照[FastDeploy推理教程](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fv2.5.0\u002Fppdiffusers\u002Fdeploy)进行高性能加速。\r\n\r\n\r\n## [端上语义理解压缩方案](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fmodel_zoo\u002Fernie-tiny)\r\n发布基于ERNIE 3.0 Tiny模型的端上语义理解压缩方案，帮助开发者快速在边缘端设备部署预训练模型\r\n\r\n### ERNIE 3.0 Tiny V2 轻量级模型 发布\r\n- ERNIE 3.0 Tiny V2在V1的模型的基础上使用了下游知识注入、多任务学习等策略，在out-domain、low-resourced 数据上的效果显著提升\r\n\r\n### 基于 PaddleSlim 全量化压缩方案发布\r\n- 首次发布基于PaddleSlim的全量化加速方案，同时支持词表量化来降低部署内存占用，在精度基本无损的情况下模型预测速度大幅提升\r\n\r\n### FastDeploy 全场景部署\r\n- FastDeploy 是一款全场景、易用灵活、极致高效的 AI 推理部署工具，大大降低在边缘端部署难度\r\n\r\n## [产业范例库升级](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fapplications)\r\n### [文档智能信息抽取UIE-X 应用](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fapplications\u002Finformation_extraction\u002Fdocument)\r\n- **场景全面**： 覆盖文档信息抽取各类主流任务，支持多语言，满足开发者多样信息抽取落地需求\r\n- **效果领先**： 以在多模态信息抽取上有突出效果的模型UIE-X作为训练基座，具有广泛成熟的实践应用性\r\n- **简单易用**： 通过Taskflow实现三行代码可实现无标注数据的情况下进行快速调用，一行命令即可开启信息抽取训练，轻松完成\r\n 部署上线，降低信息抽取技术落地门槛\r\n- **高效调优**： 开发者无需机器学习背景知识，即可轻松上手数据标注及模型训练流程\r\n\r\n### [统一文本分类UTC应用](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fapplications\u002Fzero_shot_text_classification)\r\n- **SOTA效果**：UTC是基于统一语义匹配框架建模的SOTA模型，模型效果刷新FewCLUE和ZeroCLUE两大榜单\r\n- **统一建模**：单模型可支持多种任务建模，同时支持多分类、多标签、层次分类多个任务\r\n- **快速迁移**：零样本分类和小样本迁移能力强，同时提供Label Studio标注工具标注方法，支持快速调优开发\r\n\r\n\r\n### [统一情感分析UIE-Senta应用](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fapplications\u002Fsentiment_analysis)\r\n- **应用全面**：新增uie-senta系列模型，模型效果大幅提升，支持语句情感分类，属性抽取，观点抽取等常用情感分析能力\r\n- **高效调优**：提供Label Studio标注工具标注方法，开发者通过简单数据标注，即可快速进行模型训练与调优\r\n- **场景验证**：真实应用场景打磨的应用工具，解决隐性情感维度抽取、情感维度聚合等真实场景难题\r\n\r\n### [无监督问答应用](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fapplications\u002Fquestion_answering\u002Funsupervised_qa)\r\n- **应用创新**：无监督检索式问答系统（即问答对自动生成智能检索式问答），基于问题生成、UIE答案抽取、检索式问答等应用组合来支持以非结构化文本形式为上下文自动生成QA问答对，生成的问答对语料可以通过无监督的方式构建检索式问答系统。\r\n- **简单应用**：通过PaddleNLP Pipelines 提供包括问答语料生成、索引库构建、模型服务部署、WebUI可视化一整套端到端智能问答系统能力\r\n\r\n\r\n\r\n## [基础框架升级](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fdocs)\r\n\r\n### [PretrainedConfig](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fpaddlenlp\u002Ftransformers\u002Fconfiguration_utils.py)\r\n- 模型配置正式化，配置模型参数更加易用，GPT\u002FT5\u002FErnie\u002FErnieM\u002FErnieLayout\u002FBart\u002FMBart\u002FUnified_Transformer\u002FUnimo\u002FCodeGen 等模型升级至使用PretrainedConfig \r\n\r\n### [Trainer API](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fdocs\u002Ftrainer.md)\r\n- 新增基础训练能力支持，支持混合精度O1、O2两种模式bf16训练 #3352\r\n- 新增分布式技术能力支持，支持recompute重计算、sharding训练支持 #3352 \r\n- 新增 `Seq2SeqTrainer` 支持 seq2seq 类型模型训练。#3352\r\n- 新增 `Memory Tracer` 支持监控内存、显存 #4181 \r\n\r\n### [模型压缩 API](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fdocs\u002Fcompression.md)\r\n- 模型压缩 API 接入量化训练、词表压缩等功能，并支持各种策略组合 #3271 #4159 #4011 \r\n- 模型压缩 API 支持 ERNIE、UIE、BERT、TinyBERT、ELECTRA、ERNIE-M、RoBERTa、PP-MiniLM 等 #3234\r\n\r\n### [数据增强API](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fdocs\u002Fdataaug.md)\r\n- 新增字和句子级别数据增强策略，新增基于反义词和基于word embedding的近义词表，支持文件输入-输出数据增强 #4194 \r\n\r\n### [Prompt API](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fdocs\u002Fadvanced_guide\u002Fprompt.md)\r\n- Template API 新增支持 Prefix-Tuning 和 UniMC \r\n## [FastGeneration](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fdocs\u002Fadvanced_guide\u002Ffastgeneration\u002Ffastgeneration.rst)\r\n- 新增T5生成加速，动转静以及预测库支持 #3763 \r\n- `model.generate()` 接口调整，`use_faster` 参数调整为 `use_fast` #4213 \r\n- Transfor","2023-01-12T17:20:36",{"id":265,"version":266,"summary_zh":267,"released_at":268},189481,"v2.4.9","# New Features\r\n\r\n- Trainer新增Memory Tracer #4181 \r\n- ERNIE 1.0 支持Ascend NPU #3954\r\n- 新增无监督检索式问答系统 #4193\r\n- DynaBert支持动态图export #3549\r\n- 增加信息抽取相关的英语文档 #4247\r\n\r\n# Bug Fix\r\n- 修复带PretrainedConfig的模型属性方面过多的warnings #4264\r\n- 修复ErnieEncoder的PretrainedConfig适配问题 #4281 \r\n- 修复IE taskflow加载定制模型的config名字问题 #4271\r\n- 修复Trainer fp16问题 #4283\r\n- 修复AutoTemplate 中的 prefix_dropout参数 #4293\r\n- 修复多卡下载config卡住的问题#4274\r\n","2022-12-30T05:43:30",{"id":270,"version":271,"summary_zh":272,"released_at":273},189482,"v2.4.8","# New Features\r\n\r\n## PPDiffusers\r\n- 新增BIT和DPT模型 #4202\r\n- 支持Ascend NPU部署 #4217\r\n- ppdiffusers pipelines文档修改升级，新增任务展示，针对ppdiffusers能力进行整理输出；新增audio diffusion推理脚本和权重\r\n新增paint by example推理脚本和权重 #4230 \r\n\r\n# Bug Fix\r\n- 修复AutoModel加载legacy config和standard config的问题 #4083\r\n- 修复PretrainedConfig带来的向后兼容问题 #4237\r\n- 修复GPT模型使用input_embeds的问题 #4179\r\n- 修复Trainer多卡时的save问题 #4220 ","2022-12-26T11:12:09",{"id":275,"version":276,"summary_zh":277,"released_at":278},189483,"v2.4.7","# New Features\r\n\r\n## Sentiment Analysis\r\n- 情感分析：#3694\r\n- 提供uie-senta系列训练模型，支持语句情感分类，属性抽取，观点抽取等常用情感分析能力\r\n- 支持从输入数据到情感分析结果可视化，助力业务数据分析\r\n- 定制情感分析能力，解决同义属性聚合、隐性观点抽取难题\r\n\r\n## UIE \r\n\r\n- UIE Taskflow支持从HF Hub加载\r\n\r\n## TextClassification\r\n\r\n- 文本分类Taskflow支持多标签预测 #3968\r\n\r\n## FastTokenizer\r\n- 修复FastTokenizer BertNormalizer json实例化bug\r\n\r\n# Bug Fix\r\n- 修复AutoModel加载legacy config和standard config的问题 #4083\r\n\r\n# Others\r\n\r\n- Ernie\u002FErnieM\u002FErnieLayout\u002FBart\u002FMBart\u002FUnified_Transformer\u002FUnimo\u002FCodeGen 等模型迁移使用PretrainedConfig #4118 #3769 #4170 \r\n- 撰写贡献指南contributing.md #4160 \r\n","2022-12-23T12:34:32"]