[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ymcui--Chinese-BERT-wwm":3,"tool-ymcui--Chinese-BERT-wwm":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",153609,2,"2026-04-13T11:34:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":100,"github_topics":101,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":112,"updated_at":113,"faqs":114,"releases":115},7144,"ymcui\u002FChinese-BERT-wwm","Chinese-BERT-wwm","Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）","Chinese-BERT-wwm 是由哈工大讯飞联合实验室推出的一系列中文预训练语言模型，旨在提升中文自然语言处理任务的效果。传统的 BERT 模型在预训练时采用 WordPiece 分词，容易将一个完整的中文词语切分成多个子词单元，导致模型难以捕捉完整的词义信息。Chinese-BERT-wwm 引入了“全词掩码”（Whole Word Masking）技术，在生成训练样本时，将属于同一个词的所有字块同时进行掩码，迫使模型基于完整的词汇上下文进行预测，从而更准确地理解中文语义。\n\n该工具有效解决了原生 BERT 在处理中文时因分词碎片化而导致的语义理解偏差问题，显著提升了在文本分类、命名实体识别、阅读理解等下游任务中的表现。项目不仅提供了基础的 BERT-wwm 模型，还发布了基于更大语料训练的扩展版（ext）、RoBERTa 架构变体以及轻量级的 3 层模型，满足不同场景下的性能与效率需求。\n\nChinese-BERT-wwm 非常适合从事自然语言处理的研究人员、算法工程师及开发者使用。无论是希望复现学术基线、构建行业应用，还是进行模型微调与蒸馏，用户均可通过 Hugging Fa","Chinese-BERT-wwm 是由哈工大讯飞联合实验室推出的一系列中文预训练语言模型，旨在提升中文自然语言处理任务的效果。传统的 BERT 模型在预训练时采用 WordPiece 分词，容易将一个完整的中文词语切分成多个子词单元，导致模型难以捕捉完整的词义信息。Chinese-BERT-wwm 引入了“全词掩码”（Whole Word Masking）技术，在生成训练样本时，将属于同一个词的所有字块同时进行掩码，迫使模型基于完整的词汇上下文进行预测，从而更准确地理解中文语义。\n\n该工具有效解决了原生 BERT 在处理中文时因分词碎片化而导致的语义理解偏差问题，显著提升了在文本分类、命名实体识别、阅读理解等下游任务中的表现。项目不仅提供了基础的 BERT-wwm 模型，还发布了基于更大语料训练的扩展版（ext）、RoBERTa 架构变体以及轻量级的 3 层模型，满足不同场景下的性能与效率需求。\n\nChinese-BERT-wwm 非常适合从事自然语言处理的研究人员、算法工程师及开发者使用。无论是希望复现学术基线、构建行业应用，还是进行模型微调与蒸馏，用户均可通过 Hugging Face Transformers 或 PaddlePaddle 等主流框架快速加载并集成这些模型，高效开展中文 AI 应用的研发工作。","# [Chinese-LLaMA-Alpaca-2 v1.0版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)已正式发布！\n\n[**中文说明**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002F) | [**English**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fblob\u002Fmaster\u002FREADME_EN.md)\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-BERT-wwm_readme_30623fc5bc46.png\" width=\"500\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fblob\u002Fmaster\u002FLICENSE\">\n        \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FChinese-BERT-wwm.svg?color=blue&style=flat-square\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large, RBT3, RBTL3等。  \n\n- **[Pre-Training with Whole Word Masking for Chinese BERT](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397)**  \n- *Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Ziqing Yang*\n- Published in *IEEE\u002FACM Transactions on Audio, Speech, and Language Processing (TASLP)*\n\n本项目基于谷歌官方BERT：https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\n\n----\n\n[中文LERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT) | [中英文PERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT) | [中文MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [中文BERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm) | [知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner)\n\n查看更多哈工大讯飞联合实验室（HFL）发布的资源：https:\u002F\u002Fgithub.com\u002Fymcui\u002FHFL-Anthology\n\n## 新闻\n**2023\u002F3\u002F28 开源了中文LLaMA&Alpaca大模型，可快速在PC上部署体验，查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca**\n\n2023\u002F3\u002F9 我们提出了一种图文多模态预训练模型VLE，查看：https:\u002F\u002Fgithub.com\u002Fiflytek\u002FVLE \n\n2022\u002F11\u002F15 我们提出了中文小型预训练模型MiniRBT。查看：https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT\n\n2022\u002F10\u002F29 我们提出了一种融合语言学信息的预训练模型LERT。查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT\n\n2022\u002F3\u002F30 我们开源了一种新预训练模型PERT。查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT\n\n\u003Cdetails>\n\u003Csummary>历史新闻\u003C\u002Fsummary>\n2021\u002F12\u002F17 哈工大讯飞联合实验室推出模型裁剪工具包TextPruner。查看：https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner\n\n2021\u002F10\u002F24 哈工大讯飞联合实验室发布面向少数民族语言的预训练模型CINO。查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-Minority-PLM\n\n2021\u002F7\u002F21 由哈工大SCIR多位学者撰写的[《自然语言处理：基于预训练模型的方法》](https:\u002F\u002Fitem.jd.com\u002F13344628.html)已出版，欢迎大家选购。\n\n2021\u002F1\u002F27 所有模型已支持TensorFlow 2，请通过transformers库进行调用或下载。https:\u002F\u002Fhuggingface.co\u002Fhfl\n\n2020\u002F9\u002F15 我们的论文[\"Revisiting Pre-Trained Models for Chinese Natural Language Processing\"](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.13922)被[Findings of EMNLP](https:\u002F\u002F2020.emnlp.org)录用为长文。\n\n2020\u002F8\u002F27 哈工大讯飞联合实验室在通用自然语言理解评测GLUE中荣登榜首，查看[GLUE榜单](https:\u002F\u002Fgluebenchmark.com\u002Fleaderboard)，[新闻](http:\u002F\u002Fdwz.date\u002FckrD)。\n\n2020\u002F3\u002F23 本目录发布的模型已接入[飞桨PaddleHub](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleHub)，查看[快速加载](#快速加载)\n\n2020\u002F3\u002F11 为了更好地了解需求，邀请您填写[调查问卷](https:\u002F\u002Fwj.qq.com\u002Fs2\u002F5637766\u002F6281)，以便为大家提供更好的资源。\n\n2020\u002F2\u002F26 哈工大讯飞联合实验室发布[知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer)\n\n2020\u002F1\u002F20 祝大家鼠年大吉，本次发布了RBT3、RBTL3（3层RoBERTa-wwm-ext-base\u002Flarge），查看[小参数量模型](#小参数量模型)\n\n2019\u002F12\u002F19 本目录发布的模型已接入[Huggingface-Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)，查看[快速加载](#快速加载)\n\n2019\u002F10\u002F14 发布萝卜塔RoBERTa-wwm-ext-large模型，查看[中文模型下载](#中文模型下载)\n\n2019\u002F9\u002F10 发布萝卜塔RoBERTa-wwm-ext模型，查看[中文模型下载](#中文模型下载)\n\n2019\u002F7\u002F30 提供了在更大通用语料（5.4B词数）上训练的中文`BERT-wwm-ext`模型，查看[中文模型下载](#中文模型下载)\n\n2019\u002F6\u002F20 初始版本，模型已可通过谷歌下载，国内云盘也已上传完毕，查看[中文模型下载](#中文模型下载)\n\u003C\u002Fdetails>\n\n## 内容导引\n| 章节 | 描述 |\n|-|-|\n| [简介](#简介) | 介绍BERT-wwm基本原理 |\n| [中文模型下载](#中文模型下载) | 提供了BERT-wwm的下载地址 |\n| [快速加载](#快速加载) | 介绍了如何使用[🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)、[PaddleHub](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleHub)快速加载模型 |\n| [模型对比](#模型对比) | 提供了本目录中模型的参数对比 |\n| [中文基线系统效果](#中文基线系统效果) | 列举了部分中文基线系统效果 |\n| [小参数量模型](#小参数量模型) | 列举了小参数量模型（3层Transformer）的效果 |\n| [使用建议](#使用建议) | 提供了若干使用中文预训练模型的建议 |\n| [英文模型下载](#英文模型下载) | 谷歌官方的英文BERT-wwm下载地址 |\n| [FAQ](#FAQ) | 常见问题答疑 |\n| [引用](#引用) | 本目录的技术报告 |\n\n\n## 简介\n**Whole Word Masking (wwm)**，暂翻译为`全词Mask`或`整词Mask`，是谷歌在2019年5月31日发布的一项BERT的升级版本，主要更改了原预训练阶段的训练样本生成策略。\n简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被mask。\n在`全词Mask`中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他部分也会被mask，即`全词Mask`。\n\n**需要注意的是，这里的mask指的是广义的mask（替换成[MASK]；保持原词汇；随机替换成另外一个词），并非只局限于单词替换成`[MASK]`标签的情况。\n更详细的说明及样例请参考：[#4](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fissues\u002F4)**\n\n同理，由于谷歌官方发布的`BERT-base, Chinese`中，中文是以**字**为粒度进行切分，没有考虑到传统NLP中的中文分词（CWS）。\n我们将全词Mask的方法应用在了中文中，使用了中文维基百科（包括简体和繁体）进行训练，并且使用了[哈工大LTP](http:\u002F\u002Fltp.ai)作为分词工具，即对组成同一个**词**的汉字全部进行Mask。\n\n下述文本展示了`全词Mask`的生成样例。\n**注意：为了方便理解，下述例子中只考虑替换成[MASK]标签的情况。**\n\n| 说明 | 样例 |\n| :------- | :--------- |\n| 原始文本 | 使用语言模型来预测下一个词的probability。 |\n| 分词文本 | 使用 语言 模型 来 预测 下 一个 词 的 probability 。 |\n| 原始Mask输入 | 使 用 语 言 [MASK] 型 来 [MASK] 测 下 一 个 词 的 pro [MASK] ##lity 。 |\n| 全词Mask输入 | 使 用 语 言 [MASK] [MASK] 来 [MASK] [MASK] 下 一 个 词 的 [MASK] [MASK] [MASK] 。 |\n\n\n## 中文模型下载\n本目录中主要包含base模型，故我们不在模型简称中标注`base`字样。对于其他大小的模型会标注对应的标记（例如large）。\n\n* **`BERT-large模型`**：24-layer, 1024-hidden, 16-heads, 330M parameters  \n* **`BERT-base模型`**：12-layer, 768-hidden, 12-heads, 110M parameters  \n\n**注意：开源版本不包含MLM任务的权重；如需做MLM任务，请使用额外数据进行二次预训练（和其他下游任务一样）。**\n\n| 模型简称 | 语料 | 🤗HF下载 | 百度网盘下载 |\n| :------- | :--------: | :---------: | :---------: |\n| **`BERT-wwm, Chinese`** | 中文维基 | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-bert-wwm) | [TensorFlow（密码qfh8）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HDdDXiYxGT5ub5OeO7qdWw?pwd=qfh8) |\n| **`BERT-wwm-ext, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-bert-wwm-ext) | [TensorFlow（密码wgnt）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1x-jIw1X2yNYHGak2yiq4RQ?pwd=wgnt) |\n| **`RoBERTa-wwm-ext, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-roberta-wwm-ext) | [TensorFlow（密码vybq）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1oR0cgSXE3Nz6dESxr98qVA?pwd=vybq) |\n| **`RoBERTa-wwm-ext-large, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-roberta-wwm-ext-large) | [TensorFlow（密码dqqe）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1F68xzCLWEonTEVP7HQ0Ciw?pwd=dqqe) |\n| **`RBT3, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbt3) | [TensorFlow（密码5a57）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1AnapwWj1YBZ_4E6AAtj2lg?pwd=5a57) |\n| **`RBT4, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbt4) | [TensorFlow（密码sjpt）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1MUrmuTULnMn3L1aw_dXxSA?pwd=sjpt) |\n| **`RBT6, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbt6) | [TensorFlow（密码hniy）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1_MDAIYIGVgDovWkSs51NDA?pwd=hniy) |\n| **`RBTL3, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbtl3) | [TensorFlow（密码s6cu）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1vV9ClBMbsSpt8wUpfQz62Q?pwd=s6cu) |\n\n\n> [1] EXT数据包括：中文维基百科，其他百科、新闻、问答等数据，总词数达5.4B。\n\n### PyTorch版本\n\n如需PyTorch版本，\n\n1）请自行通过[🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)提供的转换脚本进行转换。\n\n2）或者通过huggingface官网直接下载PyTorch版权重：https:\u002F\u002Fhuggingface.co\u002Fhfl\n\n下载方法：点击任意需要下载的模型 → 选择\"Files and versions\"选项卡 → 下载对应的模型文件。\n\n### 使用说明\n\n中国大陆境内建议使用百度网盘下载点，境外用户建议使用谷歌下载点，base模型文件大小约**400M**。 \n以TensorFlow版`BERT-wwm, Chinese`为例，下载完毕后对zip文件进行解压得到：\n\n```\nchinese_wwm_L-12_H-768_A-12.zip\n    |- bert_model.ckpt      # 模型权重\n    |- bert_model.meta      # 模型meta信息\n    |- bert_model.index     # 模型index信息\n    |- bert_config.json     # 模型参数\n    |- vocab.txt            # 词表\n```\n其中`bert_config.json`和`vocab.txt`与谷歌原版`BERT-base, Chinese`完全一致。\nPyTorch版本则包含`pytorch_model.bin`, `bert_config.json`, `vocab.txt`文件。\n\n\n## 快速加载\n### 使用Huggingface-Transformers\n\n依托于[🤗transformers库](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)，可轻松调用以上模型。\n```\ntokenizer = BertTokenizer.from_pretrained(\"MODEL_NAME\")\nmodel = BertModel.from_pretrained(\"MODEL_NAME\")\n```\n**注意：本目录中的所有模型均使用BertTokenizer以及BertModel加载，请勿使用RobertaTokenizer\u002FRobertaModel！**\n\n其中`MODEL_NAME`对应列表如下：\n\n| 模型名 | MODEL_NAME |\n| - | - |\n| RoBERTa-wwm-ext-large | hfl\u002Fchinese-roberta-wwm-ext-large |\n| RoBERTa-wwm-ext | hfl\u002Fchinese-roberta-wwm-ext |\n| BERT-wwm-ext | hfl\u002Fchinese-bert-wwm-ext |\n| BERT-wwm | hfl\u002Fchinese-bert-wwm |\n| RBT3 | hfl\u002Frbt3 |\n| RBTL3 | hfl\u002Frbtl3 |\n\n### 使用PaddleHub\n\n依托[PaddleHub](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleHub)，只需一行代码即可完成模型下载安装，十余行代码即可完成文本分类、序列标注、阅读理解等任务。\n\n```\nimport paddlehub as hub\nmodule = hub.Module(name=MODULE_NAME)\n```\n\n其中`MODULE_NAME`对应列表如下：\n\n| 模型名 | MODULE_NAME |\n| - | - |\n| RoBERTa-wwm-ext-large | [chinese-roberta-wwm-ext-large](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-roberta-wwm-ext-large&en_category=SemanticModel) |\n| RoBERTa-wwm-ext       | [chinese-roberta-wwm-ext](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-roberta-wwm-ext&en_category=SemanticModel) |\n| BERT-wwm-ext          | [chinese-bert-wwm-ext](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-bert-wwm-ext&en_category=SemanticModel) |\n| BERT-wwm              | [chinese-bert-wwm](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-bert-wwm&en_category=SemanticModel) |\n| RBT3                  | [rbt3](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=rbt3&en_category=SemanticModel) |\n| RBTL3                 | [rbtl3](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=rbtl3&en_category=SemanticModel) |\n\n\n## 模型对比\n针对大家比较关心的一些模型细节进行汇总如下。\n\n| - | BERT\u003Csup>Google\u003C\u002Fsup> | BERT-wwm | BERT-wwm-ext | RoBERTa-wwm-ext | RoBERTa-wwm-ext-large |\n| :------- | :---------: | :---------: | :---------: | :---------: | :---------: |\n| Masking | WordPiece | WWM\u003Csup>[1]\u003C\u002Fsup> | WWM | WWM | WWM |\n| Type | base | base | base | base | **large** |\n| Data Source | wiki | wiki | wiki+ext\u003Csup>[2]\u003C\u002Fsup> | wiki+ext | wiki+ext |\n| Training Tokens # | 0.4B | 0.4B | 5.4B | 5.4B | 5.4B |\n| Device | TPU Pod v2 | TPU v3 | TPU v3 | TPU v3 | **TPU Pod v3-32\u003Csup>[3]\u003C\u002Fsup>** |\n| Training Steps | ? | 100K\u003Csup>MAX128\u003C\u002Fsup> \u003Cbr\u002F>+100K\u003Csup>MAX512\u003C\u002Fsup> | 1M\u003Csup>MAX128\u003C\u002Fsup> \u003Cbr\u002F>+400K\u003Csup>MAX512\u003C\u002Fsup> | 1M\u003Csup>MAX512\u003C\u002Fsup> | 2M\u003Csup>MAX512\u003C\u002Fsup> |\n| Batch Size | ? | 2,560 \u002F 384 | 2,560 \u002F 384 | 384 | 512 |\n| Optimizer | AdamW | LAMB | LAMB | AdamW | AdamW |\n| Vocabulary | 21,128 | ~BERT\u003Csup>[4]\u003C\u002Fsup> | ~BERT | ~BERT | ~BERT |\n| Init Checkpoint | Random Init | ~BERT | ~BERT | ~BERT | Random Init |\n\n> [1] WWM = Whole Word Masking  \n> [2] ext = extended data  \n> [3] TPU Pod v3-32 (512G HBM)等价于4个TPU v3 (128G HBM)  \n> [4] `~BERT`表示**继承**谷歌原版中文BERT的属性  \n\n\n## 中文基线系统效果\n为了对比基线效果，我们在以下几个中文数据集上进行了测试，包括`句子级`和`篇章级`任务。\n对于`BERT-wwm-ext`、`RoBERTa-wwm-ext`、`RoBERTa-wwm-ext-large`，我们**没有进一步调整最佳学习率**，而是直接使用了`BERT-wwm`的最佳学习率。\n\n最佳学习率：  \n\n| 模型 | BERT | ERNIE | BERT-wwm* |\n| :------- | :---------: | :---------: | :---------: |\n| CMRC 2018 | 3e-5 | 8e-5 | 3e-5 |\n| DRCD | 3e-5 | 8e-5 | 3e-5 |\n| CJRC | 4e-5 | 8e-5 | 4e-5 |\n| XNLI | 3e-5 | 5e-5 | 3e-5 |\n| ChnSentiCorp | 2e-5 | 5e-5 | 2e-5 |\n| LCQMC  | 2e-5 | 3e-5 | 2e-5 |\n| BQ Corpus | 3e-5 | 5e-5 | 3e-5 |\n| THUCNews | 2e-5 | 5e-5 | 2e-5 |\n\n*代表所有wwm系列模型 (BERT-wwm, BERT-wwm-ext, RoBERTa-wwm-ext, RoBERTa-wwm-ext-large)\n\n\n**下面仅列举部分结果，完整结果请查看我们的[技术报告](https:\u002F\u002Farxiv.org\u002Fabs\u002F1906.08101)。**\n\n- [**CMRC 2018**：篇章片段抽取型阅读理解（简体中文）](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)\n- [**DRCD**：篇章片段抽取型阅读理解（繁体中文）](https:\u002F\u002Fgithub.com\u002FDRCSolutionService\u002FDRCD)\n- [**CJRC**: 法律阅读理解（简体中文）](http:\u002F\u002Fcail.cipsc.org.cn)\n- [**XNLI**：自然语言推断](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)\n- [**ChnSentiCorp**：情感分析](https:\u002F\u002Fgithub.com\u002Fpengming617\u002Fbert_classification)\n- [**LCQMC**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)\n- [**BQ Corpus**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)\n- [**THUCNews**：篇章级文本分类](http:\u002F\u002Fthuctc.thunlp.org)\n\n**注意：为了保证结果的可靠性，对于同一模型，我们运行10遍（不同随机种子），汇报模型性能的最大值和平均值（括号内为平均值）。不出意外，你运行的结果应该很大概率落在这个区间内。**\n\n**评测指标中，括号内表示平均值，括号外表示最大值。**\n\n\n### 简体中文阅读理解：CMRC 2018\n[**CMRC 2018数据集**](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)是哈工大讯飞联合实验室发布的中文机器阅读理解数据。\n根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。\n评测指标为：EM \u002F F1\n\n| 模型 | 开发集 | 测试集 | 挑战集 |\n| :------- | :---------: | :---------: | :---------: |\n| BERT | 65.5 (64.4) \u002F 84.5 (84.0) | 70.0 (68.7) \u002F 87.0 (86.3) | 18.6 (17.0) \u002F 43.3 (41.3) |\n| ERNIE | 65.4 (64.3) \u002F 84.7 (84.2) | 69.4 (68.2) \u002F 86.6 (86.1) | 19.6 (17.0) \u002F 44.3 (42.8) |\n| **BERT-wwm** | 66.3 (65.0) \u002F 85.6 (84.7) | 70.5 (69.1) \u002F 87.4 (86.7) | 21.0 (19.3) \u002F 47.0 (43.9) |\n| **BERT-wwm-ext** | 67.1 (65.6) \u002F 85.7 (85.0) | 71.4 (70.0) \u002F 87.7 (87.0) | 24.0 (20.0) \u002F 47.3 (44.6) |\n| **RoBERTa-wwm-ext** | 67.4 (66.5) \u002F 87.2 (86.5) | 72.6 (71.4) \u002F 89.4 (88.8) | 26.2 (24.6) \u002F 51.0 (49.1) |\n| **RoBERTa-wwm-ext-large** | **68.5 (67.6) \u002F 88.4 (87.9)** | **74.2 (72.4) \u002F 90.6 (90.0)** | **31.5 (30.1) \u002F 60.1 (57.5)** |\n\n\n### 繁体中文阅读理解：DRCD\n[**DRCD数据集**](https:\u002F\u002Fgithub.com\u002FDRCKnowledgeTeam\u002FDRCD)由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。\n**由于ERNIE中去除了繁体中文字符，故不建议在繁体中文数据上使用ERNIE（或转换成简体中文后再处理）。**\n评测指标为：EM \u002F F1\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 83.1 (82.7) \u002F 89.9 (89.6) | 82.2 (81.6) \u002F 89.2 (88.8) |\n| ERNIE | 73.2 (73.0) \u002F 83.9 (83.8) | 71.9 (71.4) \u002F 82.5 (82.3) |\n| **BERT-wwm** | 84.3 (83.4) \u002F 90.5 (90.2) | 82.8 (81.8) \u002F 89.7 (89.0) |\n| **BERT-wwm-ext** | 85.0 (84.5) \u002F 91.2 (90.9) | 83.6 (83.0) \u002F 90.4 (89.9) |\n| **RoBERTa-wwm-ext** | 86.6 (85.9) \u002F 92.5 (92.2) | 85.6 (85.2) \u002F 92.0 (91.7) |\n| **RoBERTa-wwm-ext-large** | **89.6 (89.1) \u002F 94.8 (94.4)** | **89.6 (88.9) \u002F 94.5 (94.1)** |\n\n\n### 司法阅读理解：CJRC\n[**CJRC数据集**](http:\u002F\u002Fcail.cipsc.org.cn)是哈工大讯飞联合实验室发布的面向**司法领域**的中文机器阅读理解数据。\n需要注意的是实验中使用的数据并非官方发布的最终数据，结果仅供参考。\n评测指标为：EM \u002F F1\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 54.6 (54.0) \u002F 75.4 (74.5) | 55.1 (54.1) \u002F 75.2 (74.3) |\n| ERNIE | 54.3 (53.9) \u002F 75.3 (74.6) | 55.0 (53.9) \u002F 75.0 (73.9) |\n| **BERT-wwm** | 54.7 (54.0) \u002F 75.2 (74.8) | 55.1 (54.1) \u002F 75.4 (74.4) |\n| **BERT-wwm-ext** | 55.6 (54.8) \u002F 76.0 (75.3) | 55.6 (54.9) \u002F 75.8 (75.0) |\n| **RoBERTa-wwm-ext** | 58.7 (57.6) \u002F 79.1 (78.3) | 59.0 (57.8) \u002F 79.0 (78.0) |\n| **RoBERTa-wwm-ext-large** | **62.1 (61.1) \u002F 82.4 (81.6)** | **62.4 (61.4) \u002F 82.2 (81.0)** |\n\n\n### 自然语言推断：XNLI\n在自然语言推断任务中，我们采用了[**XNLI**数据](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)，需要将文本分成三个类别：`entailment`，`neutral`，`contradictory`。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 77.8 (77.4) | 77.8 (77.5) |\n| ERNIE | 79.7 (79.4) | 78.6 (78.2) |\n| **BERT-wwm** | 79.0 (78.4) | 78.2 (78.0) |\n| **BERT-wwm-ext** | 79.4 (78.6) | 78.7 (78.3) |\n| **RoBERTa-wwm-ext** | 80.0 (79.2) | 78.8 (78.3) |\n| **RoBERTa-wwm-ext-large** | **82.1 (81.3)** | **81.2 (80.6)** |\n\n\n### 情感分析：ChnSentiCorp\n在情感分析任务中，二分类的情感分类数据集ChnSentiCorp。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 94.7 (94.3) | 95.0 (94.7) |\n| ERNIE | 95.4 (94.8) | 95.4 **(95.3)** |\n| **BERT-wwm** | 95.1 (94.5) | 95.4 (95.0) |\n| **BERT-wwm-ext** | 95.4 (94.6) | 95.3 (94.7) |\n| **RoBERTa-wwm-ext** | 95.0 (94.6) | 95.6 (94.8) |\n| **RoBERTa-wwm-ext-large** | **95.8 (94.9)** | **95.8** (94.9) |\n\n\n### 句对分类：LCQMC, BQ Corpus\n以下两个数据集均需要将一个句对进行分类，判断两个句子的语义是否相同（二分类任务）。\n\n#### LCQMC\n[LCQMC](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)由哈工大深圳研究生院智能计算研究中心发布。 \n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 89.4 (88.4) | 86.9 (86.4) |\n| ERNIE | 89.8 (89.6) | **87.2 (87.0)** |\n| **BERT-wwm** | 89.4 (89.2) | 87.0 (86.8) |\n| **BERT-wwm-ext** | 89.6 (89.2) | 87.1 (86.6) |\n| **RoBERTa-wwm-ext** | 89.0 (88.7) | 86.4 (86.1) |\n| **RoBERTa-wwm-ext-large** | **90.4 (90.0)** | 87.0 (86.8) |\n\n\n#### BQ Corpus \n[BQ Corpus](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)由哈工大深圳研究生院智能计算研究中心发布，是面向银行领域的数据集。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 86.0 (85.5) | 84.8 (84.6) |\n| ERNIE | 86.3 (85.5) | 85.0 (84.6) |\n| **BERT-wwm** | 86.1 (85.6) | 85.2 **(84.9)** |\n| **BERT-wwm-ext** | **86.4** (85.5) | 85.3 (84.8) |\n| **RoBERTa-wwm-ext** | 86.0 (85.4) | 85.0 (84.6) |\n| **RoBERTa-wwm-ext-large** | 86.3 **(85.7)** | **85.8 (84.9)** |\n\n\n### 篇章级文本分类：THUCNews\n篇章级文本分类任务我们选用了由清华大学自然语言处理实验室发布的新闻数据集**THUCNews**。\n我们采用的是其中一个子集，需要将新闻分成10个类别中的一个。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 97.7 (97.4) | 97.8 (97.6) |\n| ERNIE | 97.6 (97.3) | 97.5 (97.3) |\n| **BERT-wwm** | 98.0 (97.6) | 97.8 (97.6) |\n| **BERT-wwm-ext** | 97.7 (97.5) | 97.7 (97.5) |\n| **RoBERTa-wwm-ext** | 98.3 (97.9) | 97.7 (97.5) |\n| **RoBERTa-wwm-ext-large** | 98.3 (97.7) | 97.8 (97.6) |\n\n\n### 小参数量模型\n以下是在若干NLP任务上的实验效果，表中只提供测试集结果对比。\n\n| 模型 | CMRC 2018 | DRCD | XNLI | CSC | LCQMC | BQ | 平均 | 参数量 |\n| :------- | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: |\n| RoBERTa-wwm-ext-large | 74.2 \u002F 90.6 | 89.6 \u002F 94.5 | 81.2 | 95.8 | 87.0 | 85.8 | 87.335 | 325M |\n| RoBERTa-wwm-ext | 72.6 \u002F 89.4 | 85.6 \u002F 92.0 | 78.8 | 95.6 | 86.4 | 85.0 | 85.675 | 102M |\n| RBTL3 | 63.3 \u002F 83.4 | 77.2 \u002F 85.6 | 74.0 | 94.2 | 85.1 | 83.6 | 80.800 | 61M (59.8%) |\n| RBT3 | 62.2 \u002F 81.8 | 75.0 \u002F 83.9 | 72.3 | 92.8 | 85.1 | 83.3 | 79.550 | 38M (37.3%) |\n\n效果相对值比较：\n\n| 模型 | CMRC 2018 | DRCD | XNLI | CSC | LCQMC | BQ | 平均 | 分类平均 |\n| :------- | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: |\n| RoBERTa-wwm-ext-large | 102.2% \u002F 101.3% | 104.7% \u002F 102.7% | 103.0% | 100.2% | 100.7% | 100.9% | 101.9% | 101.2% |\n| RoBERTa-wwm-ext | 100% \u002F 100% | 100% \u002F 100% | 100% | 100% | 100% | 100% | 100% | 100% |\n| RBTL3 | 87.2% \u002F 93.3% | 90.2% \u002F 93.0% | 93.9% | 98.5% | 98.5% | 98.4% | 94.3% | 97.35% |\n| RBT3 | 85.7% \u002F 91.5% | 87.6% \u002F 91.2% | 91.8% | 97.1% | 98.5% | 98.0% | 92.9% | 96.35% |\n\n- 参数量是以XNLI分类任务为基准进行计算\n- 括号内参数量百分比以原始base模型（即RoBERTa-wwm-ext）为基准\n- RBT3：由RoBERTa-wwm-ext 3层进行初始化，继续训练了1M步\n- RBTL3：由RoBERTa-wwm-ext-large 3层进行初始化，继续训练了1M步\n- RBT的名字是RoBERTa三个音节首字母组成，L代表large模型\n- 直接使用RoBERTa-wwm-ext-large前三层进行初始化并进行下游任务的训练将显著降低效果，例如在CMRC 2018上测试集仅能达到42.9\u002F65.3，而RBTL3能达到63.3\u002F83.4\n\n欢迎使用效果更优的中文小型预训练模型MiniRBT：https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT\n\n## 使用建议\n* 初始学习率是非常重要的一个参数（不论是`BERT`还是其他模型），需要根据目标任务进行调整。\n* `ERNIE`的最佳学习率和`BERT`\u002F`BERT-wwm`相差较大，所以使用`ERNIE`时请务必调整学习率（基于以上实验结果，`ERNIE`需要的初始学习率较高）。\n* 由于`BERT`\u002F`BERT-wwm`使用了维基百科数据进行训练，故它们对正式文本建模较好；而`ERNIE`使用了额外的百度贴吧、知道等网络数据，它对非正式文本（例如微博等）建模有优势。\n* 在长文本建模任务上，例如阅读理解、文档分类，`BERT`和`BERT-wwm`的效果较好。\n* 如果目标任务的数据和预训练模型的领域相差较大，请在自己的数据集上进一步做预训练。\n* 如果要处理繁体中文数据，请使用`BERT`或者`BERT-wwm`。因为我们发现`ERNIE`的词表中几乎没有繁体中文。\n\n\n## 英文模型下载\n为了方便大家下载，顺便带上**谷歌官方发布**的英文`BERT-large (wwm)`模型：\n\n*   **[`BERT-Large, Uncased (Whole Word Masking)`](https:\u002F\u002Fstorage.googleapis.com\u002Fbert_models\u002F2019_05_30\u002Fwwm_uncased_L-24_H-1024_A-16.zip)**:\n    24-layer, 1024-hidden, 16-heads, 340M parameters\n\n*   **[`BERT-Large, Cased (Whole Word Masking)`](https:\u002F\u002Fstorage.googleapis.com\u002Fbert_models\u002F2019_05_30\u002Fwwm_cased_L-24_H-1024_A-16.zip)**:\n    24-layer, 1024-hidden, 16-heads, 340M parameters\n\n## FAQ\n**Q: 这个模型怎么用？**  \nA: 谷歌发布的中文BERT怎么用，这个就怎么用。\n**文本不需要经过分词，wwm只影响预训练过程，不影响下游任务的输入。**\n\n**Q: 请问有预训练代码提供吗？**  \nA: 很遗憾，我不能提供相关代码，实现可以参考 [#10](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fissues\u002F10) 和 [#13](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fissues\u002F13)。\n\n**Q: 某某数据集在哪里下载？**  \nA: 请查看`data`目录，任务目录下的`README.md`标明了数据来源。对于有版权的内容，请自行搜索或与原作者联系获取数据。\n\n**Q: 会有计划发布更大模型吗？比如BERT-large-wwm版本？**  \nA: 如果我们从实验中得到更好效果，会考虑发布更大的版本。\n\n**Q: 你骗人！无法复现结果😂**  \nA: 在下游任务中，我们采用了最简单的模型。比如分类任务，我们直接使用的是`run_classifier.py`（谷歌提供）。\n如果无法达到平均值，说明实验本身存在bug，请仔细排查。\n最高值存在很多随机因素，我们无法保证能够达到最高值。\n另外一个公认的因素：降低batch size会显著降低实验效果，具体可参考BERT，XLNet目录的相关Issue。\n\n**Q: 我训出来比你更好的结果！**  \nA: 恭喜你。\n\n**Q: 训练花了多长时间，在什么设备上训练的？**  \nA: 训练是在谷歌TPU v3版本（128G HBM）完成的，训练BERT-wwm花费约1.5天，BERT-wwm-ext则需要数周时间（使用了更多数据需要迭代更充分）。\n需要注意的是，预训练阶段我们使用的是`LAMB Optimizer`（[TensorFlow版本实现](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLAMB_Optimizer_TF)）。该优化器对大的batch有良好的支持。\n在微调下游任务时，我们采用的是BERT默认的`AdamWeightDecayOptimizer`。\n\n**Q: ERNIE是谁？**  \nA: 本项目中的ERNIE模型特指百度公司提出的[ERNIE](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FLARK\u002Ftree\u002Fdevelop\u002FERNIE)，而非清华大学在ACL 2019上发表的[ERNIE](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FERNIE)。\n\n**Q: BERT-wwm的效果不是在所有任务都很好**  \nA: 本项目的目的是为研究者提供多元化的预训练模型，自由选择BERT，ERNIE，或者是BERT-wwm。\n我们仅提供实验数据，具体效果如何还是得在自己的任务中不断尝试才能得出结论。\n多一个模型，多一种选择。\n\n**Q: 为什么有些数据集上没有试？**  \nA: 很坦率的说：\n1）没精力找更多的数据；\n2）没有必要； \n3）没有钞票；\n\n**Q: 简单评价一下这几个模型**  \nA: 各有侧重，各有千秋。\n中文自然语言处理的研究发展需要多方共同努力。\n\n**Q: 你预测下一个预训练模型叫什么？**  \nA: 可能叫ZOE吧，ZOE: Zero-shOt Embeddings from language model\n\n**Q: 更多关于`RoBERTa-wwm-ext`模型的细节？**  \nA: 我们集成了RoBERTa和BERT-wwm的优点，对两者进行了一个自然的结合。\n和之前本目录中的模型之间的区别如下:  \n1）预训练阶段采用wwm策略进行mask（但没有使用dynamic masking）  \n2）简单取消Next Sentence Prediction（NSP）loss  \n3）不再采用先max_len=128然后再max_len=512的训练模式，直接训练max_len=512  \n4）训练步数适当延长  \n\n需要注意的是，该模型并非原版RoBERTa模型，只是按照类似RoBERTa训练方式训练出的BERT模型，即RoBERTa-like BERT。\n故在下游任务使用、模型转换时请按BERT的方式处理，而非RoBERTa。\n\n\n## 引用\n如果本项目中的资源或技术对你的研究工作有所帮助，欢迎在论文中引用下述论文。\n- 首选（期刊扩充版）：https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397\n```\n@journal{cui-etal-2021-pretrain,\n  title={Pre-Training with Whole Word Masking for Chinese BERT},\n  author={Cui, Yiming and Che, Wanxiang and Liu, Ting and Qin, Bing and Yang, Ziqing},\n  journal={IEEE Transactions on Audio, Speech and Language Processing},\n  year={2021},\n  url={https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397},\n  doi={10.1109\u002FTASLP.2021.3124365},\n }\n```\n\n- 或者（会议版本）：https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58\n```\n@inproceedings{cui-etal-2020-revisiting,\n    title = \"Revisiting Pre-Trained Models for {C}hinese Natural Language Processing\",\n    author = \"Cui, Yiming  and\n      Che, Wanxiang  and\n      Liu, Ting  and\n      Qin, Bing  and\n      Wang, Shijin  and\n      Hu, Guoping\",\n    booktitle = \"Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings\",\n    month = nov,\n    year = \"2020\",\n    address = \"Online\",\n    publisher = \"Association for Computational Linguistics\",\n    url = \"https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58\",\n    pages = \"657--668\",\n}\n```\n\n\n## 致谢\n第一作者部分受到[**谷歌TPU Research Cloud**](https:\u002F\u002Fwww.tensorflow.org\u002Ftfrc)计划资助。\n\n\n## 免责声明\n**本项目并非谷歌官方发布的Chinese BERT-wwm模型。同时，本项目不是哈工大或科大讯飞的官方产品。**\n技术报告中所呈现的实验结果仅表明在特定数据集和超参组合下的表现，并不能代表各个模型的本质。\n实验结果可能因随机数种子，计算设备而发生改变。\n**该项目中的内容仅供技术研究参考，不作为任何结论性依据。使用者可以在许可证范围内任意使用该模型，但我们不对因使用该项目内容造成的直接或间接损失负责。**\n\n\n## 关注我们\n欢迎关注哈工大讯飞联合实验室官方微信公众号，了解最新的技术动态。\n\n![qrcode.png](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-BERT-wwm_readme_a467d80e8c8d.jpg)\n\n\n## 问题反馈\n如有问题，请在GitHub Issue中提交。\n\n","# [Chinese-LLaMA-Alpaca-2 v1.0版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)已正式发布！\n\n[**中文说明**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002F) | [**English**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fblob\u002Fmaster\u002FREADME_EN.md)\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-BERT-wwm_readme_30623fc5bc46.png\" width=\"500\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fblob\u002Fmaster\u002FLICENSE\">\n        \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FChinese-BERT-wwm.svg?color=blue&style=flat-square\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large, RBT3, RBTL3等。  \n\n- **[Pre-Training with Whole Word Masking for Chinese BERT](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397)**  \n- *Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Ziqing Yang*\n- Published in *IEEE\u002FACM Transactions on Audio, Speech, and Language Processing (TASLP)*\n\n本项目基于谷歌官方BERT：https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\n\n----\n\n[中文LERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT) | [中英文PERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT) | [中文MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [中文BERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm) | [知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner)\n\n查看更多哈工大讯飞联合实验室（HFL）发布的资源：https:\u002F\u002Fgithub.com\u002Fymcui\u002FHFL-Anthology\n\n## 新闻\n**2023\u002F3\u002F28 开源了中文LLaMA&Alpaca大模型，可快速在PC上部署体验，查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca**\n\n2023\u002F3\u002F9 我们提出了一种图文多模态预训练模型VLE，查看：https:\u002F\u002Fgithub.com\u002Fiflytek\u002FVLE \n\n2022\u002F11\u002F15 我们提出了中文小型预训练模型MiniRBT。查看：https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT\n\n2022\u002F10\u002F29 我们提出了一种融合语言学信息的预训练模型LERT。查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT\n\n2022\u002F3\u002F30 我们开源了一种新预训练模型PERT。查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT\n\n\u003Cdetails>\n\u003Csummary>历史新闻\u003C\u002Fsummary>\n2021\u002F12\u002F17 哈工大讯飞联合实验室推出模型裁剪工具包TextPruner。查看：https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner\n\n2021\u002F10\u002F24 哈工大讯飞联合实验室发布面向少数民族语言的预训练模型CINO。查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-Minority-PLM\n\n2021\u002F7\u002F21 由哈工大SCIR多位学者撰写的[《自然语言处理：基于预训练模型的方法》](https:\u002F\u002Fitem.jd.com\u002F13344628.html)已出版，欢迎大家选购。\n\n2021\u002F1\u002F27 所有模型已支持TensorFlow 2，请通过transformers库进行调用或下载。https:\u002F\u002Fhuggingface.co\u002Fhfl\n\n2020\u002F9\u002F15 我们的论文[\"Revisiting Pre-Trained Models for Chinese Natural Language Processing\"](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.13922)被[Findings of EMNLP](https:\u002F\u002F2020.emnlp.org)录用为长文。\n\n2020\u002F8\u002F27 哈工大讯飞联合实验室在通用自然语言理解评测GLUE中荣登榜首，查看[GLUE榜单](https:\u002F\u002Fgluebenchmark.com\u002Fleaderboard)，[新闻](http:\u002F\u002Fdwz.date\u002FckrD)。\n\n2020\u002F3\u002F23 本目录发布的模型已接入[飞桨PaddleHub](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleHub)，查看[快速加载](#快速加载)\n\n2020\u002F3\u002F11 为了更好地了解需求，邀请您填写[调查问卷](https:\u002F\u002Fwj.qq.com\u002Fs2\u002F5637766\u002F6281)，以便为大家提供更好的资源。\n\n2020\u002F2\u002F26 哈工大讯飞联合实验室发布[知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer)\n\n2020\u002F1\u002F20 祝大家鼠年大吉，本次发布了RBT3、RBTL3（3层RoBERTa-wwm-ext-base\u002Flarge），查看[小参数量模型](#小参数量模型)\n\n2019\u002F12\u002F19 本目录发布的模型已接入[Huggingface-Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)，查看[快速加载](#快速加载)\n\n2019\u002F10\u002F14 发布萝卜塔RoBERTa-wwm-ext-large模型，查看[中文模型下载](#中文模型下载)\n\n2019\u002F9\u002F10 发布萝卜塔RoBERTa-wwm-ext模型，查看[中文模型下载](#中文模型下载)\n\n2019\u002F7\u002F30 提供了在更大通用语料（5.4B词数）上训练的中文`BERT-wwm-ext`模型，查看[中文模型下载](#中文模型下载)\n\n2019\u002F6\u002F20 初始版本，模型已可通过谷歌下载，国内云盘也已上传完毕，查看[中文模型下载](#中文模型下载)\n\u003C\u002Fdetails>\n\n## 内容导引\n| 章节 | 描述 |\n|-|-|\n| [简介](#简介) | 介绍BERT-wwm基本原理 |\n| [中文模型下载](#中文模型下载) | 提供了BERT-wwm的下载地址 |\n| [快速加载](#快速加载) | 介绍了如何使用[🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)、[PaddleHub](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleHub)快速加载模型 |\n| [模型对比](#模型对比) | 提供了本目录中模型的参数对比 |\n| [中文基线系统效果](#中文基线系统效果) | 列举了部分中文基线系统效果 |\n| [小参数量模型](#小参数量模型) | 列举了小参数量模型（3层Transformer）的效果 |\n| [使用建议](#使用建议) | 提供了若干使用中文预训练模型的建议 |\n| [英文模型下载](#英文模型下载) | 谷歌官方的英文BERT-wwm下载地址 |\n| [FAQ](#FAQ) | 常见问题答疑 |\n| [引用](#引用) | 本目录的技术报告 |\n\n\n## 简介\n**Whole Word Masking (wwm)**，暂翻译为`全词Mask`或`整词Mask`，是谷歌在2019年5月31日发布的一项BERT的升级版本，主要更改了原预训练阶段的训练样本生成策略。\n简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被mask。\n在`全词Mask`中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他部分也会被mask，即`全词Mask`。\n\n**需要注意的是，这里的mask指的是广义的mask（替换成[MASK]；保持原词汇；随机替换成另外一个词），并非只局限于单词替换成`[MASK]`标签的情况。\n更详细的说明及样例请参考：[#4](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fissues\u002F4)**\n\n同理，由于谷歌官方发布的`BERT-base, Chinese`中，中文是以**字**为粒度进行切分，没有考虑到传统NLP中的中文分词（CWS）。\n我们将全词Mask的方法应用在了中文中，使用了中文维基百科（包括简体和繁体）进行训练，并且使用了[哈工大LTP](http:\u002F\u002Fltp.ai)作为分词工具，即对组成同一个**词**的汉字全部进行Mask。\n\n下述文本展示了`全词Mask`的生成样例。\n**注意：为了方便理解，下述例子中只考虑替换成[MASK]标签的情况。**\n\n| 说明 | 样例 |\n| :------- | :--------- |\n| 原始文本 | 使用语言模型来预测下一个词的probability。 |\n| 分词文本 | 使用 语言 模型 来 预测 下 一个 词 的 probability 。 |\n| 原始Mask输入 | 使 用 语 言 [MASK] 型 来 [MASK] 测 下 一 个 词 的 pro [MASK] ##lity 。 |\n| 全词Mask输入 | 使 用 语 言 [MASK] [MASK] 来 [MASK] [MASK] 下 一 个 词 的 [MASK] [MASK] [MASK] 。 |\n\n\n## 中文模型下载\n本目录中主要包含base模型，故我们不在模型简称中标注`base`字样。对于其他大小的模型会标注对应的标记（例如large）。\n\n* **`BERT-large模型`**：24-layer, 1024-hidden, 16-heads, 330M parameters  \n* **`BERT-base模型`**：12-layer, 768-hidden, 12-heads, 110M parameters  \n\n**注意：开源版本不包含MLM任务的权重；如需做MLM任务，请使用额外数据进行二次预训练（和其他下游任务一样）。**\n\n| 模型简称 | 语料 | 🤗HF下载 | 百度网盘下载 |\n| :------- | :--------: | :---------: | :---------: |\n| **`BERT-wwm, Chinese`** | 中文维基 | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-bert-wwm) | [TensorFlow（密码qfh8）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1HDdDXiYxGT5ub5OeO7qdWw?pwd=qfh8) |\n| **`BERT-wwm-ext, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-bert-wwm-ext) | [TensorFlow（密码wgnt）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1x-jIw1X2yNYHGak2yiq4RQ?pwd=wgnt) |\n| **`RoBERTa-wwm-ext, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-roberta-wwm-ext) | [TensorFlow（密码vybq）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1oR0cgSXE3Nz6dESxr98qVA?pwd=vybq) |\n| **`RoBERTa-wwm-ext-large, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-roberta-wwm-ext-large) | [TensorFlow（密码dqqe）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1F68xzCLWEonTEVP7HQ0Ciw?pwd=dqqe) |\n| **`RBT3, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbt3) | [TensorFlow（密码5a57）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1AnapwWj1YBZ_4E6AAtj2lg?pwd=5a57) |\n| **`RBT4, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbt4) | [TensorFlow（密码sjpt）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1MUrmuTULnMn3L1aw_dXxSA?pwd=sjpt) |\n| **`RBT6, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbt6) | [TensorFlow（密码hniy）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1_MDAIYIGVgDovWkSs51NDA?pwd=hniy) |\n| **`RBTL3, Chinese`** | EXT数据\u003Csup>[1]\u003C\u002Fsup> | [HF Link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Frbtl3) | [TensorFlow（密码s6cu）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1vV9ClBMbsSpt8wUpfQz62Q?pwd=s6cu) |\n\n\n> [1] EXT数据包括：中文维基百科，其他百科、新闻、问答等数据，总词数达5.4B。\n\n### PyTorch版本\n\n如需PyTorch版本，\n\n1）请自行通过[🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)提供的转换脚本进行转换。\n\n2）或者通过huggingface官网直接下载PyTorch版权重：https:\u002F\u002Fhuggingface.co\u002Fhfl\n\n下载方法：点击任意需要下载的模型 → 选择\"Files and versions\"选项卡 → 下载对应的模型文件。\n\n### 使用说明\n\n中国大陆境内建议使用百度网盘下载点，境外用户建议使用谷歌下载点，base模型文件大小约**400M**。 \n以TensorFlow版`BERT-wwm, Chinese`为例，下载完毕后对zip文件进行解压得到：\n\n```\nchinese_wwm_L-12_H-768_A-12.zip\n    |- bert_model.ckpt      # 模型权重\n    |- bert_model.meta      # 模型meta信息\n    |- bert_model.index     # 模型index信息\n    |- bert_config.json     # 模型参数\n    |- vocab.txt            # 词表\n```\n其中`bert_config.json`和`vocab.txt`与谷歌原版`BERT-base, Chinese`完全一致。\nPyTorch版本则包含`pytorch_model.bin`, `bert_config.json`, `vocab.txt`文件。\n\n\n## 快速加载\n### 使用Huggingface-Transformers\n\n依托于[🤗transformers库](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)，可轻松调用以上模型。\n```\ntokenizer = BertTokenizer.from_pretrained(\"MODEL_NAME\")\nmodel = BertModel.from_pretrained(\"MODEL_NAME\")\n```\n**注意：本目录中的所有模型均使用BertTokenizer以及BertModel加载，请勿使用RobertaTokenizer\u002FRobertaModel！**\n\n其中`MODEL_NAME`对应列表如下：\n\n| 模型名 | MODEL_NAME |\n| - | - |\n| RoBERTa-wwm-ext-large | hfl\u002Fchinese-roberta-wwm-ext-large |\n| RoBERTa-wwm-ext | hfl\u002Fchinese-roberta-wwm-ext |\n| BERT-wwm-ext | hfl\u002Fchinese-bert-wwm-ext |\n| BERT-wwm | hfl\u002Fchinese-bert-wwm |\n| RBT3 | hfl\u002Frbt3 |\n| RBTL3 | hfl\u002Frbtl3 |\n\n### 使用PaddleHub\n\n依托[PaddleHub](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleHub)，只需一行代码即可完成模型下载安装，十余行代码即可完成文本分类、序列标注、阅读理解等任务。\n\n```\nimport paddlehub as hub\nmodule = hub.Module(name=MODULE_NAME)\n```\n\n其中`MODULE_NAME`对应列表如下：\n\n| 模型名 | MODULE_NAME |\n| - | - |\n| RoBERTa-wwm-ext-large | [chinese-roberta-wwm-ext-large](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-roberta-wwm-ext-large&en_category=SemanticModel) |\n| RoBERTa-wwm-ext       | [chinese-roberta-wwm-ext](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-roberta-wwm-ext&en_category=SemanticModel) |\n| BERT-wwm-ext          | [chinese-bert-wwm-ext](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-bert-wwm-ext&en_category=SemanticModel) |\n| BERT-wwm              | [chinese-bert-wwm](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=chinese-bert-wwm&en_category=SemanticModel) |\n| RBT3                  | [rbt3](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=rbt3&en_category=SemanticModel) |\n| RBTL3                 | [rbtl3](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fhubdetail?name=rbtl3&en_category=SemanticModel) |\n\n\n## 模型对比\n针对大家比较关心的一些模型细节进行汇总如下。\n\n| - | BERT\u003Csup>Google\u003C\u002Fsup> | BERT-wwm | BERT-wwm-ext | RoBERTa-wwm-ext | RoBERTa-wwm-ext-large |\n| :------- | :---------: | :---------: | :---------: | :---------: | :---------: |\n| Masking | WordPiece | WWM\u003Csup>[1]\u003C\u002Fsup> | WWM | WWM | WWM |\n| Type | base | base | base | base | **large** |\n| Data Source | wiki | wiki | wiki+ext\u003Csup>[2]\u003C\u002Fsup> | wiki+ext | wiki+ext |\n| Training Tokens # | 0.4B | 0.4B | 5.4B | 5.4B | 5.4B |\n| Device | TPU Pod v2 | TPU v3 | TPU v3 | TPU v3 | **TPU Pod v3-32\u003Csup>[3]\u003C\u002Fsup>** |\n| Training Steps | ? | 100K\u003Csup>MAX128\u003C\u002Fsup> \u003Cbr\u002F>+100K\u003Csup>MAX512\u003C\u002Fsup> | 1M\u003Csup>MAX128\u003C\u002Fsup> \u003Cbr\u002F>+400K\u003Csup>MAX512\u003C\u002Fsup> | 1M\u003Csup>MAX512\u003C\u002Fsup> | 2M\u003Csup>MAX512\u003C\u002Fsup> |\n| Batch Size | ? | 2,560 \u002F 384 | 2,560 \u002F 384 | 384 | 512 |\n| Optimizer | AdamW | LAMB | LAMB | AdamW | AdamW |\n| Vocabulary | 21,128 | ~BERT\u003Csup>[4]\u003C\u002Fsup> | ~BERT | ~BERT | ~BERT |\n| Init Checkpoint | Random Init | ~BERT | ~BERT | ~BERT | Random Init |\n\n> [1] WWM = Whole Word Masking  \n> [2] ext = extended data  \n> [3] TPU Pod v3-32 (512G HBM)等价于4个TPU v3 (128G HBM)  \n> [4] `~BERT`表示**继承**谷歌原版中文BERT的属性  \n\n\n## 中文基线系统效果\n为了对比基线效果，我们在以下几个中文数据集上进行了测试，包括`句子级`和`篇章级`任务。\n对于`BERT-wwm-ext`、`RoBERTa-wwm-ext`、`RoBERTa-wwm-ext-large`，我们**没有进一步调整最佳学习率**，而是直接使用了`BERT-wwm`的最佳学习率。\n\n最佳学习率：  \n\n| 模型 | BERT | ERNIE | BERT-wwm* |\n| :------- | :---------: | :---------: | :---------: |\n| CMRC 2018 | 3e-5 | 8e-5 | 3e-5 |\n| DRCD | 3e-5 | 8e-5 | 3e-5 |\n| CJRC | 4e-5 | 8e-5 | 4e-5 |\n| XNLI | 3e-5 | 5e-5 | 3e-5 |\n| ChnSentiCorp | 2e-5 | 5e-5 | 2e-5 |\n| LCQMC  | 2e-5 | 3e-5 | 2e-5 |\n| BQ Corpus | 3e-5 | 5e-5 | 3e-5 |\n| THUCNews | 2e-5 | 5e-5 | 2e-5 |\n\n*代表所有wwm系列模型 (BERT-wwm, BERT-wwm-ext, RoBERTa-wwm-ext, RoBERTa-wwm-ext-large)\n\n\n**下面仅列举部分结果，完整结果请查看我们的[技术报告](https:\u002F\u002Farxiv.org\u002Fabs\u002F1906.08101)。**\n\n- [**CMRC 2018**：篇章片段抽取型阅读理解（简体中文）](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)\n- [**DRCD**：篇章片段抽取型阅读理解（繁体中文）](https:\u002F\u002Fgithub.com\u002FDRCSolutionService\u002FDRCD)\n- [**CJRC**: 法律阅读理解（简体中文）](http:\u002F\u002Fcail.cipsc.org.cn)\n- [**XNLI**：自然语言推断](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)\n- [**ChnSentiCorp**：情感分析](https:\u002F\u002Fgithub.com\u002Fpengming617\u002Fbert_classification)\n- [**LCQMC**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)\n- [**BQ Corpus**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)\n- [**THUCNews**：篇章级文本分类](http:\u002F\u002Fthuctc.thunlp.org)\n\n**注意：为了保证结果的可靠性，对于同一模型，我们运行10遍（不同随机种子），汇报模型性能的最大值和平均值（括号内为平均值）。不出意外，你运行的结果应该很大概率落在这个区间内。**\n\n**评测指标中，括号内表示平均值，括号外表示最大值。**\n\n\n### 简体中文阅读理解：CMRC 2018\n[**CMRC 2018数据集**](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)是哈工大讯飞联合实验室发布的中文机器阅读理解数据。\n根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。\n评测指标为：EM \u002F F1\n\n| 模型 | 开发集 | 测试集 | 挑战集 |\n| :------- | :---------: | :---------: | :---------: |\n| BERT | 65.5 (64.4) \u002F 84.5 (84.0) | 70.0 (68.7) \u002F 87.0 (86.3) | 18.6 (17.0) \u002F 43.3 (41.3) |\n| ERNIE | 65.4 (64.3) \u002F 84.7 (84.2) | 69.4 (68.2) \u002F 86.6 (86.1) | 19.6 (17.0) \u002F 44.3 (42.8) |\n| **BERT-wwm** | 66.3 (65.0) \u002F 85.6 (84.7) | 70.5 (69.1) \u002F 87.4 (86.7) | 21.0 (19.3) \u002F 47.0 (43.9) |\n| **BERT-wwm-ext** | 67.1 (65.6) \u002F 85.7 (85.0) | 71.4 (70.0) \u002F 87.7 (87.0) | 24.0 (20.0) \u002F 47.3 (44.6) |\n| **RoBERTa-wwm-ext** | 67.4 (66.5) \u002F 87.2 (86.5) | 72.6 (71.4) \u002F 89.4 (88.8) | 26.2 (24.6) \u002F 51.0 (49.1) |\n| **RoBERTa-wwm-ext-large** | **68.5 (67.6) \u002F 88.4 (87.9)** | **74.2 (72.4) \u002F 90.6 (90.0)** | **31.5 (30.1) \u002F 60.1 (57.5)** |\n\n\n### 繁体中文阅读理解：DRCD\n[**DRCD数据集**](https:\u002F\u002Fgithub.com\u002FDRCKnowledgeTeam\u002FDRCD)由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。\n**由于ERNIE中去除了繁体中文字符，故不建议在繁体中文数据上使用ERNIE（或转换成简体中文后再处理）。**\n评测指标为：EM \u002F F1\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 83.1 (82.7) \u002F 89.9 (89.6) | 82.2 (81.6) \u002F 89.2 (88.8) |\n| ERNIE | 73.2 (73.0) \u002F 83.9 (83.8) | 71.9 (71.4) \u002F 82.5 (82.3) |\n| **BERT-wwm** | 84.3 (83.4) \u002F 90.5 (90.2) | 82.8 (81.8) \u002F 89.7 (89.0) |\n| **BERT-wwm-ext** | 85.0 (84.5) \u002F 91.2 (90.9) | 83.6 (83.0) \u002F 90.4 (89.9) |\n| **RoBERTa-wwm-ext** | 86.6 (85.9) \u002F 92.5 (92.2) | 85.6 (85.2) \u002F 92.0 (91.7) |\n| **RoBERTa-wwm-ext-large** | **89.6 (89.1) \u002F 94.8 (94.4)** | **89.6 (88.9) \u002F 94.5 (94.1)** |\n\n\n### 司法阅读理解：CJRC\n[**CJRC数据集**](http:\u002F\u002Fcail.cipsc.org.cn)是哈工大讯飞联合实验室发布的面向**司法领域**的中文机器阅读理解数据。\n需要注意的是实验中使用的数据并非官方发布的最终数据，结果仅供参考。\n评测指标为：EM \u002F F1\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 54.6 (54.0) \u002F 75.4 (74.5) | 55.1 (54.1) \u002F 75.2 (74.3) |\n| ERNIE | 54.3 (53.9) \u002F 75.3 (74.6) | 55.0 (53.9) \u002F 75.0 (73.9) |\n| **BERT-wwm** | 54.7 (54.0) \u002F 75.2 (74.8) | 55.1 (54.1) \u002F 75.4 (74.4) |\n| **BERT-wwm-ext** | 55.6 (54.8) \u002F 76.0 (75.3) | 55.6 (54.9) \u002F 75.8 (75.0) |\n| **RoBERTa-wwm-ext** | 58.7 (57.6) \u002F 79.1 (78.3) | 59.0 (57.8) \u002F 79.0 (78.0) |\n| **RoBERTa-wwm-ext-large** | **62.1 (61.1) \u002F 82.4 (81.6)** | **62.4 (61.4) \u002F 82.2 (81.0)** |\n\n### 自然语言推断：XNLI\n在自然语言推断任务中，我们采用了[**XNLI**数据](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)，需要将文本分成三个类别：`entailment`，`neutral`，`contradictory`。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 77.8 (77.4) | 77.8 (77.5) |\n| ERNIE | 79.7 (79.4) | 78.6 (78.2) |\n| **BERT-wwm** | 79.0 (78.4) | 78.2 (78.0) |\n| **BERT-wwm-ext** | 79.4 (78.6) | 78.7 (78.3) |\n| **RoBERTa-wwm-ext** | 80.0 (79.2) | 78.8 (78.3) |\n| **RoBERTa-wwm-ext-large** | **82.1 (81.3)** | **81.2 (80.6)** |\n\n\n### 情感分析：ChnSentiCorp\n在情感分析任务中，二分类的情感分类数据集ChnSentiCorp。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 94.7 (94.3) | 95.0 (94.7) |\n| ERNIE | 95.4 (94.8) | 95.4 **(95.3)** |\n| **BERT-wwm** | 95.1 (94.5) | 95.4 (95.0) |\n| **BERT-wwm-ext** | 95.4 (94.6) | 95.3 (94.7) |\n| **RoBERTa-wwm-ext** | 95.0 (94.6) | 95.6 (94.8) |\n| **RoBERTa-wwm-ext-large** | **95.8 (94.9)** | **95.8** (94.9) |\n\n\n### 句对分类：LCQMC, BQ Corpus\n以下两个数据集均需要将一个句对进行分类，判断两个句子的语义是否相同（二分类任务）。\n\n#### LCQMC\n[LCQMC](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)由哈工大深圳研究生院智能计算研究中心发布。 \n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 89.4 (88.4) | 86.9 (86.4) |\n| ERNIE | 89.8 (89.6) | **87.2 (87.0)** |\n| **BERT-wwm** | 89.4 (89.2) | 87.0 (86.8) |\n| **BERT-wwm-ext** | 89.6 (89.2) | 87.1 (86.6) |\n| **RoBERTa-wwm-ext** | 89.0 (88.7) | 86.4 (86.1) |\n| **RoBERTa-wwm-ext-large** | **90.4 (90.0)** | 87.0 (86.8) |\n\n\n#### BQ Corpus \n[BQ Corpus](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)由哈工大深圳研究生院智能计算研究中心发布，是面向银行领域的数据集。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 86.0 (85.5) | 84.8 (84.6) |\n| ERNIE | 86.3 (85.5) | 85.0 (84.6) |\n| **BERT-wwm** | 86.1 (85.6) | 85.2 **(84.9)** |\n| **BERT-wwm-ext** | **86.4** (85.5) | 85.3 (84.8) |\n| **RoBERTa-wwm-ext** | 86.0 (85.4) | 85.0 (84.6) |\n| **RoBERTa-wwm-ext-large** | 86.3 **(85.7)** | **85.8 (84.9)** |\n\n\n### 篇章级文本分类：THUCNews\n篇章级文本分类任务我们选用了由清华大学自然语言处理实验室发布的新闻数据集**THUCNews**。\n我们采用的是其中一个子集，需要将新闻分成10个类别中的一个。\n评测指标为：Accuracy\n\n| 模型 | 开发集 | 测试集 |\n| :------- | :---------: | :---------: |\n| BERT | 97.7 (97.4) | 97.8 (97.6) |\n| ERNIE | 97.6 (97.3) | 97.5 (97.3) |\n| **BERT-wwm** | 98.0 (97.6) | 97.8 (97.6) |\n| **BERT-wwm-ext** | 97.7 (97.5) | 97.7 (97.5) |\n| **RoBERTa-wwm-ext** | 98.3 (97.9) | 97.7 (97.5) |\n| **RoBERTa-wwm-ext-large** | 98.3 (97.7) | 97.8 (97.6) |\n\n\n### 小参数量模型\n以下是在若干NLP任务上的实验效果，表中只提供测试集结果对比。\n\n| 模型 | CMRC 2018 | DRCD | XNLI | CSC | LCQMC | BQ | 平均 | 参数量 |\n| :------- | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: |\n| RoBERTa-wwm-ext-large | 74.2 \u002F 90.6 | 89.6 \u002F 94.5 | 81.2 | 95.8 | 87.0 | 85.8 | 87.335 | 325M |\n| RoBERTa-wwm-ext | 72.6 \u002F 89.4 | 85.6 \u002F 92.0 | 78.8 | 95.6 | 86.4 | 85.0 | 85.675 | 102M |\n| RBTL3 | 63.3 \u002F 83.4 | 77.2 \u002F 85.6 | 74.0 | 94.2 | 85.1 | 83.6 | 80.800 | 61M (59.8%) |\n| RBT3 | 62.2 \u002F 81.8 | 75.0 \u002F 83.9 | 72.3 | 92.8 | 85.1 | 83.3 | 79.550 | 38M (37.3%) |\n\n效果相对值比较：\n\n| 模型 | CMRC 2018 | DRCD | XNLI | CSC | LCQMC | BQ | 平均 | 分类平均 |\n| :------- | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: | :---------: |\n| RoBERTa-wwm-ext-large | 102.2% \u002F 101.3% | 104.7% \u002F 102.7% | 103.0% | 100.2% | 100.7% | 100.9% | 101.9% | 101.2% |\n| RoBERTa-wwm-ext | 100% \u002F 100% | 100% \u002F 100% | 100% | 100% | 100% | 100% | 100% | 100% |\n| RBTL3 | 87.2% \u002F 93.3% | 90.2% \u002F 93.0% | 93.9% | 98.5% | 98.5% | 98.4% | 94.3% | 97.35% |\n| RBT3 | 85.7% \u002F 91.5% | 87.6% \u002F 91.2% | 91.8% | 97.1% | 98.5% | 98.0% | 92.9% | 96.35% |\n\n- 参数量是以XNLI分类任务为基准进行计算\n- 括号内参数量百分比以原始base模型（即RoBERTa-wwm-ext）为基准\n- RBT3：由RoBERTa-wwm-ext 3层进行初始化，继续训练了1M步\n- RBTL3：由RoBERTa-wwm-ext-large 3层进行初始化，继续训练了1M步\n- RBT的名字是RoBERTa三个音节首字母组成，L代表large模型\n- 直接使用RoBERTa-wwm-ext-large前三层进行初始化并进行下游任务的训练将显著降低效果，例如在CMRC 2018上测试集仅能达到42.9\u002F65.3，而RBTL3能达到63.3\u002F83.4\n\n欢迎使用效果更优的中文小型预训练模型MiniRBT：https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT\n\n## 使用建议\n* 初始学习率是非常重要的一个参数（不论是`BERT`还是其他模型），需要根据目标任务进行调整。\n* `ERNIE`的最佳学习率和`BERT`\u002F`BERT-wwm`相差较大，所以使用`ERNIE`时请务必调整学习率（基于以上实验结果，`ERNIE`需要的初始学习率较高）。\n* 由于`BERT`\u002F`BERT-wwm`使用了维基百科数据进行训练，故它们对正式文本建模较好；而`ERNIE`使用了额外的百度贴吧、知道等网络数据，它对非正式文本（例如微博等）建模有优势。\n* 在长文本建模任务上，例如阅读理解、文档分类，`BERT`和`BERT-wwm`的效果较好。\n* 如果目标任务的数据和预训练模型的领域相差较大，请在自己的数据集上进一步做预训练。\n* 如果要处理繁体中文数据，请使用`BERT`或者`BERT-wwm`。因为我们发现`ERNIE`的词表中几乎没有繁体中文。\n\n\n## 英文模型下载\n为了方便大家下载，顺便带上**谷歌官方发布**的英文`BERT-large (wwm)`模型：\n\n*   **[`BERT-Large, Uncased (Whole Word Masking)`](https:\u002F\u002Fstorage.googleapis.com\u002Fbert_models\u002F2019_05_30\u002Fwwm_uncased_L-24_H-1024_A-16.zip)**:\n    24-layer, 1024-hidden, 16-heads, 340M parameters\n\n*   **[`BERT-Large, Cased (Whole Word Masking)`](https:\u002F\u002Fstorage.googleapis.com\u002Fbert_models\u002F2019_05_30\u002Fwwm_cased_L-24_H-1024_A-16.zip)**:\n    24-layer, 1024-hidden, 16-heads, 340M parameters\n\n## FAQ\n**Q: 这个模型怎么用？**  \nA: 谷歌发布的中文BERT怎么用，这个就怎么用。\n**文本不需要经过分词，wwm只影响预训练过程，不影响下游任务的输入。**\n\n**Q: 请问有预训练代码提供吗？**  \nA: 很遗憾，我不能提供相关代码，实现可以参考 [#10](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fissues\u002F10) 和 [#13](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm\u002Fissues\u002F13)。\n\n**Q: 某某数据集在哪里下载？**  \nA: 请查看`data`目录，任务目录下的`README.md`标明了数据来源。对于有版权的内容，请自行搜索或与原作者联系获取数据。\n\n**Q: 会有计划发布更大模型吗？比如BERT-large-wwm版本？**  \nA: 如果我们从实验中得到更好效果，会考虑发布更大的版本。\n\n**Q: 你骗人！无法复现结果😂**  \nA: 在下游任务中，我们采用了最简单的模型。比如分类任务，我们直接使用的是`run_classifier.py`（谷歌提供）。\n如果无法达到平均值，说明实验本身存在bug，请仔细排查。\n最高值存在很多随机因素，我们无法保证能够达到最高值。\n另外一个公认的因素：降低batch size会显著降低实验效果，具体可参考BERT，XLNet目录的相关Issue。\n\n**Q: 我训出来比你更好的结果！**  \nA: 恭喜你。\n\n**Q: 训练花了多长时间，在什么设备上训练的？**  \nA: 训练是在谷歌TPU v3版本（128G HBM）完成的，训练BERT-wwm花费约1.5天，BERT-wwm-ext则需要数周时间（使用了更多数据需要迭代更充分）。\n需要注意的是，预训练阶段我们使用的是`LAMB Optimizer`（[TensorFlow版本实现](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLAMB_Optimizer_TF)）。该优化器对大的batch有良好的支持。\n在微调下游任务时，我们采用的是BERT默认的`AdamWeightDecayOptimizer`。\n\n**Q: ERNIE是谁？**  \nA: 本项目中的ERNIE模型特指百度公司提出的[ERNIE](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FLARK\u002Ftree\u002Fdevelop\u002FERNIE)，而非清华大学在ACL 2019上发表的[ERNIE](https:\u002F\u002Fgithub.com\u002Fthunlp\u002FERNIE)。\n\n**Q: BERT-wwm的效果不是在所有任务都很好**  \nA: 本项目的目的是为研究者提供多元化的预训练模型，自由选择BERT，ERNIE，或者是BERT-wwm。\n我们仅提供实验数据，具体效果如何还是得在自己的任务中不断尝试才能得出结论。\n多一个模型，多一种选择。\n\n**Q: 为什么有些数据集上没有试？**  \nA: 很坦率的说：\n1）没精力找更多的数据；\n2）没有必要； \n3）没有钞票；\n\n**Q: 简单评价一下这几个模型**  \nA: 各有侧重，各有千秋。\n中文自然语言处理的研究发展需要多方共同努力。\n\n**Q: 你预测下一个预训练模型叫什么？**  \nA: 可能叫ZOE吧，ZOE: Zero-shOt Embeddings from language model\n\n**Q: 更多关于`RoBERTa-wwm-ext`模型的细节？**  \nA: 我们集成了RoBERTa和BERT-wwm的优点，对两者进行了一个自然的结合。\n和之前本目录中的模型之间的区别如下:  \n1）预训练阶段采用wwm策略进行mask（但没有使用dynamic masking）  \n2）简单取消Next Sentence Prediction（NSP）loss  \n3）不再采用先max_len=128然后再max_len=512的训练模式，直接训练max_len=512  \n4）训练步数适当延长  \n\n需要注意的是，该模型并非原版RoBERTa模型，只是按照类似RoBERTa训练方式训练出的BERT模型，即RoBERTa-like BERT。\n故在下游任务使用、模型转换时请按BERT的方式处理，而非RoBERTa。\n\n## 引用\n如果本项目中的资源或技术对你的研究工作有所帮助，欢迎在论文中引用下述论文。\n- 首选（期刊扩充版）：https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397\n```\n@journal{cui-etal-2021-pretrain,\n  title={Pre-Training with Whole Word Masking for Chinese BERT},\n  author={Cui, Yiming and Che, Wanxiang and Liu, Ting and Qin, Bing and Yang, Ziqing},\n  journal={IEEE Transactions on Audio, Speech and Language Processing},\n  year={2021},\n  url={https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397},\n  doi={10.1109\u002FTASLP.2021.3124365},\n }\n```\n\n- 或者（会议版本）：https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58\n```\n@inproceedings{cui-etal-2020-revisiting,\n    title = \"Revisiting Pre-Trained Models for {C}hinese Natural Language Processing\",\n    author = \"Cui, Yiming  and\n      Che, Wanxiang  and\n      Liu, Ting  and\n      Qin, Bing  and\n      Wang, Shijin  and\n      Hu, Guoping\",\n    booktitle = \"Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings\",\n    month = nov,\n    year = \"2020\",\n    address = \"Online\",\n    publisher = \"Association for Computational Linguistics\",\n    url = \"https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58\",\n    pages = \"657--668\",\n}\n```\n\n\n## 致谢\n第一作者部分受到[**谷歌TPU Research Cloud**](https:\u002F\u002Fwww.tensorflow.org\u002Ftfrc)计划资助。\n\n\n## 免责声明\n**本项目并非谷歌官方发布的Chinese BERT-wwm模型。同时，本项目不是哈工大或科大讯飞的官方产品。**\n技术报告中所呈现的实验结果仅表明在特定数据集和超参组合下的表现，并不能代表各个模型的本质。\n实验结果可能因随机数种子，计算设备而发生改变。\n**该项目中的内容仅供技术研究参考，不作为任何结论性依据。使用者可以在许可证范围内任意使用该模型，但我们不对因使用该项目内容造成的直接或间接损失负责。**\n\n\n## 关注我们\n欢迎关注哈工大讯飞联合实验室官方微信公众号，了解最新的技术动态。\n\n![qrcode.png](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-BERT-wwm_readme_a467d80e8c8d.jpg)\n\n\n## 问题反馈\n如有问题，请在GitHub Issue中提交。","# Chinese-BERT-wwm 快速上手指南\n\nChinese-BERT-wwm 是由哈工大讯飞联合实验室（HFL）发布的中文预训练模型系列。该模型基于谷歌 BERT 架构，引入了**全词掩码（Whole Word Masking, WWM）**技术，解决了传统中文 BERT 按字切分导致语义割裂的问题，显著提升了中文自然语言处理任务的效果。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux, macOS, 或 Windows\n*   **Python 版本**：推荐 Python 3.7+\n*   **核心依赖**：\n    *   `transformers` (Hugging Face)\n    *   `torch` (PyTorch) 或 `tensorflow` (根据需求选择)\n    *   `sentencepiece` (部分模型可能需要)\n\n**前置依赖安装命令：**\n\n```bash\n# 安装 PyTorch (请访问 pytorch.org 获取适合您 CUDA 版本的安装命令)\n# 示例 (CPU 版本):\npip install torch torchvision torchaudio\n\n# 安装 transformers 库\npip install transformers\n```\n\n> **提示**：国内用户若下载依赖较慢，可使用清华源或阿里源加速：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple transformers torch`\n\n## 2. 安装与模型加载\n\nChinese-BERT-wwm 系列模型已完美集成至 Hugging Face `transformers` 库，无需手动下载权重文件即可直接通过代码加载。\n\n### 推荐方案：使用 Hugging Face Transformers\n\n这是最简便的方式，库会自动处理模型的下载和缓存。\n\n**注意**：本系列所有模型（包括 RoBERTa 变体）在 `transformers` 中均统一使用 `BertTokenizer` 和 `BertModel` 进行加载，**请勿**使用 `RobertaTokenizer`。\n\n#### 可用模型列表\n\n| 模型名称 | 对应 Identifier (MODEL_NAME) | 特点 |\n| :--- | :--- | :--- |\n| BERT-wwm | `hfl\u002Fchinese-bert-wwm` | 基础版，基于中文维基 |\n| BERT-wwm-ext | `hfl\u002Fchinese-bert-wwm-ext` | 增强版，增加额外语料 (5.4B tokens) |\n| RoBERTa-wwm-ext | `hfl\u002Fchinese-roberta-wwm-ext` | 动态掩码，更大批次训练 |\n| RoBERTa-wwm-ext-large | `hfl\u002Fchinese-roberta-wwm-ext-large` | 大型模型，效果更佳但资源消耗大 |\n| RBT3 \u002F RBTL3 | `hfl\u002Frbt3` \u002F `hfl\u002Frbtl3` | 轻量级模型 (3 层)，适合部署 |\n\n## 3. 基本使用\n\n以下是最简单的使用示例，展示如何加载分词器和模型，并对文本进行编码。\n\n### 示例代码\n\n```python\nfrom transformers import BertTokenizer, BertModel\nimport torch\n\n# 1. 指定模型名称 (此处以效果较好的 RoBERTa-wwm-ext 为例)\nmodel_name = \"hfl\u002Fchinese-roberta-wwm-ext\"\n\n# 2. 加载分词器和模型\n# 自动从 Hugging Face 服务器下载并缓存模型\ntokenizer = BertTokenizer.from_pretrained(model_name)\nmodel = BertModel.from_pretrained(model_name)\n\n# 3. 准备输入文本\ntext = \"自然语言处理是人工智能的重要领域。\"\n\n# 4. 文本编码 (添加特殊令牌、截断、填充等)\ninputs = tokenizer(text, return_tensors=\"pt\", padding=True, truncation=True, max_length=512)\n\n# 5. 获取模型输出\nwith torch.no_grad():\n    outputs = model(**inputs)\n\n# 6. 查看结果\n# last_hidden_state: [batch_size, sequence_length, hidden_size]\nlast_hidden_states = outputs.last_hidden_state\nprint(f\"输入形状：{inputs['input_ids'].shape}\")\nprint(f\"输出向量形状：{last_hidden_states.shape}\")\n\n# 获取 [CLS] 标记的向量 (通常用于句子级分类任务)\ncls_vector = last_hidden_states[:, 0, :]\nprint(f\"CLS 向量维度：{cls_vector.shape}\")\n```\n\n### 国内网络加速方案\n\n如果直接从 Hugging Face 官网下载模型速度过慢或失败，建议设置镜像环境变量：\n\n**Linux \u002F macOS:**\n```bash\nexport HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\npython your_script.py\n```\n\n**Windows (PowerShell):**\n```powershell\n$env:HF_ENDPOINT=\"https:\u002F\u002Fhf-mirror.com\"\npython your_script.py\n```\n\n设置后，`from_pretrained` 函数将自动从国内镜像源下载模型文件。","某电商公司的算法团队正在构建一个智能评论分析系统，旨在从海量用户反馈中精准提取产品优缺点及情感倾向。\n\n### 没有 Chinese-BERT-wwm 时\n- **语义割裂严重**：传统分词将“充电宝”切分为“充电”和“宝”，导致模型无法理解这是一个完整商品概念，误判为“正在充电的宝贝”。\n- **实体识别准确率低**：在处理如“蓝牙耳机”、“智能手机”等复合词时，因字粒度掩码策略，模型难以捕捉词内字的紧密关联，频繁出现识别错误。\n- **微调收敛缓慢**：由于预训练阶段未模拟完整的词掩码场景，下游任务需要更多标注数据和更长训练周期才能达到可用效果。\n- **长尾词汇理解差**：对于行业特有的新词或专有名词，基于子词的预测往往支离破碎，无法形成统一的语义表示。\n\n### 使用 Chinese-BERT-wwm 后\n- **完整词义感知**：Chinese-BERT-wwm 采用全词掩码技术，强制模型在预训练时学习“充电宝”等整词的上下文关系，彻底消除语义割裂。\n- **实体抽取更精准**：模型能准确识别复合实体边界，将“蓝牙耳机”作为一个整体处理，显著提升了产品名称和关键属性的提取准确率。\n- **训练效率大幅提升**：得益于更贴合中文特性的预训练策略，下游情感分类任务在少量数据下即可快速收敛，且最终 F1 值提升明显。\n- **新词适应能力强**：即使面对未登录词，只要其构成字在词汇表中，全词掩码机制也能帮助模型更好地推断其整体含义。\n\nChinese-BERT-wwm 通过还原中文“以词为单位”的语言特性，从根本上解决了字粒度模型带来的语义碎片化问题，让机器真正读懂中文语境。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-BERT-wwm_30623fc5.png","ymcui","Yiming Cui","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fymcui_27303d50.jpg","NLP Researcher. Mainly interested in Pre-trained Language Model, Machine Reading Comprehension, Question Answering, etc.",null,"Beijing, China","conandiy@vip.qq.com","KCrosner","http:\u002F\u002Fymcui.github.io","https:\u002F\u002Fgithub.com\u002Fymcui",[84],{"name":85,"color":86,"percentage":87},"Python","#3572A5",100,10197,1389,"2026-04-12T09:55:54","Apache-2.0",1,"未说明",{"notes":95,"python":93,"dependencies":96},"README 中未明确列出具体的操作系统、GPU 型号、显存大小、内存需求或 Python 版本。模型可通过 Huggingface Transformers 库加载（支持 PyTorch 和 TensorFlow），也可通过 PaddleHub 加载。Base 模型文件大小约 400MB，Large 模型更大。开源版本不包含 MLM 任务权重，如需进行掩码语言模型任务需使用额外数据进行二次预训练。加载 RoBERTa 系列模型时需注意仍应使用 BertTokenizer 和 BertModel，而非 RobertaTokenizer\u002FRobertaModel。",[97,98,99],"transformers","tensorflow (可选)","paddlehub (可选)",[35,14],[102,103,104,105,106,107,108,109,110,111],"chinese-bert","tensorflow","pytorch","bert","nlp","roberta","bert-wwm","bert-wwm-ext","roberta-wwm","rbt","2026-03-27T02:49:30.150509","2026-04-13T22:45:49.198516",[],[]]