[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ymcui--MacBERT":3,"tool-ymcui--MacBERT":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",147882,2,"2026-04-09T11:32:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":76,"stars":82,"forks":83,"last_commit_at":84,"license":85,"difficulty_score":32,"env_os":86,"env_gpu":86,"env_ram":86,"env_deps":87,"category_tags":91,"github_topics":92,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":100,"updated_at":101,"faqs":102,"releases":137},5913,"ymcui\u002FMacBERT","MacBERT","Revisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)","MacBERT 是一款专为中文自然语言处理优化的预训练模型，旨在解决传统 BERT 模型在“预训练”与“下游应用”阶段存在的不一致问题。在标准的掩码语言模型中，特殊的 [MASK] 标记仅在训练时出现，导致模型在实际使用时面对未见过的标记而表现受限。MacBERT 创新性地引入了“纠错型掩码”机制，不再使用 [MASK] 标记，而是利用语义相似词进行替换，让模型在预训练阶段就能学习如何根据上下文修正错误词汇。此外，它还结合了全词掩码和 N-gram 掩码技术，进一步提升了理解能力。\n\n由于 MacBERT 的整体架构与原始 BERT 完全兼容，开发者无需修改现有代码即可无缝切换，轻松获得显著的性能提升。它特别适合从事中文文本分类、阅读理解、情感分析等任务的研究人员和算法工程师使用。无论是希望复现前沿学术成果的高校团队，还是致力于优化产品体验的企业开发组，都能通过 MacBERT 获得更精准的中文语义理解能力。目前，该模型已提供 Base 和 Large 两种规格，并支持通过 Hugging Face 等平台快速加载，是中文 NLP 领域值得尝试的高效基线模型。","[**简体中文**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [**English**](.\u002FREADME_EN.md)\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_MacBERT_readme_019a5a4cea41.png\" width=\"500\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fblob\u002Fmaster\u002FLICENSE\">\n        \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FMacBERT.svg?color=blue&style=flat-square\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n本目录包含**MacBERT预训练模型**，该模型引入了一种纠错型掩码语言模型（Mac）预训练任务，缓解了“预训练-下游任务”不一致的问题。MacBERT在多种NLP任务上取得了显著性能提升。\n\n\n- **[Revisiting Pre-trained Models for Chinese Natural Language Processing](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58)**  \n- *Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, Guoping Hu*\n- Published in *Findings of EMNLP 2020*\n\n----\n\n[中文MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner)\n\n更多HFL发布的资源：https:\u002F\u002Fgithub.com\u002Fymcui\u002FHFL-Anthology\n\n## News\n**2023\u002F3\u002F28 开源了中文LLaMA&Alpaca大模型，可快速在PC上部署体验，查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca**\n\n2022\u002F3\u002F30 发布了新的预训练模型PERT：https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT\n\n2021\u002F12\u002F17 发布了模型裁剪工具TextPruner：https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner\n\n2021\u002F10\u002F24 发布了首个面向少数民族语言的预训练模型CINO：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-Minority-PLM\n\n2021\u002F7\u002F21  [\"自然语言处理：基于预训练模型的方法\"](https:\u002F\u002Fitem.jd.com\u002F13344628.html) 一书正式出版。\n\n2020\u002F11\u002F3 预训练好的中文MacBERT已发布，使用方法与BERT一致。\n\n2020\u002F9\u002F15 论文[\"Revisiting Pre-Trained Models for Chinese Natural Language Processing\"](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.13922) 被[Findings of EMNLP](https:\u002F\u002F2020.emnlp.org) 录用为长文。\n\n\n## 目录\n| 章节 | 描述 |\n|-|-|\n| [简介](#简介) | 简要介绍MacBERT |\n| [下载](#下载) | 下载MacBERT |\n| [快速加载](#快速加载) | 介绍如何使用 [🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) 快速加载模型 |\n| [基线效果](#基线效果) | 在中文NLP任务上的效果 |\n| [FAQ](#FAQ) | 常见问题 |\n| [引用](#引用) | 文章引用信息 |\n\n\n## 简介\n**MacBERT** 是BERT的改进版本，引入了纠错型掩码语言模型（MLM as correction，Mac）预训练任务，缓解了“预训练-下游任务”不一致的问题。\n\n掩码语言模型（MLM）中，引入了[MASK]标记进行掩码，但[MASK]标记并不会出现在下游任务中。在MacBERT中，**我们使用相似词来取代[MASK]标记**。相似词通过[Synonyms toolkit (Wang and Hu, 2017)](https:\u002F\u002Fgithub.com\u002Fchatopera\u002FSynonyms)工具获取，算法基于word2vec (Mikolov et al., 2013)相似度计算。同时我们也引入了Whole Word Masking（wwm）和N-gram masking技术。当要对N-gram进行掩码时，我们会对N-gram里的每个词分别查找相似词。当没有相似词可替换时，我们将使用随机词进行替换。\n\n以下是训练样本示例。\n\n|  | 例子       |\n| -------------- | ----------------- |\n| **原始句子** | we use a language model to predict the probability of the next word. |\n|  **MLM** | we use a language [M] to [M] ##di ##ct the pro [M] ##bility of the next word . |\n| **Whole word masking**   | we use a language [M] to [M] [M] [M] the [M] [M] [M] of the next word . |\n| **N-gram masking** | we use a [M] [M] to [M] [M] [M] the [M] [M] [M] [M] [M] next word . |\n| **MLM as correction** | we use a text system to ca ##lc ##ulate the po ##si ##bility of the next word . |\n\n**MacBERT的主要框架与BERT完全一致，可在不修改现有代码的基础上进行无缝过渡。**\n\n更多细节请参考我们的论文：**[Revisiting Pre-trained Models for Chinese Natural Language Processing](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58)**  \n\n\n## 下载\n* **`MacBERT-large, Chinese`**: 24-layer, 1024-hidden, 16-heads, 324M parameters   \n* **`MacBERT-base, Chinese`**：12-layer, 768-hidden, 12-heads, 102M parameters   \n\n| 模型                                |                         🤗HF                         |                        百度盘                        | 大小 |\n| :----------------------------------- | :----------------------------------------------------------: | :----------------------------------------------------------: | :--: |\n| **`MacBERT-large, Chinese`**    | [HF link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-macbert-large) | [TensorFlow（pw:zejf）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1nJEjhUAnWGO_1RPki21mxA?pwd=zejf) | 1.2G |\n| **`MacBERT-base, Chinese`**     | [HF link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-macbert-base) | [TensorFlow（pw:61ga）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1EAs2fmraqtvfia5Q5rXnuQ?pwd=61ga) | 383M |\n\n\n## 快速加载\n通过  [🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)  可以快速加载MacBERT模型。\n\n```\ntokenizer = BertTokenizer.from_pretrained(\"MODEL_NAME\")\nmodel = BertModel.from_pretrained(\"MODEL_NAME\")\n```\n**注意：请使用BertTokenizer和BertModel来加载MacBERT模型！**\n\n对应的`MODEL_NAME` 如下所示：\n\n| 原模型        | 模型调用名                |\n| ------------- | ------------------------- |\n| MacBERT-large | hfl\u002Fchinese-macbert-large |\n| MacBERT-base  | hfl\u002Fchinese-macbert-base  |\n\n## 基线效果\n这里展示MacBERT在6个下游任务上的效果（更多结果请参考论文）：\n\n- [**CMRC 2018 (Cui et al., 2019)**：抽取式阅读理解（简体中文）](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)\n- [**DRCD (Shao et al., 2018)**：抽取式阅读理解（繁体中文）](https:\u002F\u002Fgithub.com\u002FDRCSolutionService\u002FDRCD)\n- [**XNLI (Conneau et al., 2018)**：自然语言推断](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)\n- [**ChnSentiCorp**：情感分类](https:\u002F\u002Fgithub.com\u002Fpengming617\u002Fbert_classification)\n- [**LCQMC (Liu et al., 2018)**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)\n- [**BQ Corpus (Chen et al., 2018)**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)\n\n为了保证结果的稳定性，我们同时给出独立运行10次的平均值（括号内）和最大值。\n\n### CMRC 2018\n[**CMRC 2018数据集**](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)是哈工大讯飞联合实验室发布的中文机器阅读理解数据。\n根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。\n评测指标为：EM \u002F F1\n\n| Model                     |        Development        |           Test            |         Challenge         | #Params |\n| :------------------------ | :-----------------------: | :-----------------------: | :-----------------------: | :-----: |\n| BERT-base                 | 65.5 (64.4) \u002F 84.5 (84.0) | 70.0 (68.7) \u002F 87.0 (86.3) | 18.6 (17.0) \u002F 43.3 (41.3) |  102M   |\n| BERT-wwm                  | 66.3 (65.0) \u002F 85.6 (84.7) | 70.5 (69.1) \u002F 87.4 (86.7) | 21.0 (19.3) \u002F 47.0 (43.9) |  102M   |\n| BERT-wwm-ext              | 67.1 (65.6) \u002F 85.7 (85.0) | 71.4 (70.0) \u002F 87.7 (87.0) | 24.0 (20.0) \u002F 47.3 (44.6) |  102M   |\n| RoBERTa-wwm-ext           | 67.4 (66.5) \u002F 87.2 (86.5) | 72.6 (71.4) \u002F 89.4 (88.8) | 26.2 (24.6) \u002F 51.0 (49.1) |  102M   |\n| ELECTRA-base          | 68.4 (68.0) \u002F 84.8 (84.6) | 73.1 (72.7) \u002F 87.1 (86.9) | 22.6 (21.7) \u002F 45.0 (43.8) |  102M   |\n| **MacBERT-base** | 68.5 (67.3) \u002F 87.9 (87.1) |73.2 (72.4) \u002F 89.5 (89.2)|30.2 (26.4) \u002F 54.0 (52.2)|102M|\n| ELECTRA-large         |        69.1 (68.2) \u002F 85.2 (84.5)        |        73.9 (72.8) \u002F 87.1 (86.6)        |        23.0 (21.6) \u002F 44.2 (43.2)        |  324M   |\n| RoBERTa-wwm-ext-large | 68.5 (67.6) \u002F 88.4 (87.9) | 74.2 (72.4) \u002F 90.6 (90.0) | 31.5 (30.1) \u002F 60.1 (57.5) |324M|\n| **MacBERT-large** | 70.7 (68.6) \u002F 88.9 (88.2) | 74.8 (73.2) \u002F 90.7 (90.1) | 31.9 (29.6) \u002F 60.2 (57.6) | 324M |\n\n\n### DRCD\n[**DRCD数据集**](https:\u002F\u002Fgithub.com\u002FDRCKnowledgeTeam\u002FDRCD)由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。\n**由于ERNIE中去除了繁体中文字符，故不建议在繁体中文数据上使用ERNIE（或转换成简体中文后再处理）。**\n评测指标为：EM \u002F F1\n\n| Model                     |        Development        |           Test            | #Params |\n| :------------------------ | :-----------------------: | :-----------------------: | :-----: |\n| BERT-base                 | 83.1 (82.7) \u002F 89.9 (89.6) | 82.2 (81.6) \u002F 89.2 (88.8) |  102M   |\n| BERT-wwm                  | 84.3 (83.4) \u002F 90.5 (90.2) | 82.8 (81.8) \u002F 89.7 (89.0) |  102M   |\n| BERT-wwm-ext              | 85.0 (84.5) \u002F 91.2 (90.9) | 83.6 (83.0) \u002F 90.4 (89.9) |  102M   |\n| RoBERTa-wwm-ext           | 86.6 (85.9) \u002F 92.5 (92.2) | 85.6 (85.2) \u002F 92.0 (91.7) |  102M   |\n| ELECTRA-base          | 87.5 (87.0) \u002F 92.5 (92.3) | 86.9 (86.6) \u002F 91.8 (91.7) |  102M   |\n| **MacBERT-base** | 89.4 (89.2) \u002F 94.3 (94.1) | 89.5 (88.7) \u002F 93.8 (93.5) | 102M |\n| ELECTRA-large         |        88.8 (88.7) \u002F 93.3 (93.2)        |        88.8 (88.2) \u002F 93.6 (93.2)        |  324M   |\n| RoBERTa-wwm-ext-large | 89.6 (89.1) \u002F 94.8 (94.4) | 89.6 (88.9) \u002F 94.5 (94.1) |324M|\n| **MacBERT-large** | 91.2 (90.8) \u002F 95.6 (95.3) | 91.7 (90.9) \u002F 95.6 (95.3) |324M|\n\n\n### XNLI\n在自然语言推断任务中，我们采用了[**XNLI**数据](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)，需要将文本分成三个类别：`entailment`，`neutral`，`contradictory`。\n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT-base                 | 77.8 (77.4) | 77.8 (77.5) |  102M   |\n| BERT-wwm                  | 79.0 (78.4) | 78.2 (78.0) |  102M   |\n| BERT-wwm-ext              | 79.4 (78.6) | 78.7 (78.3) |  102M   |\n| RoBERTa-wwm-ext           | 80.0 (79.2) | 78.8 (78.3) |  102M   |\n| ELECTRA-base          | 77.9 (77.0) | 78.4 (77.8) |  102M   |\n| **MacBERT-base** | 80.3 (79.7) | 79.3 (78.8) | 102M |\n| ELECTRA-large         |    81.5 (80.8)    |    81.0 (80.9)    |  324M   |\n| RoBERTa-wwm-ext-large | 82.1 (81.3) | 81.2 (80.6) |324M|\n| **MacBERT-large** | 82.4 (81.8) | 81.3 (80.6) |324M|\n\n\n### ChnSentiCorp\n在情感分析任务中，二分类的情感分类数据集ChnSentiCorp。\n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT-base                 | 94.7 (94.3) | 95.0 (94.7) |  102M   |\n| BERT-wwm                  | 95.1 (94.5) | 95.4 (95.0) |  102M   |\n| BERT-wwm-ext              | 95.4 (94.6) | 95.3 (94.7) |  102M   |\n| RoBERTa-wwm-ext           | 95.0 (94.6) | 95.6 (94.8) |  102M   |\n| ELECTRA-base          | 93.8 (93.0) | 94.5 (93.5) |  102M   |\n| **MacBERT-base** | 95.2 (94.8) | 95.6 (94.9) | 102M |\n| ELECTRA-large         |    95.2 (94.6)    |    95.3 (94.8)    |  324M   |\n| RoBERTa-wwm-ext-large | 95.8 (94.9) | 95.8 (94.9) |324M|\n| **MacBERT-large** | 95.7 (95.0) | 95.9 (95.1) | 324M |\n\n\n### LCQMC\n[LCQMC](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)由哈工大深圳研究生院智能计算研究中心发布。 \n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT                      | 89.4 (88.4) | 86.9 (86.4) |  102M   |\n| BERT-wwm                  | 89.4 (89.2) | 87.0 (86.8) |  102M   |\n| BERT-wwm-ext              | 89.6 (89.2) | 87.1 (86.6) |  102M   |\n| RoBERTa-wwm-ext           | 89.0 (88.7) | 86.4 (86.1) |  102M   |\n| ELECTRA-base          | 90.2 (89.8) | 87.6 (87.3) |  102M   |\n| **MacBERT-base** | 89.5 (89.3) | 87.0 (86.5) | 102M |\n| ELECTRA-large         |    90.7 (90.4)    |    87.3 (87.2)    |  324M   |\n| RoBERTa-wwm-ext-large | 90.4 (90.0) | 87.0 (86.8) |324M|\n| **MacBERT-large** | 90.6 (90.3) | 87.6 (87.1) | 324M |\n\n### BQ Corpus \n[BQ Corpus](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)由哈工大深圳研究生院智能计算研究中心发布，是面向银行领域的数据集。\n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT                      | 86.0 (85.5) | 84.8 (84.6) |  102M   |\n| BERT-wwm                  | 86.1 (85.6) | 85.2 (84.9) |  102M   |\n| BERT-wwm-ext              | 86.4 (85.5) | 85.3 (84.8) |  102M   |\n| RoBERTa-wwm-ext           | 86.0 (85.4) | 85.0 (84.6) |  102M   |\n| ELECTRA-base          | 84.8 (84.7) | 84.5 (84.0) |  102M   |\n| **MacBERT-base** | 86.0 (85.5) | 85.2 (84.9) | 102M |\n| ELECTRA-large         |    86.7 (86.2)    |    85.1 (84.8)    |  324M   |\n| RoBERTa-wwm-ext-large | 86.3 (85.7) | 85.8 (84.9) |324M|\n| **MacBERT-large** | 86.2 (85.7) | 85.6 (85.0) | 324M |\n\n## FAQ\n**Q1: 有英文版的MacBERT吗？**\n\nA1: 目前没有。\n\n**Q2: 如何使用MacBERT？**\n\nA2: 和使用BERT一样，只需要简单替换模型文件和config就能使用了。当然，你也可以通过加载我们的模型（即初始化transformers部分）来进一步训练其他预训练模型。\n\n**Q3: 能提供MacBERT的训练代码吗？**\n\nA3: 暂无开源计划。\n\n**Q4: 能开源预训练的语料吗？**\n\nA4: 我们无法开源训练语料，因为没有相应重发布的权利。GitHub上有一些开源中文语料资源，可以多加关注利用。\n\n**Q5: 有计划在更大的语料上训练MacBERT并开源吗？**\n\nA5: 我们暂时没有计划。\n\n## 引用\n如果本项目中的资源对您的研究有帮助，请引用以下论文。\n\n```\n@inproceedings{cui-etal-2020-revisiting,\n    title = \"Revisiting Pre-Trained Models for {C}hinese Natural Language Processing\",\n    author = \"Cui, Yiming  and\n      Che, Wanxiang  and\n      Liu, Ting  and\n      Qin, Bing  and\n      Wang, Shijin  and\n      Hu, Guoping\",\n    booktitle = \"Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings\",\n    month = nov,\n    year = \"2020\",\n    address = \"Online\",\n    publisher = \"Association for Computational Linguistics\",\n    url = \"https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58\",\n    pages = \"657--668\",\n}\n```\n\n或者：\n```\n@journal{cui-etal-2021-pretrain,\n  title={Pre-Training with Whole Word Masking for Chinese BERT},\n  author={Cui, Yiming and Che, Wanxiang and Liu, Ting and Qin, Bing and Yang, Ziqing},\n  journal={IEEE Transactions on Audio, Speech and Language Processing},\n  year={2021},\n  url={https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397},\n  doi={10.1109\u002FTASLP.2021.3124365},\n }\n```\n\n## 致谢\n感谢Google [TPU Research Cloud (TFRC)](https:\u002F\u002Fwww.tensorflow.org\u002Ftfrc)提供计算资源支持。\n\n\n\n## 问题反馈\n如有问题，请在GitHub Issue中提交。\n\n- 在提交问题之前，请先查看FAQ能否解决问题，同时建议查阅以往的issue是否能解决你的问题。\n- 重复以及与本项目无关的issue会被[stable-bot](stale · GitHub Marketplace)处理，敬请谅解。\n- 我们会尽可能的解答你的问题，但无法保证你的问题一定会被解答。\n- 礼貌地提出问题，构建和谐的讨论社区。\n","[**简体中文**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [**English**](.\u002FREADME_EN.md)\n\n\u003Cp align=\"center\">\n    \u003Cbr>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_MacBERT_readme_019a5a4cea41.png\" width=\"500\"\u002F>\n    \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fblob\u002Fmaster\u002FLICENSE\">\n        \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FMacBERT.svg?color=blue&style=flat-square\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n本目录包含**MacBERT预训练模型**，该模型引入了一种纠错型掩码语言模型（Mac）预训练任务，缓解了“预训练-下游任务”不一致的问题。MacBERT在多种NLP任务上取得了显著性能提升。\n\n\n- **[Revisiting Pre-trained Models for Chinese Natural Language Processing](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58)**  \n- *Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, Guoping Hu*\n- Published in *Findings of EMNLP 2020*\n\n----\n\n[中文MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner)\n\n更多HFL发布的资源：https:\u002F\u002Fgithub.com\u002Fymcui\u002FHFL-Anthology\n\n## News\n**2023\u002F3\u002F28 开源了中文LLaMA&Alpaca大模型，可快速在PC上部署体验，查看：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca**\n\n2022\u002F3\u002F30 发布了新的预训练模型PERT：https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT\n\n2021\u002F12\u002F17 发布了模型裁剪工具TextPruner：https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner\n\n2021\u002F10\u002F24 发布了首个面向少数民族语言的预训练模型CINO：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-Minority-PLM\n\n2021\u002F7\u002F21  [\"自然语言处理：基于预训练模型的方法\"](https:\u002F\u002Fitem.jd.com\u002F13344628.html) 一书正式出版。\n\n2020\u002F11\u002F3 预训练好的中文MacBERT已发布，使用方法与BERT一致。\n\n2020\u002F9\u002F15 论文[\"Revisiting Pre-Trained Models for Chinese Natural Language Processing\"](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.13922) 被[Findings of EMNLP](https:\u002F\u002F2020.emnlp.org) 录用为长文。\n\n\n## 目录\n| 章节 | 描述 |\n|-|-|\n| [简介](#简介) | 简要介绍MacBERT |\n| [下载](#下载) | 下载MacBERT |\n| [快速加载](#快速加载) | 介绍如何使用 [🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) 快速加载模型 |\n| [基线效果](#基线效果) | 在中文NLP任务上的效果 |\n| [FAQ](#FAQ) | 常见问题 |\n| [引用](#引用) | 文章引用信息 |\n\n\n## 简介\n**MacBERT** 是BERT的改进版本，引入了纠错型掩码语言模型（MLM as correction，Mac）预训练任务，缓解了“预训练-下游任务”不一致的问题。\n\n掩码语言模型（MLM）中，引入了[MASK]标记进行掩码，但[MASK]标记并不会出现在下游任务中。在MacBERT中，**我们使用相似词来取代[MASK]标记**。相似词通过[Synonyms toolkit (Wang and Hu, 2017)](https:\u002F\u002Fgithub.com\u002Fchatopera\u002FSynonyms)工具获取，算法基于word2vec (Mikolov et al., 2013)相似度计算。同时我们也引入了Whole Word Masking（wwm）和N-gram masking技术。当要对N-gram进行掩码时，我们会对N-gram里的每个词分别查找相似词。当没有相似词可替换时，我们将使用随机词进行替换。\n\n以下是训练样本示例。\n\n|  | 例子       |\n| -------------- | ----------------- |\n| **原始句子** | we use a language model to predict the probability of the next word. |\n|  **MLM** | we use a language [M] to [M] ##di ##ct the pro [M] ##bility of the next word . |\n| **Whole word masking**   | we use a language [M] to [M] [M] [M] the [M] [M] [M] of the next word . |\n| **N-gram masking** | we use a [M] [M] to [M] [M] [M] the [M] [M] [M] [M] [M] next word . |\n| **MLM as correction** | we use a text system to ca ##lc ##ulate the po ##si ##bility of the next word . |\n\n**MacBERT的主要框架与BERT完全一致，可在不修改现有代码的基础上进行无缝过渡。**\n\n更多细节请参考我们的论文：**[Revisiting Pre-trained Models for Chinese Natural Language Processing](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58)**  \n\n\n## 下载\n* **`MacBERT-large, Chinese`**: 24-layer, 1024-hidden, 16-heads, 324M parameters   \n* **`MacBERT-base, Chinese`**：12-layer, 768-hidden, 12-heads, 102M parameters   \n\n| 模型                                |                         🤗HF                         |                        百度盘                        | 大小 |\n| :----------------------------------- | :----------------------------------------------------------: | :----------------------------------------------------------: | :--: |\n| **`MacBERT-large, Chinese`**    | [HF link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-macbert-large) | [TensorFlow（pw:zejf）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1nJEjhUAnWGO_1RPki21mxA?pwd=zejf) | 1.2G |\n| **`MacBERT-base, Chinese`**     | [HF link](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-macbert-base) | [TensorFlow（pw:61ga）](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1EAs2fmraqtvfia5Q5rXnuQ?pwd=61ga) | 383M |\n\n\n## 快速加载\n通过  [🤗Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)  可以快速加载MacBERT模型。\n\n```\ntokenizer = BertTokenizer.from_pretrained(\"MODEL_NAME\")\nmodel = BertModel.from_pretrained(\"MODEL_NAME\")\n```\n**注意：请使用BertTokenizer和BertModel来加载MacBERT模型！**\n\n对应的`MODEL_NAME` 如下所示：\n\n| 原模型        | 模型调用名                |\n| ------------- | ------------------------- |\n| MacBERT-large | hfl\u002Fchinese-macbert-large |\n| MacBERT-base  | hfl\u002Fchinese-macbert-base  |\n\n## 基线效果\n这里展示MacBERT在6个下游任务上的效果（更多结果请参考论文）：\n\n- [**CMRC 2018 (Cui et al., 2019)**：抽取式阅读理解（简体中文）](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)\n- [**DRCD (Shao et al., 2018)**：抽取式阅读理解（繁体中文）](https:\u002F\u002Fgithub.com\u002FDRCSolutionService\u002FDRCD)\n- [**XNLI (Conneau et al., 2018)**：自然语言推断](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)\n- [**ChnSentiCorp**：情感分类](https:\u002F\u002Fgithub.com\u002Fpengming617\u002Fbert_classification)\n- [**LCQMC (Liu et al., 2018)**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)\n- [**BQ Corpus (Chen et al., 2018)**：句对匹配](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)\n\n为了保证结果的稳定性，我们同时给出独立运行10次的平均值（括号内）和最大值。\n\n### CMRC 2018\n[**CMRC 2018数据集**](https:\u002F\u002Fgithub.com\u002Fymcui\u002Fcmrc2018)是哈工大讯飞联合实验室发布的中文机器阅读理解数据。\n根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。\n评测指标为：EM \u002F F1\n\n| Model                     |        Development        |           Test            |         Challenge         | #Params |\n| :------------------------ | :-----------------------: | :-----------------------: | :-----------------------: | :-----: |\n| BERT-base                 | 65.5 (64.4) \u002F 84.5 (84.0) | 70.0 (68.7) \u002F 87.0 (86.3) | 18.6 (17.0) \u002F 43.3 (41.3) |  102M   |\n| BERT-wwm                  | 66.3 (65.0) \u002F 85.6 (84.7) | 70.5 (69.1) \u002F 87.4 (86.7) | 21.0 (19.3) \u002F 47.0 (43.9) |  102M   |\n| BERT-wwm-ext              | 67.1 (65.6) \u002F 85.7 (85.0) | 71.4 (70.0) \u002F 87.7 (87.0) | 24.0 (20.0) \u002F 47.3 (44.6) |  102M   |\n| RoBERTa-wwm-ext           | 67.4 (66.5) \u002F 87.2 (86.5) | 72.6 (71.4) \u002F 89.4 (88.8) | 26.2 (24.6) \u002F 51.0 (49.1) |  102M   |\n| ELECTRA-base          | 68.4 (68.0) \u002F 84.8 (84.6) | 73.1 (72.7) \u002F 87.1 (86.9) | 22.6 (21.7) \u002F 45.0 (43.8) |  102M   |\n| **MacBERT-base** | 68.5 (67.3) \u002F 87.9 (87.1) |73.2 (72.4) \u002F 89.5 (89.2)|30.2 (26.4) \u002F 54.0 (52.2)|102M|\n| ELECTRA-large         |        69.1 (68.2) \u002F 85.2 (84.5)        |        73.9 (72.8) \u002F 87.1 (86.6)        |        23.0 (21.6) \u002F 44.2 (43.2)        |  324M   |\n| RoBERTa-wwm-ext-large | 68.5 (67.6) \u002F 88.4 (87.9) | 74.2 (72.4) \u002F 90.6 (90.0) | 31.5 (30.1) \u002F 60.1 (57.5) |324M|\n| **MacBERT-large** | 70.7 (68.6) \u002F 88.9 (88.2) | 74.8 (73.2) \u002F 90.7 (90.1) | 31.9 (29.6) \u002F 60.2 (57.6) |  324M |\n\n### DRCD\n[**DRCD数据集**](https:\u002F\u002Fgithub.com\u002FDRCKnowledgeTeam\u002FDRCD)由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。\n**由于ERNIE中去除了繁体中文字符，故不建议在繁体中文数据上使用ERNIE（或转换成简体中文后再处理）。**\n评测指标为：EM \u002F F1\n\n| Model                     |        Development        |           Test            | #Params |\n| :------------------------ | :-----------------------: | :-----------------------: | :-----: |\n| BERT-base                 | 83.1 (82.7) \u002F 89.9 (89.6) | 82.2 (81.6) \u002F 89.2 (88.8) |  102M   |\n| BERT-wwm                  | 84.3 (83.4) \u002F 90.5 (90.2) | 82.8 (81.8) \u002F 89.7 (89.0) |  102M   |\n| BERT-wwm-ext              | 85.0 (84.5) \u002F 91.2 (90.9) | 83.6 (83.0) \u002F 90.4 (89.9) |  102M   |\n| RoBERTa-wwm-ext           | 86.6 (85.9) \u002F 92.5 (92.2) | 85.6 (85.2) \u002F 92.0 (91.7) |  102M   |\n| ELECTRA-base          | 87.5 (87.0) \u002F 92.5 (92.3) | 86.9 (86.6) \u002F 91.8 (91.7) |  102M   |\n| **MacBERT-base** | 89.4 (89.2) \u002F 94.3 (94.1) | 89.5 (88.7) \u002F 93.8 (93.5) |102M|\n| ELECTRA-large         |        88.8 (88.7) \u002F 93.3 (93.2)        |        88.8 (88.2) \u002F 93.6 (93.2)        |  324M   |\n| RoBERTa-wwm-ext-large | 89.6 (89.1) \u002F 94.8 (94.4) | 89.6 (88.9) \u002F 94.5 (94.1) |324M|\n| **MacBERT-large** | 91.2 (90.8) \u002F 95.6 (95.3) | 91.7 (90.9) \u002F 95.6 (95.3) |324M|\n\n\n### XNLI\n在自然语言推断任务中，我们采用了[**XNLI**数据](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert\u002Fblob\u002Fmaster\u002Fmultilingual.md)，需要将文本分成三个类别：`entailment`，`neutral`，`contradictory`。\n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT-base                 | 77.8 (77.4) | 77.8 (77.5) |  102M   |\n| BERT-wwm                  | 79.0 (78.4) | 78.2 (78.0) |  102M   |\n| BERT-wwm-ext              | 79.4 (78.6) | 78.7 (78.3) |  102M   |\n| RoBERTa-wwm-ext           | 80.0 (79.2) | 78.8 (78.3) |  102M   |\n| ELECTRA-base          | 77.9 (77.0) | 78.4 (77.8) |  102M   |\n| **MacBERT-base** | 80.3 (79.7) | 79.3 (78.8) |102M|\n| ELECTRA-large         |    81.5 (80.8)    |    81.0 (80.9)    |  324M   |\n| RoBERTa-wwm-ext-large | 82.1 (81.3) | 81.2 (80.6) |324M|\n| **MacBERT-large** | 82.4 (81.8) | 81.3 (80.6) |324M|\n\n\n### ChnSentiCorp\n在情感分析任务中，二分类的情感分类数据集ChnSentiCorp。\n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT-base                 | 94.7 (94.3) | 95.0 (94.7) |  102M   |\n| BERT-wwm                  | 95.1 (94.5) | 95.4 (95.0) |  102M   |\n| BERT-wwm-ext              | 95.4 (94.6) | 95.3 (94.7) |  102M   |\n| RoBERTa-wwm-ext           | 95.0 (94.6) | 95.6 (94.8) |  102M   |\n| ELECTRA-base          | 93.8 (93.0) | 94.5 (93.5) |  102M   |\n| **MacBERT-base** | 95.2 (94.8) | 95.6 (94.9) |102M|\n| ELECTRA-large         |    95.2 (94.6)    |    95.3 (94.8)    |  324M   |\n| RoBERTa-wwm-ext-large | 95.8 (94.9) | 95.8 (94.9) |324M|\n| **MacBERT-large** | 95.7 (95.0) | 95.9 (95.1) | 324M |\n\n\n### LCQMC\n[LCQMC](http:\u002F\u002Ficrc.hitsz.edu.cn\u002Finfo\u002F1037\u002F1146.htm)由哈工大深圳研究生院智能计算研究中心发布。 \n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT                      | 89.4 (88.4) | 86.9 (86.4) |  102M   |\n| BERT-wwm                  | 89.4 (89.2) | 87.0 (86.8) |  102M   |\n| BERT-wwm-ext              | 89.6 (89.2) | 87.1 (86.6) |  102M   |\n| RoBERTa-wwm-ext           | 89.0 (88.7) | 86.4 (86.1) |  102M   |\n| ELECTRA-base          | 90.2 (89.8) | 87.6 (87.3) |  102M   |\n| **MacBERT-base** | 89.5 (89.3) | 87.0 (86.5) | 102M |\n| ELECTRA-large         |    90.7 (90.4)    |    87.3 (87.2)    |  324M   |\n| RoBERTa-wwm-ext-large | 90.4 (90.0) | 87.0 (86.8) |324M|\n| **MacBERT-large** | 90.6 (90.3) | 87.6 (87.1) | 324M |\n\n### BQ Corpus \n[BQ Corpus](http:\u002F\u002Ficrc.hitsz.edu.cn\u002FArticle\u002Fshow\u002F175.html)由哈工大深圳研究生院智能计算研究中心发布，是面向银行领域的数据集。\n评测指标为：Accuracy\n\n| Model                     | Development |    Test     | #Params |\n| :------------------------ | :---------: | :---------: | :-----: |\n| BERT                      | 86.0 (85.5) | 84.8 (84.6) |  102M   |\n| BERT-wwm                  | 86.1 (85.6) | 85.2 (84.9) |  102M   |\n| BERT-wwm-ext              | 86.4 (85.5) | 85.3 (84.8) |  102M   |\n| RoBERTa-wwm-ext           | 86.0 (85.4) | 85.0 (84.6) |  102M   |\n| ELECTRA-base          | 84.8 (84.7) | 84.5 (84.0) |  102M   |\n| **MacBERT-base** | 86.0 (85.5) | 85.2 (84.9) |102M|\n| ELECTRA-large         |    86.7 (86.2)    |    85.1 (84.8)    |  324M   |\n| RoBERTa-wwm-ext-large | 86.3 (85.7) | 85.8 (84.9) |324M|\n| **MacBERT-large** | 86.2 (85.7) | 85.6 (85.0) | 324M |\n\n## FAQ\n**Q1: 有英文版的MacBERT吗？**\n\nA1: 目前没有。\n\n**Q2: 如何使用MacBERT？**\n\nA2: 和使用BERT一样，只需要简单替换模型文件和config就能使用了。当然，你也可以通过加载我们的模型（即初始化transformers部分）来进一步训练其他预训练模型。\n\n**Q3: 能提供MacBERT的训练代码吗？**\n\nA3: 暂无开源计划。\n\n**Q4: 能开源预训练的语料吗？**\n\nA4: 我们无法开源训练语料，因为没有相应重发布的权利。GitHub上有一些开源中文语料资源，可以多加关注利用。\n\n**Q5: 有计划在更大的语料上训练MacBERT并开源吗？**\n\nA5: 我们暂时没有计划。\n\n## 引用\n如果本项目中的资源对您的研究有帮助，请引用以下论文。\n\n```\n@inproceedings{cui-etal-2020-revisiting,\n    title = \"Revisiting Pre-Trained Models for {C}hinese Natural Language Processing\",\n    author = \"Cui, Yiming  and\n      Che, Wanxiang  and\n      Liu, Ting  and\n      Qin, Bing  and\n      Wang, Shijin  and\n      Hu, Guoping\",\n    booktitle = \"Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings\",\n    month = nov,\n    year = \"2020\",\n    address = \"Online\",\n    publisher = \"Association for Computational Linguistics\",\n    url = \"https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.findings-emnlp.58\",\n    pages = \"657--668\",\n}\n```\n\n或者：\n```\n@journal{cui-etal-2021-pretrain,\n  title={Pre-Training with Whole Word Masking for Chinese BERT},\n  author={Cui, Yiming and Che, Wanxiang and Liu, Ting and Qin, Bing and Yang, Ziqing},\n  journal={IEEE Transactions on Audio, Speech and Language Processing},\n  year={2021},\n  url={https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F9599397},\n  doi={10.1109\u002FTASLP.2021.3124365},\n }\n```\n\n## 致谢\n感谢Google [TPU Research Cloud (TFRC)](https:\u002F\u002Fwww.tensorflow.org\u002Ftfrc)提供计算资源支持。\n\n\n\n## 问题反馈\n如有问题，请在GitHub Issue中提交。\n\n- 在提交问题之前，请先查看FAQ能否解决问题，同时建议查阅以往的issue是否能解决你的问题。\n- 重复以及与本项目无关的issue会被[stable-bot](stale · GitHub Marketplace)处理，敬请谅解。\n- 我们会尽可能的解答你的问题，但无法保证你的问题一定会被解答。\n- 礼貌地提出问题，构建和谐的讨论社区。","# MacBERT 快速上手指南\n\nMacBERT 是专为中文自然语言处理优化的 BERT 改进版本。它引入了“纠错型掩码语言模型”（Mac）预训练任务，使用相似词替换传统的 `[MASK]` 标记，有效缓解了预训练与下游任务不一致的问题，在多种中文 NLP 任务中表现优异。\n\n## 1. 环境准备\n\n*   **系统要求**：Linux, macOS 或 Windows\n*   **Python 版本**：推荐 Python 3.6+\n*   **核心依赖**：\n    *   `torch` (PyTorch)\n    *   `transformers` (Hugging Face)\n\n请确保已安装 PyTorch。若未安装，可访问 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002F) 获取适合你环境的安装命令。\n\n## 2. 安装步骤\n\n推荐使用 pip 安装 `transformers` 库，MacBERT 可直接通过该库加载。\n\n```bash\npip install transformers\n```\n\n> **提示**：国内用户若下载速度较慢，可使用清华源加速安装：\n> ```bash\n> pip install transformers -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n无需额外下载模型文件，代码运行时会自动从 Hugging Face 或国内镜像拉取。\n\n## 3. 基本使用\n\nMacBERT 的调用方式与原生 BERT 完全一致。**注意**：加载时需使用 `BertTokenizer` 和 `BertModel` 类。\n\n### 最简单的加载示例\n\n以下代码演示如何加载中文 MacBERT-base 模型并进行简单的文本编码：\n\n```python\nfrom transformers import BertTokenizer, BertModel\n\n# 指定模型名称\nmodel_name = \"hfl\u002Fchinese-macbert-base\"\n\n# 加载分词器和模型\ntokenizer = BertTokenizer.from_pretrained(model_name)\nmodel = BertModel.from_pretrained(model_name)\n\n# 准备输入文本\ntext = \"MacBERT 是一个优秀的中文预训练模型。\"\n\n# 分词并转换为模型输入格式\ninputs = tokenizer(text, return_tensors=\"pt\")\n\n# 前向传播获取输出\noutputs = model(**inputs)\n\n# 获取最后一层隐藏状态\nlast_hidden_states = outputs.last_hidden_state\n\nprint(last_hidden_states.shape)\n```\n\n### 可选模型版本\n\n根据需求选择不同规模的模型，将 `model_name` 替换为以下对应值即可：\n\n| 模型版本 | 模型调用名 (`model_name`) | 参数量 |\n| :--- | :--- | :--- |\n| **Base** (推荐起步) | `hfl\u002Fchinese-macbert-base` | 102M |\n| **Large** (高性能) | `hfl\u002Fchinese-macbert-large` | 324M |\n\n### 微调提示\n\n在进行下游任务（如分类、阅读理解）微调时，只需将上述代码中的 `BertModel` 替换为 `BertForSequenceClassification`、`BertForQuestionAnswering` 等特定任务类，其余流程与标准 BERT 微调完全相同。","某电商公司的算法团队正在构建一个中文商品评论情感分析系统，旨在从海量用户反馈中精准识别产品优缺点。\n\n### 没有 MacBERT 时\n- **预训练与推理不一致**：传统 BERT 在训练时使用 `[MASK]` 标记，但实际评论数据中从未出现该标记，导致模型在上线后对真实文本的泛化能力下降。\n- **生硬掩码破坏语义**：将关键词直接替换为 `[MASK]` 切断了上下文逻辑，模型难以学习到词语间的细微语义关联，尤其在处理“不错”、“一般”等模糊情感词时表现不佳。\n- **长尾词汇识别率低**：对于电商标特有的新词或拼写变体，标准 MLM 任务缺乏纠错机制，模型容易将其误判为噪声，导致情感分类准确率卡在瓶颈期。\n- **调优成本高昂**：为了弥补架构缺陷，团队不得不花费大量时间进行数据增强和复杂的后处理规则编写，仍难以显著提升效果。\n\n### 使用 MacBERT 后\n- **消除分布差异**：MacBERT 引入“纠错型掩码”机制，用相似词（如将“好”替换为“棒”）替代 `[MASK]`，使预训练任务与真实评论场景高度一致，大幅提升了模型落地表现。\n- **语义理解更连贯**：通过同义词替换保留句子完整性，模型能更好地捕捉上下文逻辑，对“虽然贵但质量好”这类转折句的情感判断更加精准。\n- **具备天然纠错能力**：利用 N-gram 掩码和相似词替换策略，MacBERT 能有效应对用户评论中的错别字和非规范表达，显著提升了长尾词汇的识别鲁棒性。\n- **无缝迁移提效**：由于框架与 BERT 完全兼容，团队无需修改现有代码即可无缝切换，仅用半天时间完成模型替换，情感分析 F1 值即刻提升 3.5%。\n\nMacBERT 通过模拟人类纠错的阅读方式，从根本上解决了中文 NLP 中预训练与下游任务不匹配的痛点，让情感分析更懂“人话”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_MacBERT_a7739a77.png","ymcui","Yiming Cui","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fymcui_27303d50.jpg","NLP Researcher. Mainly interested in Pre-trained Language Model, Machine Reading Comprehension, Question Answering, etc.",null,"Beijing, China","conandiy@vip.qq.com","KCrosner","http:\u002F\u002Fymcui.github.io","https:\u002F\u002Fgithub.com\u002Fymcui",706,61,"2026-04-01T06:18:54","Apache-2.0","未说明",{"notes":88,"python":86,"dependencies":89},"README 中未明确列出具体的操作系统、GPU、内存或 Python 版本要求。该模型架构与 BERT 完全一致，可通过 Hugging Face Transformers 库使用 BertTokenizer 和 BertModel 进行加载。模型分为 Base (约 383MB) 和 Large (约 1.2G) 两个版本。训练代码和预训练语料暂未开源。",[90],"transformers (🤗Transformers)",[14,35],[93,94,95,96,97,98,99],"nlp","bert","language-model","tensorflow","macbert","pytorch","transformers","2026-03-27T02:49:30.150509","2026-04-09T23:50:11.435312",[103,108,112,117,122,127,132],{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},26825,"非全词遮罩（MLM）的模型能否使用全词遮罩脚本（run_mlm_wwm.py）继续训练？反之，全词遮罩模型若使用普通 MLM 脚本继续训练会有何影响？","全词遮罩模型如果继续使用普通 MLM 方式进行预训练，效果通常会比继续使用全词遮罩（WWM）方式差。例如，假设基线模型效果为 80%，使用 WWM 继续训练可能提升至 85%，而使用普通 MLM 可能仅提升至 83%。因此建议保持预训练策略的一致性以获得最佳效果。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fissues\u002F8",{"id":109,"question_zh":110,"answer_zh":111,"source_url":107},26826,"MacBERT 是否可以使用标准的 MLM 或 WWM 代码进行继续训练？其相似字替换机制是否会导致权重不兼容？","可以。虽然 MacBERT 的目标函数不是严格意义上的 MLM，但在使用如 `BertModelForMaskedLM` 加载时，Transformer 部分的核心权重（从输入到最后一层输出）会被保留，这是预训练模型最重要的部分。MLM\u002FNSP 的头部的权重属于任务特定权重，在针对特定领域（如医疗）继续训练时很容易被重新学习，因此即使无法完全继承这部分权重也不会造成大问题。",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},26827,"MacBERT 论文中提到的 N-gram masking 策略具体是如何执行的？是指不同长度的词组按概率被替换吗？","N-gram 指的是连续的 N 个词。MacBERT 的 N-gram masking 采用顺序选取模式。例如句子包含 8 个词 [A, B, C, D, E, F, G, H]：第一步指针指向 A，若概率选中 3-gram，则 A\u002FB\u002FC 同时被 mask（若进行相似词替换，则每个词都被其相似词替换）；第二步指针跳过该 3-gram 指向 D，再按概率选取下一个 N-gram，以此类推。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fissues\u002F13",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},26828,"在进行 MacBERT 同义词替换 Mask 操作时，如果找到的同义词不在当前 vocab 词表中，应该如何处理？","如果没有找到可替换的近义词（即同义词不在词表中），有两种处理方式：1. 使用随机词替换（这也是论文中提到的方法）；2. 跳过该词，选择其他可替换的词进行 mask 操作。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fissues\u002F9",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},26829,"MacBERT 论文中提到的单字符 40% 概率是指对汉字单字进行替换吗？中文单字很难找到同义词如何处理？","这是一个误解。论文中提到的 40% 并非指单字符，而是指 unigram（一元语法），其粒度是“词”而不是“字”。因此是基于分词后的词进行概率选择和替换，而非针对单个汉字字符。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fissues\u002F2",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},26830,"使用 transformers 加载 MacBERT 模型时，tokenizer.model_max_length 显示为一个极大的异常数值（如 1e30+），而不是预期的 512，如何解决？","这是一个已知问题，可以通过在加载 tokenizer 时手动指定 `model_max_length` 参数来解决。代码示例：\n```python\nfrom transformers import BertTokenizer\ntokenizer = BertTokenizer.from_pretrained(\".\u002Fchinese-macbert-base\", model_max_length=512)\n```","https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fissues\u002F24",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},26831,"从 HuggingFace 克隆 MacBERT 模型时遇到 'Authorization error' (403) 错误，是什么原因？","模型本身没有访问限制。出现 403 错误通常是因为 HuggingFace 限制了异常频繁的访问请求。如果遇到此问题，可以尝试：1. 联系 HuggingFace 团队反馈；2. 直接在 HuggingFace 网页上手动下载模型文件，而不是使用 git clone 命令。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT\u002Fissues\u002F16",[]]