[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ShannonAI--ChineseBert":3,"tool-ShannonAI--ChineseBert":65},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159267,2,"2026-04-17T11:29:14",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},8553,"spec-kit","github\u002Fspec-kit","Spec Kit 是一款专为提升软件开发效率而设计的开源工具包，旨在帮助团队快速落地“规格驱动开发”（Spec-Driven Development）模式。传统开发中，需求文档往往与代码实现脱节，导致沟通成本高且结果不可控；而 Spec Kit 通过将规格说明书转化为可执行的指令，让 AI 直接依据明确的业务场景生成高质量代码，从而减少从零开始的随意编码，确保产出结果的可预测性。\n\n该工具特别适合希望利用 AI 辅助编程的开发者、技术负责人及初创团队。无论是启动全新项目还是在现有工程中引入规范化流程，用户只需通过简单的命令行操作，即可初始化项目并集成主流的 AI 编程助手。其核心技术亮点在于“规格即代码”的理念，支持社区扩展与预设模板，允许用户根据特定技术栈定制开发流程。此外，Spec Kit 强调官方维护的安全性，提供稳定的版本管理，帮助开发者在享受 AI 红利的同时，依然牢牢掌握架构设计的主动权，真正实现从“凭感觉写代码”到“按规格建系统”的转变。",88749,"2026-04-17T09:48:14",[15,26,14,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":10,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,51,52,53,14,54,15,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":62,"last_commit_at":63,"category_tags":64,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,51,54],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":10,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":103,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":104,"updated_at":105,"faqs":106,"releases":147},8589,"ShannonAI\u002FChineseBert","ChineseBert","Code for ACL 2021 paper \"ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information\"","ChineseBERT 是一款专为中文自然语言处理设计的预训练模型，旨在通过融合汉字的字形与拼音信息，显著提升模型对中文语义的理解能力。传统模型往往仅依赖字符编码，难以有效区分多音字或捕捉汉字表面的视觉特征，而 ChineseBERT 创新性地为每个汉字构建了三种嵌入表示：标准的字符嵌入、基于多种字体提取的字形嵌入，以及反映发音特征的拼音嵌入。这三者经过融合后输入 BERT 架构，使模型既能“看”懂字形结构，又能“听”懂读音线索，从而更精准地消歧多音字并捕捉深层上下文语义。\n\n该工具特别适合从事中文 NLP 研究的科研人员、需要高性能中文基座模型的开发者，以及希望探索多模态字符表示的技术团队。ChineseBERT 提供了 Base 和 Large 两种规格，兼容 Hugging Face 生态，支持快速加载与微调，已在多个中文基准测试中验证了其优越性能。无论是进行文本分类、命名实体识别，还是掩码语言建模任务，ChineseBERT 都能凭借独特的字形 - 拼音增强机制，为用户提供更鲁棒、更细腻的中文语言理解能力。","# ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information\n\nThis repository contains code, model, dataset for [ChineseBERT]() at ACL2021.\n\n**[ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.16038.pdf)**  \n*Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Xiang Ao, Qing He, Fei Wu and Jiwei Li*\n\n\n## Guide  \n\n| Section | Description |\n|  ----  | ----  |\n| [Introduction](#Introduction) | Introduction to ChineseBERT |  \n| [Download](#Download) | Download links for ChineseBERT |\n| [Quick tour](#Quick-tour) | Learn how to quickly load models |\n| [Experiment](#Experiments) | Experiment results on different Chinese NLP datasets |\n| [Citation](#Citation) | Citation | \n| [Contact](#Contact) | How to contact us | \n\n## Introduction\nWe propose ChineseBERT, which incorporates both the glyph and pinyin information of Chinese\ncharacters into language model pretraining.  \n \nFirst, for each Chinese character, we get three kind of embedding.\n - **Char Embedding:** the same as origin BERT token embedding.\n - **Glyph Embedding:** capture visual features based on different fonts of a Chinese character.\n - **Pinyin Embedding:** capture phonetic feature from the pinyin sequence ot a Chinese Character.\n \nThen, char embedding, glyph embedding and pinyin embedding \nare first concatenated, and mapped to a D-dimensional embedding through a fully \nconnected layer to form the fusion embedding.   \nFinally, the fusion embedding is added with the position embedding, which is fed as input to the BERT model.  \nThe following image shows an overview architecture of ChineseBERT model.\n \n![MODEL](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FShannonAI_ChineseBert_readme_eb0ea799fcf3.png)\n\nChineseBERT leverages the glyph and pinyin information of Chinese \ncharacters to enhance the model's ability of capturing\ncontext semantics from surface character forms and\ndisambiguating polyphonic characters in Chinese.\n\n## Download \nWe provide pre-trained ChineseBERT models in Pytorch version and followed huggingFace model format. \n\n* **`ChineseBERT-base`**：12-layer, 768-hidden, 12-heads, 147M parameters \n* **`ChineseBERT-large`**: 24-layer, 1024-hidden, 16-heads, 374M parameters   \n  \nOur model can be downloaded here:\n\n| Model | Model Hub | Google Drive |\n| --- | --- | --- |\n| **`ChineseBERT-base`**  | [564M](https:\u002F\u002Fhuggingface.co\u002FShannonAI\u002FChineseBERT-base) | [560M](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1CseJzc58W4s8U_eIuAnshHQmnmi7Sr5-\u002Fview?usp=sharing) |\n| **`ChineseBERT-large`**   | [1.4G](https:\u002F\u002Fhuggingface.co\u002FShannonAI\u002FChineseBERT-large) | [1.4G](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1-glLDbmCrPgs_odjPvacaBniY0KnC8Z5\u002Fview?usp=sharing) |\n\n\n*Note: The model hub contains model, fonts and pinyin config files.*\n\n## Quick tour\nWe train our model with Huggingface, so the model can be easily loaded.  \nDownload ChineseBERT model and save at `[CHINESEBERT_PATH]`.  \nHere is a quick tour to load our model. \n```\n>>> from models.modeling_glycebert import GlyceBertForMaskedLM\n\n>>> chinese_bert = GlyceBertForMaskedLM.from_pretrained([CHINESEBERT_PATH])\n>>> print(chinese_bert)\n```\nThe complete example can be find here: \n[Masked word completion with ChineseBERT](tasks\u002Flanguage_model\u002FREADME.md)\n\nAnother example to get representation of a sentence:\n```\n>>> from datasets.bert_dataset import BertDataset\n>>> from models.modeling_glycebert import GlyceBertModel\n\n>>> tokenizer = BertDataset([CHINESEBERT_PATH])\n>>> chinese_bert = GlyceBertModel.from_pretrained([CHINESEBERT_PATH])\n>>> sentence = '我喜欢猫'\n\n>>> input_ids, pinyin_ids = tokenizer.tokenize_sentence(sentence)\n>>> length = input_ids.shape[0]\n>>> input_ids = input_ids.view(1, length)\n>>> pinyin_ids = pinyin_ids.view(1, length, 8)\n>>> output_hidden = chinese_bert.forward(input_ids, pinyin_ids)[0]\n>>> print(output_hidden)\ntensor([[[ 0.0287, -0.0126,  0.0389,  ...,  0.0228, -0.0677, -0.1519],\n         [ 0.0144, -0.2494, -0.1853,  ...,  0.0673,  0.0424, -0.1074],\n         [ 0.0839, -0.2989, -0.2421,  ...,  0.0454, -0.1474, -0.1736],\n         [-0.0499, -0.2983, -0.1604,  ..., -0.0550, -0.1863,  0.0226],\n         [ 0.1428, -0.0682, -0.1310,  ..., -0.1126,  0.0440, -0.1782],\n         [ 0.0287, -0.0126,  0.0389,  ...,  0.0228, -0.0677, -0.1519]]],\n       grad_fn=\u003CNativeLayerNormBackward>)\n```\nThe complete code can be find [HERE](tasks\u002Flanguage_model\u002Fchinese_bert.py)\n\n## Experiments\n\n## ChnSetiCorp\nChnSetiCorp is a dataset for sentiment analysis.  \nEvaluation Metrics: Accuracy\n\n| Model  | Dev | Test |  \n|  ----  | ----  | ----  |\n| ERNIE |  95.4 |   95.5  |\n| BERT | 95.1 |  95.4 |  \n| BERT-wwm | 95.4 | 95.3 |  \n| RoBERTa |  95.0 |  95.6 |  \n| MacBERT | 95.2 |   95.6 |  \n| ChineseBERT | **95.6** | **95.7** |  \n|   | ----  | ----  |  \n| RoBERTa-large | **95.8** | 95.8 |  \n| MacBERT-large |  95.7 |  **95.9** |  \n| ChineseBERT-large | **95.8** |  **95.9** | \n\nTraining details and code can be find [HERE](tasks\u002FChnSetiCorp\u002FREADME.md)\n\n### THUCNews\nTHUCNews contains news in 10 categories.  \nEvaluation Metrics: Accuracy\n\n| Model  | Dev | Test |  \n|  ----  | ----  | ----  |\n| ERNIE |  95.4 |   95.5  |\n| BERT | 95.1 |  95.4 |  \n| BERT-wwm | 95.4 | 95.3 |  \n| RoBERTa |  95.0 |  95.6 |  \n| MacBERT | 95.2 |   95.6 |  \n| ChineseBERT | **95.6** | **95.7** |  \n|   | ----  | ----  |  \n| RoBERTa-large | **95.8** | 95.8 |  \n| MacBERT-large |  95.7 |  **95.9** |  \n| ChineseBERT-large | **95.8** |  **95.9** |\n\nTraining details and code can be find [HERE](tasks\u002FTHUCNew\u002FREADME.md)\n\n### XNLI\nXNLI is a dataset for natural language inference.  \nEvaluation Metrics: Accuracy  \n\n| Model  | Dev | Test |  \n|  ----  | ----  | ----  |\n| ERNIE |  79.7 |   78.6  |\n| BERT | 79.0 |  78.2 |  \n| BERT-wwm | 79.4 | 78.7 |  \n| RoBERTa |  80.0 |  78.8 |  \n| MacBERT | 80.3 |  79.3 |  \n| ChineseBERT | **80.5** | **79.6** |  \n|   | ----  | ----  |  \n| RoBERTa-large | 82.1 | 81.2 |  \n| MacBERT-large |  82.4 |  81.3 |  \n| ChineseBERT-large | **82.7** |  **81.6** |\n\nTraining details and code can be find [HERE](tasks\u002FXNLI\u002FREADME.md)\n\n### BQ\nBQ Corpus is a sentence pair matching dataset.  \nEvaluation Metrics: Accuracy\n\n| Model  | Dev | Test |  \n|  ----  | ----  | ----  |\n| ERNIE | 86.3 | 85.0  |\n| BERT | 86.1 | 85.2 |  \n| BERT-wwm | **86.4** | **85.3** |  \n| RoBERTa |  86.0 | 85.0 |  \n| MacBERT | 86.0 | 85.2 |  \n| ChineseBERT | **86.4** | 85.2 |  \n|    | ----  | ----  |\n| RoBERTa-large | 86.3 | 85.8 |  \n| MacBERT-large |  86.2 | 85.6 |  \n| ChineseBERT-large | **86.5** |  **86.0** | \n\nTraining details and code can be find [HERE](tasks\u002FBQ\u002FREADME.md)\n\n### LCQMC\nLCQMC Corpus is a sentence pair matching dataset.  \nEvaluation Metrics: Accuracy\n\n| Model  | Dev | Test |  \n|  ----  | ----  | ----  |\n| ERNIE | 89.8 |  87.2  |\n| BERT | 89.4 | 87.0 |  \n| BERT-wwm | 89.6 | 87.1 |  \n| RoBERTa |  89.0 |  86.4 |  \n| MacBERT | 89.5 | 87.0 |  \n| ChineseBERT | **89.8** | **87.4** |  \n|   | ----  | ----  |  \n| RoBERTa-large | 90.4 | 87.0 |  \n| MacBERT-large |  **90.6** | 87.6 |  \n| ChineseBERT-large | 90.5 |  **87.8** |  \n\nTraining details and code can be find [HERE](tasks\u002FLCQMC\u002FREADME.md)\n\n### TNEWS\n\nTNEWS is a 15-class short news text classification dataset. \u003Cbr>\nEvaluation Metrics: Accuracy\n\n| Model  | Dev | Test |  \n|  ----  | ----  | ----  |\n| ERNIE | 58.24 |  58.33 | \n| BERT | 56.09 |  56.58 | \n| BERT-wwm | 56.77 | 56.86 | \n| RoBERTa |   57.51 |  56.94 | \n| ChineseBERT | **58.64** | **58.95** | \n|   | ----  | ----  |  \n| RoBERTa-large | 58.32 | 58.61 | \n| ChineseBERT-large |  **59.06** | **59.47** | \n\nTraining details and code can be find [HERE](tasks\u002FTNews\u002FREADME.md)\n\n### CMRC\n\nCMRC is a machin reading comprehension task dataset.  \nEvaluation Metrics: EM\n\n| Model  | Dev | Test |  \n|  ----  | ----  | ----  |\n| ERNIE |  66.89 |   74.70  |\n| BERT | 66.77 |  71.60 |  \n| BERT-wwm | 66.96 | 73.95 |  \n| RoBERTa |  67.89 |  75.20 |  \n| MacBERT | - |   - |  \n| ChineseBERT | **67.95** | **95.7** |  \n|   | ----  | ----  |  \n| RoBERTa-large | 70.59 | 77.95 |  \n| ChineseBERT-large | **70.70** |  **78.05** |  \n\nTraining details and code can be find [HERE](tasks\u002FCMRC\u002FREADME.md)\n\n### OntoNotes\n\nOntoNotes 4.0 is a Chinese named entity recognition dataset and contains 18 named entity types. \u003Cbr>\n\nEvaluation Metrics: Span-Level F1\n\n| Model  |  Test Precision |  Test Recall |  Test F1 |  \n|  ----  | ----  | ----  | ----  |\n| BERT | 79.69 | 82.09 | 80.87 | \n| RoBERTa |  **80.43** | 80.30 |  80.37 | \n| ChineseBERT | 80.03 | **83.33** | **81.65** | \n|    | ----  | ----  | ----  |\n| RoBERTa-large |  80.72 | 82.07 | 81.39 |\n| ChineseBERT-large | **80.77** | **83.65** | **82.18** | \n\nFor reproducing experiment results, please **install and use** `torch1.7.1+cu101` via `pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html`. \u003Cbr>\nTraining details and code can be find [HERE](tasks\u002FOntoNotes\u002FREADME.md)\n\n\n### Weibo \n\nWeibo is a Chinese named entity recognition dataset and contains 4 named entity types. \u003Cbr>\n\nEvaluation Metrics: Span-Level F1\n\n| Model  |  Test Precision |  Test Recall |  Test F1 |  \n|  ----  | ----  | ----  | ----  |\n| BERT | 67.12 | 66.88 |  67.33 |\n| RoBERTa | **68.49** | 67.81 | 68.15 |\n| ChineseBERT | 68.27 | **69.78** | **69.02** |\n|  | ----  | ----  | ----  |\n| RoBERTa-large |  66.74 | 70.02 | 68.35 |\n| ChineseBERT-large | **68.75** | **72.97** | **70.80** |\n\nFor reproducing experiment results, please **install and use** `torch1.7.1+cu101` via `pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html`. \u003Cbr>\nTraining details and code can be find [HERE](tasks\u002FWeibo\u002FREADME.md)\n\n\n## Citation\n```latex\n@article{sun2021chinesebert,\n  title={ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information},\n  author={Sun, Zijun and Li, Xiaoya and Sun, Xiaofei and Meng, Yuxian and Ao, Xiang and He, Qing and Wu, Fei and Li, Jiwei},\n  journal={arXiv preprint arXiv:2106.16038},\n  year={2021}\n}\n```\n\n\n## Contact\nIf you have any question about our paper\u002Fcode\u002Fmodal\u002Fdata...  \nPlease feel free to discuss through github issues or emails.  \nYou can send emails to **zijun_sun@shannonai.com** OR **xiaoya_li@shannonai.com**\n","# ChineseBERT：融合字形与拼音信息的中文预训练模型\n\n本仓库包含 ACL2021 上发表的 [ChineseBERT]() 的代码、模型及数据集。\n\n**[ChineseBERT：融合字形与拼音信息的中文预训练模型](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2106.16038.pdf)**  \n*孙子俊、李晓娅、孙晓飞、孟宇贤、敖翔、何青、吴飞、李继伟*\n\n## 使用指南  \n\n| 章节 | 说明 |\n|  ----  | ----  |\n| [简介](#Introduction) | ChineseBERT 简介 |  \n| [下载](#Download) | ChineseBERT 模型下载链接 |\n| [快速入门](#Quick-tour) | 快速加载模型的方法 |\n| [实验](#Experiments) | 在不同中文 NLP 数据集上的实验结果 |\n| [引用](#Citation) | 引用方式 | \n| [联系我们](#Contact) | 如何联系我们 | \n\n## 简介\n我们提出了 ChineseBERT，该模型在语言模型预训练过程中同时融入了汉字的字形和拼音信息。  \n\n首先，对于每一个汉字，我们生成三种类型的嵌入：\n- **字符嵌入**：与原始 BERT 的词元嵌入相同。\n- **字形嵌入**：基于不同字体的汉字视觉特征提取。\n- **拼音嵌入**：从汉字的拼音序列中捕捉语音特征。\n\n随后，将字符嵌入、字形嵌入和拼音嵌入拼接在一起，并通过一个全连接层映射到 D 维空间，形成融合嵌入。  \n最后，将融合嵌入与位置嵌入相加，作为 BERT 模型的输入。  \n下图展示了 ChineseBERT 模型的整体架构。\n\n![MODEL](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FShannonAI_ChineseBert_readme_eb0ea799fcf3.png)\n\nChineseBERT 利用汉字的字形和拼音信息，增强了模型从字符表面形式中捕捉上下文语义的能力，并有效消除了中文中的多音字歧义。\n\n## 下载 \n我们提供了 PyTorch 版本的预训练 ChineseBERT 模型，遵循 Hugging Face 的模型格式。\n\n* **`ChineseBERT-base`**：12 层，768 隐层，12 头注意力机制，参数量为 1.47 亿  \n* **`ChineseBERT-large`**：24 层，1024 隐层，16 头注意力机制，参数量为 3.74 亿  \n\n您可在此处下载我们的模型：\n\n| 模型 | Model Hub | Google Drive |\n| --- | --- | --- |\n| **`ChineseBERT-base`**  | [564M](https:\u002F\u002Fhuggingface.co\u002FShannonAI\u002FChineseBERT-base) | [560M](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1CseJzc58W4s8U_eIuAnshHQmnmi7Sr5-\u002Fview?usp=sharing) |\n| **`ChineseBERT-large`**   | [1.4G](https:\u002F\u002Fhuggingface.co\u002FShannonAI\u002FChineseBERT-large) | [1.4G](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1-glLDbmCrPgs_odjPvacaBniY0KnC8Z5\u002Fview?usp=sharing) |\n\n\n*注：Model Hub 包含模型文件、字体文件以及拼音配置文件。*\n\n## 快速入门\n我们使用 Hugging Face 框架训练模型，因此可以轻松加载。  \n请下载 ChineseBERT 模型并保存至 `[CHINESEBERT_PATH]`。  \n以下是一个快速加载模型的示例：\n```\n>>> from models.modeling_glycebert import GlyceBertForMaskedLM\n\n>>> chinese_bert = GlyceBertForMaskedLM.from_pretrained([CHINESEBERT_PATH])\n>>> print(chinese_bert)\n```\n完整的示例请参阅：  \n[使用 ChineseBERT 进行掩码词预测](tasks\u002Flanguage_model\u002FREADME.md)\n\n另一个获取句子表示的示例：\n```\n>>> from datasets.bert_dataset import BertDataset\n>>> from models.modeling_glycebert import GlyceBertModel\n\n>>> tokenizer = BertDataset([CHINESEBERT_PATH])\n>>> chinese_bert = GlyceBertModel.from_pretrained([CHINESEBERT_PATH])\n>>> 句子 = '我喜欢猫'\n\n>>> input_ids, pinyin_ids = tokenizer.tokenize_sentence(sentence)\n>>> length = input_ids.shape[0]\n>>> input_ids = input_ids.view(1, length)\n>>> pinyin_ids = pinyin_ids.view(1, length, 8)\n>>> output_hidden = chinese_bert.forward(input_ids, pinyin_ids)[0]\n>>> print(output_hidden)\ntensor([[[ 0.0287, -0.0126,  0.0389,  ...,  0.0228, -0.0677, -0.1519],\n         [ 0.0144, -0.2494, -0.1853,  ...,  0.0673,  0.0424, -0.1074],\n         [ 0.0839, -0.2989, -0.2421,  ...,  0.0454, -0.1474, -0.1736],\n         [-0.0499, -0.2983, -0.1604,  ..., -0.0550, -0.1863,  0.0226],\n         [ 0.1428, -0.0682, -0.1310,  ..., -0.1126,  0.0440, -0.1782],\n         [ 0.0287, -0.0126,  0.0389,  ...,  0.0228, -0.0677, -0.1519]]],\n       grad_fn=\u003CNativeLayerNormBackward>)\n```\n完整代码请参见 [此处](tasks\u002Flanguage_model\u002Fchinese_bert.py)\n\n## 实验结果\n\n## ChnSetiCorp\nChnSetiCorp 是一个情感分析数据集。  \n评估指标：准确率\n\n| 模型  | 开发集 | 测试集 |  \n|  ----  | ----  | ----  |\n| ERNIE |  95.4 |   95.5  |\n| BERT | 95.1 |  95.4 |  \n| BERT-wwm | 95.4 | 95.3 |  \n| RoBERTa |  95.0 |  95.6 |  \n| MacBERT | 95.2 |   95.6 |  \n| ChineseBERT | **95.6** | **95.7** |  \n|   | ----  | ----  |  \n| RoBERTa-large | **95.8** | 95.8 |  \n| MacBERT-large |  95.7 |  **95.9** |  \n| ChineseBERT-large | **95.8** |  **95.9** | \n\n训练细节及代码请参见 [此处](tasks\u002FChnSetiCorp\u002FREADME.md)\n\n### THUCNews\nTHUCNews 包含 10 类新闻。  \n评估指标：准确率\n\n| 模型  | 开发集 | 测试集 |  \n|  ----  | ----  | ----  |\n| ERNIE |  95.4 |   95.5  |\n| BERT | 95.1 |  95.4 |  \n| BERT-wwm | 95.4 | 95.3 |  \n| RoBERTa |  95.0 |  95.6 |  \n| MacBERT | 95.2 |   95.6 |  \n| ChineseBERT | **95.6** | **95.7** |  \n|   | ----  | ----  |  \n| RoBERTa-large | **95.8** | 95.8 |  \n| MacBERT-large |  95.7 |  **95.9** |  \n| ChineseBERT-large | **95.8** |  **95.9** |\n\n训练细节及代码请参见 [此处](tasks\u002FTHUCNew\u002FREADME.md)\n\n### XNLI\nXNLI 是一个自然语言推理数据集。  \n评估指标：准确率  \n\n| 模型  | 开发集 | 测试集 |  \n|  ----  | ----  | ----  |\n| ERNIE |  79.7 |   78.6  |\n| BERT | 79.0 |  78.2 |  \n| BERT-wwm | 79.4 | 78.7 |  \n| RoBERTa |  80.0 |  78.8 |  \n| MacBERT | 80.3 |  79.3 |  \n| ChineseBERT | **80.5** | **79.6** |  \n|   | ----  | ----  |  \n| RoBERTa-large | 82.1 | 81.2 |  \n| MacBERT-large |  82.4 |  81.3 |  \n| ChineseBERT-large | **82.7** |  **81.6** |\n\n训练细节及代码请参见 [此处](tasks\u002FXNLI\u002FREADME.md)\n\n### BQ\nBQ 语料库是一个句子对匹配数据集。  \n评估指标：准确率\n\n| 模型  | 开发集 | 测试集 |  \n|  ----  | ----  | ----  |\n| ERNIE | 86.3 | 85.0  |\n| BERT | 86.1 | 85.2 |  \n| BERT-wwm | **86.4** | **85.3** |  \n| RoBERTa |  86.0 | 85.0 |  \n| MacBERT | 86.0 | 85.2 |  \n| ChineseBERT | **86.4** | 85.2 |  \n|    | ----  | ----  |\n| RoBERTa-large | 86.3 | 85.8 |  \n| MacBERT-large |  86.2 | 85.6 |  \n| ChineseBERT-large | **86.5** |  **86.0** | \n\n训练细节及代码请参见 [此处](tasks\u002FBQ\u002FREADME.md)\n\n### LCQMC\nLCQMC语料库是一个句子对匹配数据集。  \n评估指标：准确率\n\n| 模型  | 开发集 | 测试集 |  \n|  ----  | ----  | ----  |\n| ERNIE | 89.8 |  87.2  |\n| BERT | 89.4 | 87.0 |  \n| BERT-wwm | 89.6 | 87.1 |  \n| RoBERTa |  89.0 |  86.4 |  \n| MacBERT | 89.5 | 87.0 |  \n| ChineseBERT | **89.8** | **87.4** |  \n|   | ----  | ----  |  \n| RoBERTa-large | 90.4 | 87.0 |  \n| MacBERT-large |  **90.6** | 87.6 |  \n| ChineseBERT-large | 90.5 |  **87.8** |  \n\n训练细节和代码可在[这里](tasks\u002FLCQMC\u002FREADME.md)找到。\n\n### TNEWS\n\nTNEWS是一个包含15个类别的短新闻文本分类数据集。\u003Cbr>\n评估指标：准确率\n\n| 模型  | 开发集 | 测试集 |  \n|  ----  | ----  | ----  |\n| ERNIE | 58.24 |  58.33 | \n| BERT | 56.09 |  56.58 | \n| BERT-wwm | 56.77 | 56.86 | \n| RoBERTa |   57.51 |  56.94 | \n| ChineseBERT | **58.64** | **58.95** | \n|   | ----  | ----  |  \n| RoBERTa-large | 58.32 | 58.61 | \n| ChineseBERT-large |  **59.06** | **59.47** | \n\n训练细节和代码可在[这里](tasks\u002FTNews\u002FREADME.md)找到。\n\n### CMRC\n\nCMRC是一个机器阅读理解任务数据集。\u003Cbr>\n评估指标：EM\n\n| 模型  | 开发集 | 测试集 |  \n|  ----  | ----  | ----  |\n| ERNIE |  66.89 |   74.70  |\n| BERT | 66.77 |  71.60 |  \n| BERT-wwm | 66.96 | 73.95 |  \n| RoBERTa |  67.89 |  75.20 |  \n| MacBERT | - |   - |  \n| ChineseBERT | **67.95** | **95.7** |  \n|   | ----  | ----  |  \n| RoBERTa-large | 70.59 | 77.95 |  \n| ChineseBERT-large | **70.70** |  **78.05** |  \n\n训练细节和代码可在[这里](tasks\u002FCMRC\u002FREADME.md)找到。\n\n### OntoNotes\n\nOntoNotes 4.0是一个中文命名实体识别数据集，包含18种命名实体类型。\u003Cbr>\n\n评估指标：跨度级别F1\n\n| 模型  | 测试精确率 | 测试召回率 | 测试F1 |  \n|  ----  | ----  | ----  | ----  |\n| BERT | 79.69 | 82.09 | 80.87 | \n| RoBERTa |  **80.43** | 80.30 |  80.37 | \n| ChineseBERT | 80.03 | **83.33** | **81.65** | \n|    | ----  | ----  | ----  |\n| RoBERTa-large |  80.72 | 82.07 | 81.39 |\n| ChineseBERT-large | **80.77** | **83.65** | **82.18** | \n\n为复现实验结果，请通过`pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html`安装并使用`torch1.7.1+cu101`。\u003Cbr>\n训练细节和代码可在[这里](tasks\u002FOntoNotes\u002FREADME.md)找到。\n\n\n### Weibo \n\nWeibo是一个中文命名实体识别数据集，包含4种命名实体类型。\u003Cbr>\n\n评估指标：跨度级别F1\n\n| 模型  | 测试精确率 | 测试召回率 | 测试F1 |  \n|  ----  | ----  | ----  | ----  |\n| BERT | 67.12 | 66.88 |  67.33 |\n| RoBERTa | **68.49** | 67.81 | 68.15 |\n| ChineseBERT | 68.27 | **69.78** | **69.02** |\n|  | ----  | ----  | ----  |\n| RoBERTa-large |  66.74 | 70.02 | 68.35 |\n| ChineseBERT-large | **68.75** | **72.97** | **70.80** |\n\n为复现实验结果，请通过`pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html`安装并使用`torch1.7.1+cu101`。\u003Cbr>\n训练细节和代码可在[这里](tasks\u002FWeibo\u002FREADME.md)找到。\n\n\n## 引用\n```latex\n@article{sun2021chinesebert,\n  title={ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information},\n  author={Sun, Zijun and Li, Xiaoya and Sun, Xiaofei and Meng, Yuxian and Ao, Xiang and He, Qing and Wu, Fei and Li, Jiwei},\n  journal={arXiv preprint arXiv:2106.16038},\n  year={2021}\n}\n```\n\n\n## 联系方式\n如您对我们的论文\u002F代码\u002F模型\u002F数据等有任何疑问，  \n欢迎通过GitHub Issues或电子邮件与我们交流。  \n您可以通过以下邮箱联系我们：**zijun_sun@shannonai.com** 或 **xiaoya_li@shannonai.com**。","# ChineseBERT 快速上手指南\n\nChineseBERT 是一个融合了汉字**字形（Glyph）**和**拼音（Pinyin）**信息的中文预训练模型，旨在增强模型对汉字表面形式的语义捕捉能力及多音字消歧能力。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux \u002F macOS \u002F Windows\n*   **Python**: 3.6+\n*   **PyTorch**: 推荐版本 `1.7.1+cu101`（官方实验复现指定版本，以获得最佳兼容性）\n*   **依赖库**: `transformers`, `numpy` 等\n\n**安装依赖命令：**\n\n```bash\n# 推荐安装官方指定的 PyTorch 版本以复现最佳效果\npip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html\n\n# 安装其他必要依赖 (假设项目根目录下有 requirements.txt)\n# pip install -r requirements.txt\n# 若没有 requirements.txt，至少需要安装 transformers\npip install transformers\n```\n\n> **提示**：国内用户若下载 PyTorch 较慢，可使用清华或阿里镜像源加速 pip 安装：\n> `pip install ... -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n## 2. 安装与模型下载\n\nChineseBERT 提供了 Hugging Face 模型格式，支持直接通过代码加载，也可手动下载。\n\n### 方式一：代码自动加载（推荐）\n在使用代码示例时，模型会自动从 Hugging Face Hub 下载。国内网络若连接缓慢，建议配置镜像或使用方式二。\n\n### 方式二：手动下载\n您可以从以下地址下载模型文件（包含模型权重、字体文件和拼音配置），保存至本地目录 `[CHINESEBERT_PATH]`。\n\n| 模型版本 | 参数量 | Hugging Face | Google Drive (需代理) |\n| :--- | :--- | :--- | :--- |\n| **ChineseBERT-base** | 147M | [下载地址](https:\u002F\u002Fhuggingface.co\u002FShannonAI\u002FChineseBERT-base) | [下载地址](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1CseJzc58W4s8U_eIuAnshHQmnmi7Sr5-\u002Fview?usp=sharing) |\n| **ChineseBERT-large** | 374M | [下载地址](https:\u002F\u002Fhuggingface.co\u002FShannonAI\u002FChineseBERT-large) | [下载地址](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1-glLDbmCrPgs_odjPvacaBniY0KnC8Z5\u002Fview?usp=sharing) |\n\n## 3. 基本使用\n\nChineseBERT 的加载和使用流程与标准 BERT 类似，但需要额外处理拼音输入。\n\n### 示例 1：加载预训练模型\n\n```python\nfrom models.modeling_glycebert import GlyceBertForMaskedLM\n\n# 将 [CHINESEBERT_PATH] 替换为您的本地模型路径或 Hugging Face 模型名称\nchinese_bert = GlyceBertForMaskedLM.from_pretrained(\"[CHINESEBERT_PATH]\")\nprint(chinese_bert)\n```\n\n### 示例 2：获取句子向量表示\n\n以下示例展示如何对句子“我喜欢猫”进行分词、构建拼音输入并获取隐藏层输出。\n\n```python\nfrom datasets.bert_dataset import BertDataset\nfrom models.modeling_glycebert import GlyceBertModel\n\n# 初始化 tokenizer 和模型\ntokenizer = BertDataset(\"[CHINESEBERT_PATH]\")\nchinese_bert = GlyceBertModel.from_pretrained(\"[CHINESEBERT_PATH]\")\n\nsentence = '我喜欢猫'\n\n# 分词并获取 input_ids 和 pinyin_ids\ninput_ids, pinyin_ids = tokenizer.tokenize_sentence(sentence)\n\n# 调整维度以符合模型输入要求\nlength = input_ids.shape[0]\ninput_ids = input_ids.view(1, length)\npinyin_ids = pinyin_ids.view(1, length, 8)\n\n# 前向传播获取输出\noutput_hidden = chinese_bert.forward(input_ids, pinyin_ids)[0]\n\nprint(output_hidden)\n```\n\n**输出示例：**\n```text\ntensor([[[ 0.0287, -0.0126,  0.0389,  ...,  0.0228, -0.0677, -0.1519],\n         [ 0.0144, -0.2494, -0.1853,  ...,  0.0673,  0.0424, -0.1074],\n         ...\n         [ 0.0287, -0.0126,  0.0389,  ...,  0.0228, -0.0677, -0.1519]]],\n       grad_fn=\u003CNativeLayerNormBackward>)\n```\n\n完整代码示例可参考项目中的 `tasks\u002Flanguage_model\u002Fchinese_bert.py`。","某电商平台的智能客服团队正在优化自动回复系统，旨在提升对用户评论中多音字、生僻字及形近错别字的理解准确率。\n\n### 没有 ChineseBert 时\n- **多音字歧义严重**：面对“行长（háng\u002Fzhǎng）”或“重（chóng\u002Fzhòng）量”等词汇，传统模型仅靠上下文猜测，常因语境模糊导致意图识别错误。\n- **形近错别字鲁棒性差**：用户输入将“退款”误写为“退宽”，或把“登录”写成“登灵”时，模型无法捕捉字形相似性，直接判定为无关词汇。\n- **生僻字处理失效**：遇到品牌名或地名中的生僻字（如\"𠮷野家”），由于缺乏字形特征输入，模型往往将其标记为未知 token，导致整句语义断裂。\n- **冷启动数据依赖高**：在新品类上线初期，缺乏足够标注数据训练特定词汇，模型难以快速适应新出现的专有名词。\n\n### 使用 ChineseBert 后\n- **拼音信息消除歧义**：ChineseBert 引入拼音嵌入，能直接区分“银行行长”与“道路行走”，大幅降低多音字导致的分类错误率。\n- **字形特征纠正错别字**：通过融合 Glyph 嵌入，模型能识别“退宽”与“退款”在视觉结构上的高度相似，自动修正用户拼写错误并准确响应。\n- **生僻字语义完整保留**：即使面对未登录的生僻字，ChineseBert 也能通过笔画和字体结构提取有效特征，确保包含生僻字的句子语义不被截断。\n- **小样本场景泛化强**：凭借对汉字本身音形信息的深度预训练，在新品类冷启动阶段，无需大量标注数据即可精准理解新出现的商品名称。\n\nChineseBert 通过深度融合汉字的音、形、义三维信息，从根本上解决了中文 NLP 任务中因字符表面形式复杂而导致的语义理解瓶颈。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FShannonAI_ChineseBert_51bec829.png","ShannonAI","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FShannonAI_f27e460f.jpg","",null,"https:\u002F\u002Fgithub.com\u002FShannonAI",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",95.1,{"name":87,"color":88,"percentage":89},"Shell","#89e051",4.9,566,92,"2026-03-15T13:58:01","MIT","未说明","实验复现建议使用 NVIDIA GPU，需安装 CUDA 10.1 (cu101)",{"notes":97,"python":94,"dependencies":98},"该模型整合了汉字字形（Glyph）和拼音（Pinyin）信息。官方明确指定复现实验结果需使用 PyTorch 1.7.1 配合 CUDA 10.1。模型分为 base (约 564MB) 和 large (约 1.4G) 两个版本，下载时除模型权重外还包含字体和拼音配置文件。代码基于 HuggingFace 生态，但加载时需使用仓库提供的特定类 GlyceBertForMaskedLM 或 GlyceBertModel。",[99,100,101,102],"torch==1.7.1+cu101","torchvision==0.8.2+cu101","torchaudio==0.7.2","transformers (隐含，基于 HuggingFace 格式)",[15],"2026-03-27T02:49:30.150509","2026-04-18T02:22:23.937869",[107,112,117,122,127,132,137,142],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},38492,"加载字体图片时报错 ValueError: cannot reshape array，是什么原因？","通常是因为字体文件下载不完整或损坏。请检查下载的字体 npy 文件大小，正常应在 101M 左右。如果文件大小不对，请重新下载完整的字体文件。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F16",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},38493,"训练 ChineseBERT-Large 模型时显存不足（CUDA out of memory），需要多大显存？","在 batch-size=1 且 precision=32 的默认设置下，不同显卡的显存占用约为：TITAN Xp (12G) 占用约 10175MiB，RTX 3090 (24G) 占用约 11203MiB，V100 (36G) 占用约 10706MiB。如果您的显存为 11G，可以通过减小 `--max_length` 参数来截断部分训练数据，从而降低显存需求以运行模型。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F31",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},38494,"为什么多次调用模型 forward 得到的输出结果完全一样，没有变化？","这是正常现象。在推理（inference）阶段，模型会固定参数并关闭 dropout 等随机性操作（通常通过调用 `model.eval()` 实现），因此每次输出的结果是确定的且一致的。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F5",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},38495,"运行时出现 OSError: Failed to interpret file ... as a pickle 错误，如何解决？","这通常发生在 Windows 系统解压文件后。文件名以 `._` 开头（例如 `._STXINGKA.TTF24.npy`）的文件是系统生成的额外文件，会导致读取错误。解决方法是删除所有以 `._` 开头的文件即可。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F32",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},38496,"tasks 下的命名实体识别任务报错，提示字形嵌入形状与模型不一致？","这是因为配置目录下的三种字体文件中缺少了某一个，导致加载后的字形嵌入形状不正确。请检查 config 目录，确保所需的三个字体文件都完整存在。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F71",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},38497,"ChineseBert 是否支持 TensorFlow (tf2.x)？","目前官方未直接提供 TensorFlow 版本的模型。您可以使用开源工具将现有的 PyTorch 模型转换为 TensorFlow 格式后使用。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F37",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},38498,"代码中引用的 pypinyin 库在哪里可以找到？","`pypinyin` 是一个独立的第三方 Python 库，并非本项目代码的一部分。您可以通过执行 `pip install pypinyin` 命令进行安装，然后在代码中正常使用 `from pypinyin import pinyin, Style`。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F45",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},38499,"初始化模型时出现 size mismatch for bert.embeddings.glyph_embeddings 错误怎么办？","该错误通常是因为加载的预训练权重中的字形嵌入维度与当前模型配置不匹配。请确保您使用的预训练模型路径正确，并且配置文件（config）中定义的字体文件数量和类型与预训练模型完全一致（通常需要三种特定的字体文件）。","https:\u002F\u002Fgithub.com\u002FShannonAI\u002FChineseBert\u002Fissues\u002F17",[]]