[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-yuanxiaosc--BERT_Paper_Chinese_Translation":3,"tool-yuanxiaosc--BERT_Paper_Chinese_Translation":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":82,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":89,"env_os":90,"env_gpu":90,"env_ram":90,"env_deps":91,"category_tags":94,"github_topics":95,"view_count":45,"oss_zip_url":82,"oss_zip_packed_at":82,"status":16,"created_at":101,"updated_at":102,"faqs":103,"releases":130},637,"yuanxiaosc\u002FBERT_Paper_Chinese_Translation","BERT_Paper_Chinese_Translation","BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文的中文翻译 Chinese Translation!","BERT_Paper_Chinese_Translation 是一个专注于将 Google 发布的经典论文《BERT：预训练的深度双向 Transformer 语言模型》完整翻译成中文的优质资源。它主要解决了非英语母语者在研读前沿 NLP 技术时的语言门槛问题，让复杂的 Transformer 双向编码原理变得通俗易懂。\n\n这份资源非常适合自然语言处理领域的研究人员、算法工程师以及对深度学习感兴趣的学生使用。除了完整的译文外，它还贴心地整理了论文中所有参考文献的链接，并提供 PDF 下载版本，极大便利了深度学习和知识溯源。特别值得一提的是，译者基于 2018 年初版论文进行了细致翻译，同时注明了与后续版本的细微差异，确保了技术理解的准确性。如果你希望无障碍地掌握 BERT 的核心思想，这个翻译项目是极佳的辅助材料。","**BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文的中文翻译**\n\n本资源完整的翻译了论文，并且给出了论文中所有引用资料的网络连接，方便对 BERT 感兴趣的朋友们进一步研究 BERT。\n\n1. 原文 [BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.04805v1)，这是BERT在2018年11月发布的版本，与2019年5月版本[v2](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.04805v2)有稍许不同。\n2. 以下内容是部分预览内容，完整内容查看本资源中的 [Bidirectional_Encoder_Representations_Transformers翻译.md](Bidirectional_Encoder_Representations_Transformers翻译.md)；\n3. BERT论文翻译 [PDF版下载](BERT中文翻译PDF版.pdf)；\n4. 转载请注明出处，商用请联系译者 袁宵 wangzichaochaochao@gmail.com；\n5. 未来将继续翻译和解析深度学习相关论文，特别是 NLP 方向的论文。\n6. 如果你喜欢我的工作，请点亮右上角星星，谢谢 :smiley:\n\n---\n\n手机扫码阅读：\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyuanxiaosc_BERT_Paper_Chinese_Translation_readme_0ba54782dda9.png)\n\n---\n\n# BERT：预训练的深度双向 Transformer 语言模型\nJacob Devlin；Ming-Wei Chang；Kenton Lee；Kristina Toutanova\nGoogle AI Language\n{jacobdevlin,mingweichang,kentonl,kristout}@google.com\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyuanxiaosc_BERT_Paper_Chinese_Translation_readme_e7327cb79412.png)\n> 图 1：预训练模型结构的不同。BERT 使用双向 Transformer。OpenAI GPT 使用 从左到右的 Transformer。ELMo 使用独立训练的从左到右和从右到左的 LSTM 的连接来为下游任务生成特征。其中，只有 BERT 表示在所有层中同时受到左右语境的制约。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyuanxiaosc_BERT_Paper_Chinese_Translation_readme_71333a661a0c.png)\n> 图 2：BERT 的输入表示。输入嵌入是标记嵌入（词嵌入）、句子嵌入和位置嵌入的总和。\n\n## 摘要\n我们提出了一种新的称为 BERT 的语言表示模型，BERT 代表来自 Transformer 的双向编码器表示（**B**idirectional **E**ncoder **R**epresentations from **T**ransformers）。不同于最近的语言表示模型（[Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)，[Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)）， BERT 旨在通过联合调节所有层中的左右上下文来预训练深度双向表示。因此，只需要一个额外的输出层，就可以对预训练的 BERT 表示进行微调，从而为广泛的任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的修改。\n\nBERT 的概念很简单，但实验效果很强大。它刷新了 11 个 NLP 任务的当前最优结果，包括将 GLUE 基准提升至 80.4%（7.6% 的绝对改进）、将 MultiNLI 的准确率提高到 86.7%（5.6% 的绝对改进），以及将 SQuAD v1.1 的问答测试 F1 得分提高至 93.2 分（提高 1.5 分）——比人类表现还高出 2 分。\n\n## 1. 介绍\n语言模型预训练可以显著提高许多自然语言处理任务的效果（[Dai and Le, 2015](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5949-semi-supervised-sequence-learning)；[Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)；[Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)；[Howard and Ruder, 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.06146v5)）。这些任务包括句子级任务，如自然语言推理（[Bow-man et al., 2015](https:\u002F\u002Farxiv.org\u002Fabs\u002F1508.05326v1)；[Williams et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)）和释义（[Dolan and Brockett, 2005](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F228613673_Automatically_constructing_a_corpus_of_sentential_paraphrases)），目的是通过对句子的整体分析来预测句子之间的关系，以及标记级任务，如命名实体识别（[Tjong Kim Sang and De Meulder, 2003](http:\u002F\u002Fwww.oalib.com\u002Fpaper\u002F4018980)）和 SQuAD 问答（[Rajpurkar et al., 2016](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)），模型需要在标记级生成细粒度的输出。\n\n现有的两种方法可以将预训练好的语言模型表示应用到下游任务中：基于特征的和微调。基于特征的方法，如 ELMo （[Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2))，使用特定于任务的模型结构，其中包含预训练的表示作为附加特特征。微调方法，如生成预训练 Transformer  (OpenAI GPT) （[Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)）模型，然后引入最小的特定于任务的参数，并通过简单地微调预训练模型的参数对下游任务进行训练。在之前的工作中，两种方法在预训练任务中都具有相同的目标函数，即使用单向的语言模型来学习通用的语言表达。\n\n我们认为，当前的技术严重地限制了预训练表示的效果，特别是对于微调方法。主要的局限性是标准语言模型是单向的，这就限制了可以在预训练期间可以使用的模型结构的选择。例如，在 OpenAI GPT 中，作者使用了从左到右的模型结构，其中每个标记只能关注 Transformer 的自注意层中该标记前面的标记（[Williams et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)）。这些限制对于句子级别的任务来说是次优的（还可以接受），但当把基于微调的方法用来处理标记级别的任务（如 SQuAD 问答）时可能会造成不良的影响（[Rajpurkar et al., 2016](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)），因为在标记级别的任务下，从两个方向分析上下文是至关重要的。\n\n在本文中，我们通过提出 BERT 改进了基于微调的方法：来自 Transformer 的双向编码器表示。受完形填空任务的启发，BERT 通过提出一个新的预训练任务来解决前面提到的单向约束：“遮蔽语言模型”（MLM masked language model）（[Tay-lor, 1953](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F232539913_Cloze_Procedure_A_New_Tool_For_Measuring_Readability)）。遮蔽语言模型从输入中随机遮蔽一些标记，目的是仅根据被遮蔽标记的上下文来预测它对应的原始词汇的 id。与从左到右的语言模型预训练不同，MLM 目标允许表示融合左右上下文，这允许我们预训练一个深层双向 Transformer。除了遮蔽语言模型之外，我们还提出了一个联合预训练文本对来进行“下一个句子预测”的任务。\n\n本文的贡献如下：\n+ 我们论证了双向预训练对语言表征的重要性。与 [Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F) 使用单向语言模型进行预训练不同，BERT 使用遮蔽语言模型来实现预训练深层双向表示。这也与 [Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2) 的研究形成了对比，他们使用了一个由左到右和由右到左的独立训练语言模型的浅层连接。\n+ 我们表明，预训练的表示消除了许多特定于任务的高度工程化的的模型结构的需求。BERT 是第一个基于微调的表示模型，它在大量的句子级和标记级任务上实现了最先进的性能，优于许多特定于任务的结构的模型。\n+ BERT 为 11 个 NLP 任务提供了最先进的技术。我们还进行大量的消融研究，证明了我们模型的双向本质是最重要的新贡献。代码和预训练模型将可在 [goo.gl\u002Flanguage\u002Fbert](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert) 获取。\n\n....\n\n## 参考文献\n所有参考文献按论文各小节中引用顺序排列，多次引用会多次出现在下面的列表中。\n\n**Abstract 摘要中的参考文献**\n\n|BERT 文中简写|原始标论文标题|其它|\n|-|-|-|\n|Peters et al., 2018|[Deep contextualized word representations](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)|ELMo|\n|Radford et al., 2018|[Improving Language Understanding with Unsupervised Learning](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)|OpenAI GPT|\n\n\n**1. Introduction 介绍中的参考文献**\n\n|BERT 文中简写|原始标论文标题|其它|\n|-|-|-|\n|Peters et al., 2018|[Deep contextualized word representations](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)|ELMo|\n|Radford et al., 2018|[Improving Language Understanding with Unsupervised Learning](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)|OpenAI GPT|\n|Dai and Le, 2015|[Semi-supervised sequence learning. In Advances in neural information processing systems, pages 3079–3087](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5949-semi-supervised-sequence-learning)|AndrewMDai and Quoc V Le. 2015|\n|Howard and Ruder, 2018|[Universal Language Model Fine-tuning for Text Classification](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.06146v5)|**ULMFiT**；Jeremy Howard and Sebastian Ruder.|\n|Bow-man et al., 2015|[A large annotated corpus for learning natural language inference](https:\u002F\u002Farxiv.org\u002Fabs\u002F1508.05326v1)|Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning.|\n|Williams et al., 2018|[A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)|Adina Williams, Nikita Nangia, and Samuel R Bowman.|\n|Dolan and Brockett, 2005|[Automatically constructing a corpus of sentential paraphrases](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F228613673_Automatically_constructing_a_corpus_of_sentential_paraphrases)|William B Dolan and Chris Brockett. 2005.|\n|Tjong Kim Sang and De Meulder, 2003|[Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition](http:\u002F\u002Fwww.oalib.com\u002Fpaper\u002F4018980)|Erik F Tjong Kim Sang and Fien De Meulder. 2003.|\n|Rajpurkar et al., 2016|[SQuAD: 100,000+ Questions for Machine Comprehension of Text](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|SQuAD|\n|Taylor, 1953|[\"Cloze Procedure\": A New Tool For Measuring Readability](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F232539913_Cloze_Procedure_A_New_Tool_For_Measuring_Readability)|Wilson L Taylor. 1953.|\n\n**2. Related Work 相关工作中的参考文献**\n\n|BERT 文中简写|原始标论文标题|其它|\n|-|-|-|\n|Brown et al., 1992|[Class-based n-gram models of natural language](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=176316)|Peter F Brown, Peter V Desouza, Robert L Mercer, Vincent J Della Pietra, and Jenifer C Lai. 1992.|\n|Ando and Zhang, 2005|[A Framework for Learning Predictive Structures from Multiple Tasks and Unlabeled Data](http:\u002F\u002Facademictorrents.com\u002Fdetails\u002Ff4470eb8bc3a6f697df61bde319fd56e3a9d6733)|Rie Kubota Ando and Tong Zhang. 2005.|\n|Blitzer et al., 2006|[Domain adaptation with structural correspondence learning](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=1610094)|John Blitzer, Ryan McDonald, and Fernando Pereira.2006.|\n|Collobert and Weston, 2008|[A Unified Architecture for Natural Language Processing](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F200044432_A_Unified_Architecture_for_Natural_Language_Processing)|Ronan Collobert and Jason Weston. 2008.|\n|Mikolov et al., 2013|[Distributed Representations of Words and Phrases and their Compositionality](https:\u002F\u002Farxiv.org\u002Fabs\u002F1310.4546v1)|CBOW Model；Skip-gram Model|\n|Pennington et al., 2014|[GloVe: Global Vectors for Word Representation](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FD14-1162)|GloVe|\n|Turian et al., 2010|[Word Representations: A Simple and General Method for Semi-Supervised Learning](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F220873681_Word_Representations_A_Simple_and_General_Method_for_Semi-Supervised_Learning)|Joseph Turian, Lev Ratinov, and Yoshua Bengio. 2010.|\n|Kiros et al., 2015|[Skip-Thought Vectors](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.06726v1)|Skip-Thought Vectors|\n|Logeswaran and Lee, 2018|[An efficient framework for learning sentence representations](https:\u002F\u002Farxiv.org\u002Fabs\u002F1803.02893v1)|Lajanugen Logeswaran and Honglak Lee. 2018.|\n|Le and Mikolov, 2014|[Distributed Representations of Sentences and Documents](https:\u002F\u002Farxiv.org\u002Fabs\u002F1405.4053v2)|Quoc Le and Tomas Mikolov. 2014.|\n|Peters et al., 2017|[Semi-supervised sequence tagging with bidirectional language models](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.00108v1)|Matthew Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power. 2017.|\n|Peters et al., 2018|[Deep contextualized word representations](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)|ELMo|\n|Rajpurkar et al., 2016|[SQuAD: 100,000+ Questions for Machine Comprehension of Text](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|SQuAD|\n|Socher et al., 2013|[Deeply Moving: Deep Learning for Sentiment Analysis](https:\u002F\u002Fnlp.stanford.edu\u002Fsentiment\u002F)|SST-2|\n|Tjong Kim Sang and De Meulder, 2003|[Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition](http:\u002F\u002Fwww.oalib.com\u002Fpaper\u002F4018980)|Erik F Tjong Kim Sang and Fien De Meulder. 2003.|\n|Dai and Le, 2015|[Semi-supervised sequence learning. In Advances in neural information processing systems, pages 3079–3087](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5949-semi-supervised-sequence-learning)|AndrewMDai and Quoc V Le. 2015|\n|Howard and Ruder, 2018|[Universal Language Model Fine-tuning for Text Classification](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.06146v5)|**ULMFiT**；Jeremy Howard and Sebastian Ruder.|\n|Radford et al., 2018|[Improving Language Understanding with Unsupervised Learning](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)|OpenAI GPT|\n|Wang et al.(2018)|[GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.07461v2)|GLUE|\n|Con-neau et al., 2017|[Supervised Learning of Universal Sentence Representations from Natural Language Inference Data](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FD17-1070)|Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, and Antoine Bordes. 2017.|\n|McCann et al., 2017|[Learned in Translation: Contextualized Word Vectors](https:\u002F\u002Feinstein.ai\u002Fstatic\u002Fimages\u002Fpages\u002Fresearch\u002Fcove\u002FMcCann2017LearnedIT.pdf)|Bryan McCann, James Bradbury, Caiming Xiong, and Richard Socher. 2017.|\n|Deng et al.|[ImageNet: A large-scale hierarchical image database](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F5206848)|J. Deng,W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. 2009.|\n|Yosinski et al., 2014|[How transferable are features in deep neural networks?](https:\u002F\u002Farxiv.org\u002Fabs\u002F1411.1792v1)|Jason Yosinski, Jeff Clune, Yoshua Bengio, and Hod Lipson. 2014.|\n\n**3. BERT 中的参考文献**\n\n|BERT 文中简写|原始标论文标题|其它|\n|-|-|-|\n|Vaswani et al. (2017)|[Attention Is All You Need](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762v5)|Transformer|\n|Wu et al., 2016|[Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation](https:\u002F\u002Farxiv.org\u002Fabs\u002F1609.08144v2)|WordPiece|\n|Taylor, 1953|[\"Cloze Procedure\": A New Tool For Measuring Readability](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F232539913_Cloze_Procedure_A_New_Tool_For_Measuring_Readability)|Wilson L Taylor. 1953.|\n|Vincent et al., 2008|[Extracting and composing robust features with denoising autoencoders](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F221346269_Extracting_and_composing_robust_features_with_denoising_autoencoders)|denoising auto-encoders|\n|Zhu et al., 2015|[Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.06724v1)|BooksCorpus (800M words)|\n|Chelba et al., 2013|[One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling](https:\u002F\u002Farxiv.org\u002Fabs\u002F1312.3005v3)|Billion Word Benchmark corpus|\n|Hendrycks and Gimpel, 2016|[Gaussian Error Linear Units (GELUs)](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.08415v3)|GELUs|\n\n**4. Experiments 实验中的参考文献**\n\n|BERT 文中简写|原始标论文标题|其它|\n|-|-|-|\n|Wang et al.(2018)|[GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.07461v2)|GLUE|\n|Williams et al., 2018|[A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)|MNLI|\n|Chen et al., 2018|[First Quora Dataset Release: Question Pairs](https:\u002F\u002Fdata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)|QQP|\n|Rajpurkar et al., 2016|[SQuAD: 100,000+ Questions for Machine Comprehension of Text](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|QNLI|\n|Socher et al., 2013|[Deeply Moving: Deep Learning for Sentiment Analysis](https:\u002F\u002Fnlp.stanford.edu\u002Fsentiment\u002F)|SST-2|\n|Warstadt et al., 2018|[The Corpus of Linguistic Acceptability](https:\u002F\u002Fnyu-mll.github.io\u002FCoLA\u002F)|CoLA|\n|Cer et al., 2017|[SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation](https:\u002F\u002Farxiv.org\u002Fabs\u002F1708.00055v1)|STS-B|\n|Dolan and Brockett, 2005|[Automatically constructing a corpus of sentential paraphrases](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F228613673_Automatically_constructing_a_corpus_of_sentential_paraphrases)|MRPC|\n|Bentivogli et al., 2009|[The fifth pascal recognizing textual entailment challenge](https:\u002F\u002Fwww.mendeley.com\u002Fcatalogue\u002Ffifth-pascal-recognizing-textual-entailment-challenge\u002F)|RTE|\n|Levesque et al., 2011|[The winograd schema challenge. In Aaai spring symposium: Logical formalizations of commonsense reasoning, volume 46, page 47.](https:\u002F\u002Fcs.nyu.edu\u002Ffaculty\u002Fdavise\u002Fpapers\u002FWinogradSchemas\u002FWS.html)|WNLI|\n|Rajpurkar et al., 2016|[SQuAD: 100,000+ Questions for Machine Comprehension of Text](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|SQuAD|\n|Joshi et al., 2017|[TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.03551v2)|TriviaQA|\n|Clark et al., 2018|[Semi-Supervised Sequence Modeling with Cross-View Training](https:\u002F\u002Farxiv.org\u002Fabs\u002F1809.08370v1)||\n|Zellers et al., 2018|[SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference](https:\u002F\u002Farxiv.org\u002Fabs\u002F1808.05326v1)|SWAG|\n\n**5. Ablation Studies 消融研究中的参考文献**\n\n|BERT 文中简写|原始标论文标题|其它|\n|-|-|-|\n|Vaswani et al. (2017)|[Attention Is All You Need](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762v5)|Transformer|\n|Al-Rfou et al., 2018|[Character-Level Language Modeling with Deeper Self-Attention](https:\u002F\u002Farxiv.org\u002Fabs\u002F1808.04444v1)||\n\n","**BERT: 用于语言理解的深度双向 Transformer 预训练 论文的中文翻译**\n\n本资源完整地翻译了论文，并且给出了论文中所有引用资料的网络连接，方便对 BERT 感兴趣的朋友们进一步研究 BERT。\n\n1. 原文 [BERT: 用于语言理解的深度双向 Transformer 预训练](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.04805v1)，这是 BERT 在 2018 年 11 月发布的版本，与 2019 年 5 月版本 [v2](https:\u002F\u002Farxiv.org\u002Fabs\u002F1810.04805v2) 有稍许不同。\n2. 以下内容是部分预览内容，完整内容查看本资源中的 [Bidirectional_Encoder_Representations_Transformers 翻译.md](Bidirectional_Encoder_Representations_Transformers 翻译.md)；\n3. BERT 论文翻译 [PDF 版下载](BERT 中文翻译 PDF 版.pdf)；\n4. 转载请注明出处，商用请联系译者 袁宵 wangzichaochaochao@gmail.com；\n5. 未来将继续翻译和解析深度学习相关论文，特别是自然语言处理（NLP）方向的论文。\n6. 如果你喜欢我的工作，请点亮右上角星星，谢谢 :smiley:\n\n---\n\n手机扫码阅读：\n\n![](Bidirectional_Encoder_Representations_Transformers 翻译\u002FBERT 论文翻译扫码阅读.png)\n\n---\n\n# BERT：预训练的深度双向 Transformer 语言模型\nJacob Devlin；Ming-Wei Chang；Kenton Lee；Kristina Toutanova\nGoogle AI 语言团队\n{jacobdevlin,mingweichang,kentonl,kristout}@google.com\n\n![](Bidirectional_Encoder_Representations_Transformers 翻译\u002Ffigure_1.png)\n> 图 1：预训练模型结构的不同。BERT 使用双向 Transformer。OpenAI GPT 使用从左到右的 Transformer。ELMo 使用独立训练的从左到右和从右到左的 LSTM 的连接来为下游任务生成特征。其中，只有 BERT 表示在所有层中同时受到左右语境的制约。\n\n![](Bidirectional_Encoder_Representations_Transformers 翻译\u002Ffigure_2.png)\n> 图 2：BERT 的输入表示。输入嵌入是标记嵌入（词嵌入）、句子嵌入和位置嵌入的总和。\n\n## 摘要\n我们提出了一种新的称为 BERT 的语言表示模型，BERT 代表来自 Transformer 的双向编码器表示（**B**idirectional **E**ncoder **R**epresentations from **T**ransformers）。不同于最近的语言表示模型（[Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)，[Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)），BERT 旨在通过联合调节所有层中的左右上下文来预训练深度双向表示。因此，只需要一个额外的输出层，就可以对预训练的 BERT 表示进行微调，从而为广泛的任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的修改。\n\nBERT 的概念很简单，但实验效果很强大。它刷新了 11 个自然语言处理（NLP）任务的当前最优结果，包括将 GLUE 基准提升至 80.4%（7.6% 的绝对改进）、将 MultiNLI 的准确率提高到 86.7%（5.6% 的绝对改进），以及将 SQuAD v1.1 的问答测试 F1 得分提高至 93.2 分（提高 1.5 分）——比人类表现还高出 2 分。\n\n## 1. 介绍\n语言模型预训练可以显著提高许多自然语言处理任务的效果（[Dai and Le, 2015](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5949-semi-supervised-sequence-learning)；[Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)；[Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)；[Howard and Ruder, 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.06146v5)）。这些任务包括句子级任务，如自然语言推理（[Bow-man et al., 2015](https:\u002F\u002Farxiv.org\u002Fabs\u002F1508.05326v1)；[Williams et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)）和释义（[Dolan and Brockett, 2005](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F228613673_Automatically_constructing_a_corpus_of_sentential_paraphrases)），目的是通过对句子的整体分析来预测句子之间的关系，以及标记级任务，如命名实体识别（[Tjong Kim Sang and De Meulder, 2003](http:\u002F\u002Fwww.oalib.com\u002Fpaper\u002F4018980)）和 SQuAD 问答（[Rajpurkar et al., 2016](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)），模型需要在标记级生成细粒度的输出。\n\n现有的两种方法可以将预训练好的语言模型表示应用到下游任务中：基于特征的和微调。基于特征的方法，如 ELMo（[Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)），使用特定于任务的模型结构，其中包含预训练的表示作为附加特征。微调方法，如生成预训练 Transformer (OpenAI GPT)（[Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)）模型，然后引入最小的特定于任务的参数，并通过简单地微调预训练模型的参数对下游任务进行训练。在之前的工作中，两种方法在预训练任务中都具有相同的目标函数，即使用单向的语言模型来学习通用的语言表达。\n\n我们认为，当前的技术严重地限制了预训练表示的效果，特别是对于微调方法。主要的局限性是标准语言模型是单向的，这就限制了可以在预训练期间可以使用的模型结构的选择。例如，在 OpenAI GPT 中，作者使用了从左到右的模型结构，其中每个标记只能关注 Transformer 的自注意层中该标记前面的标记（[Williams et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)）。这些限制对于句子级别的任务来说是次优的（还可以接受），但当把基于微调的方法用来处理标记级别的任务（如 SQuAD 问答）时可能会造成不良的影响（[Rajpurkar et al., 2016](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)），因为在标记级别的任务下，从两个方向分析上下文是至关重要的。\n\n在本文中，我们通过提出 BERT 改进了基于微调的方法：来自 Transformer 的双向编码器表示。受完形填空任务的启发，BERT 通过提出一个新的预训练任务来解决前面提到的单向约束：“遮蔽语言模型”（MLM masked language model）（[Taylor, 1953](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F232539913_Cloze_Procedure_A_New_Tool_For_Measuring_Readability)）。遮蔽语言模型从输入中随机遮蔽一些标记，目的是仅根据被遮蔽标记的上下文来预测它对应的原始词汇的 ID（标识符）。与从左到右的语言模型预训练不同，MLM 目标允许表示融合左右上下文，这允许我们预训练一个深层双向 Transformer。除了遮蔽语言模型之外，我们还提出了一个联合预训练文本对来进行“下一个句子预测”的任务。\n\n本文的贡献如下：\n+ 我们论证了双向预训练对语言表征的重要性。与 [Radford et al., 2018](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F) 使用单向语言模型进行预训练不同，BERT 使用遮蔽语言模型来实现预训练深层双向表示。这也与 [Peters et al., 2018](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2) 的研究形成了对比，他们使用了一个由左到右和由右到左的独立训练语言模型的浅层连接。\n+ 我们表明，预训练的表示消除了许多特定于任务的高度工程化的模型结构的需求。BERT 是第一个基于微调的表示模型，它在大量的句子级和标记级任务上实现了最先进的性能，优于许多特定于任务的结构的模型。\n+ BERT 为 11 个自然语言处理（NLP）任务提供了最先进的技术。我们还进行大量的消融研究，证明了我们模型的双向本质是最重要的新贡献。代码和预训练模型将可在 [goo.gl\u002Flanguage\u002Fbert](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fbert) 获取。\n\n……\n\n## 参考文献\n所有参考文献按论文各小节中引用顺序排列，多次引用会多次出现在下面的列表中。\n\n**摘要中的参考文献**\n\n|BERT 文中简写|原始论文标题|备注|\n|-|-|-|\n|Peters et al., 2018|[深度上下文词表示](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)|ELMo|\n|Radford et al., 2018|[利用无监督学习改进语言理解](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)|OpenAI GPT|\n\n\n**1. 介绍中的参考文献**\n\n|BERT 文中简写|原始论文标题|备注|\n|-|-|-|\n|Peters et al., 2018|[深度上下文词表示](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)|ELMo|\n|Radford et al., 2018|[利用无监督学习改进语言理解](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)|OpenAI GPT|\n|Dai and Le, 2015|[半监督序列学习。在神经信息处理系统进展，第 3079–3087 页](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5949-semi-supervised-sequence-learning)|Andrew M. Dai 和 Quoc V Le. 2015|\n|Howard and Ruder, 2018|[文本分类的通用语言模型微调](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.06146v5)|**ULMFiT**；Jeremy Howard 和 Sebastian Ruder.|\n|Bow-man et al., 2015|[用于学习自然语言推理的大型标注语料库](https:\u002F\u002Farxiv.org\u002Fabs\u002F1508.05326v1)|Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning.|\n|Williams et al., 2018|[通过推理进行句子理解的广泛覆盖挑战语料库](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)|Adina Williams, Nikita Nangia, and Samuel R Bowman.|\n|Dolan and Brockett, 2005|[自动构建句子释义语料库](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F228613673_Automatically_constructing_a_corpus_of_sentential_paraphrases)|William B Dolan and Chris Brockett. 2005.|\n|Tjong Kim Sang and De Meulder, 2003|[CoNLL-2003 共享任务介绍：与语言无关的命名实体识别](http:\u002F\u002Fwww.oalib.com\u002Fpaper\u002F4018980)|Erik F Tjong Kim Sang and Fien De Meulder. 2003.|\n|Rajpurkar et al., 2016|[SQuAD：机器阅读理解的一万多个问题](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|SQuAD|\n|Taylor, 1953|[“完形填空程序”：一种测量可读性的新工具](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F232539913_Cloze_Procedure_A_New_Tool_For_Measuring_Readability)|Wilson L Taylor. 1953.|\n\n**2. 相关工作中的参考文献**\n\n|BERT 文中简写 | 原始论文标题 | 其它 |\n|-|-|-|\n|Brown et al., 1992|[基于类别的自然语言 n-gram 模型](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=176316)|Peter F Brown, Peter V Desouza, Robert L Mercer, Vincent J Della Pietra, and Jenifer C Lai. 1992.|\n|Ando and Zhang, 2005|[从多任务和无标签数据中学习预测结构的框架](http:\u002F\u002Facademictorrents.com\u002Fdetails\u002Ff4470eb8bc3a6f697df61bde319fd56e3a9d6733)|Rie Kubota Ando and Tong Zhang. 2005.|\n|Blitzer et al., 2006|[具有结构对应学习的领域自适应](https:\u002F\u002Fdl.acm.org\u002Fcitation.cfm?id=1610094)|John Blitzer, Ryan McDonald, and Fernando Pereira. 2006.|\n|Collobert and Weston, 2008|[自然语言处理 (Natural Language Processing) 的统一架构](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F200044432_A_Unified_Architecture_for_Natural_Language_Processing)|Ronan Collobert and Jason Weston. 2008.|\n|Mikolov et al., 2013|[单词和短语的分布式表示及其组合性](https:\u002F\u002Farxiv.org\u002Fabs\u002F1310.4546v1)|CBOW 模型；Skip-gram 模型 |\n|Pennington et al., 2014|[GloVe：用于单词表示的全局向量](http:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FD14-1162)|GloVe|\n|Turian et al., 2010|[单词表示：一种简单通用的半监督学习方法](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F220873681_Word_Representations_A_Simple_and_General_Method_for_Semi-Supervised_Learning)|Joseph Turian, Lev Ratinov, and Yoshua Bengio. 2010.|\n|Kiros et al., 2015|[Skip-Thought 向量](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.06726v1)|Skip-Thought 向量 |\n|Logeswaran and Lee, 2018|[学习句子表示的高效框架](https:\u002F\u002Farxiv.org\u002Fabs\u002F1803.02893v1)|Lajanugen Logeswaran and Honglak Lee. 2018.|\n|Le and Mikolov, 2014|[句子和文档的分布式表示](https:\u002F\u002Farxiv.org\u002Fabs\u002F1405.4053v2)|Quoc Le and Tomas Mikolov. 2014.|\n|Peters et al., 2017|[使用双向语言模型进行半监督序列标注](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.00108v1)|Matthew Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power. 2017.|\n|Peters et al., 2018|[深度上下文化单词表示](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.05365v2)|ELMo|\n|Rajpurkar et al., 2016|[SQuAD：机器阅读理解 (Machine Comprehension of Text) 的 10 万 + 个问题](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|SQuAD|\n|Socher et al., 2013|[深度移动：用于情感分析 (Sentiment Analysis) 的深度学习](https:\u002F\u002Fnlp.stanford.edu\u002Fsentiment\u002F)|SST-2|\n|Tjong Kim Sang and De Meulder, 2003|[CoNLL-2003 共享任务介绍：语言无关的命名实体识别 (Named Entity Recognition)](http:\u002F\u002Fwww.oalib.com\u002Fpaper\u002F4018980)|Erik F Tjong Kim Sang and Fien De Meulder. 2003.|\n|Dai and Le, 2015|[半监督序列学习。In Advances in neural information processing systems, pages 3079–3087](http:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5949-semi-supervised-sequence-learning)|Andrew M Dai and Quoc V Le. 2015|\n|Howard and Ruder, 2018|[用于文本分类的通用语言模型微调 (Fine-tuning)](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.06146v5)|**ULMFiT**；Jeremy Howard and Sebastian Ruder.|\n|Radford et al., 2018|[利用无监督学习 (Unsupervised Learning) 改进语言理解](https:\u002F\u002Fblog.openai.com\u002Flanguage-unsupervised\u002F)|OpenAI GPT|\n|Wang et al.(2018)|[GLUE：自然语言理解的多任务基准和分析平台](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.07461v2)|GLUE|\n|Con-neau et al., 2017|[从自然语言推理 (Natural Language Inference) 数据中监督学习通用句子表示](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002FD17-1070)|Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, and Antoine Bordes. 2017.|\n|McCann et al., 2017|[翻译中学习：上下文化单词向量](https:\u002F\u002Feinstein.ai\u002Fstatic\u002Fimages\u002Fpages\u002Fresearch\u002Fcove\u002FMcCann2017LearnedIT.pdf)|Bryan McCann, James Bradbury, Caiming Xiong, and Richard Socher. 2017.|\n|Deng et al.|[ImageNet：大规模分层图像数据库](https:\u002F\u002Fieeexplore.ieee.org\u002Fdocument\u002F5206848)|J. Deng,W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. 2009.|\n|Yosinski et al., 2014|[深度神经网络 (Deep Neural Networks) 中的特征可迁移性如何？](https:\u002F\u002Farxiv.org\u002Fabs\u002F1411.1792v1)|Jason Yosinski, Jeff Clune, Yoshua Bengio, and Hod Lipson. 2014.|\n\n**3. BERT 中的参考文献**\n\n|BERT 文中简写 | 原始论文标题 | 其它 |\n|-|-|-|\n|Vaswani et al. (2017)|[注意力机制 (Attention Is All You Need)](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762v5)|Transformer|\n|Wu et al., 2016|[Google 神经机器翻译 (Neural Machine Translation) 系统：弥合人类与机器翻译之间的差距](https:\u002F\u002Farxiv.org\u002Fabs\u002F1609.08144v2)|WordPiece|\n|Taylor, 1953|[\"Cloze 程序\"]：测量可读性 (Readability) 的新工具](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F232539913_Cloze_Procedure_A_New_Tool_For_Measuring_Readability)|Wilson L Taylor. 1953.|\n|Vincent et al., 2008|[提取和组合鲁棒特征的去噪自编码器 (denoising auto-encoders)](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F221346269_Extracting_and_composing_robust_features_with_denoising_autoencoders)|去噪自编码器 |\n|Zhu et al., 2015|[对齐书籍和电影：通过看电影和读书实现故事般的视觉解释](https:\u002F\u002Farxiv.org\u002Fabs\u002F1506.06724v1)|BooksCorpus (800M 单词)|\n|Chelba et al., 2013|[衡量统计语言建模 (Statistical Language Modeling) 进展的十亿词基准](https:\u002F\u002Farxiv.org\u002Fabs\u002F1312.3005v3)|Billion Word Benchmark corpus|\n|Hendrycks and Gimpel, 2016|[高斯误差线性单元 (GELUs)](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.08415v3)|GELU|\n\n**4. 实验中的参考文献**\n\n|BERT 文中简写 | 原始论文标题 | 其他 |\n|-|-|-|\n|Wang et al.(2018)|[GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding](https:\u002F\u002Farxiv.org\u002Fabs\u002F1804.07461v2)|GLUE|\n|Williams et al., 2018|[A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference](https:\u002F\u002Farxiv.org\u002Fabs\u002F1704.05426v4)|MNLI|\n|Chen et al., 2018|[First Quora Dataset Release: Question Pairs](https:\u002F\u002Fdata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)|QQP|\n|Rajpurkar et al., 2016|[SQuAD: 100,000+ Questions for Machine Comprehension of Text](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|QNLI|\n|Socher et al., 2013|[Deeply Moving: Deep Learning for Sentiment Analysis](https:\u002F\u002Fnlp.stanford.edu\u002Fsentiment\u002F)|SST-2|\n|Warstadt et al., 2018|[The Corpus of Linguistic Acceptability](https:\u002F\u002Fnyu-mll.github.io\u002FCoLA\u002F)|CoLA|\n|Cer et al., 2017|[SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation](https:\u002F\u002Farxiv.org\u002Fabs\u002F1708.00055v1)|STS-B|\n|Dolan and Brockett, 2005|[Automatically constructing a corpus of sentential paraphrases](https:\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F228613673_Automatically_constructing_a_corpus_of_sentential_paraphrases)|MRPC|\n|Bentivogli et al., 2009|[The fifth pascal recognizing textual entailment challenge](https:\u002F\u002Fwww.mendeley.com\u002Fcatalogue\u002Ffifth-pascal-recognizing-textual-entailment-challenge\u002F)|RTE|\n|Levesque et al., 2011|[The winograd schema challenge. In Aaai spring symposium: Logical formalizations of commonsense reasoning, volume 46, page 47.](https:\u002F\u002Fcs.nyu.edu\u002Ffaculty\u002Fdavise\u002Fpapers\u002FWinogradSchemas\u002FWS.html)|WNLI|\n|Rajpurkar et al., 2016|[SQuAD: 100,000+ Questions for Machine Comprehension of Text](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.05250v3)|SQuAD|\n|Joshi et al., 2017|[TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension](https:\u002F\u002Farxiv.org\u002Fabs\u002F1705.03551v2)|TriviaQA|\n|Clark et al., 2018|[Semi-Supervised Sequence Modeling with Cross-View Training](https:\u002F\u002Farxiv.org\u002Fabs\u002F1809.08370v1)||\n|Zellers et al., 2018|[SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference](https:\u002F\u002Farxiv.org\u002Fabs\u002F1808.05326v1)|SWAG|\n\n**5. 消融研究（Ablation Studies）参考文献**\n\n|BERT 文中简写 | 原始论文标题 | 其他 |\n|-|-|-|\n|Vaswani et al. (2017)|[Attention Is All You Need](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762v5)|Transformer|\n|Al-Rfou et al., 2018|[Character-Level Language Modeling with Deeper Self-Attention](https:\u002F\u002Farxiv.org\u002Fabs\u002F1808.04444v1)||","# BERT_Paper_Chinese_Translation 快速上手指南\n\n## 简介\n本工具提供了经典论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》的完整中文翻译。资源包含论文原文对照、所有引用资料的网络连接以及移动端扫码阅读功能，旨在帮助开发者无障碍地研究 BERT 模型原理。\n\n## 1. 环境准备\n由于本资源主要为文档资料，无需复杂的开发环境配置。\n- **操作系统**：支持 Windows、macOS、Linux 及移动设备。\n- **阅读工具**：\n  - 电脑端：支持 PDF 阅读的浏览器（如 Chrome）、Adobe Acrobat 或 Markdown 编辑器。\n  - 手机端：微信或其他支持图片\u002F二维码扫描的应用。\n- **网络要求**：需能访问 GitHub 及 ArXiv 等学术资源网站（国内用户如遇网络延迟，建议配置代理或使用稳定网络）。\n\n## 2. 安装步骤\n本资源为静态文档库，可通过以下方式获取最新翻译内容：\n\n### 方式一：直接下载 PDF（推荐）\n适合快速阅读和离线保存。\n1. 访问资源页面。\n2. 点击下载链接：[BERT 论文翻译 PDF 版下载](BERT 中文翻译 PDF 版.pdf)。\n\n### 方式二：克隆代码仓库\n适合需要编辑 Markdown 源码或追踪更新的用户。\n```bash\ngit clone \u003C仓库地址>\n```\n*(注：具体仓库地址请参考项目主页，若无法访问可尝试使用国内镜像源)*\n\n### 方式三：移动端阅读\n1. 打开项目首页。\n2. 使用手机扫描页面上的二维码：\n   ![](Bidirectional_Encoder_Representations_Transformers翻译\u002FBERT 论文翻译扫码阅读.png)\n\n## 3. 基本使用\n获取资源后，您可以根据需求选择阅读方式：\n\n- **在线阅读**：在本地打开 `Bidirectional_Encoder_Representations_Transformers 翻译.md` 文件，使用 Markdown 编辑器查看结构化文本。\n- **深度研读**：打开下载的 PDF 文件，查阅完整的图表（如图 1 预训练模型结构、图 2 输入表示）及公式推导。\n- **扩展研究**：利用翻译文档中提供的引用链接（如 ELMo、OpenAI GPT 等），跳转至原始论文进行对比学习。\n\n## 注意事项\n- **版权说明**：转载请注明出处。\n- **商业用途**：如需商用，请联系译者袁宵 (wangzichaochaochao@gmail.com)。\n- **版本差异**：本文档基于 2018 年 11 月发布的 v1 版本翻译，与 2019 年 5 月的 v2 版本存在细微差异，研究时请注意区分。","某电商平台的自然语言处理工程师小李，为了提升商品评论情感分析的准确率，决定基于 BERT 架构进行模型微调，首先需要吃透其底层原理。\n\n### 没有 BERT_Paper_Chinese_Translation 时\n- 面对全英文原版论文，专业术语理解困难，频繁查阅字典严重拖慢学习进度。\n- 文中提到的参考文献分散在脚注中，需要逐个点击跳转并确认有效性，容易遗漏关键背景资料。\n- 复杂的 Transformer 架构图和数学公式缺乏中文注释，导致对双向上下文掩码机制理解模糊。\n- 团队内部技术分享前，需花费数小时自行翻译整理材料，不仅效率低还容易产生歧义。\n\n### 使用 BERT_Paper_Chinese_Translation 后\n- 直接阅读完整且流畅的中文译文，迅速厘清预训练与微调的核心逻辑差异及优势。\n- 资源包内已整合所有引用资料的网络连接，一键即可访问原始文献进行深度溯源研究。\n- 提供高清 PDF 版及清晰图表预览，支持离线阅读并在关键段落做笔记标注，方便复习。\n- 省去翻译环节，将精力集中在模型参数调优上，大幅缩短从理论理解到代码落地的周期。\n\nBERT_Paper_Chinese_Translation 通过消除语言障碍并提供完整索引，让中文开发者能高效吸收前沿 NLP 技术精髓。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyuanxiaosc_BERT_Paper_Chinese_Translation_05b1cd4a.png","yuanxiaosc","袁宵","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fyuanxiaosc_e3521cfd.png","CTR; CVR","Baidu","Bei Jing, China","wangzichaochaochao@gmail.com",null,"https:\u002F\u002Fyuanxiaosc.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fyuanxiaosc",686,144,"2026-03-09T04:47:40","MIT",1,"未说明",{"notes":92,"python":90,"dependencies":93},"该资源为 BERT 论文的中文翻译文档（包含 Markdown 和 PDF 版本），属于资料类资源而非可执行代码库或模型训练工具。因此没有特定的操作系统、GPU、内存或 Python 环境要求。用户只需具备文本编辑器、Markdown 阅读器或 PDF 阅读器即可查看内容。",[],[15],[96,97,98,99,100],"bert","chinese-translation","paper-translate","transformer","paper","2026-03-27T02:49:30.150509","2026-04-06T07:05:48.351161",[104,109,113,117,122,126],{"id":105,"question_zh":106,"answer_zh":107,"source_url":108},2619,"BERT 可以用于机器翻译任务吗？","可以。你可以简单把 BERT 当做类似于 CNN、LSTM 这样的特征提取器，从这个角度上来看 BERT 可以用于几乎所有的 NLP 任务。","https:\u002F\u002Fgithub.com\u002Fyuanxiaosc\u002FBERT_Paper_Chinese_Translation\u002Fissues\u002F2",{"id":110,"question_zh":111,"answer_zh":112,"source_url":108},2620,"BERT 做翻译是不是就是把 BERT 后面接一个 Transformer？","BERT 论文明确指出 BERT 就是由多层 Transformer 构成的多层前馈神经网络。具体架构细节可参考论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。",{"id":114,"question_zh":115,"answer_zh":116,"source_url":108},2621,"如何通俗理解 BERT 的核心作用？","建议将 BERT 视为一种特征提取器，类似于 CNN 或 LSTM。它主要用于语言理解（Language Understanding），作为预训练模型提供深层双向上下文信息。",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},2622,"ELMo 有类似这篇 BERT 一样的中文翻译资源吗？","ELMo 已经有很多翻译和解析，不再单独翻译。推荐阅读 [NAACL 2018 最佳论文：艾伦人工智能研究所提出新型深度语境化词表征](https:\u002F\u002Fwww.jiqizhixin.com\u002Farticles\u002F060704) 或者作者博客 [ELMo_Deep_contextualized_word_representations](https:\u002F\u002Fyuanxiaosc.github.io\u002F2018\u002F10\u002F29\u002FELMo_Deep_contextualized_word_representations\u002F)。","https:\u002F\u002Fgithub.com\u002Fyuanxiaosc\u002FBERT_Paper_Chinese_Translation\u002Fissues\u002F1",{"id":123,"question_zh":124,"answer_zh":125,"source_url":121},2623,"GPT 会有单独的中文翻译资源吗？","不会对 GPT 单独翻译，未来可能对 GPT2 进行翻译和解析。",{"id":127,"question_zh":128,"answer_zh":129,"source_url":108},2624,"遇到技术问题应该通过什么渠道联系维护者？","有什么问题一般通过邮件联系就 OK 了，GitHub Issues 可能不是首选联系方式。",[]]