[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Langboat--Mengzi":3,"tool-Langboat--Mengzi":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":78,"stars":81,"forks":82,"last_commit_at":83,"license":84,"difficulty_score":10,"env_os":85,"env_gpu":85,"env_ram":85,"env_deps":86,"category_tags":91,"github_topics":92,"view_count":10,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":100,"updated_at":101,"faqs":102,"releases":138},677,"Langboat\u002FMengzi","Mengzi","Mengzi Pretrained Models","Mengzi 是一套专为中文场景打造的轻量级预训练语言模型系列。面对当前自然语言处理中预训练模型算力成本高、部署难的痛点，Mengzi 致力于在有限资源下提供性能更优的解决方案。它不盲目追求规模，而是通过融入语言学信息和训练加速技术，实现“轻量却强大”的目标。\n\nMengzi 兼容 BERT、T5、GPT 及 BLOOM 等多种主流架构，其中与 BERT 保持一致的结构设计，使得它能快速无缝替换现有模型。无论是文本分类、实体识别，还是文案生成、多任务零样本学习，甚至金融垂直领域的应用，Mengzi 都提供了丰富的模型选择。此外，它还支持多模态任务如图片描述。\n\n这套开源模型非常适合算法工程师、科研人员以及寻求低成本落地方案的工业界用户。通过 Mengzi，大家可以在降低显存需求的同时，获得开箱即用的中文 NLP 能力，轻松构建高效的智能应用。","[**中文**](.\u002FREADME.md) | [**English**](.\u002FREADME_en.md)\n\n# Mengzi\n\n尽管预训练语言模型在 NLP 的各个领域里得到了广泛的应用，但是其高昂的时间和算力成本依然是一个亟需解决的问题。这要求我们在一定的算力约束下，研发出各项指标更优的模型。\n\n我们的目标不是追求更大的模型规模，而是轻量级但更强大，同时对部署和工业落地更友好的模型。\n\n基于语言学信息融入和训练加速等方法，我们研发了 Mengzi 系列模型。由于与 BERT 保持一致的模型结构，Mengzi 模型可以快速替换现有的预训练模型。\n\n详细的技术报告请参考:\n\n[Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese](https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.06696)\n\n## Update 2022-11-10\n* 增加 Guohua-Diffusion\n\n## Update 2022-10-13\n* 增加 ReGPT-125M-200G，基于 [Mengzi-Retrieval-LM](https:\u002F\u002Fgithub.com\u002FLangboat\u002Fmengzi-retrieval-lm) 在 GPT-Neo-125M 上训练的模型\n\n## Update 2022-09-01\n* 添加 4 个基于中文语料裁剪的 BLOOM 模型\n\n## Update 2022-08-29\n添加两个已开源的 GPT 架构模型：\n* 基于中文语料从头训练的 GPT-neo 模型 [Mengzi-GPT-neo-base](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-gpt-neo-base)\n* 基于中文语料对多语言版本进行裁剪的 BLOOM 模型 [BLOOM-389m-zh](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-389m-zh)\n\n## Update 2022-08-18\n@huajingyun \n* 添加已开源的孟子蒸馏模型 [Mengzi-BERT-L6-H768](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-bert-L6-H768)。该模型由 mengzi-bert-large 蒸馏获得。\n* 添加已开源的孟子多任务模型 [Mengzi-T5-base-MT](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-t5-base-mt)。该模型是一个多任务模型，是在 [Mengzi-T5-base](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-t5-base) 的基础上，使用了额外的27个数据集及301个 prompt 进行了多任务训练得到的。[Mengzi Zero-Shot](https:\u002F\u002Fgithub.com\u002FLangboat\u002Fmengzi-zero-shot)开源项目已提供实体抽取、语义相似度、金融关系抽取、广告文案生成、医学领域意图分类、情感分类、评论对象抽取、新闻分类等能力，开箱即用。\n\n\n## Update 2022-02-26\n@hululuzhu 基于 mengzi-t5-base 训练了中文AI写作模型，可以生成诗歌和对子。模型和具体用法请参考：[chinese-ai-writing-share](https:\u002F\u002Fgithub.com\u002Fhululuzhu\u002Fchinese-ai-writing-share)\n\n一些生成例子：\n```\n上： 不待鸣钟已汗颜，重来试手竟何艰\n下： 何堪击鼓频催泪？一别伤心更枉然\n上： 北国风光，千里冰封，万里雪飘\n下： 南疆气象，五湖浪涌，三江潮来\n\n標題： 作诗：中秋\n詩歌： 秋氣侵肌骨，寒光入鬢毛。雲收千里月，風送一帆高。\n標題： 作诗：中秋 模仿：苏轼\n詩歌： 月從海上生，照我庭下影。不知此何夕，但見天宇靜。\n```\n## Update 2022-02-10\n感谢由飞桨团队 @yingyibiao 提供的 PaddleNLP 版本模型和文档。\n\n注意：PaddleNLP 版本的模型并非澜舟科技的产品，我们也不为其结果和效果承担相应责任。\n\n# 导航\n* [模型介绍](#模型介绍)\n* [快速上手](#快速上手)\n* [依赖安装](#依赖安装)\n* [联系方式](#联系方式)\n* [免责声明](#免责声明)\n* [文献引用](#文献引用)\n\n# 模型介绍\n|模型|参数量|适用场景|特点|下载链接|\n|-|-|-|-|-|\n|Mengzi-BERT-base|110M|文本分类、实体识别、关系抽取、阅读理解等自然语言理解类任务|与 BERT 结构相同，可以直接替换现有 BERT 权重| [HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzibertbase), [国内ZIP下载](https:\u002F\u002Fs.langboat.com\u002Fmengzibertbase), [PaddleNLP](https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fcommunity\u002FLangboat\u002Fmengzi-bert-base\u002Fmodel_state.pdparams) |\n|Mengzi-BERT-L6-H768|60M|文本分类、实体识别、关系抽取、阅读理解等自然语言理解类任务|由 Mengzi-BERT-large 蒸馏获得| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-bert-L6-H768) |\n|Mengzi-BERT-base-fin|110M|金融领域的自然语言理解类任务|基于 Mengzi-BERT-base 在金融语料上训练|[HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzibertbasefin), [国内ZIP下载](https:\u002F\u002Fs.langboat.com\u002Fmengzibertbasefin), [PaddleNLP](https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fcommunity\u002FLangboat\u002Fmengzi-bert-base-fin\u002Fmodel_state.pdparams) |\n|Mengzi-T5-base|220M|适用于文案生成、新闻生成等可控文本生成任务|与 T5 结构相同，不包含下游任务，需要在特定任务上 Finetune 后使用。与 GPT 定位不同，不适合文本续写|[HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzit5base), [国内ZIP下载](https:\u002F\u002Fs.langboat.com\u002Fmengzit5base), [PaddleNLP](https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fcommunity\u002FLangboat\u002Fmengzi-t5-base\u002Fmodel_state.pdparams) |\n|Mengzi-T5-base-MT|220M|提供 Zero-Shot、Few-Shot能力|多任务模型，可通过prompt完成各种任务|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-t5-base-mt) |\n|Mengzi-Oscar-base|110M|适用于图片描述、图文互检等任务|基于 Mengzi-BERT-base 的多模态模型。在百万级图文对上进行训练|[HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzioscarbase)|\n|Mengzi-GPT-neo-base|125M|文本续写类任务|基于中文语料从头训练，适合作为相关工作的 baseline 模型|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-gpt-neo-base)|\n|BLOOM-389m-zh|389M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-389m-zh)\n|BLOOM-800m-zh|800M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-800m-zh)\n|BLOOM-1b4-zh|1400M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-1b4-zh)\n|BLOOM-2b5-zh|2500M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-2b5-zh)\n|BLOOM-6b4-zh|6400M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-6b4-zh)\n|ReGPT-125M-200G|125M|文本续写类任务|通过 https:\u002F\u002Fgithub.com\u002FLangboat\u002Fmengzi-retrieval-lm 在 GPT-Neo-125M 上训练的模型|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002FReGPT-125M-200G)\n|Guohua-Diffusion| - |国画风文图生成|基于 StableDiffusion v1.5 进行 DreamBooth 训练|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002FGuohua-Diffusion)\n\n# 快速上手\n## Mengzi-BERT\n```python\n# 使用 Huggingface transformers 加载\nfrom transformers import BertTokenizer, BertModel\n\ntokenizer = BertTokenizer.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\nmodel = BertModel.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\n```\n\n或者\n```python\n# 使用 PaddleNLP 加载\nfrom paddlenlp.transformers import BertTokenizer, BertModel\n\ntokenizer = BertTokenizer.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\nmodel = BertModel.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\n```\nIntegrated to [Huggingface Spaces](https:\u002F\u002Fhuggingface.co\u002Fspaces) with [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio). See demo: [![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fakhaliq\u002Fmengzi-bert-base)\n\n## Mengzi-T5\n```python\n# 使用 Huggingface transformers 加载\nfrom transformers import T5Tokenizer, T5ForConditionalGeneration\n\ntokenizer = T5Tokenizer.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\nmodel = T5ForConditionalGeneration.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\n```\n或者\n```python\n# 使用 PaddleNLP 加载\nfrom paddlenlp.transformers import T5Tokenizer, T5ForConditionalGeneration\n\ntokenizer = T5Tokenizer.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\nmodel = T5ForConditionalGeneration.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\n```\n\n## Mengzi-Oscar\n[参考文档](.\u002FMengzi-Oscar.md)\n\n# 依赖安装\n```bash\n# 使用 Huggingface transformers 加载\npip install transformers\n```\n或者\n```bash\n# 使用 PaddleNLP 加载\npip install paddlenlp\n```\n# 下游任务\n## CLUE 分数\n| Model | AFQMC | TNEWS | IFLYTEK | CMNLI | WSC | CSL | CMRC2018 | C3 | CHID |\n|-|-|-|-|-|-|-|-|-|-|\n|RoBERTa-wwm-ext| 74.30 | 57.51 | 60.80 | 80.70 | 67.20 | 80.67 | 77.59 | 67.06 | 83.78 |\n|Mengzi-BERT-base| 74.58 | 57.97 | 60.68 | 82.12 | 87.50 | 85.40 | 78.54 | 71.70 | 84.16 |\n|Mengzi-BERT-L6-H768| 74.75 | 56.68 | 60.22 | 81.10 | 84.87 | 85.77 | 78.06 | 65.49 | 80.59 |\n\n*RoBERTa-wwm-ext 的分数来自 [CLUE baseline](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE)*\n## 对应超参\n| Task | Learning rate | Global batch size | Epochs |\n| - | - | - | - |\n| AFQMC | 3e-5 | 32 | 10 |\n| TNEWS | 3e-5 | 128 | 10 |\n| IFLYTEK | 3e-5 | 64 | 10 |\n| CMNLI | 3e-5 | 512 | 10 |\n| WSC | 8e-6 | 64 | 50 |\n| CSL | 5e-5 | 128 | 5 |\n| CMRC2018 | 5e-5 | 8 | 5 |\n| C3 | 1e-4 | 240 | 3 |\n| CHID | 5e-5 | 256 | 5 |\n\n# 联系方式\n\n## 微信讨论群\n\u003Cimg width=\"200\" alt=\"image\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLangboat_Mengzi_readme_8e0927f06169.jpg\">\n\n## 邮箱\nwangyulong[at]langboat[dot]com\n\n# FAQ\n**Q. mengzi-bert-base 保存的模型大小是196M。  但 bert-base 的模型大小是在 389M 左右，是定义的 base 有区别，还是保存的时候，少了一些不必要的内容？**  \nA: 这是因为 Mengzi-bert-base 用 FP16 训练的。\n\n**Q. 金融预训练模型的数据来源是什么呢？**  \nA: 网页爬取的金融新闻、公告、研报。\n\n**Q. 是否有 Tensorflow 版模型？**  \nA: 可以自行转换。\n\n**Q. 能否开源 Training 代码？**  \nA:  由于和内部基础设施耦合的比较紧，目前没有计划。\n\n**Q. 如何能做到 Langboat 官方网站上文本生成 Demo 一样的效果呢？**  \nA: 我们的文本生成核心模型基于 T5 架构，基础的文本生成算法可以参考 Google 的 T5 论文： https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.10683.pdf。\n我们开源的 Mengzi-T5 模型与 Google 的 T5 预训练模型架构相同是通用的预训练模型，没有专门的文本生成任务。我们的营销文案生成功能是在其之上使用大量数据进行了具体的下游任务 Finetune。而在此基础上为了达到可控生成的效果，我们又构建了一整套文本生成 Pipeline：从数据清洗、知识抽取、训练数据构建到生成质量评价。其中大部分是按照商业落地场景进行订制的：根据不同的业务需求、不同的数据形式构建不同的预训练和 Finetune 任务。这部分牵涉到比较复杂的软件架构以及具体的业务场景，我们暂时还没有进行开源。\n\n**Q. Mengzi-T5-base 能直接 Inference 么？**  \nA: 我们参考了 T5 v1.1，不包含下游任务。\n\n**Q: 用 Huggingface Transformer 加载出错了怎么办？**  \nA: 加上 `force_download=True` 试试。\n\n**Q: Mengzi-T5-base 在做constrain generation的时候，似乎总是倾向于生成词粒度的候选，而mT5 则相反，是字粒度优先，这个是训练过程就是词粒度处理了吗？**  \nA:  我们没有用 mT5 的词表，而是基于语料重新训练了 Tokenizer，包含了更多词汇。这样同样长度的文本 encode 之后 token 数会更少些，显存占用更小，训练速度更快。\n\n\n\n\n# 免责声明\n该项目中的内容仅供技术研究参考，不作为任何结论性依据。使用者可以在许可证范围内任意使用该模型，但我们不对因使用该项目内容造成的直接或间接损失负责。技术报告中所呈现的实验结果仅表明在特定数据集和超参组合下的表现，并不能代表各个模型的本质。 实验结果可能因随机数种子，计算设备而发生改变。\n\n使用者以各种方式使用本模型（包括但不限于修改使用、直接使用、通过第三方使用）的过程中，不得以任何方式利用本模型直接或间接从事违反所属法域的法律法规、以及社会公德的行为。使用者需对自身行为负责，因使用本模型引发的一切纠纷，由使用者自行承担全部法律及连带责任。我们不承担任何法律及连带责任。\n\n我们拥有对本免责声明的解释、修改及更新权。\n\n# 文献引用\n```\n@misc{zhang2021mengzi,\n      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, \n      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},\n      year={2021},\n      eprint={2110.06696},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```\n","[**中文**](.\u002FREADME.md) | [**English**](.\u002FREADME_en.md)\n\n# Mengzi\n\n尽管预训练语言模型在自然语言处理（NLP）的各个领域里得到了广泛的应用，但是其高昂的时间和算力成本依然是一个亟需解决的问题。这要求我们在一定的算力约束下，研发出各项指标更优的模型。\n\n我们的目标不是追求更大的模型规模，而是轻量级但更强大，同时对部署和工业落地更友好的模型。\n\n基于语言学信息融入和训练加速等方法，我们研发了 Mengzi 系列模型。由于与 BERT（Bidirectional Encoder Representations from Transformers）保持一致的模型结构，Mengzi 模型可以快速替换现有的预训练模型。\n\n详细的技术报告请参考:\n\n[Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese](https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.06696)\n\n## 更新 2022-11-10\n* 增加 Guohua-Diffusion\n\n## 更新 2022-10-13\n* 增加 ReGPT-125M-200G，基于 [Mengzi-Retrieval-LM](https:\u002F\u002Fgithub.com\u002FLangboat\u002Fmengzi-retrieval-lm) 在 GPT-Neo-125M 上训练的模型\n\n## 更新 2022-09-01\n* 添加 4 个基于中文语料裁剪的 BLOOM 模型\n\n## 更新 2022-08-29\n添加两个已开源的 GPT（Generative Pre-trained Transformer）架构模型：\n* 基于中文语料从头训练的 GPT-neo 模型 [Mengzi-GPT-neo-base](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-gpt-neo-base)\n* 基于中文语料对多语言版本进行裁剪的 BLOOM 模型 [BLOOM-389m-zh](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-389m-zh)\n\n## 更新 2022-08-18\n@huajingyun \n* 添加已开源的孟子蒸馏模型 [Mengzi-BERT-L6-H768](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-bert-L6-H768)。该模型由 mengzi-bert-large 蒸馏获得。\n* 添加已开源的孟子多任务模型 [Mengzi-T5-base-MT](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-t5-base-mt)。该模型是一个多任务模型，是在 [Mengzi-T5-base](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-t5-base) 的基础上，使用了额外的 27 个数据集及 301 个提示词（prompt）进行了多任务训练得到的。[Mengzi Zero-Shot](https:\u002F\u002Fgithub.com\u002FLangboat\u002Fmengzi-zero-shot) 开源项目已提供实体抽取、语义相似度、金融关系抽取、广告文案生成、医学领域意图分类、情感分类、评论对象抽取、新闻分类等能力，开箱即用。\n\n\n## 更新 2022-02-26\n@hululuzhu 基于 mengzi-t5-base 训练了中文 AI 写作模型，可以生成诗歌和对子。模型和具体用法请参考：[chinese-ai-writing-share](https:\u002F\u002Fgithub.com\u002Fhululuzhu\u002Fchinese-ai-writing-share)\n\n一些生成例子：\n```\n上：不待鸣钟已汗颜，重来试手竟何艰\n下：何堪击鼓频催泪？一别伤心更枉然\n上：北国风光，千里冰封，万里雪飘\n下：南疆气象，五湖浪涌，三江潮来\n\n標題：作诗：中秋\n詩歌：秋氣侵肌骨，寒光入鬢毛。雲收千里月，風送一帆高。\n標題：作诗：中秋 模仿：苏轼\n詩歌：月從海上生，照我庭下影。不知此何夕，但見天宇靜。\n```\n## 更新 2022-02-10\n感谢由飞桨团队 @yingyibiao 提供的 PaddleNLP（飞桨自然语言处理库）版本模型和文档。\n\n注意：PaddleNLP 版本的模型并非澜舟科技的产品，我们也不为其结果和效果承担相应责任。\n\n# 导航\n* [模型介绍](#模型介绍)\n* [快速上手](#快速上手)\n* [依赖安装](#依赖安装)\n* [联系方式](#联系方式)\n* [免责声明](#免责声明)\n* [文献引用](#文献引用)\n\n# 模型介绍\n|模型|参数量|适用场景|特点|下载链接|\n|-|-|-|-|-|\n|Mengzi-BERT-base|110M|文本分类、实体识别、关系抽取、阅读理解等自然语言理解类任务|与 BERT 结构相同，可以直接替换现有 BERT 权重| [HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzibertbase), [国内 ZIP 下载](https:\u002F\u002Fs.langboat.com\u002Fmengzibertbase), [PaddleNLP](https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fcommunity\u002FLangboat\u002Fmengzi-bert-base\u002Fmodel_state.pdparams) |\n|Mengzi-BERT-L6-H768|60M|文本分类、实体识别、关系抽取、阅读理解等自然语言理解类任务|由 Mengzi-BERT-large 蒸馏获得| [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-bert-L6-H768) |\n|Mengzi-BERT-base-fin|110M|金融领域的自然语言理解类任务|基于 Mengzi-BERT-base 在金融语料上训练|[HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzibertbasefin), [国内 ZIP 下载](https:\u002F\u002Fs.langboat.com\u002Fmengzibertbasefin), [PaddleNLP](https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fcommunity\u002FLangboat\u002Fmengzi-bert-base-fin\u002Fmodel_state.pdparams) |\n|Mengzi-T5-base|220M|适用于文案生成、新闻生成等可控文本生成任务|与 T5（Text-to-Text Transfer Transformer）结构相同，不包含下游任务，需要在特定任务上进行微调（Finetune）后使用。与 GPT 定位不同，不适合文本续写|[HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzit5base), [国内 ZIP 下载](https:\u002F\u002Fs.langboat.com\u002Fmengzit5base), [PaddleNLP](https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fcommunity\u002FLangboat\u002Fmengzi-t5-base\u002Fmodel_state.pdparams) |\n|Mengzi-T5-base-MT|220M|提供零样本（Zero-Shot）、少样本（Few-Shot）能力|多任务模型，可通过 prompt 完成各种任务|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-t5-base-mt) |\n|Mengzi-Oscar-base|110M|适用于图片描述、图文互检等任务|基于 Mengzi-BERT-base 的多模态模型。在百万级图文对上进行训练|[HuggingFace](https:\u002F\u002Fs.langboat.com\u002Fhfmengzioscarbase)|\n|Mengzi-GPT-neo-base|125M|文本续写类任务|基于中文语料从头训练，适合作为相关工作的基线（baseline）模型|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fmengzi-gpt-neo-base)|\n|BLOOM-389m-zh|389M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-389m-zh)\n|BLOOM-800m-zh|800M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-800m-zh)\n|BLOOM-1b4-zh|1400M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-1b4-zh)\n|BLOOM-2b5-zh|2500M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-2b5-zh)\n|BLOOM-6b4-zh|6400M|文本续写类任务|基于中文语料对多语言版本进行裁剪的 BLOOM 模型，降低了对显存的需求|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002Fbloom-6b4-zh)\n|ReGPT-125M-200G|125M|文本续写类任务|通过 https:\u002F\u002Fgithub.com\u002FLangboat\u002Fmengzi-retrieval-lm 在 GPT-Neo-125M 上训练的模型|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002FReGPT-125M-200G)\n|Guohua-Diffusion| - |国画风文图生成|基于 Stable Diffusion（图像生成模型）v1.5 进行 DreamBooth（微调方法）训练|[HuggingFace](https:\u002F\u002Fhuggingface.co\u002FLangboat\u002FGuohua-Diffusion)\n\n# 快速上手\n## Mengzi-BERT\n```python\n# 使用 Huggingface transformers 加载\nfrom transformers import BertTokenizer, BertModel\n\ntokenizer = BertTokenizer.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\nmodel = BertModel.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\n```\n\n或者\n```python\n# 使用 PaddleNLP 加载\nfrom paddlenlp.transformers import BertTokenizer, BertModel\n\ntokenizer = BertTokenizer.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\nmodel = BertModel.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\n```\n已集成至 [Huggingface Spaces](https:\u002F\u002Fhuggingface.co\u002Fspaces)，使用 [Gradio](https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio)。查看演示：[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fakhaliq\u002Fmengzi-bert-base)\n\n## Mengzi-T5\n```python\n# 使用 Huggingface transformers 加载\nfrom transformers import T5Tokenizer, T5ForConditionalGeneration\n\ntokenizer = T5Tokenizer.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\nmodel = T5ForConditionalGeneration.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\n```\n或者\n```python\n# 使用 PaddleNLP 加载\nfrom paddlenlp.transformers import T5Tokenizer, T5ForConditionalGeneration\n\ntokenizer = T5Tokenizer.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\nmodel = T5ForConditionalGeneration.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\n```\n\n## Mengzi-Oscar\n[参考文档](.\u002FMengzi-Oscar.md)\n\n# 依赖安装\n```bash\n# 使用 Huggingface transformers 加载\npip install transformers\n```\n或者\n```bash\n# 使用 PaddleNLP 加载\npip install paddlenlp\n```\n# 下游任务\n## 中文语言理解评测基准（CLUE）分数\n| Model | AFQMC | TNEWS | IFLYTEK | CMNLI | WSC | CSL | CMRC2018 | C3 | CHID |\n|-|-|-|-|-|-|-|-|-|-|\n|RoBERTa-wwm-ext| 74.30 | 57.51 | 60.80 | 80.70 | 67.20 | 80.67 | 77.59 | 67.06 | 83.78 |\n|Mengzi-BERT-base| 74.58 | 57.97 | 60.68 | 82.12 | 87.50 | 85.40 | 78.54 | 71.70 | 84.16 |\n|Mengzi-BERT-L6-H768| 74.75 | 56.68 | 60.22 | 81.10 | 84.87 | 85.77 | 78.06 | 65.49 | 80.59 |\n\n*RoBERTa-wwm-ext 的分数来自 [CLUE baseline](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE)*\n## 对应超参\n| 任务 | 学习率 | 全局批次大小 | 训练轮数 |\n| - | - | - | - |\n| AFQMC | 3e-5 | 32 | 10 |\n| TNEWS | 3e-5 | 128 | 10 |\n| IFLYTEK | 3e-5 | 64 | 10 |\n| CMNLI | 3e-5 | 512 | 10 |\n| WSC | 8e-6 | 64 | 50 |\n| CSL | 5e-5 | 128 | 5 |\n| CMRC2018 | 5e-5 | 8 | 5 |\n| C3 | 1e-4 | 240 | 3 |\n| CHID | 5e-5 | 256 | 5 |\n\n# 联系方式\n\n## 微信讨论群\n\u003Cimg width=\"200\" alt=\"image\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLangboat_Mengzi_readme_8e0927f06169.jpg\">\n\n## 邮箱\nwangyulong[at]langboat[dot]com\n\n# FAQ\n**Q. mengzi-bert-base 保存的模型大小是 196M。但 bert-base 的模型大小是在 389M 左右，是定义的 base 有区别，还是保存的时候，少了一些不必要的内容？**  \nA: 这是因为 Mengzi-bert-base 用 FP16（半精度浮点数）训练的。\n\n**Q. 金融预训练模型的数据来源是什么呢？**  \nA: 网页爬取的金融新闻、公告、研报。\n\n**Q. 是否有 Tensorflow（深度学习框架）版模型？**  \nA: 可以自行转换。\n\n**Q. 能否开源 Training（训练）代码？**  \nA: 由于和内部基础设施耦合的比较紧，目前没有计划。\n\n**Q. 如何能做到 Langboat 官方网站上文本生成 Demo 一样的效果呢？**  \nA: 我们的文本生成核心模型基于 T5（文本到文本转换模型）架构，基础的文本生成算法可以参考 Google（谷歌）的 T5 论文：https:\u002F\u002Farxiv.org\u002Fpdf\u002F1910.10683.pdf。\n我们开源的 Mengzi-T5 模型与 Google 的 T5 预训练模型架构相同是通用的预训练模型，没有专门的文本生成任务。我们的营销文案生成功能是在其之上使用大量数据进行了具体的下游任务 Finetune（微调）。而在此基础上为了达到可控生成的效果，我们又构建了一整套文本生成 Pipeline（流水线）：从数据清洗、知识抽取、训练数据构建到生成质量评价。其中大部分是按照商业落地场景进行订制的：根据不同的业务需求、不同的数据形式构建不同的预训练和 Finetune（微调）任务。这部分牵涉到比较复杂的软件架构以及具体的业务场景，我们暂时还没有进行开源。\n\n**Q. Mengzi-T5-base 能直接 Inference（推理）么？**  \nA: 我们参考了 T5 v1.1，不包含下游任务。\n\n**Q: 用 Huggingface Transformer（自然语言处理库）加载出错了怎么办？**  \nA: 加上 `force_download=True` 试试。\n\n**Q: Mengzi-T5-base 在做 constrain generation（约束生成）的时候，似乎总是倾向于生成词粒度的候选，而 mT5（多语言 T5）则相反，是字粒度优先，这个是训练过程就是词粒度处理了吗？**  \nA: 我们没有用 mT5 的词表，而是基于语料重新训练了 Tokenizer（分词器），包含了更多词汇。这样同样长度的文本 encode（编码）之后 token（词元）数会更少些，显存占用更小，训练速度更快。\n\n\n\n\n# 免责声明\n该项目中的内容仅供技术研究参考，不作为任何结论性依据。使用者可以在许可证范围内任意使用该模型，但我们不对因使用该项目内容造成的直接或间接损失负责。技术报告中所呈现的实验结果仅表明在特定数据集和超参组合下的表现，并不能代表各个模型的本质。实验结果可能因随机数种子，计算设备而发生改变。\n\n使用者以各种方式使用本模型（包括但不限于修改使用、直接使用、通过第三方使用）的过程中，不得以任何方式利用本模型直接或间接从事违反所属法域的法律法规、以及社会公德的行为。使用者需对自身行为负责，因使用本模型引发的一切纠纷，由使用者自行承担全部法律及连带责任。我们不承担任何法律及连带责任。\n\n我们拥有对本免责声明的解释、修改及更新权。\n\n# 文献引用\n```\n@misc{zhang2021mengzi,\n      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, \n      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},\n      year={2021},\n      eprint={2110.06696},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```","# Mengzi 快速上手指南\n\n## 简介\nMengzi 是面向中文的轻量级预训练模型系列，兼容 BERT、T5 等主流架构，旨在降低算力成本并提升工业落地友好度。\n\n## 环境准备\n*   **Python**: 建议版本 3.7+\n*   **深度学习框架**: 根据选择的库选择其一\n    *   PyTorch (配合 Hugging Face Transformers)\n    *   PaddlePaddle (配合 PaddleNLP)\n*   **硬件**: 推荐使用 GPU 进行推理与训练，具体显存需求视模型规模而定。\n\n## 安装步骤\n根据开发习惯选择以下任一方案：\n\n### 方案一：Hugging Face Transformers（推荐）\n```bash\npip install transformers\n```\n\n### 方案二：PaddleNLP\n```bash\npip install paddlenlp\n```\n\n> **注意**：若遇到模型下载缓慢问题，可参考项目提供的国内 ZIP 下载链接手动下载后加载本地路径。\n> 国内镜像示例：[Mengzi-BERT-base](https:\u002F\u002Fs.langboat.com\u002Fmengzibertbase)\n\n## 基本使用\n\n### 加载 Mengzi-BERT 模型\n支持直接替换现有 BERT 权重，适用于文本分类、实体识别等任务。\n\n#### 使用 HuggingFace Transformers\n```python\n# 使用 Huggingface transformers 加载\nfrom transformers import BertTokenizer, BertModel\n\ntokenizer = BertTokenizer.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\nmodel = BertModel.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\n```\n\n#### 使用 PaddleNLP\n```python\n# 使用 PaddleNLP 加载\nfrom paddlenlp.transformers import BertTokenizer, BertModel\n\ntokenizer = BertTokenizer.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\nmodel = BertModel.from_pretrained(\"Langboat\u002Fmengzi-bert-base\")\n```\n\n### 加载 Mengzi-T5 模型\n适用于文案生成、新闻生成等可控文本生成任务。\n\n#### 使用 HuggingFace Transformers\n```python\n# 使用 Huggingface transformers 加载\nfrom transformers import T5Tokenizer, T5ForConditionalGeneration\n\ntokenizer = T5Tokenizer.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\nmodel = T5ForConditionalGeneration.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\n```\n\n#### 使用 PaddleNLP\n```python\n# 使用 PaddleNLP 加载\nfrom paddlenlp.transformers import T5Tokenizer, T5ForConditionalGeneration\n\ntokenizer = T5Tokenizer.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\nmodel = T5ForConditionalGeneration.from_pretrained(\"Langboat\u002Fmengzi-t5-base\")\n```\n\n## 更多资源\n*   **技术报告**：[Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese](https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.06696)\n*   **完整模型列表**：请参考原项目 README 中的“模型介绍”表格。","某电商初创团队正在开发智能客服系统，核心需求是精准识别用户咨询意图并提取关键商品实体。\n\n### 没有 Mengzi 时\n- 直接使用通用英文预训练模型，对中文口语化表达理解偏差大，意图识别准确率不足 70%。\n- 模型体积庞大，部署在低成本 GPU 服务器上显存溢出，导致接口响应延迟超过 2 秒。\n- 缺乏针对特定领域的优化，重新训练需要海量标注数据，项目预算和时间严重超支。\n- 架构不兼容，迁移成本极高，不得不重写整个数据处理流水线。\n\n### 使用 Mengzi 后\n- Mengzi 基于大规模中文语料训练，口语理解能力增强，意图分类准确率提升至 90% 以上。\n- Mengzi-BERT-base 保持标准结构且参数量更小，单卡即可承载高并发，响应时间压缩至 300 毫秒内。\n- 提供金融及垂直领域微调版本，利用少量样本快速适配业务，节省 80% 的训练成本。\n- 无缝替换原有 BERT 权重，无需修改代码逻辑，模型上线周期从两周缩短至两天。\n\nMengzi 通过轻量化与深度中文优化的平衡，让中小企业也能低成本拥有工业级 NLP 能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLangboat_Mengzi_dd7ed7cc.png","Langboat","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FLangboat_0d4ad244.png","",null,"www.langboat.com","https:\u002F\u002Fgithub.com\u002FLangboat",543,62,"2026-04-04T10:12:21","Apache-2.0","未说明",{"notes":87,"python":85,"dependencies":88},"支持 HuggingFace transformers 和 PaddleNLP 双框架；模型涵盖 NLU、生成、多模态等任务；部分模型针对显存优化；BERT-base 采用 FP16 训练；仅供技术参考，需遵守免责声明。",[89,90],"transformers","paddlenlp",[26,13],[93,94,95,96,97,98,99],"nlp","deep-learning","bert","natural-language-processing","language-understanding","pytorch","chinese-bert","2026-03-27T02:49:30.150509","2026-04-06T08:42:13.271195",[103,108,113,118,123,128,133],{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},2816,"使用 mengzi-t5-base 进行文本摘要等下游任务时，是否需要添加特定的任务前缀？","不需要。该模型遵循 Google T5 v1.1 训练方式，仅在通用语料上训练，未混合下游任务。你可以直接在摘要数据集上进行微调，无需添加特殊前缀。","https:\u002F\u002Fgithub.com\u002FLangboat\u002FMengzi\u002Fissues\u002F46",{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},2817,"生成营销文案（marketing copy）时，模型的输入格式是什么？","基于 T5 架构，需将任务转换为 Seq2Seq 形式。示例输入格式为：\"title|keyword1, keyword2...|\u003CentityA, relationX, entityB>...\"，输出为文案正文。需要自行准备标题、关键词和知识图谱数据构建训练对。","https:\u002F\u002Fgithub.com\u002FLangboat\u002FMengzi\u002Fissues\u002F16",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},2818,"预训练中的 Batch Size 是 128 还是 16384？","128 指的是单卡 Batch Size，16384 指的是全局 Batch Size (Global Batch Size)。实际训练中会尽可能利用集群资源，但保持 Global Batch Size 不超过 32768。LAMB 优化器支持大 Batch Size 稳定收敛。","https:\u002F\u002Fgithub.com\u002FLangboat\u002FMengzi\u002Fissues\u002F21",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},2819,"Mengzi-T5-base 的预训练任务是 DAE 还是 LM？使用了什么噪声？","参考 Google T5 文章描述实现，属于去噪自编码（DAE）类任务。Mask 概率调整为 10%。在下游生成任务前还进行了类似 BART 的继续训练（Continue Train）。","https:\u002F\u002Fgithub.com\u002FLangboat\u002FMengzi\u002Fissues\u002F20",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},2820,"预训练 Mengzi 是否可以按照预训练 BERT 的方式进行？","可以。我们在结构上与 BERT 保持一致，就是为了兼容用户现有的 BERT 代码。如果是基于现有模型继续预训练，也是支持的。","https:\u002F\u002Fgithub.com\u002FLangboat\u002FMengzi\u002Fissues\u002F24",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},2821,"训练 Base 和 Large 模型时，学习率和 Warmup 等参数是如何设置的？","训练参数设置参考了 LAMB 论文：[Large Batch Optimization for Deep Learning: Training BERT in 76 minutes](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.00962)。","https:\u002F\u002Fgithub.com\u002FLangboat\u002FMengzi\u002Fissues\u002F19",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},2822,"Mengzi-BERT-base 在 CLUE 下游任务中的硬件配置和具体参数是多少？","GPU 数量取决于当时申请到的显卡数量，以 Global Batch Size 为准。具体的优化器参数、warmup 设置等未在公开回复中详细列出，建议参考官方技术报告或 LAMB 相关规范。","https:\u002F\u002Fgithub.com\u002FLangboat\u002FMengzi\u002Fissues\u002F25",[]]