[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-IDEA-CCNL--Fengshenbang-LM":3,"tool-IDEA-CCNL--Fengshenbang-LM":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",145895,2,"2026-04-08T11:32:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":106,"forks":107,"last_commit_at":108,"license":109,"difficulty_score":10,"env_os":110,"env_gpu":111,"env_ram":112,"env_deps":113,"category_tags":122,"github_topics":124,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":131,"updated_at":132,"faqs":133,"releases":163},5677,"IDEA-CCNL\u002FFengshenbang-LM","Fengshenbang-LM","Fengshenbang-LM(封神榜大模型)是IDEA研究院认知计算与自然语言研究中心主导的大模型开源体系，成为中文AIGC和认知智能的基础设施。","Fengshenbang-LM（封神榜大模型）是由 IDEA 研究院认知计算与自然语言研究中心主导的开源大模型体系，旨在构建中文 AIGC 与认知智能的基础设施。它提供了一套完整的预训练语言模型及微调框架，有效解决了中文场景下高质量基座模型稀缺、多任务适配困难以及研发门槛高等问题。\n\n该体系包含多个特色模型系列：面向通用任务的“姜子牙”系列具备翻译、编程及逻辑推理等综合能力；“二郎神”系列在中文语言理解任务上表现卓越；“太乙”系列则专注于文本生成图像、蛋白质结构预测等多模态场景。此外，项目还开源了高效的训练框架，支持用户轻松进行模型的预训练与微调。\n\nFengshenbang-LM 非常适合 AI 研究人员、算法工程师及企业开发者使用。无论是希望快速验证想法的学术团队，还是需要定制垂直领域模型的技术人员，都能从中获得强大的支持。其独特的技术亮点在于不仅提供了从亿级到百亿级不同规模的模型选择，还融合了多项前沿研究成果（如零样本学习优化、多模态统一架构），并配套了详尽的文档与代码示例，帮助用户高效落地各类自然语言处理与生成应用。","[**中文**](.\u002FREADME.md) | [**English**](.\u002FREADME_en.md)\n\n\u003Cp align=\"center\">\n    \u003Ca href=\".\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache%202-dfd.svg\">\u003C\u002Fa>\n    \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.7+-aff.svg\">\u003C\u002Fa>\n    \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fos-linux%2C%20win%2C%20mac-pink.svg\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n\u003Ch4 align=\"center\">\n  \u003Ca href=#安装> 环境安装 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL> 模型下载 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples> 代码示例 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest> 模型文档 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Ffengshenbang-lm.com> 封神榜官网 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Ffengshenbang-lm.com\u002Fopen-api> 封神API \u003C\u002Fa>\n\u003C\u002Fh4>\n\n------------------------------------------------------------------------------------------\n\n# 封神榜科技成果\n> [**Fengshenbang 1.0**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2209.02970): 封神榜开源计划1.0中英双语总论文，旨在成为中文认知智能的基础设施。\n \n> [**BioBART**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.03905): 由清华大学和IDEA研究院一起提供的生物医疗领域的生成语言模型。(```BioNLP 2022```)\n\n> [**UniMC**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.08590): 针对zero-shot场景下基于标签数据集的统一模型。(```EMNLP 2022```)\n\n> [**FMIT**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.11039): 基于相对位置编码的单塔多模态命名实体识别模型。(```COLING 2022```)\n\n> [**UniEX**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.10306): 统一抽取任务的自然语言理解模型。(```ACL 2023```)\n\n> [**Solving Math Word Problems via Cooperative Reasoning induced Language Models**](https:\u002F\u002F2023.aclweb.org\u002Fprogram\u002Faccepted_main_conference\u002F): 使用语言模型的协同推理框架解决数学问题。(```ACL 2023```)\n\n> [**MVP-Tuning**](https:\u002F\u002F2023.aclweb.org\u002Fprogram\u002Faccepted_main_conference\u002F): 基于多视角知识检索的参数高效常识问答系统。(```ACL 2023```)\n\n\n# 封神榜大事件\n\n- [多模态Ziya上线！姜子牙通用模型垂直能力系列 Vol.1发布](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F-gv9tG5-Vqo2iN_ETO84KQ) 2023.06.05\n- [IDEA研究院封神榜团队再次出击， 推出开源通用大模型系列“姜子牙”](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FIeXgq8blGoeVbpIlAUCAjA) 2023.05.17\n- [首个中文Stable Diffusion模型开源，IDEA研究院封神榜团队开启中文AI艺术时代](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FWrzkiJOxqNcFpdU24BKbMA) 2022.11.2\n- [打破不可能三角、比肩5400亿模型，IDEA封神榜团队仅2亿级模型达到零样本学习SOTA](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fm0_W31mP4xKKla8jIwUXkw) 2022.10.25\n- [AIWIN大赛冠军，封神榜提出多任务学习方案Ubert](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FA9G0YLbIPShKgm98DnD2jA) 2022.07.21\n- [Finetune一下，“封神榜”预训练语言模型“二郎神”获SimCLUE榜一](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKXQtCgxZlCnv0HqSyQAteQ) 2022.07.14\n- [封神框架正式开源，帮你轻松预训练和微调“封神榜”各大模型](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FNtaEVMdTxzTJfVr-uQ419Q) 2022.06.30\n- [GTS模型生产平台开放公测，用AI自动化生产AI模型](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FAFp22hzElkBmJD_VHW0njQ) 2022.05.23\n- [数据集发布！IDEA研究院CCNL×NLPCC 2022 任务挑战赛开始了，优胜队伍将获IDEA实习机会](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FAikMy6ygfnRagOw3iWuArA) 2022.04.07\n- [又刷新了！IDEA CCNL预训练语言模型“二郎神”，这次拿下了ZeroCLUE](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FUkp0JOUwAZJiegdX_4ox2Q) 2022.01.24\n- [IDEA Friends | CCNL Team“封神榜”，他们为什么选择IDEA？](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FeCmMtopG9DGvZ0qWM3C6Sg) 2022.01.12\n- [IDEA大会发布｜“封神榜”大模型开源计划](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FCt06-vLEKoYMyJQPBV2n0w) 2021.11.25\n- [IDEA研究院中文预训练模型二郎神登顶FewCLUE榜单](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FbA_9n_TlBE9P-UzCn7mKoA) 2021.11.11\n\n# 导航\n- [封神榜科技成果](#封神榜科技成果)\n- [封神榜大事件](#封神榜大事件)\n- [导航](#导航)\n- [模型系列简介](#模型系列简介)\n- [Fengshenbang-LM](#fengshenbang-lm)\n- [封神榜模型](#封神榜模型)\n  - [姜子牙系列](#姜子牙系列)\n  - [二郎神系列](#二郎神系列)\n  - [太乙系列](#太乙系列)\n- [封神框架](#封神框架)\n  - [安装](#安装)\n  - [Pipelines](#pipelines)\n- [封神榜系列文章](#封神榜系列文章)\n- [引用](#引用)\n- [联系我们](#联系我们)\n- [版权许可](#版权许可)\n\n# 模型系列简介\n\n|系列名称|需求|适用任务|参数规模|备注|\n|:---:|:---:|:---:|:---:|---|\n|[姜子牙](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1.1)|通用|通用大模型|>70亿参数|通用大模型“姜子牙”系列，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力|\n|[太乙](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E5%A4%AA%E4%B9%99%E7%B3%BB%E5%88%97\u002Findex.html)|特定|多模态|8千万-10亿参数|应用于跨模态场景，包括文本图像生成，蛋白质结构预测, 语音-文本表示等|\n|[二郎神](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E4%BA%8C%E9%83%8E%E7%A5%9E%E7%B3%BB%E5%88%97\u002Findex.html)|通用|语言理解|9千万-39亿参数|处理理解任务，拥有开源时最大的中文bert模型，2021登顶FewCLUE和ZeroCLUE|\n|[闻仲](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E9%97%BB%E4%BB%B2%E7%B3%BB%E5%88%97\u002Findex.html)|通用|语言生成|1亿-35亿参数|专注于生成任务，提供了多个不同参数量的生成模型，例如GPT2等|\n|[燃灯](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E7%87%83%E7%81%AF%E7%B3%BB%E5%88%97\u002Findex.html)|通用|语言转换|7千万-50亿参数|处理各种从源文本转换到目标文本类型的任务，例如机器翻译，文本摘要等|  \n|[余元](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E4%BD%99%E5%85%83%E7%B3%BB%E5%88%97\u002Findex.html)|特定|领域|1亿-35亿参数|应用于领域，如医疗，金融，法律，编程等。拥有目前最大的开源GPT2医疗模型|\n|-待定-|特定|探索|-未知-|我们希望与各技术公司和大学一起开发NLP相关的实验模型。目前已有：[周文王](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E5%91%A8%E6%96%87%E7%8E%8B%E7%B3%BB%E5%88%97\u002Findex.html)|\n\n[封神榜模型下载链接](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL)\n\n[封神榜模型训练和微调代码脚本](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples)\n\n[封神榜模型训练手册](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Findex.html)\n\n# Fengshenbang-LM\n\n人工智能的显著进步产生了许多伟大的模型，特别是基于预训练的基础模型成为了一种新兴的范式。传统的AI模型必须要在专门的巨大的数据集上为一个或几个有限的场景进行训练，相比之下，基础模型可以适应广泛的下游任务。基础模型造就了AI在低资源的场景下落地的可能。  \n我们观察到这些模型的参数量正在以每年10倍的速度增长。2018年的BERT，在参数量仅有1亿量级，但是到了2020年，GPT-3的参数量就已达到百亿的量级。由于这一鼓舞人心的趋势，人工智能中的许多前沿挑战，尤其是强大的泛化能力，逐渐变得可以被实现。\n\n如今的基础模型，尤其是语言模型，正在被英文社区主导着。与此同时，中文作为这个世界上最大的口语语种（母语者中），却缺乏系统性的研究资源支撑，这使得中文领域的研究进展相较于英文来说有些滞后。\n\n这个世界需要一个答案。\n\n为了解决中文领域研究进展滞后和研究资源严重不足的问题，2021年11月22日，IDEA研究院创院理事长沈向洋在IDEA大会上正式宣布，开启 “封神榜”开源体系——一个以中文驱动的基础生态系统，其中包括了预训练大模型，特定任务的微调应用，基准和数据集等。我们的目标是构建一个全面的，标准化的，以用户为中心的生态系统。\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_e408c065a1cb.png)\n\n# 封神榜模型\n\n“封神榜模型”将全方面的开源一系列NLP相关的预训练大模型。NLP社区中有着广泛的研究任务，这些任务可以被分为两类：通用任务和特殊任务。前者包括了自然语言理解(NLU)，自然语言生成(NLG)和自然语言转换(NLT)任务。后者涵盖了多模态，特定领域等任务。我们考虑了所有的这些任务，并且提供了在下游任务上微调好的相关模型，这使得计算资源有限的用户也可以轻松使用我们的基础模型。而且我们承诺，将对这些模型做持续的升级，不断融合最新的数据和最新的训练算法。通过IDEA研究院的努力，打造中文认知智能的通用基础设施，避免重复建设，为全社会节省算力。\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_893aa104c11b.png)\n\n同时，“封神榜”也希望各个公司、高校、机构加入到这个开源计划中，一起共建大模型开源体系。未来，当我们需要一个新的预训练模型，都应该是首先从这些开源大模型中选取一个最接近的，做继续训练，然后再把新的模型开源回这个体系。这样，每个人用最少的算力，就能得到自己的模型，同时这个开源大模型体系也能越来越大。\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_bd76e867ff0e.png)\n\n为了更好的体验，拥抱开源社区，封神榜的所有模型都转化并同步到了Huggingface社区，你可以通过几行代码就能轻松使用封神榜的所有模型，欢迎来[IDEA-CCNL的huggingface社区](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL)下载。\n\n## 姜子牙系列\n\n通用大模型“姜子牙”系列，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型(v1\u002Fv1.1)已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。姜子牙系列模型包含以下模型：\n- [Ziya-LLaMA-13B-v1.1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1.1)\n- [Ziya-LLaMA-13B-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1)\n- [Ziya-LLaMA-7B-Reward](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-7B-Reward)\n- [Ziya-LLaMA-13B-Pretrain-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-Pretrain-v1)\n- [Ziya-BLIP2-14B-Visual-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1)\n\n### 模型使用\n\n参考 [Ziya-LLaMA-13B-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1)\n\n### 线上体验\n\n- [Huggingface Ziya Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FIDEA-CCNL\u002FZiya-v1)\n- [Huggingface Ziya-visual Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1-Demo)\n- [ModelScope Ziya Space](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002FFengshenbang\u002FZiya_LLaMA_13B_v1_online\u002Fsummary)\n\n\n### 微调示例\n\n参考 [ziya_finetune](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Fziya_llama)\n\n### 推理量化示例\n\n参考 [ziya_inference](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Fziya_inference)\n\n\n\n## 二郎神系列\n\nEncoder结构为主的双向语言模型，专注于解决各种自然语言理解任务。\n13亿参数的二郎神-1.3B大模型，采用280G数据，32张A100训练14天，是最大的开源中文Bert大模型。2021年11月10日在中文语言理解权威评测基准FewCLUE 榜单上登顶。其中，CHID(成语填空)、TNEWS(新闻分类)超过人类，CHID(成语填空)、CSLDCP(学科文献分类)、OCNLI(自然语言推理)单任务第一，刷新小样本学习记录。二郎神系列会持续在模型规模、知识融入、监督任务辅助等方向不断优化。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_f0cdaa963554.png)\n\n2022年1月24日，二郎神-MRC在中文语言理解评测零样本ZeroCLUE榜单上登顶。其中，CSLDCP(学科文献分类)、TNEWS(新闻分类)，IFLYTEK(应用描述分类)、CSL(摘要关键字识别)、CLUEWSC(指代消解)单任务均为第一。\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_d941c36f9e90.png)\n\n### 模型下载地址\n\n[Huggingface 二郎神-1.3B](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FErlangshen-MegatronBert-1.3B)\n\n### 模型加载\n\n``` python\nfrom transformers import MegatronBertConfig, MegatronBertModel\nfrom transformers import BertTokenizer\n\ntokenizer = BertTokenizer.from_pretrained(\"IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\")\nconfig = MegatronBertConfig.from_pretrained(\"IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\")\nmodel = MegatronBertModel.from_pretrained(\"IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\")\n```\n\n### 使用示例\n\n为了便于开发者快速使用我们的开源模型，这里提供了一个下游任务的[finetune示例脚本](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fblob\u002Fmain\u002Ffengshen\u002Fexamples\u002Fclassification\u002Ffinetune_classification.sh)，使用的[CLUE](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE)上的tnews新闻分类任务数据，运行脚本如下。其中DATA_PATH为数据路径，tnews任务数据的[下载地址](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE).\n\n1、首先修改finetune示例脚本[finetune_classification.sh](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fblob\u002Fmain\u002Ffengshen\u002Fexamples\u002Fclassification\u002Ffinetune_classification.sh)中的model_type和pretrained_model_path参数。其他如batch_size、data_dir等参数可根据自己的设备修改。\n\n``` sh\nMODEL_TYPE=huggingface-megatron_bert\nPRETRAINED_MODEL_PATH=IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\n```\n\n2、然后运行：\n\n``` sh\nsh finetune_classification.sh\n```\n\n### 下游效果\n\n|     模型   | afqmc    |  tnews  | iflytek    |  ocnli  |  cmnli  | wsc  | csl  |\n| :--------:    | :-----:  | :----:  | :-----:   | :----: | :----: | :----: | :----: |\n| roberta-wwm-ext-large | 0.7514      |   0.5872    | 0.6152      |   0.777    | 0.814    | 0.8914    | 0.86    |\n| Erlangshen-MegatronBert-1.3B | 0.7608      |   0.5996    | 0.6234      |   0.7917    | 0.81    | 0.9243    | 0.872    |\n\n## 太乙系列\n\n太乙系列模型主要应用于跨模态场景，包括文本图像生成，蛋白质结构预测, 语音-文本表示等。2022年11月1日，封神榜开源了第一个中文版本的 stable diffusion 模型“太乙 Stable Diffusion”。\n\n### 模型下载地址\n[太乙 Stable Diffusion 纯中文版本](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-v0.1)\n\n[太乙 Stable Diffusion 中英双语版本](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)\n\n### 模型使用\n\n``` python\nfrom diffusers import StableDiffusionPipeline\n\npipe = StableDiffusionPipeline.from_pretrained(\"IDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-v0.1\").to(\"cuda\")\n\nprompt = '飞流直下三千尺，油画'\nimage = pipe(prompt, guidance_scale=7.5).images[0]  \nimage.save(\"飞流.png\")\n```\n\n### 生成效果\n\n|  铁马冰河入梦来，3D绘画。   |  飞流直下三千尺，油画。 | 女孩背影，日落，唯美插画。  |\n|  ----  | ----  | ----  |\n| ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_4843c20408ec.png)  | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_30e23cb5a62b.png)  | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_9734c63593a4.jpg) |\n\nAdvanced Prompt\n\n| 铁马冰河入梦来，概念画，科幻，玄幻，3D  | 中国海边城市，科幻，未来感，唯美，插画。 | 那人却在灯火阑珊处，色彩艳丽，古风，资深插画师作品，桌面高清壁纸。 |\n|  ----  | ----  | ----  |\n| ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_036a1e82c9eb.jpg)  | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_600c013616f0.jpg) | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_44b70a9561c2.jpg) |\n\n### 使用手册 Handbook for Taiyi\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fblob\u002Fmain\u002Ffengshen\u002Fexamples\u002Fstable_diffusion_chinese\u002Ftaiyi_handbook.md\n\n### 怎样微调(How to finetune)\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Ffinetune_taiyi_stable_diffusion\n\n### 配置webui(Configure webui)\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002Fstable-diffusion-webui\u002Fblob\u002Fmaster\u002FREADME.md\n\n### DreamBooth\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Fstable_diffusion_dreambooth\n\n# 封神框架\n\n为了让大家用好封神榜大模型，参与大模型的继续训练和下游应用，我们同步开源了以用户为中心的FengShen(封神)框架。详情请见：[FengShen(封神)框架](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen)。\n\n我们参考了[HuggingFace](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers), [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM), [Pytorch-Lightning](https:\u002F\u002Fgithub.com\u002FPyTorchLightning\u002Fpytorch-lightning), [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)等优秀的开源框架，结合NLP领域的特点, 以Pytorch为基础框架，Pytorch-Lightning为Pipeline重新设计了FengShen。 FengShen可以应用在基于海量数据(TB级别数据)的大模型(百亿级别参数)预训练以及各种下游任务的微调，用户可以通过配置的方式很方便地进行分布式训练和节省显存的技术，更加聚焦在模型实现和创新。同时FengShen也能直接使用[HuggingFace](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)中的模型结构进行继续训练，方便用户进行领域模型迁移。FengShen针对封神榜开源的模型和模型的应用，提供丰富、真实的源代码和示例。随着封神榜模型的训练和应用，我们也会不断优化FengShen框架，敬请期待。\n\n## 安装\n\n### 使用自己的环境安装\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM.git\ncd Fengshenbang-LM\ngit submodule init\ngit submodule update\n# submodule是我们用来管理数据集的fs_datasets，通过ssh的方式拉取，如果用户没有在机器上配置ssh-key的话可能会拉取失败。\n# 如果拉取失败，需要到.gitmodules文件中把ssh地址改为https地址即可。\npip install --editable .\n```\n\n### 使用Docker\n\n我们提供一个简单的包含torch、cuda环境的docker来运行我们的框架。\n\n```shell\nsudo docker run --runtime=nvidia --rm -itd --ipc=host --name fengshen fengshenbang\u002Fpytorch:1.10-cuda11.1-cudann8-devel\nsudo docker exec -it fengshen bash\ncd Fengshenbang-LM\n# 更新代码 docker内的代码可能不是最新的\ngit pull\ngit submodule foreach 'git pull origin master' \n# 即可快速的在docker中使用我们的框架啦\n```\n\n## Pipelines\n\n封神框架目前在适配各种下游任务的Pipeline，支持命令行一键启动Predict、Finetuning。\n以Text Classification为例\n\n```python\n# predict\n❯ fengshen-pipeline text_classification predict --model='IDEA-CCNL\u002FErlangshen-Roberta-110M-Similarity' --text='今天心情不好[SEP]今天很开心'\n[{'label': 'not similar', 'score': 0.9988130331039429}]\n\n# train\nfengshen-pipeline text_classification train --model='IDEA-CCNL\u002FErlangshen-Roberta-110M-Similarity' --datasets='IDEA-CCNL\u002FAFQMC' --gpus=0 --texta_name=sentence1 --strategy=ddp\n```\n\n[三分钟上手封神](fengshen\u002FREADME.md)\n\n\n# 封神榜系列文章\n\n[封神榜系列之从数据并行开始大模型训练](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F512194216)\n\n[封神榜系列之是时候给你的训练提提速了](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F485369778)\n\n[封神榜系列之中文pegasus模型预训练](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F528716336)\n\n[封神榜系列：finetune一下二郎神就不小心拿下了第一](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F539870077)\n\n[封神榜系列之快速搭建你的算法demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F528077249)\n\n[2022AIWIN世界人工智能创新大赛：小样本多任务赛道冠军方案](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F539958182)\n\n# 引用\n\n```\n@article{fengshenbang,\n  author    = {Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen and Ruyi Gan and Jiaxing Zhang},\n  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},\n  journal   = {CoRR},\n  volume    = {abs\u002F2209.02970},\n  year      = {2022}\n}\n\n也可以引用我们的网站:\n\n@misc{Fengshenbang-LM,\n  title={Fengshenbang-LM},\n  author={IDEA-CCNL},\n  year={2021},\n  howpublished={\\url{https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM}},\n}\n```\n\n# 联系我们\n\nIDEA研究院CCNL技术团队已创建封神榜开源讨论群，我们将在讨论群中不定期更新发布封神榜新模型与系列文章。请扫描下面二维码或者微信搜索“fengshenbang-lm”，添加封神空间小助手进群交流！\n\n![avartar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_1f60917d4225.png)\n\n我们也在持续招人，欢迎投递简历！\n\n![avartar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_56f37ffd7241.png)\n\n# 版权许可\n\n[Apache License 2.0](LICENSE)\n","[**中文**](.\u002FREADME.md) | [**English**](.\u002FREADME_en.md)\n\n\u003Cp align=\"center\">\n    \u003Ca href=\".\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache%202-dfd.svg\">\u003C\u002Fa>\n    \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.7+-aff.svg\">\u003C\u002Fa>\n    \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fos-linux%2C%20win%2C%20mac-pink.svg\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n\u003Ch4 align=\"center\">\n  \u003Ca href=#安装> 环境安装 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL> 模型下载 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples> 代码示例 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest> 模型文档 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Ffengshenbang-lm.com> 封神榜官网 \u003C\u002Fa> |\n  \u003Ca href=https:\u002F\u002Ffengshenbang-lm.com\u002Fopen-api> 封神API \u003C\u002Fa>\n\u003C\u002Fh4>\n\n------------------------------------------------------------------------------------------\n\n# 封神榜科技成果\n> [**Fengshenbang 1.0**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2209.02970): 封神榜开源计划1.0中英双语总论文，旨在成为中文认知智能的基础设施。\n \n> [**BioBART**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2204.03905): 由清华大学和IDEA研究院一起提供的生物医疗领域的生成语言模型。(```BioNLP 2022```)\n\n> [**UniMC**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.08590): 针对zero-shot场景下基于标签数据集的统一模型。(```EMNLP 2022```)\n\n> [**FMIT**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2208.11039): 基于相对位置编码的单塔多模态命名实体识别模型。(```COLING 2022```)\n\n> [**UniEX**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.10306): 统一抽取任务的自然语言理解模型。(```ACL 2023```)\n\n> [**Solving Math Word Problems via Cooperative Reasoning induced Language Models**](https:\u002F\u002F2023.aclweb.org\u002Fprogram\u002Faccepted_main_conference\u002F): 使用语言模型的协同推理框架解决数学问题。(```ACL 2023```)\n\n> [**MVP-Tuning**](https:\u002F\u002F2023.aclweb.org\u002Fprogram\u002Faccepted_main_conference\u002F): 基于多视角知识检索的参数高效常识问答系统。(```ACL 2023```)\n\n\n# 封神榜大事件\n\n- [多模态Ziya上线！姜子牙通用模型垂直能力系列 Vol.1发布](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F-gv9tG5-Vqo2iN_ETO84KQ) 2023.06.05\n- [IDEA研究院封神榜团队再次出击， 推出开源通用大模型系列“姜子牙”](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FIeXgq8blGoeVbpIlAUCAjA) 2023.05.17\n- [首个中文Stable Diffusion模型开源，IDEA研究院封神榜团队开启中文AI艺术时代](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FWrzkiJOxqNcFpdU24BKbMA) 2022.11.2\n- [打破不可能三角、比肩5400亿模型，IDEA封神榜团队仅2亿级模型达到零样本学习SOTA](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fm0_W31mP4xKKla8jIwUXkw) 2022.10.25\n- [AIWIN大赛冠军，封神榜提出多任务学习方案Ubert](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FA9G0YLbIPShKgm98DnD2jA) 2022.07.21\n- [Finetune一下，“封神榜”预训练语言模型“二郎神”获SimCLUE榜一](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKXQtCgxZlCnv0HqSyQAteQ) 2022.07.14\n- [封神框架正式开源，帮你轻松预训练和微调“封神榜”各大模型](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FNtaEVMdTxzTJfVr-uQ419Q) 2022.06.30\n- [GTS模型生产平台开放公测，用AI自动化生产AI模型](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FAFp22hzElkBmJD_VHW0njQ) 2022.05.23\n- [数据集发布！IDEA研究院CCNL×NLPCC 2022 任务挑战赛开始了，优胜队伍将获IDEA实习机会](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FAikMy6ygfnRagOw3iWuArA) 2022.04.07\n- [又刷新了！IDEA CCNL预训练语言模型“二郎神”，这次拿下了ZeroCLUE](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FUkp0JOUwAZJiegdX_4ox2Q) 2022.01.24\n- [IDEA Friends | CCNL Team“封神榜”，他们为什么选择IDEA？](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FeCmMtopG9DGvZ0qWM3C6Sg) 2022.01.12\n- [IDEA大会发布｜“封神榜”大模型开源计划](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FCt06-vLEKoYMyJQPBV2n0w) 2021.11.25\n- [IDEA研究院中文预训练模型二郎神登顶FewCLUE榜单](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FbA_9n_TlBE9P-UzCn7mKoA) 2021.11.11\n\n# 导航\n- [封神榜科技成果](#封神榜科技成果)\n- [封神榜大事件](#封神榜大事件)\n- [导航](#导航)\n- [模型系列简介](#模型系列简介)\n- [Fengshenbang-LM](#fengshenbang-lm)\n- [封神榜模型](#封神榜模型)\n  - [姜子牙系列](#姜子牙系列)\n  - [二郎神系列](#二郎神系列)\n  - [太乙系列](#太乙系列)\n- [封神框架](#封神框架)\n  - [安装](#安装)\n  - [Pipelines](#pipelines)\n- [封神榜系列文章](#封神榜系列文章)\n- [引用](#引用)\n- [联系我们](#联系我们)\n- [版权许可](#版权许可)\n\n# 模型系列简介\n\n|系列名称|需求|适用任务|参数规模|备注|\n|:---:|:---:|:---:|:---:|---|\n|[姜子牙](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1.1)|通用|通用大模型|>70亿参数|通用大模型“姜子牙”系列，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力|\n|[太乙](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E5%A4%AA%E4%B9%99%E7%B3%BB%E5%88%97\u002Findex.html)|特定|多模态|8千万-10亿参数|应用于跨模态场景，包括文本图像生成，蛋白质结构预测, 语音-文本表示等|\n|[二郎神](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E4%BA%8C%E9%83%8E%E7%A5%9E%E7%B3%BB%E5%88%97\u002Findex.html)|通用|语言理解|9千万-39亿参数|处理理解任务，拥有开源时最大的中文bert模型，2021登顶FewCLUE和ZeroCLUE|\n|[闻仲](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E9%97%BB%E4%BB%B2%E7%B3%BB%E5%88%97\u002Findex.html)|通用|语言生成|1亿-35亿参数|专注于生成任务，提供了多个不同参数量的生成模型，例如GPT2等|\n|[燃灯](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E7%87%83%E7%81%AF%E7%B3%BB%E5%88%97\u002Findex.html)|通用|语言转换|7千万-50亿参数|处理各种从源文本转换到目标文本类型的任务，例如机器翻译，文本摘要等|  \n|[余元](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E4%BD%99%E5%85%83%E7%B3%BB%E5%88%97\u002Findex.html)|特定|领域|1亿-35亿参数|应用于领域，如医疗，金融，法律，编程等。拥有目前最大的开源GPT2医疗模型|\n|-待定-|特定|探索|-未知-|我们希望与各技术公司和大学一起开发NLP相关的实验模型。目前已有：[周文王](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Fdocs\u002F%E5%91%A8%E6%96%87%E7%8E%8B%E7%B3%BB%E5%88%97\u002Findex.html)|\n\n[封神榜模型下载链接](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL)\n\n[封神榜模型训练和微调代码脚本](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples)\n\n[封神榜模型训练手册](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest\u002Findex.html)\n\n# Fengshenbang-LM\n\n人工智能的显著进步产生了许多伟大的模型，特别是基于预trained的基础模型成为了一种新兴的范式。传统的AI模型必须要在专门的巨大的数据集上为一个或几个有限的场景进行训练，相比之下，基础模型可以适应广泛的下游任务。基础模型造就了AI在低资源的场景下落地的可能。  \n我们观察到这些模型的参数量正在以每年10倍的速度增长。2018年的BERT，在参数量仅有1亿量级，但是到了2020年，GPT-3的参数量就已达到百亿的量级。由于这一鼓舞人心的趋势，人工智能中的许多前沿挑战，尤其是强大的泛化能力，逐渐变得可以被实现。\n\n如今的基础模型，尤其是语言模型，正在被英文社区主导着。与此同时，中文作为这个世界上最大的口语语种（母语者中），却缺乏系统性的研究资源支撑，这使得中文领域的研究进展相较于英文来说有些滞后。\n\n这个世界需要一个答案。\n\n为了解决中文领域研究进展滞后和研究资源严重不足的问题，2021年11月22日，IDEA研究院创院理事长沈向洋在IDEA大会上正式宣布，开启 “封神榜”开源体系——一个以中文驱动的基础生态系统，其中包括了预trained大模型，特定任务的微调应用，基准和数据集等。我们的目标是构建一个全面的，标准化的，以用户为中心的生态系统。\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_e408c065a1cb.png)\n\n# 封神榜模型\n\n“封神榜模型”将全方面的开源一系列NLP相关的预trained大模型。NLP社区中有着广泛的研究任务，这些任务可以被分为两类：通用任务和特殊任务。前者包括了自然语言理解(NLU)，自然语言生成(NLG)和自然语言转换(NLT)任务。后者涵盖了多模态，特定领域等任务。我们考虑了所有的这些任务，并且提供了在下游任务上微调好的相关模型，这使得计算资源有限的用户也可以轻松使用我们的基础模型。而且我们承诺，将对这些模型做持续的升级，不断融合最新的数据和最新的训练算法。通过IDEA研究院的努力，打造中文认知智能的通用基础设施，避免重复建设，为全社会节省算力。\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_893aa104c11b.png)\n\n同时，“封神榜”也希望各个公司、高校、机构加入到这个开源计划中，一起共建大模型开源体系。未来，当我们需要一个新的 pretrained模型，都应该是首先从这些开源大模型中选取一个最接近的，做继续训练，然后再把新的模型开源回这个体系。这样，每个人用最少的算力，就能得到自己的模型，同时这个开源大模型体系也能越来越大。\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_bd76e867ff0e.png)\n\n为了更好的体验，拥抱开源社区，封神榜的所有模型都转化并同步到了Huggingface社区，你可以通过几行代码就能轻松使用封神榜的所有模型，欢迎来[IDEA-CCNL的huggingface社区](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL)下载。\n\n## 姜子牙系列\n\n通用大模型“姜子牙”系列，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型(v1\u002Fv1.1)已完成大规模预trained、多任务有监督微调和人类反馈学习三阶段的训练过程。姜子牙系列模型包含以下模型：\n- [Ziya-LLaMA-13B-v1.1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1.1)\n- [Ziya-LLaMA-13B-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1)\n- [Ziya-LLaMA-7B-Reward](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-7B-Reward)\n- [Ziya-LLaMA-13B-Pretrain-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-Pretrain-v1)\n- [Ziya-BLIP2-14B-Visual-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1-Demo)\n\n### 模型使用\n\n参考 [Ziya-LLaMA-13B-v1](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FZiya-LLaMA-13B-v1)\n\n### 线上体验\n\n- [Huggingface Ziya Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FIDEA-CCNL\u002FZiya-v1)\n- [Huggingface Ziya-visual Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FIDEA-CCNL\u002FZiya-BLIP2-14B-Visual-v1-Demo)\n- [ModelScope Ziya Space](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002FFengshenbang\u002FZiya_LLaMA_13B_v1_online\u002Fsummary)\n\n\n### 微调示例\n\n参考 [ziya_finetune](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Fziya_llama)\n\n### 推理量化示例\n\n参考 [ziya_inference](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Fziya_inference)\n\n\n\n## 二郎神系列\n\n以Encoder结构为主的双向语言模型，专注于解决各种自然语言理解任务。\n13亿参数的二郎神-1.3B大模型，采用280G数据，32张A100训练14天，是最大的开源中文Bert大模型。2021年11月10日在中文语言理解权威评测基准FewCLUE 榜单上登顶。其中，CHID(成语填空)、TNEWS(新闻分类)超过人类，CHID(成语填空)、CSLDCP(学科文献分类)、OCNLI(自然语言推理)单任务第一，刷新小样本学习记录。二郎神系列会持续在模型规模、知识融入、监督任务辅助等方向不断优化。\n\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_f0cdaa963554.png)\n\n2022年1月24日，二郎神-MRC在中文语言理解评测零样本ZeroCLUE榜单上登顶。其中，CSLDCP(学科文献分类)、TNEWS(新闻分类)，IFLYTEK(应用描述分类)、CSL(摘要关键字识别)、CLUEWSC(指代消解)单任务均为第一。\n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_d941c36f9e90.png)\n\n### 模型下载地址\n\n[Huggingface 二郎神-1.3B](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FErlangshen-MegatronBert-1.3B)\n\n### 模型加载\n\n``` python\nfrom transformers import MegatronBertConfig, MegatronBertModel\nfrom transformers import BertTokenizer\n\ntokenizer = BertTokenizer.from_pretrained(\"IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\")\nconfig = MegatronBertConfig.from_pretrained(\"IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\")\nmodel = MegatronBertModel.from_pretrained(\"IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\")\n```\n\n### 使用示例\n\n为了便于开发者快速使用我们的开源模型，这里提供了一个下游任务的[finetune示例脚本](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fblob\u002Fmain\u002Ffengshen\u002Fexamples\u002Fclassification\u002Ffinetune_classification.sh)，使用的[CLUE](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE)上的tnews新闻分类任务数据，运行脚本如下。其中DATA_PATH为数据路径，tnews任务数据的[下载地址](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE).\n\n1、首先修改finetune示例脚本[finetune_classification.sh](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fblob\u002Fmain\u002Ffengshen\u002Fexamples\u002Fclassification\u002Ffinetune_classification.sh)中的model_type和pretrained_model_path参数。其他如batch_size、data_dir等参数可根据自己的设备修改。\n\n``` sh\nMODEL_TYPE=huggingface-megatron_bert\nPRETRAINED_MODEL_PATH=IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\n```\n\n2、然后运行：\n\n``` sh\nsh finetune_classification.sh\n```\n\n### 下游效果\n\n|     模型   | afqmc    |  tnews  | iflytek    |  ocnli  |  cmnli  | wsc  | csl  |\n| :--------:    | :-----:  | :----:  | :-----:   | :----: | :----: | :----: | :----: |\n| roberta-wwm-ext-large | 0.7514      |   0.5872    | 0.6152      |   0.777    | 0.814    | 0.8914    | 0.86    |\n| Erlangshen-MegatronBert-1.3B | 0.7608      |   0.5996    | 0.6234      |   0.7917    | 0.81    | 0.9243    | 0.872    |\n\n## 太乙系列\n\n太乙系列模型主要应用于跨模态场景，包括文本图像生成，蛋白质结构预测, 语音-文本表示等。2022年11月1日，封神榜开源了第一个中文版本的 stable diffusion 模型“太乙 Stable Diffusion”。\n\n### 模型下载地址\n[太乙 Stable Diffusion 纯中文版本](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-v0.1)\n\n[太乙 Stable Diffusion 中英双语版本](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)\n\n### 模型使用\n\n``` python\nfrom diffusers import StableDiffusionPipeline\n\npipe = StableDiffusionPipeline.from_pretrained(\"IDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-v0.1\").to(\"cuda\")\n\nprompt = '飞流直下三千尺，油画'\nimage = pipe(prompt, guidance_scale=7.5).images[0]  \nimage.save(\"飞流.png\")\n```\n\n### 生成效果\n\n|  铁马冰河入梦来，3D绘画。   |  飞流直下三千尺，油画。 | 女孩背影，日落，唯美插画。  |\n|  ----  | ----  | ----  |\n| ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_4843c20408ec.png)  | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_30e23cb5a62b.png)  | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_9734c63593a4.jpg) |\n\nAdvanced Prompt\n\n| 铁马冰河入梦来，概念画，科幻，玄幻，3D  | 中国海边城市，科幻，未来感，唯美，插画。 | 那人却在灯火阑珊处，色彩艳丽，古风，资深插画师作品，桌面高清壁纸。 |\n|  ----  | ----  | ----  |\n| ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_036a1e82c9eb.jpg)  | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_600c013616f0.jpg) | ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_44b70a9561c2.jpg) |\n\n### 使用手册 Handbook for Taiyi\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fblob\u002Fmain\u002Ffengshen\u002Fexamples\u002Fstable_diffusion_chinese\u002Ftaiyi_handbook.md\n\n### 怎样微调(How to finetune)\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Ffinetune_taiyi_stable_diffusion\n\n### 配置webui(Configure webui)\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002Fstable-diffusion-webui\u002Fblob\u002Fmaster\u002FREADME.md\n\n### DreamBooth\n\nhttps:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen\u002Fexamples\u002Fstable_diffusion_dreambooth\n\n# 封神框架\n\n为了让大家用好封神榜大模型，参与大模型的继续训练和下游应用，我们同步开源了以用户为中心的FengShen(封神)框架。详情请见：[FengShen(封神)框架](https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Ftree\u002Fmain\u002Ffengshen)。\n\n我们参考了[HuggingFace](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers), [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM), [Pytorch-Lightning](https:\u002F\u002Fgithub.com\u002FPyTorchLightning\u002Fpytorch-lightning), [DeepSpeed](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)等优秀的开源框架，结合NLP领域的特点, 以Pytorch为基础框架，Pytorch-Lightning为Pipeline重新设计了FengShen。 FengShen可以应用在基于海量数据(TB级别数据)的大模型(百亿级别参数)预训练以及各种下游任务的微调，用户可以通过配置的方式很方便地进行分布式训练和节省显存的技术，更加聚焦在模型实现和创新。同时FengShen也能直接使用[HuggingFace](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)中的模型结构进行继续训练，方便用户进行领域模型迁移。FengShen针对封神榜开源的模型和模型的应用，提供丰富、真实的源代码和示例。随着封神榜模型的训练和应用，我们也会不断优化FengShen框架，敬请期待。\n\n## 安装\n\n### 使用自己的环境安装\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM.git\ncd Fengshenbang-LM\ngit submodule init\ngit submodule update\n# submodule是我们用来管理数据集的fs_datasets，通过ssh的方式拉取，如果用户没有在机器上配置ssh-key的话可能会拉取失败。\n# 如果拉取失败，需要到.gitmodules文件中把ssh地址改为https地址即可。\npip install --editable .\n```\n\n### 使用Docker\n\n我们提供一个简单的包含torch、cuda环境的docker来运行我们的框架。\n\n```shell\nsudo docker run --runtime=nvidia --rm -itd --ipc=host --name fengshen fengshenbang\u002Fpytorch:1.10-cuda11.1-cudann8-devel\nsudo docker exec -it fengshen bash\ncd Fengshenbang-LM\n# 更新代码 docker内的代码可能不是最新的\ngit pull\ngit submodule foreach 'git pull origin master' \n# 即可快速的在docker中使用我们的框架啦\n```\n\n## Pipelines\n\n封神框架目前在适配各种下游任务的Pipeline，支持命令行一键启动Predict、Finetuning。\n以Text Classification为例\n\n```python\n# predict\n❯ fengshen-pipeline text_classification predict --model='IDEA-CCNL\u002FErlangshen-Roberta-110M-Similarity' --text='今天心情不好[SEP]今天很开心'\n[{'label': 'not similar', 'score': 0.9988130331039429}]\n\n# train\nfengshen-pipeline text_classification train --model='IDEA-CCNL\u002FErlangshen-Roberta-110M-Similarity' --datasets='IDEA-CCNL\u002FAFQMC' --gpus=0 --texta_name=sentence1 --strategy=ddp\n```\n\n[三分钟上手封神](fengshen\u002FREADME.md)\n\n\n# 封神榜系列文章\n\n[封神榜系列之从数据并行开始大模型训练](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F512194216)\n\n[封神榜系列之是时候给你的训练提提速了](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F485369778)\n\n[封神榜系列之中文pegasus模型预训练](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F528716336)\n\n[封神榜系列：finetune一下二郎神就不小心拿下了第一](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F539870077)\n\n[封神榜系列之快速搭建你的算法demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F528077249)\n\n[2022AIWIN世界人工智能创新大赛：小样本多任务赛道冠军方案](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F539958182)\n\n# 引用\n\n```\n@article{fengshenbang,\n  author    = {王俊杰、张宇翔、张林、杨平、高鑫宇、吴子威、董晓群、何俊青、卓建恒、杨奇、黄永峰、李夏宇、吴阳翰、陆俊宇、朱鑫宇、陈伟峰、韩婷、潘坤浩、王睿、王昊、吴晓军、曾中申、陈崇沛、甘如意、张嘉兴},\n  title     = {封神榜1.0：成为中国认知智能的基础},\n  journal   = {CoRR},\n  volume    = {abs\u002F2209.02970},\n  year      = {2022}\n}\n\n也可以引用我们的网站:\n\n@misc{Fengshenbang-LM,\n  title={封神榜-LM},\n  author={IDEA-CCNL},\n  year={2021},\n  howpublished={\\url{https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM}},\n}\n```\n\n# 联系我们\n\nIDEA研究院CCNL技术团队已创建封神榜开源讨论群，我们将在讨论群中不定期更新发布封神榜新模型与系列文章。请扫描下面二维码或者微信搜索“fengshenbang-lm”，添加封神空间小助手进群交流！\n\n![avartar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_1f60917d4225.png)\n\n我们也在持续招人，欢迎投递简历！\n\n![avartar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_readme_56f37ffd7241.png)\n\n# 版权许可\n\n[Apache License 2.0](LICENSE)","# Fengshenbang-LM 快速上手指南\n\nFengshenbang-LM（封神榜）是由 IDEA 研究院开源的中文认知智能基础设施，提供了一系列针对中文优化的预训练大模型（如姜子牙、二郎神、太乙等）及配套的深度学习框架。本指南将帮助您快速搭建环境并运行基础示例。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux, Windows 或 macOS\n*   **Python 版本**: 3.7 及以上\n*   **硬件建议**: \n    *   推理：普通 CPU 或入门级 GPU\n    *   微调\u002F训练：建议配备 NVIDIA GPU (支持 CUDA)，显存根据模型规模而定（例如运行 1.3B 模型建议 16GB+ 显存，更大模型需多卡分布式环境）\n*   **前置依赖**: \n    *   Git\n    *   PyTorch (建议安装与 CUDA 版本匹配的最新版)\n\n## 2. 安装步骤\n\n推荐使用 `pip` 直接安装，或通过源码安装以获取最新功能。\n\n### 方式一：通过 Pip 安装（推荐）\n\n```bash\npip install fengshen\n```\n\n### 方式二：源码安装\n\n如果您需要修改框架源码或使用特定分支，请克隆仓库进行安装：\n\n```bash\n# 克隆项目\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM.git\ncd Fengshenbang-LM\n\n# 初始化子模块\ngit submodule init\ngit submodule update\n\n# 安装依赖\npip install -e .\n```\n\n> **提示**：国内用户若下载依赖较慢，可添加 `-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` 参数使用清华镜像源。\n\n## 3. 基本使用\n\n封神榜模型已同步至 Hugging Face，您可以直接使用 `transformers` 库加载模型。以下是两个最常用系列模型的快速启动示例。\n\n### 示例 A：加载“二郎神”系列（自然语言理解）\n\n“二郎神”系列是专注于中文理解的 Encoder 结构模型（类似 BERT），适用于文本分类、命名实体识别等任务。\n\n```python\nfrom transformers import MegatronBertConfig, MegatronBertModel, BertTokenizer\n\n# 指定模型名称 (IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B)\nmodel_name = \"IDEA-CCNL\u002FErlangshen-MegatronBert-1.3B\"\n\n# 加载分词器和模型\ntokenizer = BertTokenizer.from_pretrained(model_name)\nconfig = MegatronBertConfig.from_pretrained(model_name)\nmodel = MegatronBertModel.from_pretrained(model_name)\n\n# 简单推理示例\ntext = \"封神榜是中文领域优秀的大模型体系。\"\ninputs = tokenizer(text, return_tensors=\"pt\")\n\n# 获取输出\noutputs = model(**inputs)\nprint(\"模型加载成功，输出维度:\", outputs.last_hidden_state.shape)\n```\n\n### 示例 B：加载“太乙”系列（文生图）\n\n“太乙”系列包含中文版的 Stable Diffusion 模型，可用于根据中文描述生成图像。\n\n```python\nimport torch\nfrom diffusers import StableDiffusionPipeline\n\n# 指定中文 Stable Diffusion 模型\nmodel_id = \"IDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-v0.1\"\n\n# 加载管道 (需 GPU 环境)\npipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to(\"cuda\")\n\n# 定义中文提示词\nprompt = \"飞流直下三千尺，油画风格\"\n\n# 生成图像\nimage = pipe(prompt, guidance_scale=7.5).images[0]\n\n# 保存结果\nimage.save(\"feiliu.png\")\nprint(\"图像生成完毕，已保存为 feiliu.png\")\n```\n\n### 进阶使用\n\n*   **模型下载**: 所有模型托管在 [Hugging Face IDEA-CCNL](https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL) 主页。\n*   **微调示例**: 完整的分类、生成及多模态微调脚本请参考官方仓库的 `fengshen\u002Fexamples` 目录。\n*   **文档查阅**: 详细 API 文档请访问 [封神榜文档中心](https:\u002F\u002Ffengshenbang-doc.readthedocs.io\u002Fzh\u002Flatest)。","某电商平台的智能客服团队正试图升级其自动回复系统，以应对日益复杂的中文用户咨询和投诉处理需求。\n\n### 没有 Fengshenbang-LM 时\n- **语义理解偏差大**：通用模型难以准确识别中文特有的口语化表达、方言梗或隐含情绪，导致频繁答非所问，用户满意度低。\n- **垂直领域知识匮乏**：面对物流理赔、商品成分等专业问题时，模型缺乏针对性训练，只能返回僵硬的模板回复，无法解决实际问题。\n- **开发部署成本高**：团队需从零收集数据预训练模型，或花费数月微调国外开源模型，且受限于语言对齐问题，算力资源浪费严重。\n- **多任务协同困难**：情感分析、意图识别和信息抽取需要维护多套独立模型，系统架构臃肿，推理延迟高，难以实时响应。\n\n### 使用 Fengshenbang-LM 后\n- **中文认知能力跃升**：依托“二郎神”系列在 ZeroCLUE 等榜单的 SOTA 表现，系统能精准捕捉用户细微的情绪变化和复杂语境，回复自然流畅。\n- **行业场景即插即用**：直接调用经过生物医疗、金融等多领域验证的预训练权重（如 BioBART 思路），快速适配电商售后场景，专业问答准确率大幅提升。\n- **研发效率显著加速**：利用封神框架提供的标准化 Pipelines 和丰富示例，团队仅需少量标注数据即可完成微调，将原本数月的周期缩短至数天。\n- **统一架构降本增效**：采用“姜子牙”或\"UniEX\"等统一模型架构，单模型即可同时处理分类、抽取和生成任务，简化了系统链路并降低了推理成本。\n\nFengshenbang-LM 通过提供坚实的中文认知智能基础设施，帮助企业在极短时间内构建出懂业务、高情商且低成本的新一代智能客服系统。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-CCNL_Fengshenbang-LM_bd76e867.png","IDEA-CCNL","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FIDEA-CCNL_ffad313b.png","",null,"https:\u002F\u002Fgithub.com\u002FIDEA-CCNL",[78,82,86,90,94,98,102],{"name":79,"color":80,"percentage":81},"Python","#3572A5",87.1,{"name":83,"color":84,"percentage":85},"Shell","#89e051",8.4,{"name":87,"color":88,"percentage":89},"C++","#f34b7d",3.1,{"name":91,"color":92,"percentage":93},"Jupyter Notebook","#DA5B0B",0.8,{"name":95,"color":96,"percentage":97},"Cuda","#3A4E3A",0.3,{"name":99,"color":100,"percentage":101},"C","#555555",0.2,{"name":103,"color":104,"percentage":105},"Makefile","#427819",0,4148,381,"2026-04-08T06:09:51","Apache-2.0","Linux, Windows, macOS","部分模型（如太乙 Stable Diffusion、姜子牙大模型）需要 NVIDIA GPU 并指定.cuda()，具体显存需求取决于模型规模（例如 13B 模型通常需 24GB+ 显存或使用量化\u002F多卡），CUDA 版本未明确说明但需匹配 PyTorch 版本","未说明（建议根据模型参数量配置，大模型微调通常需 32GB+）",{"notes":114,"python":115,"dependencies":116},"该工具集包含多个系列模型（如姜子牙、二郎神、太乙），不同模型对硬件要求差异巨大。轻量级模型可在 CPU 运行，但生成式大模型和多模态模型必须使用 GPU。框架支持分布式训练和显存优化技术。所有模型已同步至 HuggingFace，可通过 transformers 或 diffusers 库直接加载。","3.7+",[117,118,119,120,121],"transformers","torch","pytorch-lightning","deepspeed","diffusers",[35,14,123],"其他",[125,126,127,128,117,129,130],"chinese-nlp","pretrained-models","pytorch","distributed-training","aigc","multimodal","2026-03-27T02:49:30.150509","2026-04-09T05:25:11.469736",[134,139,144,149,154,159],{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},25759,"如何在 WebUI 中配置和运行 Taiyi-Stable-Diffusion-1B-Chinese 模型？","由于该模型使用 RoBERTa 作为文本编码器，原生 stable-diffusion-webui 尚不支持。您可以克隆修改后的仓库 https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002Fstable-diffusion-webui\u002F 并应用相关代码更新。此外，推荐使用 Docker 容器运行以规避环境配置问题：\n1. 拉取镜像：docker pull soulteary\u002Fstable-diffusion:taiyi-0.1\n2. 克隆模型文件：git clone https:\u002F\u002Fhuggingface.co\u002FIDEA-CCNL\u002FTaiyi-Stable-Diffusion-1B-Chinese-v0.1 (约 18GB)\n3. 编写容器脚本运行。详细步骤可参考项目 https:\u002F\u002Fgithub.com\u002Fsoulteary\u002Fdocker-stable-diffusion-taiyi","https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fissues\u002F186",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},25760,"如何正确加载 Wenzhong-GPT2 模型以避免微调后生成乱码？","生成乱码通常是因为模型加载类选择错误。在 HuggingFace 上该模型是通过 GPT2Model 加载的，而如果您使用 GPT2LMHeadModel 加载，会导致部分参数未初始化从而产生乱码。请确保在加载预训练权重时使用 GPT2Model，或者检查您的微调代码是否正确地处理了语言模型头（LM Head）的初始化和保存。如果直接保存为 bin 文件推理仍乱码，需检查训练过程中的参数更新逻辑。","https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fissues\u002F156",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},25761,"训练过程中出现 OOM (显存溢出) 怎么办？Global Batch Size 和 Micro Batch Size 有什么区别？","OOM 通常是因为单卡显存不足以同时容纳模型和全局批次数据。\n区别与计算逻辑：\n- Global Batch Size：一个 epoch 中总的样本数。\n- Data Parallel Size：数据并行度，将 Global Batch Size 分割为多个 Minibatch。\n- Micro Batch Size：异步放入 GPU 进行计算的最小单位。计算公式为：Num Micro Batches = Minibatch \u002F Micro Batch Size。\n解决方案：如果您使用的是单台机器，尝试减小 Global Batch Size 或增加 Micro Batch 数量；如果是多机多卡，确保正确配置了 DeepSpeed ZeRO 策略（如 ZeRO-3）来切分模型参数。","https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fissues\u002F149",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},25762,"Wenzhong-GPT2 模型支持模型并行微调吗？最低显存要求是多少？","支持。可以通过开启 DeepSpeed 的 ZeRO-3 优化策略来实现模型并行（将模型参数切分到不同 GPU 上）。根据社区测试，如果使用单卡进行微调，显存至少需要达到 13GB。建议使用官方提供的示例脚本进行进一步预训练或微调，以避免不必要的坑，也可以结合 HuggingFace Trainer 使用，但需注意显存限制。","https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fissues\u002F118",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},25763,"分布式多机多卡训练时程序卡住或超时报错如何解决？","这个问题通常由计算图不一致导致梯度无法同步引起（例如在 MoE 结构中不同卡选择了不同的 Expert）。\n尝试以下解决方案：\n1. 调整 DeepSpeed 阶段：尝试使用 DeepSpeed Stage 2 而非 Stage 3，有时能缓解梯度聚集等待问题。\n2. 强制参数进入计算图：如果一个笨办法是将未用到参数的平方和乘以一个极小系数加到 Loss 中，确保它们出现在计算图里并有梯度算出。\n3. 检查专家选择逻辑：如果是 MoE 模型，确认不同节点间的专家选择逻辑是否导致梯度形状或分布不匹配。","https:\u002F\u002Fgithub.com\u002FIDEA-CCNL\u002FFengshenbang-LM\u002Fissues\u002F123",{"id":160,"question_zh":161,"answer_zh":162,"source_url":138},25764,"如何将 Diffusers 格式的 Taiyi 模型转换为 Stable Diffusion 的 CKPT 格式？","可以使用 HuggingFace diffusers 库提供的转换脚本。具体步骤如下：\n1. 获取脚本：wget https:\u002F\u002Fraw.githubusercontent.com\u002Fhuggingface\u002Fdiffusers\u002Fmain\u002Fscripts\u002Fconvert_diffusers_to_original_stable_diffusion.py (或使用项目中提供的适配版本)\n2. 执行转换命令：python3 convert_diffusers_to_sd.py --model_path .\u002FTaiyi-Stable-Diffusion-1B-Chinese-v0.1\u002F --checkpoint_path .\u002Foutput.ckpt\n注意：如果在转换英文版本模型时遇到 reshape 错误，请确保使用了针对该模型结构适配过的转换脚本。",[]]