[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-TsinghuaAI--CPM-1-Generate":3,"tool-TsinghuaAI--CPM-1-Generate":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74939,"2026-04-05T23:16:38",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70626,"2026-04-05T22:51:36",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":102,"env_os":103,"env_gpu":104,"env_ram":105,"env_deps":106,"category_tags":112,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":113,"updated_at":114,"faqs":115,"releases":156},3432,"TsinghuaAI\u002FCPM-1-Generate","CPM-1-Generate","Chinese Pre-Trained Language Models (CPM-LM) Version-I","CPM-1-Generate 是一个面向中文自然语言处理研究的开源项目，核心提供了参数量达 26 亿的 CPM-LM 预训练模型及其文本生成代码。它旨在解决中文领域大规模语言模型资源匮乏的问题，支持开发者在本地进行文本生成测试，并深入探索零次学习（Zero-shot）和少次学习等前沿场景。\n\n该项目特别适合 AI 研究人员、算法工程师及希望深入理解大模型机制的开发者使用。其技术亮点在于基于 Megatron-LM 架构改造，模型结构与 GPT-2 一致但专为中文优化；支持模型并行策略，允许用户根据显存资源动态调整并行度（如单卡或双卡运行）；同时官方推荐搭配高效推理工具 BMInf，使得在 GTX 1060 及以上消费级显卡上也能流畅运行。此外，项目还内置了针对 OCNLI、TNEWS 等经典中文任务的零次学习评测脚本，并提供了 Docker 镜像以简化复杂的环境配置流程，极大地降低了大模型的研究与实验门槛。","# CPM-Generate\n\n为了促进中文自然语言处理研究的发展，本项目提供了 **CPM-LM** (2.6B) 模型的文本生成代码，可用于文本生成的本地测试，并以此为基础进一步研究零次学习\u002F少次学习等场景。[[模型下载](https:\u002F\u002Fmodel.baai.ac.cn\u002Fmodel-detail\u002F100017)] [[技术报告](https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS266665102100019X)]\n\n**若您想使用CPM-1进行推理，我们建议使用高效推理工具[BMInf](https:\u002F\u002Fgithub.com\u002FOpenBMB\u002FBMInf)，支持1060以上显卡单卡推理。**\n\n## 安装\n\n首先安装pytorch等基础依赖，再安装[APEX](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex#quick-start)以支持fp16：\n```\npip install -r requirements.txt\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\ncd apex\npip install -v --no-cache-dir --global-option=\"--cpp_ext\" --global-option=\"--cuda_ext\" .\u002F\n```\n\n考虑apex的安装容易发生问题，我们构建了对应的Docker容器，可以进行快速环境搭建。安装方式如下：\n```\ndocker pull dmye\u002Fcpm:v0\n```\n参考运行指令如下：\n```\nsudo docker run --gpus '\"device=0,1\"' -it -v \u003Cpath>:\u002FCPM  --name=cpm  cpm:v0\n```\n其中`\u003Cpath>`为代码所在目录，-v进行文件目录挂载\n\n注：感谢qhduan同学提供了基于TensorFlow的[使用代码](https:\u002F\u002Fgithub.com\u002Fqhduan\u002FCPM-LM-TF2)，用作Pytorch之外的备选。\n\n## 模型\n\n模型下载后文件夹的目录结构需设置如下：\n```\n.\n├── 80000\n│   ├── mp_rank_00_model_states.pt\n│   └── mp_rank_01_model_states.pt\n└── latest_checkpointed_iteration.txt\n```\n为保证下载文件的正确性，文件的checksum如下：\n```\nSHA1\n71d6b6ad4f47b46724eb82c05da8fb9175e62a7d  80000\u002Fmp_rank_00_model_states.pt\n42aa247a262e2011fa5e276f1a8389fad6d80edc  80000\u002Fmp_rank_01_model_states.pt\nMD5\nf3f6d2f7d84c6a45290a31dabf79ddac  80000\u002Fmp_rank_00_model_states.pt\nb0e960be4b5226e759ae6fc5246f9160  80000\u002Fmp_rank_01_model_states.pt\n```\n\n## 使用\n\n提供了命令行交互式生成：\n```\nbash scripts\u002Fgenerate_text.sh \u002Fpath\u002Fto\u002FCPM\n```\n如不使用交互式输入，可增加第二个参数，告知输入文本的位置\n```\nbash scripts\u002Fgenerate_text.sh \u002Fpath\u002Fto\u002FCPM example.txt\n```\n运行该脚本需要两块GPU，每张卡的GPU内存占用约为7GB。该项目主要基于 [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM) 进行修改。模型的主体架构与GPT-2一致。\n\n默认的模型并行参数为2，如果需要修改，可以使用`change_mp.py`，并调整`generate_text.sh`中的`MPSIZE`。`change_mp.py`的使用示例如下：\n```\npython change_mp.py \u002Fpath\u002Fto\u002FCPM MPSIZE\n```\n这里的`\u002Fpath\u002Fto\u002FCPM`为模型路径，`MPSIZE`为一个整数，可以为1或者2的倍数，结果会生成一个新的模型，存储路径为`\u002Fpath\u002Fto\u002FCPM_MPSIZE`。\n\n## Tokenization\n\nTokenization实现主要在`data_util\u002Ftokenization_gpt2.py`，先对于文本进行分词，再使用 SentencePiece 得到 BPE 的结果。由于 SentencePiece 不能有效编码空格和换行符，在 BPE 之前，我们将文本中的空格和换行符替换为`\\u2582`和`\\u2583`。生成文本的时候也会对应的把生成的`\\u2582`和`\\u2583`替换回空格和换行符。\n\n对应[问题](https:\u002F\u002Fkexue.fm\u002Farchives\u002F7912)已解决。\n\n## 分类任务零次学习（Zero-shot Learning）\n\n提供了三个任务的零次学习任务脚本以供参考，包括OCNLI、TNEWS和IFLYTEK，[数据下载链接](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE)。脚本使用方法如下：\n```\n# OCNLI\nbash scripts\u002Fzero-shot-ocnli.sh \u002Fpath\u002Fto\u002FCPM \u002Fpath\u002Fto\u002Fdataset\n# TNEWS\nbash scripts\u002Fzero-shot-tnews.sh \u002Fpath\u002Fto\u002FCPM \u002Fpath\u002Fto\u002Fdataset\n# IFLYTEK\nbash scripts\u002Fzero-shot-iflytek.sh \u002Fpath\u002Fto\u002FCPM \u002Fpath\u002Fto\u002Fdataset\n```\n\n如果想要在完整标签数据上进程TNEWS和IFLYTEK评测，需要将加载数据函数（`load_iflytek_data`和`load_tnews_data`）中的`sampled_labels`设置为`True`。\n\n## 小规模模型\n\n- [CPM-Distill](https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Distill) 是 2.6B（26亿）参数 CPM-Large 模型蒸馏版本，参数量为 109M\n\n- [CPM-Generate-distill](https:\u002F\u002Fhuggingface.co\u002Fmymusise\u002FCPM-Generate-distill) 是`CPM-Distill`的第三方实现，支持`Pytorch` 和`Tensorflow`\n\n## TODO\n\n- ~~实验环境的docker镜像~~\n- ~~提供各个任务具体的使用模板~~\n- ~~公开技术报告~~\n- ~~模型并行数可动态调整~~\n- ~~Fine-tune代码~~\n- ~~开源实验中使用的小规模模型参数~~\n\n## 引用\n\n```\n@article{cpm-v1,\n  title={CPM: A Large-scale Generative Chinese Pre-trained Language Model},\n  author={Zhang, Zhengyan and Han, Xu, and Zhou, Hao, and Ke, Pei, and Gu, Yuxian and Ye, Deming and Qin, Yujia and Su, Yusheng and Ji, Haozhe and Guan, Jian and Qi, Fanchao and Wang, Xiaozhi and Zheng, Yanan and Zeng, Guoyang and Cao, Huanqi and Chen, Shengqi and Li, Daixuan and Sun, Zhenbo and Liu, Zhiyuan and Huang, Minlie and Han, Wentao and Tang, Jie and Li, Juanzi and Sun, Maosong},\n  year={2020}\n}\n```\n","# CPM-Generate\n\n为了促进中文自然语言处理研究的发展，本项目提供了 **CPM-LM** (2.6B) 模型的文本生成代码，可用于文本生成的本地测试，并以此为基础进一步研究零次学习\u002F少次学习等场景。[[模型下载](https:\u002F\u002Fmodel.baai.ac.cn\u002Fmodel-detail\u002F100017)] [[技术报告](https:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS266665102100019X)]\n\n**若您想使用CPM-1进行推理，我们建议使用高效推理工具[BMInf](https:\u002F\u002Fgithub.com\u002FOpenBMB\u002FBMInf)，支持1060以上显卡单卡推理。**\n\n## 安装\n\n首先安装pytorch等基础依赖，再安装[APEX](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex#quick-start)以支持fp16：\n```\npip install -r requirements.txt\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\ncd apex\npip install -v --no-cache-dir --global-option=\"--cpp_ext\" --global-option=\"--cuda_ext\" .\u002F\n```\n\n考虑apex的安装容易发生问题，我们构建了对应的Docker容器，可以进行快速环境搭建。安装方式如下：\n```\ndocker pull dmye\u002Fcpm:v0\n```\n参考运行指令如下：\n```\nsudo docker run --gpus '\"device=0,1\"' -it -v \u003Cpath>:\u002FCPM  --name=cpm  cpm:v0\n```\n其中`\u003Cpath>`为代码所在目录，-v进行文件目录挂载\n\n注：感谢qhduan同学提供了基于TensorFlow的[使用代码](https:\u002F\u002Fgithub.com\u002Fqhduan\u002FCPM-LM-TF2)，用作Pytorch之外的备选。\n\n## 模型\n\n模型下载后文件夹的目录结构需设置如下：\n```\n.\n├── 80000\n│   ├── mp_rank_00_model_states.pt\n│   └── mp_rank_01_model_states.pt\n└── latest_checkpointed_iteration.txt\n```\n为保证下载文件的正确性，文件的checksum如下：\n```\nSHA1\n71d6b6ad4f47b46724eb82c05da8fb9175e62a7d  80000\u002Fmp_rank_00_model_states.pt\n42aa247a262e2011fa5e276f1a8389fad6d80edc  80000\u002Fmp_rank_01_model_states.pt\nMD5\nf3f6d2f7d84c6a45290a31dabf79ddac  80000\u002Fmp_rank_00_model_states.pt\nb0e960be4b5226e759ae6fc5246f9160  80000\u002Fmp_rank_01_model_states.pt\n```\n\n## 使用\n\n提供了命令行交互式生成：\n```\nbash scripts\u002Fgenerate_text.sh \u002Fpath\u002Fto\u002FCPM\n```\n如不使用交互式输入，可增加第二个参数，告知输入文本的位置\n```\nbash scripts\u002Fgenerate_text.sh \u002Fpath\u002Fto\u002FCPM example.txt\n```\n运行该脚本需要两块GPU，每张卡的GPU内存占用约为7GB。该项目主要基于 [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM) 进行修改。模型的主体架构与GPT-2一致。\n\n默认的模型并行参数为2，如果需要修改，可以使用`change_mp.py`，并调整`generate_text.sh`中的`MPSIZE`。`change_mp.py`的使用示例如下：\n```\npython change_mp.py \u002Fpath\u002Fto\u002FCPM MPSIZE\n```\n这里的`\u002Fpath\u002Fto\u002FCPM`为模型路径，`MPSIZE`为一个整数，可以为1或者2的倍数，结果会生成一个新的模型，存储路径为`\u002Fpath\u002Fto\u002FCPM_MPSIZE`。\n\n## Tokenization\n\nTokenization实现主要在`data_util\u002Ftokenization_gpt2.py`，先对于文本进行分词，再使用 SentencePiece 得到 BPE 的结果。由于 SentencePiece 不能有效编码空格和换行符，在 BPE 之前，我们将文本中的空格和换行符替换为`\\u2582`和`\\u2583`。生成文本的时候也会对应的把生成的`\\u2582`和`\\u2583`替换回空格和换行符。\n\n对应[问题](https:\u002F\u002Fkexue.fm\u002Farchives\u002F7912)已解决。\n\n## 分类任务零次学习（Zero-shot Learning）\n\n提供了三个任务的零次学习任务脚本以供参考，包括OCNLI、TNEWS和IFLYTEK，[数据下载链接](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE)。脚本使用方法如下：\n```\n# OCNLI\nbash scripts\u002Fzero-shot-ocnli.sh \u002Fpath\u002Fto\u002FCPM \u002Fpath\u002Fto\u002Fdataset\n# TNEWS\nbash scripts\u002Fzero-shot-tnews.sh \u002Fpath\u002Fto\u002FCPM \u002Fpath\u002Fto\u002Fdataset\n# IFLYTEK\nbash scripts\u002Fzero-shot-iflytek.sh \u002Fpath\u002Fto\u002FCPM \u002Fpath\u002Fto\u002Fdataset\n```\n\n如果想要在完整标签数据上进程TNEWS和IFLYTEK评测，需要将加载数据函数（`load_iflytek_data`和`load_tnews_data`）中的`sampled_labels`设置为`True`。\n\n## 小规模模型\n\n- [CPM-Distill](https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Distill) 是 2.6B（26亿）参数 CPM-Large 模型蒸馏版本，参数量为 109M\n\n- [CPM-Generate-distill](https:\u002F\u002Fhuggingface.co\u002Fmymusise\u002FCPM-Generate-distill) 是`CPM-Distill`的第三方实现，支持`Pytorch` 和`Tensorflow`\n\n## TODO\n\n- ~~实验环境的docker镜像~~\n- ~~提供各个任务具体的使用模板~~\n- ~~公开技术报告~~\n- ~~模型并行数可动态调整~~\n- ~~Fine-tune代码~~\n- ~~开源实验中使用的小规模模型参数~~\n\n## 引用\n\n```\n@article{cpm-v1,\n  title={CPM: A Large-scale Generative Chinese Pre-trained Language Model},\n  author={Zhang, Zhengyan and Han, Xu, and Zhou, Hao, and Ke, Pei, and Gu, Yuxian and Ye, Deming and Qin, Yujia and Su, Yusheng and Ji, Haozhe and Guan, Jian and Qi, Fanchao and Wang, Xiaozhi and Zheng, Yanan and Zeng, Guoyang and Cao, Huanqi and Chen, Shengqi and Li, Daixuan and Sun, Zhenbo and Liu, Zhiyuan and Huang, Minlie and Han, Wentao and Tang, Jie and Li, Juanzi and Sun, Maosong},\n  year={2020}\n}\n```","# CPM-1-Generate 快速上手指南\n\nCPM-1-Generate 提供了 2.6B 参数的中文预训练语言模型（CPM-LM）的文本生成代码，适用于本地测试及零次\u002F少次学习研究。\n\n> **提示**：若仅需进行推理且希望降低显存占用（支持单卡 GTX 1060 及以上），建议优先使用高效推理工具 [BMInf](https:\u002F\u002Fgithub.com\u002FOpenBMB\u002FBMInf)。本指南针对原生 PyTorch 版本的部署与使用。\n\n## 环境准备\n\n*   **操作系统**：Linux (推荐 Ubuntu)\n*   **硬件要求**：\n    *   **GPU**：至少 2 张 NVIDIA GPU（运行默认脚本需双卡，单卡显存占用约 7GB）。\n    *   **显存**：总计建议 14GB 以上。\n*   **软件依赖**：\n    *   Python 3.x\n    *   PyTorch (需匹配 CUDA 版本)\n    *   NVIDIA APEX (用于支持 fp16 混合精度训练\u002F推理)\n    *   Docker (可选，推荐用于快速搭建环境)\n\n## 安装步骤\n\n您可以选择通过源码手动安装或使用官方提供的 Docker 镜像。\n\n### 方案一：使用 Docker（推荐，避免环境配置问题）\n\n1.  **拉取镜像**：\n    ```bash\n    docker pull dmye\u002Fcpm:v0\n    ```\n\n2.  **启动容器**：\n    将本地代码目录挂载到容器中（请将 `\u003Cpath>` 替换为您的实际代码路径）：\n    ```bash\n    sudo docker run --gpus '\"device=0,1\"' -it -v \u003Cpath>:\u002FCPM  --name=cpm  cpm:v0\n    ```\n\n### 方案二：手动源码安装\n\n1.  **安装基础依赖**：\n    ```bash\n    pip install -r requirements.txt\n    ```\n\n2.  **安装 APEX**（必须步骤，以支持 fp16）：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\n    cd apex\n    pip install -v --no-cache-dir --global-option=\"--cpp_ext\" --global-option=\"--cuda_ext\" .\u002F\n    ```\n    *注：若编译失败，请确保已安装对应 CUDA 版本的 nvcc 编译器。*\n\n## 基本使用\n\n### 1. 模型下载与校验\n\n从 [模型下载页](https:\u002F\u002Fmodel.baai.ac.cn\u002Fmodel-detail\u002F100017) 获取模型文件。下载完成后，请确保目录结构如下：\n\n```text\n.\n├── 80000\n│   ├── mp_rank_00_model_states.pt\n│   └── mp_rank_01_model_states.pt\n└── latest_checkpointed_iteration.txt\n```\n\n**重要**：请务必校验文件完整性，Checksum 如下：\n*   `mp_rank_00_model_states.pt`: SHA1 `71d6b6ad...` \u002F MD5 `f3f6d2f7...`\n*   `mp_rank_01_model_states.pt`: SHA1 `42aa247a...` \u002F MD5 `b0e960be...`\n\n### 2. 运行文本生成\n\n项目默认需要 **2 块 GPU** 运行。\n\n*   **交互式生成**（命令行输入提示词）：\n    ```bash\n    bash scripts\u002Fgenerate_text.sh \u002Fpath\u002Fto\u002FCPM\n    ```\n    *(将 `\u002Fpath\u002Fto\u002FCPM` 替换为模型文件夹的实际路径)*\n\n*   **非交互式生成**（从文件读取输入）：\n    ```bash\n    bash scripts\u002Fgenerate_text.sh \u002Fpath\u002Fto\u002FCPM example.txt\n    ```\n\n### 3. 调整模型并行度（可选）\n\n默认模型并行参数 (`MPSIZE`) 为 2。若您拥有更多或更少的 GPU，可调整此参数：\n\n1.  **转换模型格式**：\n    ```bash\n    python change_mp.py \u002Fpath\u002Fto\u002FCPM MPSIZE\n    ```\n    *   `MPSIZE`：整数，通常为 1 或 2 的倍数。\n    *   新生成的模型将保存在 `\u002Fpath\u002Fto\u002FCPM_MPSIZE`。\n\n2.  **修改运行脚本**：\n    编辑 `scripts\u002Fgenerate_text.sh`，将 `MPSIZE` 变量更新为您设置的数值。\n\n3.  **运行新配置**：\n    使用新的模型路径运行上述生成命令。","某电商初创公司的技术团队急需构建一个能理解中文语境、自动生成高质量商品评论回复的客服系统，以应对大促期间激增的用户互动。\n\n### 没有 CPM-1-Generate 时\n- **语言适配困难**：直接套用国外开源模型（如 GPT-2），生成的中文语句生硬、逻辑不通，难以处理中文特有的成语和网络用语。\n- **资源门槛过高**：当时缺乏针对中文优化的大模型，若要训练同等效果的模型，需要耗费数月时间收集海量语料并投入巨额算力成本。\n- **冷启动无解**：面对新出现的商品品类或突发舆情，由于缺乏标注数据，传统监督学习模型无法进行零样本（Zero-shot）推理，导致系统暂时瘫痪。\n- **部署环境复杂**：自行搭建大规模语言模型推理环境极易遇到依赖冲突，尤其是混合精度训练（FP16）和分布式显存管理，调试周期长达数周。\n\n### 使用 CPM-1-Generate 后\n- **原生中文理解**：直接调用预训练的 26 亿参数中文模型，生成的回复语气自然、用词精准，完美契合本土用户的阅读习惯。\n- **开箱即用**：团队通过官方提供的 Docker 镜像快速搭建环境，利用现成的脚本即可在双卡 GPU 上启动服务，将开发周期从数月缩短至几天。\n- **灵活少样本学习**：借助其强大的零次\u002F少次学习能力，仅需提供少量示例提示（Prompt），系统即可立即学会处理从未见过的商品类别回复，无需重新训练。\n- **推理效率优化**：结合推荐的 BMInf 工具，成功在单张消费级显卡（如 GTX 1060 以上）上实现高效推理，大幅降低了服务器硬件采购成本。\n\nCPM-1-Generate 让中小团队也能以极低的成本和门槛，拥有具备原生中文认知能力的生成式 AI 应用，彻底打破了大模型落地的资源壁垒。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTsinghuaAI_CPM-1-Generate_f70d3634.png","TsinghuaAI","Tsinghua AI","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FTsinghuaAI_c19b8f75.jpg","",null,"https:\u002F\u002Fgithub.com\u002FTsinghuaAI",[82,86,90,94],{"name":83,"color":84,"percentage":85},"Python","#3572A5",96.8,{"name":87,"color":88,"percentage":89},"C++","#f34b7d",2.6,{"name":91,"color":92,"percentage":93},"Shell","#89e051",0.6,{"name":95,"color":96,"percentage":97},"Makefile","#427819",0.1,1581,211,"2026-03-30T08:16:49","MIT",4,"Linux","必需 NVIDIA GPU。官方推荐高效推理工具 BMInf 支持 GTX 1060 及以上显卡单卡推理；原生脚本运行需 2 块 GPU，每卡显存占用约 7GB（建议 8GB+）。需安装支持 CUDA 的 APEX 扩展。","未说明",{"notes":107,"python":105,"dependencies":108},"1. 官方强烈建议使用 BMInf 进行推理以降低硬件门槛（支持 1060 以上单卡）。2. 原生代码基于 Megatron-LM 修改，默认模型并行度为 2，需双卡运行；可通过 change_mp.py 调整并行度以适应不同显存配置。3. 提供了 Docker 镜像 (dmye\u002Fcpm:v0) 以解决 APEX 安装困难问题。4. 模型文件需按特定目录结构放置并校验 SHA1\u002FMD5。5. Tokenization 过程中会对空格和换行符进行特殊字符替换处理。",[109,110,111],"pytorch","nvidia-apex (with CUDA\u002FC++ extensions)","Megatron-LM (modified)",[15],"2026-03-27T02:49:30.150509","2026-04-06T08:39:58.240905",[116,121,126,131,136,141,146,151],{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},15753,"运行生成脚本时报错 ZeroDivisionError 或提示需要加载数据集怎么办？","生成样本（generate）不需要加载训练数据，该错误通常是因为未正确指定 GPU。请在运行命令前加上环境变量 `CUDA_VISIBLE_DEVICES=xxx`，其中 xxx 是需要指定的显卡标号（例如 `CUDA_VISIBLE_DEVICES=0`）。如果是单卡运行未设置此变量，可能会因无法获取设备数量而导致除以零错误。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F22",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},15754,"微调后的 fp32 精度模型加载成功但无法生成任何内容，原因是什么？","生成效果高度依赖于输入模板的格式。对于短文本生成（如对话），建议使用模板：`文本内容\u003Ceod>文本内容\u003Ceod>...文本内容\u003Ceod>文本内容\u003Ceod>`；对于长文本生成，可直接使用 `文本内容` 格式。请确保输入数据严格遵循这些模板格式，否则模型可能无法正确触发生成逻辑。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F36",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},15755,"文本分类任务（如 TNEWS、IFLYTEK）的结果与论文中相差很大，如何解决？","这是因为测试逻辑发生了变更。原始默认是测试完整标签集合，现已改为默认测试采样标签集合。如果您发现结果与论文不符，请检查代码是否使用了最新的测试逻辑，或者参考 Issue #46 确认是否需要调整评估脚本来匹配论文的评估方式（完整标签集合 vs 采样标签集合）。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F67",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},15756,"运行生成脚本时出现张量尺寸不匹配错误（The size of tensor a must match the size of tensor b），如何修复？","这是一个由代码缩进错误引起的问题，通常发生在修复 fp16 兼容性时。请检查 `generate_samples.py` 文件，确保相关代码块的缩进正确。特别是涉及模型并行初始化和张量操作的部分，错误的缩进会导致逻辑执行顺序异常，从而引发维度不匹配。修正缩进后重新运行即可解决。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F60",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},15757,"使用非 fp16 精度（fp32）进行生成时报错，如何处理？","官方已更新代码以支持 fp32 生成。如果仍遇到错误，请检查 `generate_examples.py` 文件。早期版本中有一行代码 `past_key_values = [x.half() for x in past_key_values]` 强制转换为半精度，这在 fp32 模式下会报错。虽然直接删除 `.half()` 可能在某些旧版本中无效，建议拉取最新代码，因为维护者已修复了该兼容性问题。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F53",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},15758,"模型生成的结果无法复现或与官方演示不一致，是什么原因？","首先，模型的生成结果包含随机采样过程，因此无法保证每次生成完全一致。其次，输入数据的拼接方式会显著影响结果。请严格按照官方文档或推送文章中的格式进行输入，通常是每个输入占一行。确保输入预处理和拼接方式与官方演示完全一致，以获得最佳复现效果。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F11",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},15759,"如何将 2 路模型并行的参数转换以便在 4 路模型并行环境下使用？","用户尝试将参数合并并重新分层以适应更多 GPU，但直接使用官方提供的 `change_mp.py` 脚本转换后可能会报形状不匹配错误（如 lm_head.weight 维度错误）。目前官方尚未提供完美的自动转换脚本支持此类跨并行度的无缝迁移。建议检查显存配置，或尝试使用 PyTorch Nightly 版本看是否能缓解显存问题，从而减少改变并行策略的需求。若必须转换，需手动编写脚本处理权重切分与拼接，确保各层权重形状与新并行配置一致。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F13",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},15760,"模型下载链接显示 NoSuchKey 错误或无法下载怎么办？","这通常是临时的存储桶配置问题或链接失效。维护者通常会尽快修复。如果遇到此问题，请稍后重试，或查看项目 README 是否有更新的下载链接。根据历史记录，此类问题通常会在短时间内由维护者解决并恢复下载。","https:\u002F\u002Fgithub.com\u002FTsinghuaAI\u002FCPM-1-Generate\u002Fissues\u002F23",[]]