[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-liucongg--ChatGLM-Finetuning":3,"tool-liucongg--ChatGLM-Finetuning":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74939,"2026-04-05T23:16:38",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70626,"2026-04-05T22:51:36",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":79,"owner_twitter":79,"owner_website":81,"owner_url":82,"languages":83,"stars":88,"forks":89,"last_commit_at":90,"license":79,"difficulty_score":91,"env_os":92,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":101,"github_topics":102,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":110,"updated_at":111,"faqs":112,"releases":148},4063,"liucongg\u002FChatGLM-Finetuning","ChatGLM-Finetuning","基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等","ChatGLM-Finetuning 是一个专为 ChatGLM、ChatGLM2 及 ChatGLM3-6B 系列大模型设计的微调工具包。它旨在帮助开发者低成本地将通用大模型适配到信息抽取、文本生成、分类等具体下游任务中，有效解决了大模型在特定场景落地难的问题，同时通过单指令集微调策略，显著降低了模型出现“灾难性遗忘”的风险。\n\n该项目非常适合算法工程师、研究人员以及希望深入理解大模型训练流程的开发者使用。其独特亮点在于提供了 Freeze（参数冻结）、LoRA、P-tuning 及全量参数微调等多种主流策略，并支持从单卡到多卡的灵活训练配置。为了降低显存门槛，工具集成了 DeepSpeed、gradient_checkpointing 及 Zero3 等优化技术。此外，项目代码未过度封装，摒弃了黑盒式的 Trainer 接口，让使用者能清晰掌控训练细节，便于根据实际需求进行深度定制与修改，是学习与实践大模型微调的优质开源资源。","\n## ChatGLM微调\n本项目主要针对ChatGLM、ChatGLM2和ChatGLM3模型进行不同方式的微调（Freeze方法、Lora方法、P-Tuning方法、全量参数等），并对比大模型在不同微调方法上的效果，主要针对信息抽取任务、生成任务、分类任务等。\n\n本项目支持单卡训练&多卡训练，由于采用单指令集方式微调，模型微调之后**并没有出现严重的灾难性遗忘**。\n\n由于官方代码和模型一直在更新，目前ChatGLM1和2的代码和模型的为20230806版本（注意如果发现代码运行有误，可将ChatGLM相关源码替换文件中的py文件，因为可能你下的模型版本与本项目代码版本不一致），ChatGLM3是版本20231212。\n\nPS：没有用Trainer（虽然Trainer代码简单，但不易修改，大模型时代算法工程师本就成为了数据工程师，因此更需了解训练流程）\n\n## 更新简介\n- update-2023.12.12 增加ChatGLM3代码支持，通过model_type完成模型切换，并增加推理代码。\n- update-2023.08.06 代码和模型已经更新到最新，支持单卡&多卡训练，支持ChatGLM2模型训练、支持全量参数训练，所有代码进行了结构增加可读性。\n- update-2023.06.12 [**增加流水线并行训练方法**](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F636488690)，请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n- update-2023.04.18 **增加文本生成任务评测**，请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n- update-2023.04.05 **增加信息抽取任务评测**，请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n\n## 微调方法\n模型微调时，如果遇到显存不够的情况，可以开启gradient_checkpointing、zero3、offload等参数来节省显存。\n\n下面model_name_or_path参数为模型路径，请根据可根据自己实际模型保存地址进行修改。\n### Freeze方法\nFreeze方法，即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或多卡，不进行TP或PP操作就可以对大模型进行训练。\n\n微调代码，见train.py，核心部分如下：\n```python3\nfreeze_module_name = args.freeze_module_name.split(\",\")\nfor name, param in model.named_parameters():\n\tif not any(nd in name for nd in freeze_module_name):\n\t\tparam.requires_grad = False\n```\n针对模型不同层进行修改，可以自行修改freeze_module_name参数配置，例如\"layers.27.,layers.26.,layers.25.,layers.24.\"。\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、freeze_module_name、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM2单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm2\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm2\n```\nChatGLM3单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm3\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| Model |  DeepSpeed-Stage |  Offload | Gradient Checkpointing |  Batch Size | Max Length | GPU-A40 Number | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 1 | 36G |\n| ChaGLM | zero2 | No | No | 1 | 1560  | 1 | 38G |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 4 | 24G |\n| ChaGLM | zero2 | No | No | 1 | 1560  | 4 | 29G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 1 | 35G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 1 | 36G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 4 | 22G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 4 | 27G |\n\n\n### PT方法\nPT方法，即P-Tuning方法，参考[ChatGLM官方代码](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM-6B\u002Fblob\u002Fmain\u002Fptuning\u002FREADME.md) ，是一种针对于大模型的soft-prompt方法。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_884e40a78569.png)\n- P-Tuning仅对大模型的Embedding加入新的参数。[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.10385)\n- P-Tuning-V2，将大模型的Embedding和每一层前都加上新的参数。[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.07602)\n\n微调代码，见train.py，核心部分如下：\n```python3\nconfig = MODE[args.mode][\"config\"].from_pretrained(args.model_name_or_path)\nconfig.pre_seq_len = args.pre_seq_len\nconfig.prefix_projection = args.prefix_projection\nmodel = MODE[args.mode][\"model\"].from_pretrained(args.model_name_or_path, config=config)\nfor name, param in model.named_parameters():\n\tif not any(nd in name for nd in [\"prefix_encoder\"]):\n\t\tparam.requires_grad = False\n```\n当prefix_projection为True时，为P-Tuning-V2方法，在大模型的Embedding和每一层前都加上新的参数；为False时，为P-Tuning方法，仅在大模型的Embedding上新的参数。\n\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、pre_seq_len、prefix_projection、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 768 \\\n                --max_src_len 512 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM2单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm2\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm2\n```\nChatGLM3单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm3\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| Model |  DeepSpeed-Stage |  Offload | Gradient Checkpointing |  Batch Size | Max Length | GPU-A40 Number | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero2 | No | Yes | 1 | 768  | 1 | 43G |\n| ChaGLM | zero2 | No | No | 1 | 300  | 1 | 44G |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 4 | 37G |\n| ChaGLM | zero2 | No | No | 1 | 1360  | 4 | 44G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 1 | 20G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 1 | 40G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 4 | 19G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 4 | 39G |\n\n\n### Lora方法\nLora方法，即在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数。\n当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量也就很小。在下游任务tuning时，仅须训练很小的参数，但能获取较好的表现结果。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_ee1ff0abfaec.png)\n- 论文：[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.09685)\n- 官方代码：[Github](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLoRA)\n- HuggingFace封装的peft库：[Github](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft)\n\n微调代码，见train.py，核心部分如下：\n```python3\nmodel = MODE[args.mode][\"model\"].from_pretrained(args.model_name_or_path)\nlora_module_name = args.lora_module_name.split(\",\")\nconfig = LoraConfig(r=args.lora_dim,\n\t\t\t\t\tlora_alpha=args.lora_alpha,\n\t\t\t\t\ttarget_modules=lora_module_name,\n\t\t\t\t\tlora_dropout=args.lora_dropout,\n\t\t\t\t\tbias=\"none\",\n\t\t\t\t\ttask_type=\"CAUSAL_LM\",\n\t\t\t\t\tinference_mode=False,\n\t\t\t\t\t)\nmodel = get_peft_model(model, config)\nmodel.config.torch_dtype = torch.float32\n```\nPS: Lora训练之后，请先参数合并，在进行模型预测。\n\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、lora_dim、lora_alpha、lora_dropout、lora_module_name、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm \\\n              --train_type lora \\\n              --lora_dim 16 \\\n              --lora_alpha 64 \\\n              --lora_dropout 0.1 \\\n              --lora_module_name \"query_key_value\" \\\n              --seed 1234 \\\n              --ds_file ds_zero2_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm\n```\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm \\\n              --train_type lora \\\n              --lora_dim 16 \\\n              --lora_alpha 64 \\\n              --lora_dropout 0.1 \\\n              --lora_module_name \"query_key_value\" \\\n              --seed 1234 \\\n              --ds_file ds_zero2_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm\n```\nChatGLM2单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM2-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm2 \\\n              --train_type lora \\\n              --lora_dim 16 \\\n              --lora_alpha 64 \\\n              --lora_dropout 0.1 \\\n              --lora_module_name \"query_key_value,dense_h_to_4h,dense_4h_to_h,dense\" \\\n              --seed 1234 \\\n              --ds_file ds_zero2_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm2\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM2-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm2 \\\n              --train_type lora \\\n              --lora_dim 16 \\\n              --lora_alpha 64 \\\n              --lora_dropout 0.1 \\\n              --lora_module_name \"query_key_value,dense_h_to_4h,dense_4h_to_h,dense\" \\\n              --seed 1234 \\\n              --ds_file ds_zero2_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm2\n```\nChatGLM3单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --lora_dim 16 \\\n                --lora_alpha 64 \\\n                --lora_dropout 0.1 \\\n                --lora_module_name \"query_key_value,dense_h_to_4h,dense_4h_to_h,dense\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm3\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --lora_dim 16 \\\n                --lora_alpha 64 \\\n                --lora_dropout 0.1 \\\n                --lora_module_name \"query_key_value,dense_h_to_4h,dense_4h_to_h,dense\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| Model |  DeepSpeed-Stage |  Offload | Gradient Checkpointing |  Batch Size | Max Length | GPU-A40 Number | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 1 | 20G |\n| ChaGLM | zero2 | No | No | 1 | 1560  | 1 | 45G |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 4 | 20G |\n| ChaGLM | zero2 | No | No | 1 | 1560  | 4 | 45G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 1 | 20G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 1 | 43G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 4 | 19G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 4 | 42G |\n\n注意：Lora方法在模型保存时仅保存了Lora训练参数，因此在模型预测时需要将模型参数进行合并，具体参考[merge_lora.py](.\u002Fmerge_lora.py)。\n\n### 全参方法\n全参方法，对大模型进行全量参数训练，主要借助DeepSpeed-Zero3方法，对模型参数进行多卡分割，并借助Offload方法，将优化器参数卸载到CPU上以解决显卡不足问题。\n\n微调代码，见train.py，核心部分如下：\n```python3\nmodel = MODE[args.mode][\"model\"].from_pretrained(args.model_name_or_path)\n```\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm \\\n              --train_type all \\\n              --seed 1234 \\\n              --ds_file ds_zero3_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM2-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm2 \\\n              --train_type all \\\n              --seed 1234 \\\n              --ds_file ds_zero3_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm2\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM3-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm3 \\\n              --train_type all \\\n              --seed 1234 \\\n              --ds_file ds_zero3_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| Model |  DeepSpeed-Stage |  Offload | Gradient Checkpointing |  Batch Size | Max Length | GPU-A40 Number | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero3 | Yes | Yes | 1 | 1560  | 4 | 33G |\n| ChaGLM2 | zero3 | No | Yes | 1 | 1560  | 4 | 44G |\n| ChaGLM2 | zero3 | Yes | Yes | 1 | 1560  | 4 | 26G |\n\n后面补充DeepSpeed的Zero-Stage的相关内容说明。\n\n### 运行环境\n查看requirements.txt文件\n\n## 实验结果\n### 三元组抽取\n- 为了防止大模型的数据泄露，采用一个领域比赛数据集-[汽车工业故障模式关系抽取](https:\u002F\u002Fwww.datafountain.cn\u002Fcompetitions\u002F584)，随机抽取50条作为测试集\n- 训练示例：\n```\n{\n    \"instruction\": \"你现在是一个信息抽取模型，请你帮我抽取出关系内容为\\\"性能故障\\\", \\\"部件故障\\\", \\\"组成\\\"和 \\\"检测工具\\\"的相关三元组，三元组内部用\\\"_\\\"连接，三元组之间用\\\\n分割。文本：\",\n    \"input\": \"故障现象：发动机水温高，风扇始终是低速转动，高速档不工作，开空调尤其如此。\",\n    \"output\": \"发动机_部件故障_水温高\\n风扇_部件故障_低速转动\"\n}\n```\n\n\n| 微调方法 |  PT-Only-Embedding |  PT | Freeze |  Lora | \n| ------- | ------ | ------  | ------ | ------ |\n| 测试结果F1 | 0.0 | 0.6283 | 0.5675 | 0.5359 |\n\n结构分析：\n- 效果为PT>Freeze>Lora>PT-Only-Embedding\n- PT-Only-Embedding效果很不理想，发现在训练时，最后的loss仅能收敛到2.几，而其他机制可以收敛到0.几。分析原因为，输出内容形式与原有语言模型任务相差很大，仅增加额外Embedding参数，不足以改变复杂的下游任务。\n- 上面测试仅代表个人测试结果，并且由于生成模型生成长度对推理耗时影响很大，因此可以其他数据会有不一样的结果。\n- 模型在指定任务上微调之后，并没有丧失原有能力，例如生成“帮我写个快排算法”，依然可以生成-快排代码。\n- 由于大模型微调都采用大量instruction进行模型训练，仅采用单一的指令进行微调时，对原来其他的指令影响不大，因此并没导致原来模型的能力丧失。\n\n很多同学在微调后出现了灾难性遗忘现象，但本项目的训练代码并没有出现，对“翻译任务”、“代码任务”、“问答任务”进行测试，具体测试效果如下：\n\u003Cdetails>\u003Csummary>\u003Cb>翻译任务\u003C\u002Fb>\u003C\u002Fsummary>\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_23a4a09bd5e7.png)\n\n\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>\u003Cb>代码任务\u003C\u002Fb>\u003C\u002Fsummary>\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_7b8d5ff3cc56.png)\n\n\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>\u003Cb>问答任务\u003C\u002Fb>\u003C\u002Fsummary>\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_485371c4ff71.png)\n\n\u003C\u002Fdetails>\n\n### 文本生成\n- 为了防止大模型的数据泄露，采用一个“万创杯”中医药天池大数据竞赛-[中医文献问题生成挑战](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F531826\u002Fintroduction)，随机抽取20条作为测试集\n- PT为官方的P-Tuning V2训练方法，PT-Only-Embedding表示仅对Embedding进行soft-prompt，Freeze仅训练模型后五层参数，Lora采用低秩矩阵方法训练，秩为8；\n- 训练示例：\n```\n{\n    \"instruction\": \"你现在是一个问题生成模型，请根据下面文档生成一个问题，文档：\",\n    \"input\": \"清热解毒口服液由生石膏、知母、紫花地丁、金银花、麦门冬、黄芩、玄参、连翘、龙胆草、生地黄、栀子、板蓝根组成。具有疏风解表、清热解毒利咽、生津止渴的功效，适用于治疗外感时邪、内有蕴热所致的身热汗出、头痛身痛、心烦口渴、微恶寒或反恶热、舌红、苔黄、脉数等症。现代临床主要用于治疗流行性感冒、流行性脑脊髓膜炎、肺炎等各种发热性疾病。口服液：每支10毫升，每次10~20毫升，每日3次。〔注意事项〕阳虚便澹者不宜使用。\",\n    \"output\": \"清热解毒口服的功效有哪些？\"\n}\n```\n\n由于生成模型的内容不能想信息抽取任务一样评价，用现有的BLUE或者Rouge来评价也是不合适，因此制定了评分规则。 通过多样性和准确性两个角度判断D2Q模型好坏，每个样本总计5分，共20个样本。\n- 多样性：\n\t- 问题是否高度相似，每重复一个问题扣0.25分；\n\t- 问题对应答案是否相同，每有一个重复答案或找不到答案，扣0.25分；\n- 准确性：\n\t- 问题能否从文档中找到答案，每有一个找不到答案，扣0.25分；\n\t- 问题内容是否流畅，每有一个问题不流畅，扣0.25分；\n\t- 问题内容是否有害，每有一个有害，扣0.25分；\n\n| 微调方法 |  原始模型 | PT-Only-Embedding |  PT | Freeze |  Lora | \n| ------- | ------ | ------ | ------  | ------ | ------ |\n| 分数 | 51.75 | 73.75 | 87.75 | 79.25 | 86.75 |\n\n\n## 流水线并行训练\n代码说明见：[大模型流水线并行（Pipeline）实战](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F636488690)\n\n请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n\n## Star History\n![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_3dc48501c0b0.png)","## ChatGLM微调\n本项目主要针对ChatGLM、ChatGLM2和ChatGLM3模型进行不同方式的微调（Freeze方法、Lora方法、P-Tuning方法、全量参数等），并对比大模型在不同微调方法上的效果，主要针对信息抽取任务、生成任务、分类任务等。\n\n本项目支持单卡训练&多卡训练，由于采用单指令集方式微调，模型微调之后**并没有出现严重的灾难性遗忘**。\n\n由于官方代码和模型一直在更新，目前ChatGLM1和2的代码和模型的为20230806版本（注意如果发现代码运行有误，可将ChatGLM相关源码替换文件中的py文件，因为可能你下的模型版本与本项目代码版本不一致），ChatGLM3是版本20231212。\n\nPS：没有用Trainer（虽然Trainer代码简单，但不易修改，大模型时代算法工程师本就成为了数据工程师，因此更需了解训练流程）\n\n## 更新简介\n- update-2023.12.12 增加ChatGLM3代码支持，通过model_type完成模型切换，并增加推理代码。\n- update-2023.08.06 代码和模型已经更新到最新，支持单卡&多卡训练，支持ChatGLM2模型训练、支持全量参数训练，所有代码进行了结构增加可读性。\n- update-2023.06.12 [**增加流水线并行训练方法**](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F636488690)，请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n- update-2023.04.18 **增加文本生成任务评测**，请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n- update-2023.04.05 **增加信息抽取任务评测**，请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n\n## 微调方法\n模型微调时，如果遇到显存不够的情况，可以开启gradient_checkpointing、zero3、offload等参数来节省显存。\n\n下面model_name_or_path参数为模型路径，请根据可根据自己实际模型保存地址进行修改。\n\n### 冻结方法\n冻结方法，即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或多卡，不进行TP或PP操作就可以对大模型进行训练。\n\n微调代码，见train.py，核心部分如下：\n```python3\nfreeze_module_name = args.freeze_module_name.split(\",\")\nfor name, param in model.named_parameters():\n\tif not any(nd in name for nd in freeze_module_name):\n\t\tparam.requires_grad = False\n```\n针对模型不同层进行修改，可以自行修改freeze_module_name参数配置，例如\"layers.27.,layers.26.,layers.25.,layers.24.\"。\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、freeze_module_name、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM2单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm2\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup ratio 0.1 \\\n                --mode glm2 \\\n                --train_type freeze \\\n                --freeze module name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds file ds_zero2_no_offload.json \\\n                --gradient checkpointing \\\n                --show loss step 10 \\\n                --output dir .\u002Foutput-glm2\n```\nChatGLM3单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning rate 1e-4 \\\n                --weight decay 0.1 \\\n                --num_train epochs 2 \\\n                --gradient accumulation steps 4 \\\n                --warmup ratio 0.1 \\\n                --mode glm3 \\\n                --train type freeze \\\n                --freeze module name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds file ds_zero2_no_offload.json \\\n                --gradient checkpointing \\\n                --show loss step 10 \\\n                --output dir .\u002Foutput-glm3\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master port 520 train.py \\\n                --train path data\u002Fspo_0.json \\\n                --model name or path ChatGLM3-6B\u002F \\\n                --per device train batch size 1 \\\n                --max len 1560 \\\n                --max src len 1024 \\\n                --learning rate 1e-4 \\\n                --weight decay 0.1 \\\n                --num train epochs 2 \\\n                --gradient accumulation steps 4 \\\n                --warmup ratio 0.1 \\\n                --mode glm3 \\\n                --train type freeze \\\n                --freeze module name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds file ds_zero2_no_offload.json \\\n                --gradient checkpointing \\\n                --show loss step 10 \\\n                --output dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| Model |  DeepSpeed-Stage |  Offload | Gradient Checkpointing |  Batch Size | Max Length | GPU-A40 Number | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 1 | 36G |\n| ChaGLM | zero2 | No | No | 1 | 1560  | 1 | 38G |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 4 | 24G |\n| ChaGLM | zero2 | No | No | 1 | 1560  | 4 | 29G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 1 | 35G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 1 | 36G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 4 | 22G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 4 | 27G |\n\n\n### PT方法\nPT方法，即P-Tuning方法，参考[ChatGLM官方代码](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM-6B\u002Fblob\u002Fmain\u002Fptuning\u002FREADME.md) ，是一种针对于大模型的soft-prompt方法。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_884e40a78569.png)\n- P-Tuning仅对大模型的Embedding加入新的参数。[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2103.10385)\n- P-Tuning-V2，将大模型的Embedding和每一层前都加上新的参数。[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2110.07602)\n\n微调代码见train.py，核心部分如下：\n```python3\nconfig = MODE[args.mode][\"config\"].from_pretrained(args.model_name_or_path)\nconfig.pre_seq_len = args.pre_seq_len\nconfig.prefix_projection = args.prefix_projection\nmodel = MODE[args.mode][\"model\"].from_pretrained(args.model_name_or_path, config=config)\nfor name, param in model.named_parameters():\n\tif not any(nd in name for nd in [\"prefix_encoder\"]):\n\t\tparam.requires_grad = False\n```\n当prefix_projection为True时，为P-Tuning-V2方法，在大模型的Embedding和每一层前都加上新的参数；为False时，为P-Tuning方法，仅在大模型的Embedding上新的参数。\n\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、pre_seq_len、prefix_projection、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 768 \\\n                --max_src_len 512 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm\n```\nChatGLM2单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm2\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm2\n```\nChatGLM3单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm3\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| Model |  DeepSpeed-Stage |  Offload | Gradient Checkpointing |  Batch Size | Max Length | GPU-A40 Number | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero2 | No | Yes | 1 | 768  | 1 | 43G |\n| ChaGLM | zero2 | No | No | 1 | 300  | 1 | 44G |\n| ChaGLM | zero2 | No | Yes | 1 | 1560  | 4 | 37G |\n| ChaGLM | zero2 | No | No | 1 | 1360  | 4 | 44G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 1 | 20G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 1 | 40G |\n| ChaGLM2 | zero2 | No | Yes | 1 | 1560  | 4 | 19G |\n| ChaGLM2 | zero2 | No | No | 1 | 1560  | 4 | 39G |\n\n\n\n\n### Lora方法\nLora方法，即在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数。\n当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量也就很小。在下游任务tuning时，仅须训练很小的参数，但能获取较好的表现结果。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_ee1ff0abfaec.png)\n- 论文：[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.09685)\n- 官方代码：[Github](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FLoRA)\n- HuggingFace封装的peft库：[Github](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft)\n\n微调代码，见train.py，核心部分如下：\n```python3\nmodel = MODE[args.mode][\"model\"].from_pretrained(args.model_name_or_path)\nlora_module_name = args.lora_module_name.split(\",\")\nconfig = LoraConfig(r=args.lora_dim,\n\t\t\t\t\tlora_alpha=args.lora_alpha,\n\t\t\t\t\ttarget_modules=lora_module_name,\n\t\t\t\t\tlora_dropout=args.lora_dropout,\n\t\t\t\t\tbias=\"none\",\n\t\t\t\t\ttask_type=\"CAUSAL_LM\",\n\t\t\t\t\tinference_mode=False,\n\t\t\t\t\t)\nmodel = get_peft_model(model, config)\nmodel.config.torch_dtype = torch.float32\n```\nPS: Lora训练之后，请先参数合并，在进行模型预测。\n\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、lora_dim、lora_alpha、lora_dropout、lora_module_name、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm \\\n              --train_type lora \\\n              --lora_dim 16 \\\n              --lora_alpha 64 \\\n              --lora_dropout 0.1 \\\n              --lora_module_name \"query_key_value\" \\\n              --seed 1234 \\\n              --ds_file ds_zero2_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm\n```\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm \\\n              --train_type lora \\\n              --lora_dim 16 \\\n              --lora_alpha 64 \\\n              --lora_dropout 0.1 \\\n              --lora_module_name \"query_key_value\" \\\n              --seed 1234 \\\n              --ds_file ds_zero2_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm\n```\nChatGLM2单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM2-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm2 \\\n              --train_type lora \\\n              --lora_dim 16 \\\n              --lora_alpha 64 \\\n              --lora_dropout 0.1 \\\n              --lora_module_name \"query_key_value,dense_h_to_4h,dense_4h_to_h,dense\" \\\n              --seed 1234 \\\n              --ds_file ds_zero2_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm2\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM2-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation steps 4 \\\n              --warmup ratio 0.1 \\\n              --mode glm2 \\\n              --train type lora \\\n              --lora dim 16 \\\n              --lora alpha 64 \\\n              --lora dropout 0.1 \\\n              --lora module name \"query key value,dense h to 4h,dense 4h to h,dense\" \\\n              --seed 1234 \\\n              --ds file ds zero2 no offload.json \\\n              --gradient checkpointing \\\n              --show loss step 10 \\\n              --output dir .\u002Foutput-glm2\n```\nChatGLM3单卡训练\n```\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max len 1560 \\\n                --max src len 1024 \\\n                --learning rate 1e-4 \\\n                --weight decay 0.1 \\\n                --num train epochs 2 \\\n                --gradient accumulation steps 4 \\\n                --warmup ratio 0.1 \\\n                --mode glm3 \\\n                --lora dim 16 \\\n                --lora alpha 64 \\\n                --lora dropout 0.1 \\\n                --lora module name \"query key value,dense h to 4h,dense 4h to h,dense\" \\\n                --seed 1234 \\\n                --ds file ds zero2 no offload.json \\\n                --gradient checkpointing \\\n                --show loss step 10 \\\n                --output dir .\u002Foutput-glm3\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master port 520 train.py \\\n                --train path data\u002Fspo_0.json \\\n                --model name or path ChatGLM3-6B\u002F \\\n                --per device train batch size 1 \\\n                --max len 1560 \\\n                --max src len 1024 \\\n                --learning rate 1e-4 \\\n                --weight decay 0.1 \\\n                --num train epochs 2 \\\n                --gradient accumulation steps 4 \\\n                --warmup ratio 0.1 \\\n                --mode glm3 \\\n                --lora dim 16 \\\n                --lora alpha 64 \\\n                --lora dropout 0.1 \\\n                --lora module name \"query key value,dense h to 4h,dense 4h to h,dense\" \\\n                --seed 1234 \\\n                --ds file ds zero2 no offload.json \\\n                --gradient checkpointing \\\n                --show loss step 10 \\\n                --output dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| 模型 | DeepSpeed阶段 | Offload | 梯度检查点 | 批量大小 | 最大长度 | GPU-A40数量 | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero2 | 否 | 是 | 1 | 1560  | 1 | 20G |\n| ChaGLM | zero2 | 否 | 否 | 1 | 1560  | 1 | 45G |\n| ChaGLM | zero2 | 否 | 是 | 1 | 1560  | 4 | 20G |\n| ChaGLM | zero2 | 否 | 否 | 1 | 1560  | 4 | 45G |\n| ChaGLM2 | zero2 | 否 | 是 | 1 | 1560  | 1 | 20G |\n| ChaGLM2 | zero2 | 否 | 否 | 1 | 1560  | 1 | 43G |\n| ChaGLM2 | zero2 | 否 | 是 | 1 | 1560  | 4 | 19G |\n| ChaGLM2 | zero2 | 否 | 否 | 1 | 1560  | 4 | 42G |\n\n注意：Lora方法在模型保存时仅保存了Lora训练参数，因此在模型预测时需要将模型参数进行合并，具体参考[merge_lora.py](.\u002Fmerge_lora.py)。\n\n\n\n### 全参方法\n全参方法，对大模型进行全量参数训练，主要借助DeepSpeed-Zero3方法，对模型参数进行多卡分割，并借助Offload方法，将优化器参数卸载到CPU上以解决显卡不足问题。\n\n微调代码，见train.py，核心部分如下：\n```python3\nmodel = MODE[args.mode][\"model\"].from_pretrained(args.model_name_or_path)\n```\n训练代码均采用DeepSpeed进行训练，可设置参数包含train_path、model_name_or_path、mode、train_type、ds_file、num_train_epochs、per_device_train_batch_size、gradient_accumulation_steps、output_dir等， 可根据自己的任务配置。\n\nChatGLM四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm \\\n              --train_type all \\\n              --seed 1234 \\\n              --ds_file ds_zero3_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm\n```\nChatGLM2四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM2-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm2 \\\n              --train_type all \\\n              --seed 1234 \\\n              --ds_file ds_zero3_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm2\n```\nChatGLM3四卡训练，通过CUDA_VISIBLE_DEVICES控制具体哪几块卡进行训练，如果不加该参数，表示使用运行机器上所有卡进行训练\n```\nCCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n              --train_path data\u002Fspo_0.json \\\n              --model_name_or_path ChatGLM3-6B \\\n              --per_device_train_batch_size 1 \\\n              --max_len 1560 \\\n              --max_src_len 1024 \\\n              --learning_rate 1e-4 \\\n              --weight_decay 0.1 \\\n              --num_train_epochs 2 \\\n              --gradient_accumulation_steps 4 \\\n              --warmup_ratio 0.1 \\\n              --mode glm3 \\\n              --train_type all \\\n              --seed 1234 \\\n              --ds_file ds_zero3_no_offload.json \\\n              --gradient_checkpointing \\\n              --show_loss_step 10 \\\n              --output_dir .\u002Foutput-glm3\n```\nPS：ChatGLM微调时所用显存要比ChatGLM2多，详细显存占比如下：\n\n| 模型 | DeepSpeed阶段 | Offload | 梯度检查点 | 批量大小 | 最大长度 | GPU-A40数量 | 所耗显存 |\n| ------- | ------ | ------  | ------ | ------ | ------  | ------ | ------ |\n| ChaGLM | zero3 | 是 | 是 | 1 | 1560  | 4 | 33G |\n| ChaGLM2 | zero3 | 否 | 是 | 1 | 1560  | 4 | 44G |\n| ChaGLM2 | zero3 | 是 | 是 | 1 | 1560  | 4 | 26G |\n\n后面补充DeepSpeed的Zero-Stage的相关内容说明。\n\n### 运行环境\n查看requirements.txt文件\n\n## 实验结果\n### 三元组抽取\n- 为了防止大模型的数据泄露，采用一个领域比赛数据集-[汽车工业故障模式关系抽取](https:\u002F\u002Fwww.datafountain.cn\u002Fcompetitions\u002F584)，随机抽取50条作为测试集\n- 训练示例：\n```\n{\n    \"instruction\": \"你现在是一个信息抽取模型，请你帮我抽取出关系内容为\\\"性能故障\\\", \\\"部件故障\\\", \\\"组成\\\"和 \\\"检测工具\\\"的相关三元组，三元组内部用\\\"_\\\"连接，三元组之间用\\\\n分割。文本：\",\n    \"input\": \"故障现象：发动机水温高，风扇始终是低速转动，高速档不工作，开空调尤其如此。\",\n    \"output\": \"发动机_部件故障_水温高\\n风扇_部件故障_低速转动\"\n}\n```\n\n\n| 微调方法 | PT-Only-Embedding | PT | Freeze | Lora | \n| ------- | ------ | ------  | ------ | ------ |\n| 测试结果F1 | 0.0 | 0.6283 | 0.5675 | 0.5359 |\n\n结构分析：\n- 效果为PT>Freeze>Lora>PT-Only-Embedding\n- PT-Only-Embedding效果很不理想，发现在训练时，最后的loss仅能收敛到2.几，而其他机制可以收敛到0.几。分析原因为，输出内容形式与原有语言模型任务相差很大，仅增加额外Embedding参数，不足以改变复杂的下游任务。\n- 上面测试仅代表个人测试结果，并且由于生成模型生成长度对推理耗时影响很大，因此可以其他数据会有不一样的结果。\n- 模型在指定任务上微调之后，并没有丧失原有能力，例如生成“帮我写个快排算法”，依然可以生成-快排代码。\n- 由于大模型微调都采用大量instruction进行模型训练，仅采用单一的指令进行微调时，对原来其他的指令影响不大，因此并没导致原来模型的能力丧失。\n\n很多同学在微调后出现了灾难性遗忘现象，但本项目的训练代码并没有出现，对“翻译任务”、“代码任务”、“问答任务”进行测试，具体测试效果如下：\n\u003Cdetails>\u003Csummary>\u003Cb>翻译任务\u003C\u002Fb>\u003C\u002Fsummary>\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_23a4a09bd5e7.png)\n\n\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>\u003Cb>代码任务\u003C\u002Fb>\u003C\u002Fsummary>\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_7b8d5ff3cc56.png)\n\n\u003C\u002Fdetails>\n\u003Cdetails>\u003Csummary>\u003Cb>问答任务\u003C\u002Fb>\u003C\u002Fsummary>\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_485371c4ff71.png)\n\n\u003C\u002Fdetails>\n\n### 文本生成\n- 为了防止大模型的数据泄露，采用一个“万创杯”中医药天池大数据竞赛-[中医文献问题生成挑战](https:\u002F\u002Ftianchi.aliyun.com\u002Fcompetition\u002Fentrance\u002F531826\u002Fintroduction)，随机抽取20条作为测试集\n- PT为官方的P-Tuning V2训练方法，PT-Only-Embedding表示仅对Embedding进行soft-prompt，Freeze仅训练模型后五层参数，Lora采用低秩矩阵方法训练，秩为8；\n- 训练示例：\n```\n{\n    \"instruction\": \"你现在是一个问题生成模型，请根据下面文档生成一个问题，文档：\",\n    \"input\": \"清热解毒口服液由生石膏、知母、紫花地丁、金银花、麦门冬、黄芩、玄参、连翘、龙胆草、生地黄、栀子、板蓝根组成。具有疏风解表、清热解毒利咽、生津止渴的功效，适用于治疗外感时邪、内有蕴热所致的身热汗出、头痛身痛、心烦口渴、微恶寒或反恶热、舌红、苔黄、脉数等症。现代临床主要用于治疗流行性感冒、流行性脑脊髓膜炎、肺炎等各种发热性疾病。口服液：每支10毫升，每次10~20毫升，每日3次。〔注意事项〕阳虚便澹者不宜使用。\",\n    \"output\": \"清热解毒口服的功效有哪些？\"\n}\n```\n\n由于生成模型的内容不能想信息抽取任务一样评价，用现有的BLUE或者Rouge来评价也是不合适，因此制定了评分规则。 通过多样性和准确性两个角度判断D2Q模型好坏，每个样本总计5分，共20个样本。\n- 多样性：\n\t- 问题是否高度相似，每重复一个问题扣0.25分；\n\t- 问题对应答案是否相同，每有一个重复答案或找不到答案，扣0.25分；\n- 准确性：\n\t- 问题能否从文档中找到答案，每有一个找不到答案，扣0.25分；\n\t- 问题内容是否流畅，每有一个问题不流畅，扣0.25分；\n\t- 问题内容是否有害，每有一个有害，扣0.25分；\n\n| 微调方法 | 原始模型 | PT-Only-Embedding | PT | Freeze | Lora | \n| ------- | ------ | ------ | ------  | ------ | ------ |\n| 分数 | 51.75 | 73.75 | 87.75 | 79.25 | 86.75 |\n\n\n## 流水线并行训练\n代码说明见：[大模型流水线并行（Pipeline）实战](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F636488690)\n\n请看[v0.1 Tag](https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Ftree\u002Fv0.1)\n\n## Star History\n![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_readme_3dc48501c0b0.png)","# ChatGLM-Finetuning 快速上手指南\n\n本指南帮助开发者快速使用 ChatGLM-Finetuning 项目对 ChatGLM、ChatGLM2 和 ChatGLM3 模型进行微调（支持 Freeze、LoRA、P-Tuning 及全量参数训练），适用于信息抽取、文本生成及分类等任务。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 18.04+)\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡（单卡或多卡均可，显存不足时可开启优化参数）\n- **Python**: 3.8+\n- **CUDA**: 根据显卡驱动版本安装对应 CUDA Toolkit\n\n### 前置依赖\n本项目基于 PyTorch 和 DeepSpeed 构建。建议优先使用国内镜像源加速依赖安装。\n\n```bash\n# 创建虚拟环境（可选但推荐）\nconda create -n chatglm-ft python=3.9\nconda activate chatglm-ft\n\n# 安装 PyTorch (请根据实际 CUDA 版本选择，此处以 CUDA 11.8 为例，使用清华源)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装其他核心依赖\npip install transformers>=4.27.1 deepspeed accelerate sentencepiece protobuf cpm_kernels tiktoken\n```\n\n> **注意**：本项目未使用 HuggingFace Trainer，旨在让开发者更深入了解大模型训练流程。代码需配合特定版本的 ChatGLM 源码（ChatGLM1\u002F2 为 20230806 版，ChatGLM3 为 20231212 版），若运行报错，请检查并替换对应的模型源码文件。\n\n## 安装步骤\n\n1. **克隆项目代码**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning.git\n   cd ChatGLM-Finetuning\n   ```\n\n2. **准备模型权重**\n   下载对应的 ChatGLM 模型权重（ChatGLM-6B, ChatGLM2-6B, 或 ChatGLM3-6B），并记录本地路径。\n   *示例路径*: `.\u002FChatGLM3-6B\u002F`\n\n3. **准备数据集**\n   将训练数据整理为 JSON 格式（如 `data\u002Fspo_0.json`），确保格式符合项目要求（通常为指令集格式）。\n\n## 基本使用\n\n本项目通过 `train.py` 脚本启动训练，支持通过参数灵活切换模型类型 (`--mode`)、微调方法 (`--train_type`) 及硬件配置。\n\n### 场景一：Freeze 方法微调（单卡）\n冻结大部分参数，仅训练指定层，适合显存有限的场景。以下以 **ChatGLM3** 为例：\n\n```bash\nCUDA_VISIBLE_DEVICES=0 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM3-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm3 \\\n                --train_type freeze \\\n                --freeze_module_name \"layers.27.,layers.26.,layers.25.,layers.24.\" \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --output_dir .\u002Foutput-glm3\n```\n\n### 场景二：P-Tuning 方法微调（多卡）\n仅训练 Embedding 或 Prefix 参数，高效节省显存。以下以 **ChatGLM2** 四卡训练为例：\n\n```bash\nCUDA_VISIBLE_DEVICES=0,1,2,3 deepspeed --master_port 520 train.py \\\n                --train_path data\u002Fspo_0.json \\\n                --model_name_or_path ChatGLM2-6B\u002F \\\n                --per_device_train_batch_size 1 \\\n                --max_len 1560 \\\n                --max_src_len 1024 \\\n                --learning_rate 1e-4 \\\n                --weight_decay 0.1 \\\n                --num_train_epochs 2 \\\n                --gradient_accumulation_steps 4 \\\n                --warmup_ratio 0.1 \\\n                --mode glm2 \\\n                --train_type ptuning \\\n                --seed 1234 \\\n                --ds_file ds_zero2_no_offload.json \\\n                --gradient_checkpointing \\\n                --show_loss_step 10 \\\n                --pre_seq_len 16 \\\n                --prefix_projection True \\\n                --output_dir .\u002Foutput-glm2\n```\n\n### 关键参数说明\n- `--mode`: 模型类型，可选 `glm` (ChatGLM1), `glm2`, `glm3`。\n- `--train_type`: 微调策略，可选 `freeze`, `ptuning`, `lora`, `all` (全量)。\n- `--freeze_module_name`: Freeze 模式下指定需要训练的层名称，用逗号分隔。\n- `--gradient_checkpointing`: 开启后显著节省显存，但会略微降低训练速度。\n- `--ds_file`: DeepSpeed 配置文件，显存不足时可修改为开启 offload 的配置（如 `ds_zero3_offload.json`）。\n\n### 显存优化建议\n若遇到显存溢出 (OOM)，请在命令中加入或调整以下策略：\n1. 确保添加 `--gradient_checkpointing` 参数。\n2. 修改 `--ds_file` 为包含 `zero3` 或 `offload` 策略的配置文件。\n3. 减小 `--per_device_train_batch_size` 或 `--max_len`。","某金融科技公司风控团队需要将通用大模型改造为能精准识别信贷合同风险条款的专用助手。\n\n### 没有 ChatGLM-Finetuning 时\n- **领域知识匮乏**：通用模型无法理解“连带保证责任”、“交叉违约”等专业术语，回答泛泛而谈甚至产生幻觉。\n- **硬件门槛过高**：全量微调 6B 模型需多张高端显卡，公司现有的单卡开发机显存不足，无法启动训练。\n- **灾难性遗忘严重**：尝试自行修改代码微调后，模型虽然记住了新规则，却忘记了基础对话能力，变得无法交互。\n- **试错成本高昂**：缺乏对 Freeze、LoRA 等多种微调策略的集成对比，算法工程师需花费数周手写底层训练循环。\n\n### 使用 ChatGLM-Finetuning 后\n- **任务精准适配**：利用项目提供的信息抽取任务模板进行 LoRA 微调，模型能准确从合同中提取风险实体与关系，准确率提升至 92%。\n- **单卡高效训练**：通过配置 `gradient_checkpointing` 和 `Freeze` 方法，成功在单张消费级显卡上完成训练，大幅降低硬件投入。\n- **能力平衡保持**：得益于单指令集微调优化，模型在掌握风控知识的同时，保留了流畅的自然语言沟通能力，无灾难性遗忘。\n- **策略灵活切换**：团队快速对比了 Freeze 与全参微调效果，仅用两天便确定了最优训练方案，无需重复造轮子。\n\nChatGLM-Finetuning 让中小团队也能以低算力成本，将通用大模型快速转化为高可用的垂直领域专家。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fliucongg_ChatGLM-Finetuning_6a00dccb.png","liucongg","logCong","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fliucongg_8606a146.png","知乎：刘聪NLP\r\n公众号：NLP工作站",null,"nanjing","https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002FLiuCongNLP","https:\u002F\u002Fgithub.com\u002Fliucongg",[84],{"name":85,"color":86,"percentage":87},"Python","#3572A5",100,2779,311,"2026-04-03T23:25:16",4,"Linux","必需 NVIDIA GPU。支持单卡或多卡训练。根据显存测试数据，单卡训练 ChatGLM\u002FChatGLM2 (Batch Size=1, Max Len=1560) 需约 35-38GB 显存（如 A40）；开启 Gradient Checkpointing 后需约 36GB；多卡 (4 卡) 环境下每张卡需 22-29GB 显存。建议使用 DeepSpeed ZeRO-2\u002F3、Offload 或 Gradient Checkpointing 以节省显存。","未说明",{"notes":96,"python":94,"dependencies":97},"1. 本项目主要使用 DeepSpeed 进行训练，未使用 HuggingFace Trainer。2. 代码版本需注意匹配：ChatGLM1\u002F2 对应 20230806 版本，ChatGLM3 对应 20231212 版本，若运行报错需替换相应源码文件。3. 支持 Freeze、LoRA、P-Tuning (v1\u002Fv2) 及全量参数微调。4. 可通过设置 freeze_module_name 参数自定义冻结层。5. 显存不足时务必开启 gradient_checkpointing、zero3 或 offload 参数。",[98,99,100],"deepspeed","torch","transformers",[15],[103,104,105,106,107,108,109],"chatglm","chatgpt","freeze","lora","p-tuning","chatglm2","chatglm3","2026-03-27T02:49:30.150509","2026-04-06T09:24:16.396782",[113,118,123,128,133,138,143],{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},18495,"遇到 '[MASK] is already defined' 或 'ValueError: 150001 is not in list' 错误怎么办？","这是因为代码版本与模型版本不匹配。请执行以下操作：\n1. 将项目代码更新到最新版本（如 0.2 版）。\n2. 从 Hugging Face (THUDM\u002Fchatglm-6b) 下载最新的模型文件和配套的 tokenization_chatglm.py。\n3. 建议使用 transformers 库提供的 AutoTokenizer 和 AutoModel 来加载模型和分词器，而不是使用项目旧版的加载方式，这样可以避免 token 数量不一致导致的错误。","https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Fissues\u002F6",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},18496,"prefix_projection 参数为 True 和 False 分别代表 P-Tuning 还是 P-Tuning V2？","这是一个常见的误解。无论 prefix_projection 是 True 还是 False，本质上都是 P-Tuning V2 方法（即在每一层前都添加 prompt embeddings）。\n- 该参数控制的是是否在 prefix embeddings 后增加一个两层的 MLP（重参数化），用于提高训练速度、鲁棒性和性能。\n- True：增加 MLP 层。\n- False：不增加 MLP 层。\n它不是区分 P-Tuning (V1) 和 P-Tuning V2 的依据。一般 24G 显存即可运行。","https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Fissues\u002F13",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},18497,"如何安装 mpi4py 包时遇到报错？","安装 mpi4py 需要先安装系统级的 OpenMPI 开发库。请按以下步骤操作：\n1. 更新源并安装依赖：sudo apt update && sudo apt-get install libopenmpi-dev -y\n2. 然后再使用 pip 安装：pip install mpi4py\n如果 pip 安装仍然失败，可以尝试使用 conda 进行安装：conda install mpi4py","https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Fissues\u002F5",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},18498,"微调后的模型（如 Freeze 或 LoRA 方法）如何加载并进行预测？","项目已更新支持直接加载。对于 LoRA 微调的模型，可以使用 PEFT 库加载。示例代码如下：\nfrom transformers import AutoModel, AutoTokenizer\nfrom peft import PeftModel\n\n# 加载基座模型和分词器\ntokenizer = AutoTokenizer.from_pretrained(\"路径\u002F到\u002Fchatglm2-6b\", trust_remote_code=True)\nmodel = AutoModel.from_pretrained(\"路径\u002F到\u002Fchatglm2-6b\", trust_remote_code=True).cuda()\n\n# 加载 LoRA 权重\nmodel = PeftModel.from_pretrained(model, \"路径\u002F到\u002F微调后的适配器目录\")\nmodel.eval()","https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Fissues\u002F111",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},18499,"运行 deepspeed 微调脚本时出现 'exits with return code = -7' 或 '-9' 错误怎么办？","这通常是由于代码版本过旧或与当前环境不兼容导致的。维护者已确认该问题，解决方案是将项目代码更新到最新版本。请使用 git pull 拉取最新代码后再尝试运行。","https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Fissues\u002F67",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},18500,"百度网盘提供的模型权重文件只有 2 个（约 2G），而官方有 8 个文件，是否文件缺失？","是的，旧版网盘文件可能不完整或已过时。目前项目已更新，不再需要单独下载网盘中的权重文件。请直接使用 Hugging Face 上的官方完整模型（包含 8 个 bin 文件）进行训练。只需修改代码中少量的 pad token config 配置即可支持官方最新模型。","https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Fissues\u002F14",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},18501,"运行预测代码时报错 'RuntimeError: Expected 4-dimensional input for 4-dimensional weight' 如何解决？","该错误通常发生在模型加载或输入维度不匹配时。请确保：\n1. 使用的是与微调方法（如 LoRA）相匹配的预测脚本（如 predict_lora.py）。\n2. 模型和分词器已正确加载，且使用了 trust_remote_code=True。\n3. 如果使用的是旧版代码，请更新至最新版本，因为新版已修复了相关的维度处理逻辑。","https:\u002F\u002Fgithub.com\u002Fliucongg\u002FChatGLM-Finetuning\u002Fissues\u002F39",[149],{"id":150,"version":151,"summary_zh":152,"released_at":153},109074,"v0.1","仅支持ChatGLM微调，并对信息抽取、文本生成任务进行实验对比，包含Pipeline代码。","2023-08-06T01:34:28"]