[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-charent--ChatLM-mini-Chinese":3,"tool-charent--ChatLM-mini-Chinese":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":81,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":93,"forks":94,"last_commit_at":95,"license":96,"difficulty_score":45,"env_os":97,"env_gpu":98,"env_ram":99,"env_deps":100,"category_tags":114,"github_topics":115,"view_count":120,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":121,"updated_at":122,"faqs":123,"releases":154},1122,"charent\u002FChatLM-mini-Chinese","ChatLM-mini-Chinese","中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。","ChatLM-mini-Chinese是专为中文对话设计的轻量级生成式语言模型，参数规模仅0.2B（约2.1亿），可在消费级显卡（最低4GB显存）完成训练和推理。它完整开源了从数据清洗、tokenizer训练到模型预训练、指令微调及偏好优化的全流程代码，特别适合需要在低资源环境下进行模型定制的开发者和研究人员。\n\n传统大语言模型因参数量庞大，常导致训练成本高企和推理延迟。ChatLM-mini-Chinese通过精简模型架构和优化训练流程，将显存占用降低至512MB（推理）和4GB（训练），同时保持完整的对话生成能力。项目提供动态长度批处理、流式加载等显存优化技术，并支持断点续训和模型合并功能，显著降低了中小规模模型的开发门槛。\n\n该模型内置三元组信息抽取的微调示例，验证了其在信息提取等下游任务中的扩展潜力。技术亮点包括：基于mini-hash的文档去重技术防止训练数据泄露、支持任意长度文本的端到端Text-to-Text预训练框架，以及兼容Huggingface生态的模块化设计。开发者可直接通过AutoModelForSeq2SeqLM接口调用模型，结合提供的RAG方案（参考Phi2","ChatLM-mini-Chinese是专为中文对话设计的轻量级生成式语言模型，参数规模仅0.2B（约2.1亿），可在消费级显卡（最低4GB显存）完成训练和推理。它完整开源了从数据清洗、tokenizer训练到模型预训练、指令微调及偏好优化的全流程代码，特别适合需要在低资源环境下进行模型定制的开发者和研究人员。\n\n传统大语言模型因参数量庞大，常导致训练成本高企和推理延迟。ChatLM-mini-Chinese通过精简模型架构和优化训练流程，将显存占用降低至512MB（推理）和4GB（训练），同时保持完整的对话生成能力。项目提供动态长度批处理、流式加载等显存优化技术，并支持断点续训和模型合并功能，显著降低了中小规模模型的开发门槛。\n\n该模型内置三元组信息抽取的微调示例，验证了其在信息提取等下游任务中的扩展潜力。技术亮点包括：基于mini-hash的文档去重技术防止训练数据泄露、支持任意长度文本的端到端Text-to-Text预训练框架，以及兼容Huggingface生态的模块化设计。开发者可直接通过AutoModelForSeq2SeqLM接口调用模型，结合提供的RAG方案（参考Phi2-mini-Chinese项目）快速构建检索增强系统。\n\n对于需要轻量化模型部署、对话系统研究或垂直领域微调的用户，ChatLM-mini-Chinese提供了从训练到应用的完整解决方案，尤其适合算力受限但需要全流程可控的场景。","\u003Cdiv align=\"center\">\n\n# 中文对话0.2B小模型 ChatLM-Chinese-0.2B  \n\n中文  | [English](.\u002FREADME.en.md)  \n\n\u003C\u002Fdiv>\n \n\n# 一、👋介绍 \n现在的大语言模型的参数往往较大，消费级电脑单纯做推理都比较慢，更别说想自己从头开始训练一个模型了。本项目的目标是从0开始训练一个生成式语言模型，包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。 \n\nChatLM-mini-Chinese为中文对话小模型，模型参数只有0.2B（算共享权重约210M），可以在最低4GB显存的机器进行预训练（`batch_size=1`，`fp16`或者` bf16`），`float16`加载、推理最少只需要512MB显存。 \n\n\n- 公开所有预训练、SFT指令微调、DPO偏好优化数据集来源。\n- 使用`Huggingface`NLP框架，包括`transformers`、`accelerate`、`trl`、`peft`等。\n- 自实现`trainer`，支持单机单卡、单机多卡进行预训练、SFT微调。训练过程中支持在任意位置停止，及在任意位置继续训练。\n- 预训练：整合为端到端的`Text-to-Text`预训练，非`mask`掩码预测预训练。\n    - 开源所有数据清洗（如规范化、基于mini_hash的文档去重等）、数据集构造、数据集加载优化等流程；\n    - tokenizer多进程词频统计，支持`sentencepiece`、`huggingface tokenizers`的tokenizer训练；\n    - 预训练支持任意位置断点，可从断点处继续训练;\n    - 大数据集（GB级别）流式加载、支持缓冲区数据打乱，不利用内存、硬盘作为缓存，有效减少内存、磁盘占用。配置`batch_size=1, max_len=320`下，最低支持在16GB内存+4GB显存的机器上进行预训练；\n    - 训练日志记录。\n- SFT微调：开源SFT数据集及数据处理过程。\n    - 自实现`trainer`支持prompt指令微调， 支持任意断点继续训练；\n    - 支持`Huggingface trainer`的`sequence to sequence`微调；\n    - 支持传统的低学习率，只训练decoder层的微调。\n- RLHF偏好优化：使用DPO进行全量偏好优化。\n    - 支持使用`peft lora`进行偏好优化；\n    - 支持模型合并，可将`Lora adapter`合并到原始模型中。\n- 支持下游任务微调：[finetune_examples](.\u002Ffinetune_examples\u002Finfo_extract\u002F)给出**三元组信息抽取任务**的微调示例，微调后的模型对话能力仍在。\n\n如果需要做基于小模型的检索增强生成（RAG），可以参考我的另一个项目[Phi2-mini-Chinese](https:\u002F\u002Fgithub.com\u002Fcharent\u002FPhi2-mini-Chinese)，代码见[rag_with_langchain.ipynb](https:\u002F\u002Fgithub.com\u002Fcharent\u002FPhi2-mini-Chinese\u002Fblob\u002Fmain\u002Frag_with_langchain.ipynb)\n\n🟢**最近更新**\n\n\u003Cdetails open> \n\u003Csummary>  \u003Cb>2024-01-30\u003C\u002Fb> \u003C\u002Fsummary>\n- 模型文件更新到魔搭modelscope，可以通过`snapshot_download`快速下载。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2024-01-07\u003C\u002Fb> \u003C\u002Fsummary>\n- 添加数据清洗过程中基于mini hash实现的文档去重（在本项目中其实是数据集的样本去重），防止模型遇到多次重复数据后，在推理时吐出训练数据。\u003Cbr\u002F>\n- 添加`DropDatasetDuplicate`类实现对大数据集的文档去重。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2023-12-29\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新模型代码（权重不变），可以直接使用`AutoModelForSeq2SeqLM.from_pretrained(...)`加载模型使用。\u003Cbr\u002F>\n- 更新readme文档。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2023-12-18\u003C\u002Fb> \u003C\u002Fsummary>\n- 补充利用`ChatLM-mini-0.2B`模型微调下游三元组信息抽取任务代码及抽取效果展示 。\u003Cbr\u002F>\n- 更新readme文档。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2023-12-14\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新SFT、DPO后的模型权重文件。 \u003Cbr\u002F>\n- 更新预训练、SFT及DPO脚本。 \u003Cbr\u002F>\n- 更新`tokenizer`为`PreTrainedTokenizerFast`。 \u003Cbr\u002F>\n- 重构`dataset`代码，支持动态最大长度，每个批次的最大长度由该批次的最长文本决定，节省显存。 \u003Cbr\u002F>\n- 补充`tokenizer`训练细节。 \u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary> \u003Cb>2023-12-04\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新`generate`参数及模型效果展示。\u003Cbr\u002F>\n- 更新readme文档。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary> \u003Cb>2023-11-28\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新dpo训练代码及模型权重。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary> \u003Cb>2023-10-19\u003C\u002Fb> \u003C\u002Fsummary>\n- 项目开源， 开放模型权重供下载。 \u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\n# 二、🛠️ChatLM-0.2B-Chinese模型训练过程 \n\n## 2.1 预训练数据集\n所有数据集均来自互联网公开的**单轮对话**数据集，经过数据清洗、格式化后保存为parquet文件。数据处理过程见`utils\u002Fraw_data_process.py`。主要数据集包括： \n\n1. 社区问答json版webtext2019zh-大规模高质量数据集，见：[nlp_chinese_corpus](https:\u002F\u002Fgithub.com\u002Fbrightmart\u002Fnlp_chinese_corpus)。共410万，清洗后剩余260万。\n2. baike_qa2019百科类问答，见：\u003Chttps:\u002F\u002Faistudio.baidu.com\u002Fdatasetdetail\u002F107726>，共140万，清醒后剩余130万。\n3. 中国医药领域问答数据集，见：[Chinese-medical-dialogue-data](https:\u002F\u002Fgithub.com\u002FToyhom\u002FChinese-medical-dialogue-data)，共79万，清洗后剩余79万。\n4. ~~金融行业问答数据，见：\u003Chttps:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F609821974>，共77万，清洗后剩余52万。~~**数据质量太差，未采用。**\n5. 知乎问答数据，见：[Zhihu-KOL](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fwangrui6\u002FZhihu-KOL)，共100万行，清洗后剩余97万行。\n6. belle开源的指令训练数据，介绍：[BELLE](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE)，下载：[BelleGroup](https:\u002F\u002Fhuggingface.co\u002FBelleGroup)，仅选取`Belle_open_source_1M`、`train_2M_CN`、及`train_3.5M_CN`中部分回答较短、不含复杂表格结构、翻译任务（没做英文词表）的数据，共370万行，清洗后剩余338万行。\n7. 维基百科（Wikipedia）词条数据，将词条拼凑为提示语，百科的前`N`个词为回答，使用`202309`的百科数据，清洗后剩余119万的词条提示语和回答。Wiki下载：[zhwiki](https:\u002F\u002Fdumps.wikimedia.org\u002Fzhwiki\u002F)，将下载的bz2文件转换为wiki.txt参考：[WikiExtractor](https:\u002F\u002Fgithub.com\u002Fapertium\u002FWikiExtractor)。 \n\n数据集总数量1023万：Text-to-Text预训练集：930万，评估集：2.5万（因为解码较慢，所以没有把评估集设置太大）。~~测试集：90万。~~ \nSFT微调和DPO优化数据集见下文。\n\n## 2.2 模型\nT5模型（Text-to-Text Transfer Transformer），详情见论文: [Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer](https:\u002F\u002Farxiv.org\u002Fabs\u002F1910.10683)。\n\n模型源码来自huggingface，见：[T5ForConditionalGeneration](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fblob\u002Fmain\u002Fsrc\u002Ftransformers\u002Fmodels\u002Ft5\u002Fmodeling_t5.py#L1557)。\n\n模型配置见[model_config.json](https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese\u002Fblob\u002Fmain\u002Fconfig.json)，官方的`T5-base`：`encoder layer`和`decoder layer `均为为12层，本项目这两个参数修改为10层。 \n\n模型参数：0.2B。词表大小：29298，仅包含中文和少量英文。\n\n## 2.3 训练过程\n硬件：\n```bash\n# 预训练阶段：\nCPU: 28 vCPU Intel(R) Xeon(R) Gold 6330 CPU @ 2.00GHz\n内存：60 GB\n显卡：RTX A5000(24GB) * 2\n\n# sft及dpo阶段：\nCPU: Intel(R) i5-13600k @ 5.1GHz\n内存：32 GB\n显卡：NVIDIA GeForce RTX 4060 Ti 16GB * 1\n```\n1. **tokenizer 训练**： 现有`tokenizer`训练库遇到大语料时存在OOM问题，故全量语料按照类似`BPE`的方法根据词频合并、构造词库，运行耗时半天。\n\n2. **Text-to-Text 预训练**：学习率为`1e-4`到`5e-3`的动态学习率，预训练时间为8天。训练损失： \n\n![traing loss](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_1b5e7d4604dd.png) \n\n3. **prompt监督微调（SFT）**：使用`belle`指令训练数据集（指令和回答长度都在512以下），学习率为`1e-7`到`5e-5`的动态学习率，微调时间2天。微调损失： \n   \n![finetune loss](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_c71661c5ce92.png) \n\n4. **dpo直接偏好优化（RLHF）**：数据集[alpaca-gpt4-data-zh](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fc-s-ale\u002Falpaca-gpt4-data-zh)作为`chosen`文本，步骤`2`中SFT模型对数据集中的prompt做批量`generate`，得到`rejected`文本，耗时1天，dpo全量偏好优化，学习率`le-5`，半精度`fp16`,共`2`个`epoch`，耗时3h。dpo损失： \n \n![dpo loss](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_387c307f2e99.png) \n\n## 2.4 对话效果展示\n### 2.4.1 stream chat\n默认使用`huggingface transformers`的 `TextIteratorStreamer`实现流式对话，只支持`greedy search`，如果需要`beam sample`等其他生成方式，请将`cli_demo.py`的`stream_chat`参数修改为`False`。\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_21223c09a644.gif)\n\n### 2.4.2 对话展示\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_b9713a339064.png)\n\n存在问题：预训练数据集只有900多万，模型参数也仅0.2B，不能涵盖所有方面，会有答非所问、废话生成器的情况。\n\n# 三、📑使用说明\n\n## 3.1 快速开始：\n如果无法连接huggingface，请使用`modelscope.snapshot_download`从modelscope下载模型文件。\n```python\nfrom transformers import AutoTokenizer, AutoModelForSeq2SeqLM\nimport torch\n\nmodel_id = 'charent\u002FChatLM-mini-Chinese'\n\n# 如果无法连接huggingface，打开以下两行代码的注释，将从modelscope下载模型文件，模型文件保存到'.\u002Fmodel_save'目录\n# from modelscope import snapshot_download\n# model_id = snapshot_download(model_id, cache_dir='.\u002Fmodel_save')\n\ndevice = torch.device('cuda' if torch.cuda.is_available() else 'cpu')\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForSeq2SeqLM.from_pretrained(model_id, trust_remote_code=True).to(device)\n\ntxt = '如何评价Apple这家公司？'\n\nencode_ids = tokenizer([txt])\ninput_ids, attention_mask = torch.LongTensor(encode_ids['input_ids']), torch.LongTensor(encode_ids['attention_mask'])\n\nouts = model.my_generate(\n    input_ids=input_ids.to(device),\n    attention_mask=attention_mask.to(device),\n    max_seq_len=256,\n    search_type='beam',\n)\n\nouts_txt = tokenizer.batch_decode(outs.cpu().numpy(), skip_special_tokens=True, clean_up_tokenization_spaces=True)\nprint(outs_txt[0])\n```\n```txt\nApple是一家专注于设计和用户体验的公司，其产品在设计上注重简约、流畅和功能性，而在用户体验方面则注重用户的反馈和使用体验。作为一家领先的科技公司，苹果公司一直致力于为用户提供最优质的产品和服务，不断推陈出新，不断创新和改进，以满足不断变化的市场需求。\n在iPhone、iPad和Mac等产品上，苹果公司一直保持着创新的态度，不断推出新的功能和设计，为用户提供更好的使用体验。在iPad上推出的iPad Pro和iPod touch等产品，也一直保持着优秀的用户体验。\n此外，苹果公司还致力于开发和销售软件和服务，例如iTunes、iCloud和App Store等，这些产品在市场上也获得了广泛的认可和好评。\n总的来说，苹果公司在设计、用户体验和产品创新方面都做得非常出色，为用户带来了许多便利和惊喜。\n\n```\n\n## 3.2 从克隆仓库代码开始\n\n> [!CAUTION]\n> 本项目模型为`TextToText`模型，在预训练、SFT、RLFH阶段的`prompt`、`response`等字段，请务必加上`[EOS]`序列结束标记。   \n\n\n### 3.2.1 克隆项目：\n```bash\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese.git\n\ncd ChatLM-mini-Chinese\n```\n### 3.2.2 安装依赖 \n\n本项目推荐使用`python 3.10`，过老的python版本可能不兼容所依赖的第三方库。  \n\npip安装：\n```bash\npip install -r .\u002Frequirements.txt\n``` \n\n如果pip安装了CPU版本的pytorch，可以通过下面的命令安装CUDA版本的pytorch：\n```bash\n# pip 安装torch + cu118\npip3 install torch --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\nconda安装：\n```bash\nconda install --yes --file .\u002Frequirements.txt\n```\n\n### 3.2.3 下载预训练模型及模型配置文件\n\n用`git`命令从`Hugging Face Hub`下载模型权重及配置文件，需要先安装[Git LFS](https:\u002F\u002Fdocs.github.com\u002Fzh\u002Frepositories\u002Fworking-with-files\u002Fmanaging-large-files\u002Finstalling-git-large-file-storage)，然后运行: \n\n```bash \n# 使用git命令下载huggingface模型，先安装[Git LFS]，否则下载的模型文件不可用\ngit clone --depth 1 https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese\n\n# 如果无法连接huggingface，请从modelscope下载\ngit clone --depth 1 https:\u002F\u002Fwww.modelscope.cn\u002Fcharent\u002FChatLM-mini-Chinese.git\n\nmv ChatLM-mini-Chinese model_save\n```\n\n也可以直接从`Hugging Face Hub`仓库[ChatLM-Chinese-0.2B](https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese)手工下载，将下载的文件移动到`model_save`目录下即可。\n\n## 3.3 Tokenizer训练  \n\n1. 准备txt语料  \n\n语料要求尽可能全，建议添加多个语料，如百科、代码、论文、博客、对话等。   \n\n本项目以wiki中文百科为主。获取中文wiki语料方法：中文Wiki下载地址：[zhwiki](https:\u002F\u002Fdumps.wikimedia.org\u002Fzhwiki\u002F)，下载`zhwiki-[存档日期]-pages-articles-multistream.xml.bz2`文件，大概2.7GB， 将下载的bz2文件转换为wiki.txt参考：[WikiExtractor](https:\u002F\u002Fgithub.com\u002Fapertium\u002FWikiExtractor)，再利用python的`OpenCC`库转换为简体中文，最后将得到的`wiki.simple.txt`放到项目根目录的`data`目录下即可。多个语料请自行合并为一个`txt`文件。\n\n由于训练tokenizer非常耗内存，如果你的语料非常大（合并后的`txt`文件超过2G），建议对语料按照类别、比例进行采样，以减少训练时间和内存消耗。训练1.7GB的`txt`文件需要消耗48GB左右的内存（预估的，我只有32GB，频繁触发swap，电脑卡了好久T_T），13600k cpu耗时1小时左右。\n\n2. 训练tokenizer\n\n`char level`和`byte level`的区别如下（具体使用上的区别请自行检索资料）。默认训练`char level`的tokenizer，如果需要`byte level`，在`train_tokenizer.py`中设置`token_type='byte'`即可。\n\n```python\n# 原始文本\ntxt = '这是一段中英混输的句子, （chinese and English, here are words.）'\n\ntokens = charlevel_tokenizer.tokenize(txt)\nprint(tokens)\n# char level tokens输出\n# ['▁这是', '一段', '中英', '混', '输', '的', '句子', '▁,', '▁(', '▁ch', 'inese', '▁and', '▁Eng', 'lish', '▁,', '▁h', 'ere', '▁', 'are', '▁w', 'ord', 's', '▁.', '▁)']\n\ntokens = bytelevel_tokenizer.tokenize(txt)\nprint(tokens)\n# byte level tokens输出\n# ['Ġè¿Ļæĺ¯', 'ä¸Ģ段', 'ä¸Ńèĭ±', 'æ··', 'è¾ĵ', 'çļĦ', 'åı¥åŃIJ', 'Ġ,', 'Ġ(', 'Ġch', 'inese', 'Ġand', 'ĠEng', 'lish', 'Ġ,', 'Ġh', 'ere', 'Ġare', 'Ġw', 'ord', 's', 'Ġ.', 'Ġ)']\n```\n开始训练：\n```python\n# 确保你的训练语料`txt`文件已经data目录下\npython train_tokenizer.py\n```\n\n## 3.4 Text-to-Text 预训练 \n\n1. 预训练数据集示例\n```json\n{\n    \"prompt\": \"对于花园街，你有什么了解或看法吗？\",\n    \"response\": \"花园街（是香港油尖旺区的一条富有特色的街道，位于九龙旺角东部，北至界限街，南至登打士街，与通菜街及洗衣街等街道平行。现时这条街道是香港著名的购物区之一。位于亚皆老街以南的一段花园街，也就是\\\"波鞋街\\\"整条街约150米长，有50多间售卖运动鞋和运动用品的店舖。旺角道至太子道西一段则为排档区，售卖成衣、蔬菜和水果等。花园街一共分成三段。明清时代，花园街是芒角村栽种花卉的地方。此外，根据历史专家郑宝鸿的考证：花园街曾是1910年代东方殷琴拿烟厂的花园。纵火案。自2005年起，花园街一带最少发生5宗纵火案，当中4宗涉及排档起火。2010年。2010年12月6日，花园街222号一个卖鞋的排档于凌晨5时许首先起火，浓烟涌往旁边住宅大厦，消防接报4\"\n}\n```\n   \n2. jupyter-lab 或者 jupyter notebook:  \n\n    见文件`train.ipynb`，推荐使用jupyter-lab，避免考虑与服务器断开后终端进程被杀的情况。 \n\n3. 控制台： \n\n    控制台训练需要考虑连接断开后进程被杀的，推荐使用进程守护工具`Supervisor`或者`screen`建立连接会话。\n\n    首先要配置`accelerate`，执行以下命令， 根据提示选择即可，参考`accelerate.yaml`，*注意：DeepSpeed在Windows安装比较麻烦*。\n    ```bash\n    accelerate config\n    ```\n\n    开始训练，如果要使用工程提供的配置请在下面的命令`accelerate launch`后加上参数`--config_file .\u002Faccelerate.yaml`，*该配置按照单机2xGPU配置。* \n\n    *预训练有两个脚本，本项目实现的trainer对应`train.py`，huggingface实现的trainer对应`pre_train.py`，用哪个都可以，效果一致。本项目实现的trainer训练信息展示更美观、更容易修改训练细节（如损失函数，日志记录等），均支持断点继续训练，本项目实现的trainer支持在任意位置断点后继续训练，按`ctrl+c`退出脚本时会保存断点信息。* \n\n    单机单卡：\n    ```bash\n    # 本项目实现的trainer\n    accelerate launch .\u002Ftrain.py train\n\n    # 或者使用 huggingface trainer\n    python pre_train.py\n    ```\n\n    单机多卡：\n    `2`为显卡数量，请根据自己的实际情况修改。\n    ```bash\n    # 本项目实现的trainer\n    accelerate launch --multi_gpu --num_processes 2 .\u002Ftrain.py train\n\n    # 或者使用 huggingface trainer\n    accelerate launch --multi_gpu --num_processes 2 pre_train.py\n    ```\n\n    从断点处继续训练：\n    ```bash\n    # 本项目实现的trainer\n    accelerate launch --multi_gpu --num_processes 2 .\u002Ftrain.py train --is_keep_training=True\n\n    # 或者使用 huggingface trainer\n    # 需要在`pre_train.py`中的`train`函数添加`resume_from_checkpoint=True`\n    accelerate launch --multi_gpu --num_processes 2 pre_train.py\n    ```\n\n## 3.5 SFT微调 \nSFT数据集全部来自[BELLE](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE)大佬的贡献，感谢。SFT数据集分别为：[generated_chat_0.4M](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBelleGroup\u002Fgenerated_chat_0.4M)、[train_0.5M_CN](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBelleGroup\u002Ftrain_0.5M_CN)和[train_2M_CN](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBelleGroup\u002Ftrain_2M_CN)，清洗后剩余约137万行。\nsft指令微调数据集示例：\n```json\n{\n    \"prompt\": \"解释什么是欧洲启示录\",\n    \"response\": \"欧洲启示录（The Book of Revelation）是新约圣经的最后一卷书，也被称为《启示录》、《默示录》或《约翰默示录》。这本书从宗教的角度描述了世界末日的来临，以及上帝对世界的审判和拯救。 书中的主题包括来临的基督的荣耀，上帝对人性的惩罚和拯救，以及魔鬼和邪恶力量的存在。欧洲启示录是一个充满象征和暗示的文本，对于解读和理解有许多不同的方法和观点。\"\n}\n```\n\n参考`data`目录下的示例`parquet`文件制作自己的数据集，数据集格式：`parquet`文件分两列，一列`prompt`文本，表示提示语，一列`response`文本，表示期待的模型输出。\n微调细节见`model\u002Ftrainer.py`下的`train`方法, `is_finetune`设置为`True`时，将进行微调，微调默认会冻结embedding层和encoder层，只训练decoder层。如需要冻结其他参数，请自行调整代码。 \n\n运行SFT微调：\n``` bash\n# 本项目实现的trainer， 添加参数`--is_finetune=True`即可, 参数`--is_keep_training=True`可从任意断点处继续训练\naccelerate launch --multi_gpu --num_processes 2 .\u002Ftrain.py --is_finetune=True\n\n# 或者使用 huggingface trainer, 多GPU请用accelerate launch --multi_gpu --num_processes gpu个数 sft_train.py\npython sft_train.py\n```\n\n## 3.6 RLHF（强化学习人类反馈优化方法）\n\n偏好方法这里介绍常见的两种：PPO和DPO，具体实现请自行搜索论文及博客。\n\n1.  PPO方法（近似偏好优化,Proximal Policy Optimization）  \n    步骤1：使用微调数据集做有监督微调（SFT， Supervised Finetuning）。   \n    步骤2：使用偏好数据集（一个prompt至少包含2个回复，一个想要的回复，一个不想要的回复。多个回复可以按照分数排序，最想要的分数最高）训练奖励模型（RM， Reward Model）。可使用`peft`库快速搭建Lora奖励模型。   \n    步骤3：利用RM对SFT模型进行有监督PPO训练，使得模型满足偏好。   \n\n2.  使用DPO（直接偏好优化，Direct Preference Optimization）微调（**本项目采用DPO微调方法，比较节省显存**）\n    在获得SFT模型的基础上，无需训练奖励模型，取得正向回答（chosen）和负向回答（rejected）即可开始微调。微调的`chosen`文本来自原数据集[alpaca-gpt4-data-zh](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fc-s-ale\u002Falpaca-gpt4-data-zh)，拒绝文本`rejected`来自SFT微调1个epoch后的模型输出，另外两个数据集：[huozi_rlhf_data_json](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSkepsun\u002Fhuozi_rlhf_data_json)和[rlhf-reward-single-round-trans_chinese](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbeyond\u002Frlhf-reward-single-round-trans_chinese)，合并后共8万条dpo数据。\n    \n    dpo数据集处理过程见`utils\u002Fdpo_data_process.py`。\n    \nDPO偏好优化数据集示例：\n```json\n    {\n        \"prompt\": \"为给定的产品创建一个创意标语。，输入：可重复使用的水瓶。\",\n        \"chosen\": \"\\\"保护地球，从拥有可重复使用的水瓶开始！\\\"\",\n        \"rejected\": \"\\\"让你的水瓶成为你的生活伴侣，使用可重复使用的水瓶，让你的水瓶成为你的伙伴\\\"\"\n    }\n```\n\n运行偏好优化：\n``` bash\n#  多GPU请用accelerate launch --multi_gpu --num_processes gpu个数 dpo_train.py\npython dpo_train.py\n```\n\n## 3.7 推理 \n确保`model_save`目录下有以下文件，这些文件都可以在`Hugging Face Hub`仓库[ChatLM-Chinese-0.2B](https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese)中找到：\n```bash\nChatLM-mini-Chinese\n├─model_save\n|  ├─config.json\n|  ├─configuration_chat_model.py\n|  ├─generation_config.json\n|  ├─model.safetensors\n|  ├─modeling_chat_model.py\n|  ├─special_tokens_map.json\n|  ├─tokenizer.json\n|  └─tokenizer_config.json\n```\n\n1. 控制台运行：\n```bash\npython cli_demo.py\n```\n\n2. API调用\n```bash\npython api_demo.py\n```\n\nAPI调用示例：\n```bash\ncurl --location '127.0.0.1:8812\u002Fapi\u002Fchat' \\\n--header 'Content-Type: application\u002Fjson' \\\n--header 'Authorization: Bearer Bearer' \\\n--data '{\n    \"input_txt\": \"感冒了要怎么办\"\n}'\n```\n![api demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_a7d4b1c040cf.png)\n\n## 3.8 下游任务微调\n\n这里以文本中三元组信息为例，做下游微调。该任务的传统深度学习抽取方法见仓库[pytorch_IE_model](https:\u002F\u002Fgithub.com\u002Fcharent\u002Fpytorch_IE_model)。抽取出一段文本中所有的三元组，如句子`《写生随笔》是冶金工业2006年出版的图书，作者是张来亮`，抽取出三元组`(写生随笔,作者,张来亮)`和`(写生随笔,出版社,冶金工业)`。 \n\n原始数据集为：[百度三元组抽取数据集](https:\u002F\u002Faistudio.baidu.com\u002Fdatasetdetail\u002F11384)。加工得到的微调数据集格式示例：\n```json\n{\n    \"prompt\": \"请抽取出给定句子中的所有三元组。给定句子：《家乡的月亮》是宋雪莱演唱的一首歌曲，所属专辑是《久违的哥们》\",\n    \"response\": \"[(家乡的月亮,歌手,宋雪莱),(家乡的月亮,所属专辑,久违的哥们)]\"\n}\n```\n\n可以直接使用`sft_train.py`脚本进行微调，脚本[finetune_IE_task.ipynb](.\u002Ffinetune_examples\u002Finfo_extract\u002Ffinetune_IE_task.ipynb)里面包含详细的解码过程。训练数据集约`17000`条，学习率`5e-5`，训练epoch`5`。微调后其他任务的对话能力也没有消失。\n\n![信息抽取任务微调后的对话能力](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_cba8ae4fd119.png)\n\n微调效果：\n将`百度三元组抽取数据集`公开的`dev`数据集作为测试集，对比传统方法[pytorch_IE_model](https:\u002F\u002Fgithub.com\u002Fcharent\u002Fpytorch_IE_model)。\n\n|          模型            |   F1分数  |  精确率P |  召回率R |\n|          :---            |  :----:  |    :---:  |  :---:   |\n| ChatLM-Chinese-0.2B微调  |   0.74    |  0.75   |  0.73    |\n| ChatLM-Chinese-0.2B无预训练| 0.51    |   0.53   | 0.49    |\n| 传统深度学习方法          |   0.80    |  0.79   |  80.1    |\n\n备注：`ChatLM-Chinese-0.2B无预训练`指直接初始化随机参数，开始训练，学习率`1e-4`，其他参数和微调一致。\n\n## 3.9 C-Eval分数\n模型本身没有使用较大的数据集训练，也没有针对回答选择题的指令做微调，C-Eval分数基本上是baseline水平，有需要的可以当个参考。C-Eval评测代码见：`eval\u002Fc_eavl.ipynb`\n\n| category   | correct | question_count| accuracy |\n|    :---    |  :----:    |    :---:      |  :---:   |\n| Humanities |  \t63    |    \t257       |\t  24.51% |\n| Other\t     |     89     |\t     384      |   23.18% |\n| STEM       |\t   89\t  |      430      |  20.70%  |\n| Social Science |   72   |\t     275      |\t  26.18% |\n\n# 四、🎓引用\n如果你觉得本项目对你有所帮助，欢迎引用。\n```conf\n@misc{Charent2023,\n    author={Charent Chen},\n    title={A small chinese chat language model with 0.2B parameters base on T5},\n    year={2023},\n    publisher = {GitHub},\n    journal = {GitHub repository},\n    howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese}},\n}\n```\n\n# 五、🤔其他事项\n本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。\n\n\u003C!-- # 提示\n```bash\n# 导出项目依赖的包：\npipreqs --encoding \"utf-8\" --force\n``` -->\n\n","\u003Cdiv align=\"center\">\n\n# 中文对话0.2B小模型 ChatLM-Chinese-0.2B  \n\n中文  | [English](.\u002FREADME.en.md)  \n\n\u003C\u002Fdiv>\n \n\n# 一、👋介绍 \n现在的大语言模型的参数往往较大，消费级电脑单纯做推理都比较慢，更别说想自己从头开始训练一个模型了。本项目的目标是从0开始训练一个生成式语言模型，包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。 \n\nChatLM-mini-Chinese为中文对话小模型，模型参数只有0.2B（算共享权重约210M），可以在最低4GB显存的机器进行预训练（`batch_size=1`，`fp16`或者` bf16`），`float16`加载、推理最少只需要512MB显存。 \n\n\n- 公开所有预训练、SFT指令微调、DPO偏好优化数据集来源。\n- 使用`Huggingface`NLP框架，包括`transformers`、`accelerate`、`trl`、`peft`等。\n- 自实现`trainer`，支持单机单卡、单机多卡进行预训练、SFT微调。训练过程中支持在任意位置停止，及在任意位置继续训练。\n- 预训练：整合为端到端的`Text-to-Text`预训练，非`mask`掩码预测预训练。\n    - 开源所有数据清洗（如规范化、基于mini_hash的文档去重等）、数据集构造、数据集加载优化等流程；\n    - tokenizer多进程词频统计，支持`sentencepiece`、`huggingface tokenizers`的tokenizer训练；\n    - 预训练支持任意位置断点，可从断点处继续训练;\n    - 大数据集（GB级别）流式加载、支持缓冲区数据打乱，不利用内存、硬盘作为缓存，有效减少内存、磁盘占用。配置`batch_size=1, max_len=320`下，最低支持在16GB内存+4GB显存的机器上进行预训练；\n    - 训练日志记录。\n- SFT微调：开源SFT数据集及数据处理过程。\n    - 自实现`trainer`支持prompt指令微调， 支持任意断点继续训练；\n    - 支持`Huggingface trainer`的`sequence to sequence`微调；\n    - 支持传统的低学习率，只训练decoder层的微调。\n- RLHF偏好优化：使用DPO进行全量偏好优化。\n    - 支持使用`peft lora`进行偏好优化；\n    - 支持模型合并，可将`Lora adapter`合并到原始模型中。\n- 支持下游任务微调：[finetune_examples](.\u002Ffinetune_examples\u002Finfo_extract\u002F)给出**三元组信息抽取任务**的微调示例，微调后的模型对话能力仍在。\n\n如果需要做基于小模型的检索增强生成（RAG），可以参考我的另一个项目[Phi2-mini-Chinese](https:\u002F\u002Fgithub.com\u002Fcharent\u002FPhi2-mini-Chinese)，代码见[rag_with_langchain.ipynb](https:\u002F\u002Fgithub.com\u002Fcharent\u002FPhi2-mini-Chinese\u002Fblob\u002Fmain\u002Frag_with_langchain.ipynb)\n\n🟢**最近更新**\n\n\u003Cdetails open> \n\u003Csummary>  \u003Cb>2024-01-30\u003C\u002Fb> \u003C\u002Fsummary>\n- 模型文件更新到魔搭modelscope，可以通过`snapshot_download`快速下载。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2024-01-07\u003C\u002Fb> \u003C\u002Fsummary>\n- 添加数据清洗过程中基于mini hash实现的文档去重（在本项目中其实是数据集的样本去重），防止模型遇到多次重复数据后，在推理时吐出训练数据。\u003Cbr\u002F>\n- 添加`DropDatasetDuplicate`类实现对大数据集的文档去重。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2023-12-29\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新模型代码（权重不变），可以直接使用`AutoModelForSeq2SeqLM.from_pretrained(...)`加载模型使用。\u003Cbr\u002F>\n- 更新readme文档。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2023-12-18\u003C\u002Fb> \u003C\u002Fsummary>\n- 补充利用`ChatLM-mini-0.2B`模型微调下游三元组信息抽取任务代码及抽取效果展示 。\u003Cbr\u002F>\n- 更新readme文档。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary>  \u003Cb>2023-12-14\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新SFT、DPO后的模型权重文件。 \u003Cbr\u002F>\n- 更新预训练、SFT及DPO脚本。 \u003Cbr\u002F>\n- 更新`tokenizer`为`PreTrainedTokenizerFast`。 \u003Cbr\u002F>\n- 重构`dataset`代码，支持动态最大长度，每个批次的最大长度由该批次的最长文本决定，节省显存。 \u003Cbr\u002F>\n- 补充`tokenizer`训练细节。 \u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary> \u003Cb>2023-12-04\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新`generate`参数及模型效果展示。\u003Cbr\u002F>\n- 更新readme文档。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary> \u003Cb>2023-11-28\u003C\u002Fb> \u003C\u002Fsummary>\n- 更新dpo训练代码及模型权重。\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails close> \n\u003Csummary> \u003Cb>2023-10-19\u003C\u002Fb> \u003C\u002Fsummary>\n- 项目开源， 开放模型权重供下载。 \u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\n# 二、🛠️ChatLM-0.2B-Chinese模型训练过程 \n\n## 2.1 预训练数据集\n所有数据集均来自互联网公开的**单轮对话**数据集，经过数据清洗、格式化后保存为parquet文件。数据处理过程见`utils\u002Fraw_data_process.py`。主要数据集包括： \n\n1. 社区问答json版webtext2019zh-大规模高质量数据集，见：[nlp_chinese_corpus](https:\u002F\u002Fgithub.com\u002Fbrightmart\u002Fnlp_chinese_corpus)。共410万，清洗后剩余260万。\n2. baike_qa2019百科类问答，见：\u003Chttps:\u002F\u002Faistudio.baidu.com\u002Fdatasetdetail\u002F107726>，共140万，清醒后剩余130万。\n3. 中国医药领域问答数据集，见：[Chinese-medical-dialogue-data](https:\u002F\u002Fgithub.com\u002FToyhom\u002FChinese-medical-dialogue-data)，共79万，清洗后剩余79万。\n4. ~~金融行业问答数据，见：\u003Chttps:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F609821974>，共77万，清洗后剩余52万。~~**数据质量太差，未采用。**\n5. 知乎问答数据，见：[Zhihu-KOL](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fwangrui6\u002FZhihu-KOL)，共100万行，清洗后剩余97万行。\n6. belle开源的指令训练数据，介绍：[BELLE](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE)，下载：[BelleGroup](https:\u002F\u002Fhuggingface.co\u002FBelleGroup)，仅选取`Belle_open_source_1M`、`train_2M_CN`、及`train_3.5M_CN`中部分回答较短、不含复杂表格结构、翻译任务（没做英文词表）的数据，共370万行，清洗后剩余338万行。\n7. 维基百科（Wikipedia）词条数据，将词条拼凑为提示语，百科的前`N`个词为回答，使用`202309`的百科数据，清洗后剩余119万的词条提示语和回答。Wiki下载：[zhwiki](https:\u002F\u002Fdumps.wikimedia.org\u002Fzhwiki\u002F)，将下载的bz2文件转换为wiki.txt参考：[WikiExtractor](https:\u002F\u002Fgithub.com\u002Fapertium\u002FWikiExtractor)。 \n\n数据集总数量1023万：Text-to-Text预训练集：930万，评估集：2.5万（因为解码较慢，所以没有把评估集设置太大）。~~测试集：90万。~~ \nSFT微调和DPO优化数据集见下文。\n\n## 2.2 模型\nT5模型（Text-to-Text Transfer Transformer），详情见论文: [Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer](https:\u002F\u002Farxiv.org\u002Fabs\u002F1910.10683)。\n\n模型源码来自huggingface，见：[T5ForConditionalGeneration](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fblob\u002Fmain\u002Fsrc\u002Ftransformers\u002Fmodels\u002Ft5\u002Fmodeling_t5.py#L1557)。\n\n模型配置见[model_config.json](https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese\u002Fblob\u002Fmain\u002Fconfig.json)，官方的`T5-base`：`encoder layer`和`decoder layer `均为为12层，本项目这两个参数修改为10层。 \n\n模型参数：0.2B。词表大小：29298，仅包含中文和少量英文。\n\n## 2.3 训练过程\n硬件：\n```bash\n# 预训练阶段：\nCPU: 28 vCPU Intel(R) Xeon(R) Gold 6330 CPU @ 2.00GHz\n内存：60 GB\n显卡：RTX A5000(24GB) * 2\n\n# sft及dpo阶段：\nCPU: Intel(R) i5-13600k @ 5.1GHz\n内存：32 GB\n显卡：NVIDIA GeForce RTX 4060 Ti 16GB * 1\n```\n1. **tokenizer 训练**： 现有`tokenizer`训练库遇到大语料时存在OOM问题，故全量语料按照类似`BPE`的方法根据词频合并、构造词库，运行耗时半天。\n\n2. **Text-to-Text 预训练**：学习率为`1e-4`到`5e-3`的动态学习率，预训练时间为8天。训练损失： \n\n![traing loss](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_1b5e7d4604dd.png) \n\n3. **prompt监督微调（SFT）**：使用`belle`指令训练数据集（指令和回答长度都在512以下），学习率为`1e-7`到`5e-5`的动态学习率，微调时间2天。微调损失： \n   \n![finetune loss](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_c71661c5ce92.png) \n\n4. **dpo直接偏好优化（RLHF）**：数据集[alpaca-gpt4-data-zh](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fc-s-ale\u002Falpaca-gpt4-data-zh)作为`chosen`文本，步骤`2`中SFT模型对数据集中的prompt做批量`generate`，得到`rejected`文本，耗时1天，dpo全量偏好优化，学习率`le-5`，半精度`fp16`,共`2`个`epoch`，耗时3h。dpo损失： \n \n![dpo loss](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_387c307f2e99.png) \n\n## 2.4 对话效果展示\n### 2.4.1 stream chat\n默认使用`huggingface transformers`的 `TextIteratorStreamer`实现流式对话，只支持`greedy search`，如果需要`beam sample`等其他生成方式，请将`cli_demo.py`的`stream_chat`参数修改为`False`。\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_21223c09a644.gif)\n\n### 2.4.2 对话展示\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_b9713a339064.png)\n\n存在问题：预训练数据集只有900多万，模型参数也仅0.2B，不能涵盖所有方面，会有答非所问、废话生成器的情况。\n\n# 三、📑使用说明\n\n## 3.1 快速开始：\n如果无法连接huggingface，请使用`modelscope.snapshot_download`从modelscope下载模型文件。\n```python\nfrom transformers import AutoTokenizer, AutoModelForSeq2SeqLM\nimport torch\n\nmodel_id = 'charent\u002FChatLM-mini-Chinese'\n\n# 如果无法连接huggingface，打开以下两行代码的注释，将从modelscope下载模型文件，模型文件保存到'.\u002Fmodel_save'目录\n# from modelscope import snapshot_download\n# model_id = snapshot_download(model_id, cache_dir='.\u002Fmodel_save')\n\ndevice = torch.device('cuda' if torch.cuda.is_available() else 'cpu')\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForSeq2SeqLM.from_pretrained(model_id, trust_remote_code=True).to(device)\n\ntxt = '如何评价Apple这家公司？'\n\nencode_ids = tokenizer([txt])\ninput_ids, attention_mask = torch.LongTensor(encode_ids['input_ids']), torch.LongTensor(encode_ids['attention_mask'])\n\nouts = model.my_generate(\n    input_ids=input_ids.to(device),\n    attention_mask=attention_mask.to(device),\n    max_seq_len=256,\n    search_type='beam',\n)\n\nouts_txt = tokenizer.batch_decode(outs.cpu().numpy(), skip_special_tokens=True, clean_up_tokenization_spaces=True)\nprint(outs_txt[0])\n```\n```txt\nApple是一家专注于设计和用户体验的公司，其产品在设计上注重简约、流畅和功能性，而在用户体验方面则注重用户的反馈和使用体验。作为一家领先的科技公司，苹果公司一直致力于为用户提供最优质的产品和服务，不断推陈出新，不断创新和改进，以满足不断变化的市场需求。\n在iPhone、iPad和Mac等产品上，苹果公司一直保持着创新的态度，不断推出新的功能和设计，为用户提供更好的使用体验。在iPad上推出的iPad Pro和iPod touch等产品，也一直保持着优秀的用户体验。\n此外，苹果公司还致力于开发和销售软件和服务，例如iTunes、iCloud和App Store等，这些产品在市场上也获得了广泛的认可和好评。\n总的来说，苹果公司在设计、用户体验和产品创新方面都做得非常出色，为用户带来了许多便利和惊喜。\n\n```\n\n## 3.2 从克隆仓库代码开始\n\n> [!CAUTION]\n> 本项目模型为`TextToText`模型，在预训练、SFT、RLFH阶段的`prompt`、`response`等字段，请务必加上`[EOS]`序列结束标记。   \n\n\n### 3.2.1 克隆项目：\n```bash\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese.git\n\ncd ChatLM-mini-Chinese\n```\n### 3.2.2 安装依赖 \n\n本项目推荐使用`python 3.10`，过老的python版本可能不兼容所依赖的第三方库。  \n\npip安装：\n```bash\npip install -r .\u002Frequirements.txt\n``` \n\n如果pip安装了CPU版本的pytorch，可以通过下面的命令安装CUDA版本的pytorch：\n```bash\n# pip 安装torch + cu118\npip3 install torch --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\nconda安装：\n```bash\nconda install --yes --file .\u002Frequirements.txt\n```\n\n### 3.2.3 下载预训练模型及模型配置文件\n\n用`git`命令从`Hugging Face Hub`下载模型权重及配置文件，需要先安装[Git LFS](https:\u002F\u002Fdocs.github.com\u002Fzh\u002Frepositories\u002Fworking-with-files\u002Fmanaging-large-files\u002Finstalling-git-large-file-storage)，然后运行: \n\n```bash \n# 使用git命令下载huggingface模型，先安装[Git LFS]，否则下载的模型文件不可用\ngit clone --depth 1 https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese\n\n# 如果无法连接huggingface，请从modelscope下载\ngit clone --depth 1 https:\u002F\u002Fwww.modelscope.cn\u002Fcharent\u002FChatLM-mini-Chinese.git\n\nmv ChatLM-mini-Chinese model_save\n```\n\n也可以直接从`Hugging Face Hub`仓库[ChatLM-Chinese-0.2B](https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese)手工下载，将下载的文件移动到`model_save`目录下即可。\n\n## 3.3 Tokenizer训练  \n\n1. 准备txt语料  \n\n语料要求尽可能全，建议添加多个语料，如百科、代码、论文、博客、对话等。   \n\n本项目以wiki中文百科为主。获取中文wiki语料方法：中文Wiki下载地址：[zhwiki](https:\u002F\u002Fdumps.wikimedia.org\u002Fzhwiki\u002F)，下载`zhwiki-[存档日期]-pages-articles-multistream.xml.bz2`文件，大概2.7GB， 将下载的bz2文件转换为wiki.txt参考：[WikiExtractor](https:\u002F\u002Fgithub.com\u002Fapertium\u002FWikiExtractor)，再利用python的`OpenCC`库转换为简体中文，最后将得到的`wiki.simple.txt`放到项目根目录的`data`目录下即可。多个语料请自行合并为一个`txt`文件。\n\n由于训练tokenizer非常耗内存，如果你的语料非常大（合并后的`txt`文件超过2G），建议对语料按照类别、比例进行采样，以减少训练时间和内存消耗。训练1.7GB的`txt`文件需要消耗48GB左右的内存（预估的，我只有32GB，频繁触发swap，电脑卡了好久T_T），13600k cpu耗时1小时左右。\n\n2. 训练 tokenizer\n\n`char level`和`byte level`的区别如下（具体使用上的区别请自行检索资料）。默认训练`char level`的tokenizer，如果需要`byte level`，在`train_tokenizer.py`中设置`token_type='byte'`即可。\n\n```python\n# 原始文本\ntxt = '这是一段中英混输的句子, （chinese and English, here are words.）'\n\ntokens = charlevel_tokenizer.tokenize(txt)\nprint(tokens)\n# char level tokens输出\n# ['▁这是', '一段', '中英', '混', '输', '的', '句子', '▁,', '▁(', '▁ch', 'inese', '▁and', '▁Eng', 'lish', '▁,', '▁h', 'ere', '▁are', '▁w', 'ord', 's', '▁.', '▁)']\n\ntokens = bytelevel_tokenizer.tokenize(txt)\nprint(tokens)\n# byte level tokens输出\n# ['Ġè¿Ļæĺ¯', 'ä¸Ģ段', 'ä¸Ńèĭ±', 'æ··', 'è¾ĵ', 'çļĦ', 'åı¥åŃIJ', 'Ġ,', 'Ġ(', 'Ġch', 'inese', 'Ġand', 'ĠEng', 'lish', 'Ġ,', 'Ġh', 'ere', 'Ġare', 'Ġw', 'ord', 's', 'Ġ.', 'Ġ)']\n```\n开始训练：\n```python\n# 确保你的训练语料`txt`文件已经data目录下\npython train_tokenizer.py\n```\n\n## 3.4 Text-to-Text 预训练 \n\n1. 预训练数据集示例\n```json\n{\n    \"prompt\": \"对于花园街，你有什么了解或看法吗？\",\n    \"response\": \"花园街（是香港油尖旺区的一条富有特色的街道，位于九龙旺角东部，北至界限街，南至登打士街，与通菜街及洗衣街等街道平行。现时这条街道是香港著名的购物区之一。位于亚皆老街以南的一段花园街，也就是\\\"波鞋街\\\"整条街约150米长，有50多间售卖运动鞋和运动用品的店舖。旺角道至太子道西一段则为排档区，售卖成衣、蔬菜和水果等。花园街一共分成三段。明清时代，花园街是芒角村栽种花卉的地方。此外，根据历史专家郑宝鸿的考证：花园街曾是1910年代东方殷琴拿烟厂的花园。纵火案。自2005年起，花园街一带最少发生5宗纵火案，当中4宗涉及排档起火。2010年。2010年12月6日，花园街222号一个卖鞋的排档于凌晨5时许首先起火，浓烟涌往旁边住宅大厦，消防接报4\"\n}\n```\n   \n2. jupyter-lab 或者 jupyter notebook:  \n\n    见文件`train.ipynb`，推荐使用jupyter-lab，避免考虑与服务器断开后终端进程被杀的情况。 \n\n3. 控制台： \n\n    控制台训练需要考虑连接断开后进程被杀的，推荐使用进程守护工具`Supervisor`或者`screen`建立连接会话。\n\n    首先要配置`accelerate`，执行以下命令， 根据提示选择即可，参考`accelerate.yaml`，*注意：DeepSpeed在Windows安装比较麻烦*。\n    ```bash\n    accelerate config\n    ```\n\n    开始训练，如果要使用工程提供的配置请在下面的命令`accelerate launch`后加上参数`--config_file .\u002Faccelerate.yaml`，*该配置按照单机2xGPU配置。* \n\n    *预训练有两个脚本，本项目实现的 trainer对应`train.py`，huggingface实现的 trainer对应`pre_train.py`，用哪个都可以，效果一致。本项目实现的 trainer训练信息展示更美观、更容易修改训练细节（如损失函数，日志记录等），均支持断点继续训练，本项目实现的 trainer支持在任意位置断点后继续训练，按`ctrl+c`退出脚本时会保存断点信息。* \n\n    单机单卡：\n    ```bash\n    # 本项目实现的 trainer\n    accelerate launch .\u002Ftrain.py train\n\n    # 或者使用 huggingface trainer\n    python pre_train.py\n    ```\n\n    单机多卡：\n    `2`为显卡数量，请根据自己的实际情况修改。\n    ```bash\n    # 本项目实现的 trainer\n    accelerate launch --multi_gpu --num_processes 2 .\u002Ftrain.py train\n\n    # 或者使用 huggingface trainer\n    accelerate launch --multi_gpu --num_processes 2 pre_train.py\n    ```\n\n    从断点处继续训练：\n    ```bash\n    # 本项目实现的 trainer\n    accelerate launch --multi_gpu --num_processes 2 .\u002Ftrain.py train --is_keep_training=True\n\n    # 或者使用 huggingface trainer\n    # 需要在`pre_train.py`中的`train`函数添加`resume_from_checkpoint=True`\n    accelerate launch --multi_gpu --num_processes 2 pre_train.py\n    ```\n\n## 3.5 SFT微调 \nSFT数据集全部来自[BELLE](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE)大佬的贡献，感谢。SFT数据集分别为：[generated_chat_0.4M](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBelleGroup\u002Fgenerated_chat_0.4M)、[train_0.5M_CN](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBelleGroup\u002Ftrain_0.5M_CN)和[train_2M_CN](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FBelleGroup\u002Ftrain_2M_CN)，清洗后剩余约137万行。\nsft指令微调数据集示例：\n```json\n{\n    \"prompt\": \"解释什么是欧洲启示录\",\n    \"response\": \"欧洲启示录（The Book of Revelation）是新约圣经的最后一卷书，也被称为《启示录》、《默示录》或《约翰默示录》。这本书从宗教的角度描述了世界末日的来临，以及上帝对世界的审判和拯救。 书中的主题包括来临的基督的荣耀，上帝对人性的惩罚和拯救，以及魔鬼和邪恶力量的存在。欧洲启示录是一个充满象征和暗示的文本，对于解读和理解有许多不同的方法和观点。\"\n}\n```\n\n参考`data`目录下的示例`parquet`文件制作自己的数据集，数据集格式：`parquet`文件分两列，一列`prompt`文本，表示提示语，一列`response`文本，表示期待的模型输出。\n微调细节见`model\u002Ftrainer.py`下的`train`方法, `is_finetune`设置为`True`时，将进行微调，微调默认会冻结embedding层和encoder层，只训练decoder层。如需要冻结其他参数，请自行调整代码。 \n\n运行SFT微调：\n``` bash\n# 本项目实现的 trainer， 添加参数`--is_finetune=True`即可, 参数`--is_keep_training=True`可从任意断点处继续训练\naccelerate launch --multi_gpu --num_processes 2 .\u002Ftrain.py --is_finetune=True\n\n# 或者使用 huggingface trainer， 多GPU请用accelerate launch --multi_gpu --num_processes gpu个数 sft_train.py\npython sft_train.py\n```\n\n## 3.6 RLHF（强化学习人类反馈优化方法）\n\n偏好方法这里介绍常见的两种：PPO和DPO，具体实现请自行搜索论文及博客。\n\n1.  PPO方法（近似偏好优化,Proximal Policy Optimization）  \n    步骤1：使用微调数据集做有监督微调（SFT， Supervised Finetuning）。   \n    步骤2：使用偏好数据集（一个prompt至少包含2个回复，一个想要的回复，一个不想要的回复。多个回复可以按照分数排序，最想要的分数最高）训练奖励模型（RM， Reward Model）。可使用`peft`库快速搭建Lora奖励模型。   \n    步骤3：利用RM对SFT模型进行有监督PPO训练，使得模型满足偏好。   \n\n2.  使用DPO（直接偏好优化，Direct Preference Optimization）微调（**本项目采用DPO微调方法，比较节省显存**）\n    在获得SFT模型的基础上，无需训练奖励模型，取得正向回答（chosen）和负向回答（rejected）即可开始微调。微调的`chosen`文本来自原数据集[alpaca-gpt4-data-zh](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fc-s-ale\u002Falpaca-gpt4-data-zh)，拒绝文本`rejected`来自SFT微调1个epoch后的模型输出，另外两个数据集：[huozi_rlhf_data_json](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSkepsun\u002Fhuozi_rlhf_data_json)和[rlhf-reward-single-round-trans_chinese](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fbeyond\u002Frlhf-reward-single-round-trans_chinese)，合并后共8万条dpo数据。\n    \n    dpo数据集处理过程见`utils\u002Fdpo_data_process.py`。\n    \nDPO偏好优化数据集示例：\n```json\n    {\n        \"prompt\": \"为给定的产品创建一个创意标语。，输入：可重复使用的水瓶。\",\n        \"chosen\": \"\\\"保护地球，从拥有可重复使用的水瓶开始！\\\"\",\n        \"rejected\": \"\\\"让你的水瓶成为你的生活伴侣，使用可重复使用的水瓶，让你的水瓶成为你的伙伴\\\"\"\n    }\n```\n\n运行偏好优化：\n``` bash\n#  多GPU请用accelerate launch --multi_gpu --num_processes gpu个数 dpo_train.py\npython dpo_train.py\n```\n\n## 3.7 推理\n确保`model_save`目录下有以下文件，这些文件都可以在`Hugging Face Hub`仓库[ChatLM-Chinese-0.2B](https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese)中找到：\n```bash\nChatLM-mini-Chinese\n├─model_save\n|  ├─config.json\n|  ├─configuration_chat_model.py\n|  ├─generation_config.json\n|  ├─model.safetensors\n|  ├─modeling_chat_model.py\n|  ├─special_tokens_map.json\n|  ├─tokenizer.json\n|  └─tokenizer_config.json\n```\n\n1. 控制台运行：\n```bash\npython cli_demo.py\n```\n\n2. API调用\n```bash\npython api_demo.py\n```\n\nAPI调用示例：\n```bash\ncurl --location '127.0.0.1:8812\u002Fapi\u002Fchat' \\\n--header 'Content-Type: application\u002Fjson' \\\n--header 'Authorization: Bearer Bearer' \\\n--data '{\n    \"input_txt\": \"感冒了要怎么办\"\n}'\n```\n![api demo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_a7d4b1c040cf.png)\n\n## 3.8 下游任务微调\n\n这里以文本中三元组信息为例，做下游微调。该任务的传统深度学习抽取方法见仓库[pytorch_IE_model](https:\u002F\u002Fgithub.com\u002Fcharent\u002Fpytorch_IE_model)。抽取出一段文本中所有的三元组，如句子`《写生随笔》是冶金工业2006年出版的图书，作者是张来亮`，抽取出三元组`(写生随笔,作者,张来亮)`和`(写生随笔,出版社,冶金工业)`。 \n\n原始数据集为：[百度三元组抽取数据集](https:\u002F\u002Faistudio.baidu.com\u002Fdatasetdetail\u002F11384)。加工得到的微调数据集格式示例：\n```json\n{\n    \"prompt\": \"请抽取出给定句子中的所有三元组。给定句子：《家乡的月亮》是宋雪莱演唱的一首歌曲，所属专辑是《久违的哥们》\",\n    \"response\": \"[(家乡的月亮,歌手,宋雪莱),(家乡的月亮,所属专辑,久违的哥们)]\"\n}\n```\n\n可以直接使用`sft_train.py`脚本进行微调，脚本[finetune_IE_task.ipynb](.\u002Ffinetune_examples\u002Finfo_extract\u002Ffinetune_IE_task.ipynb)里面包含详细的解码过程。训练数据集约`17000`条，学习率`5e-5`，训练epoch`5`。微调后其他任务的对话能力也没有消失。\n\n![信息抽取任务微调后的对话能力](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_readme_cba8ae4fd119.png)\n\n微调效果：\n将`百度三元组抽取数据集`公开的`dev`数据集作为测试集，对比传统方法[pytorch_IE_model](https:\u002F\u002Fgithub.com\u002Fcharent\u002Fpytorch_IE_model)。\n\n|          模型            |   F1分数  |  精确率P |  召回率R |\n|          :---            |  :----:  |    :---:  |  :---:   |\n| ChatLM-Chinese-0.2B微调  |   0.74    |  0.75   |  0.73    |\n| ChatLM-Chinese-0.2B无预训练| 0.51    |   0.53   | 0.49    |\n| 传统深度学习方法          |   0.80    |  0.79   |  80.1    |\n\n备注：`ChatLM-Chinese-0.2B无预训练`指直接初始化随机参数，开始训练，学习率`1e-4`，其他参数和微调一致。\n\n## 3.9 C-Eval分数\n模型本身没有使用较大的数据集训练，也没有针对回答选择题的指令做微调，C-Eval分数基本上是baseline水平，有需要的可以当个参考。C-Eval评测代码见：`eval\u002Fc_eavl.ipynb`\n\n| category   | correct | question_count| accuracy |\n|    :---    |  :----:    |    :---:      |  :---:   |\n| Humanities |  \t63    |    \t257       |\t  24.51% |\n| Other\t     |     89     |\t     384      |   23.18% |\n| STEM       |\t   89\t  |      430      |  20.70%  |\n| Social Science |   72   |\t     275      |\t  26.18% |\n\n# 四、🎓引用\n如果你觉得本项目对你有所帮助，欢迎引用。\n```conf\n@misc{Charent2023,\n    author={Charent Chen},\n    title={A small chinese chat language model with 0.2B parameters base on T5},\n    year={2023},\n    publisher = {GitHub},\n    journal = {GitHub repository},\n    howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese}},\n}\n```\n\n# 五、🤔其他事项\n本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。\n\n\u003C!-- # 提示\n```bash\n# 导出项目依赖的包：\npipreqs --encoding \"utf-8\" --force\n``` -->","# ChatLM-mini-Chinese 快速上手指南\n\n## 一、环境准备\n### 系统要求\n- Python 3.10（推荐）\n- 4GB 显存（推理最低要求）\n- Git（建议配置 Git LFS 大文件支持）\n\n### 前置依赖\n```bash\n# 安装 Git LFS（模型下载必需）\ngit lfs install\n\n# 安装 PyTorch（CUDA 11.8 示例）\npip3 install torch --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\n## 二、安装步骤\n### 1. 克隆项目\n```bash\ngit clone --depth 1 https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese.git\ncd ChatLM-mini-Chinese\n```\n\n### 2. 安装依赖\n```bash\n# 推荐使用 pip 安装\npip install -r requirements.txt\n\n# 或使用 conda 安装\nconda install --yes --file requirements.txt\n```\n\n### 3. 下载模型（任选其一）\n```bash\n# 方式一：从 HuggingFace 下载（需网络通畅）\ngit clone --depth 1 https:\u002F\u002Fhuggingface.co\u002Fcharent\u002FChatLM-mini-Chinese\n\n# 方式二：从魔搭 ModelScope 下载（国内推荐）\nfrom modelscope import snapshot_download\nsnapshot_download('charent\u002FChatLM-mini-Chinese', cache_dir='.\u002Fmodel_save')\n```\n\n## 三、基本使用\n### 最简推理示例\n```python\nfrom transformers import AutoTokenizer, AutoModelForSeq2SeqLM\nimport torch\n\n# 模型加载（自动识别本地模型文件）\nmodel_id = 'charent\u002FChatLM-mini-Chinese'  # 或替换为本地路径 .\u002Fmodel_save\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForSeq2SeqLM.from_pretrained(model_id, trust_remote_code=True).to('cuda' if torch.cuda.is_available() else 'cpu')\n\n# 对话生成\ntxt = '如何做西红柿炒鸡蛋？'\ninputs = tokenizer([txt], return_tensors=\"pt\").to(model.device)\noutputs = model.generate(**inputs, max_new_tokens=256)\nprint(tokenizer.decode(outputs[0], skip_special_tokens=True))\n```\n\n### 输出示例\n```text\n西红柿炒鸡蛋的做法如下：\n1. 准备2个西红柿和3个鸡蛋\n2. 西红柿切块，鸡蛋打散备用\n3. 热锅凉油先炒鸡蛋至半熟状态盛出\n4. 用余油炒香蒜片后加入西红柿翻炒\n5. 加入炒好的鸡蛋，调入盐\u002F糖翻炒均匀\n6. 出锅前撒上葱花即可\n```\n\n> [!NOTE]  \n> - 使用 GPU 时会自动加速推理  \n> - 若显存不足可将 `max_new_tokens` 调小  \n> - 中文对话需保持 prompt 带有 [EOS] 标记  \n\n完整训练\u002F微调流程请参考项目文档，本指南仅覆盖最基础的部署和推理流程。","某医疗科技初创公司需要从患者问诊记录中抽取出\"症状-药物-疗效\"三元组信息，用于构建医疗知识图谱。开发团队仅有2台带16GB显存的消费级GPU服务器。\n\n### 没有 ChatLM-mini-Chinese 时\n- 部署主流7B参数中文模型需要云服务GPU集群，单月推理成本超5万元\n- 自研小模型训练需从头清洗数据、训练tokenizer，仅数据去重处理就耗时3周\n- 使用Huggingface默认Trainer微调时，200万条医疗数据需要连续训练14天\n- 低精度量化后的模型仍需4GB显存，推理时经常触发OOM异常\n- 医疗领域术语导致通用模型信息抽取准确率仅58.3%\n\n### 使用 ChatLM-mini-Chinese 后\n- 直接复用项目提供的mini_hash去重代码，3天完成1000万条问诊记录清洗\n- 基于提供的三元组抽取示例，修改50行代码即适配医疗领域实体关系抽取\n- 在单卡16GB服务器上，使用动态max_len训练策略，微调速度提升3.2倍\n- float16精度模型仅占512MB显存，单条记录抽取时延降至87ms\n- 经过DPO偏好优化后，专业术语处理准确率提升至82.1%\n\n通过复用完整的训练推理框架，团队在23天内完成了从数据清洗到服务部署的全流程，整体成本降低76%。核心价值在于为垂直领域场景提供了可复用的端到端解决方案，使小团队也能高效定制专业化小模型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcharent_ChatLM-mini-Chinese_c71661c5.png","charent","Charent","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fcharent_074d97b9.png","Welcome to charent's github page.","XDU",null,"https:\u002F\u002Fcharent.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fcharent",[85,89],{"name":86,"color":87,"percentage":88},"Python","#3572A5",68.5,{"name":90,"color":91,"percentage":92},"Jupyter Notebook","#DA5B0B",31.5,1691,193,"2026-04-04T07:45:18","Apache-2.0","Linux, macOS, Windows","需要NVIDIA GPU，显存4GB+（推理最低512MB），推荐16GB+显存，CUDA版本需支持PyTorch安装","最低16GB（预训练需16GB+4GB显存配置），训练推荐60GB",{"notes":101,"python":102,"dependencies":103},"建议使用conda管理环境；首次运行需下载模型文件（约5GB）；训练tokenizer需较大内存（1.7GB语料需48GB内存）；需安装Git LFS下载模型；Windows需注意PyTorch的CUDA版本兼容性","3.10",[104,105,106,107,108,109,110,111,112,113],"torch>=2.0","transformers>=4.30","accelerate","trl","peft","sentencepiece","tokenizers","datasets","opencc","Git-LFS",[15],[116,117,118,119],"chatbot","language-model","t5-model","text-generation",5,"2026-03-27T02:49:30.150509","2026-04-06T05:35:42.157520",[124,129,134,139,144,149],{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},5057,"如何运行模型训练和对话展示？","修改代码中的`txt`变量值即可自定义提问内容，或参考[cli_demo.py](https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fblob\u002Fmain\u002Fcli_demo.py)实现交互式对话。代码可直接在Jupyter Notebook运行，或保存为`.py`文件后通过`python your_file.py`执行。","https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fissues\u002F10",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},5058,"进行SFT训练时出现模型文件路径或加载错误怎么办？","1. 需先安装Git LFS确保模型文件完整下载；2. 若报错`Error while deserializing header`，请通过`md5sum`校验文件完整性，关键文件`model.safetensors`的MD5值应为`655bcc42640baefba8b188a0aa65d339`；3. 使用`TextToTextModel.from_pretrained()`本地加载模型时无需额外py文件。","https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fissues\u002F13",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},5059,"训练时卡在数据集加载阶段如何解决？","可能是评估阶段序列过长导致CUDA内存溢出(OOM)，可通过以下方法解决：1. 注释[trainer.py#L373-L400](https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fblob\u002Fbe5798fc03cd3662b5419e67dc920dd2e3e67135\u002Fmodel\u002Ftrainer.py)跳过评估；2. 使用HuggingFace Trainer时设置`eval_dataset=None`；3. 减小batch size或限制序列长度。","https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fissues\u002F24",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},5060,"使用train.py训练时出现shape mismatch错误怎么办？","数据集中部分样本长度差异过大导致，可在token_to_id处理时添加截断逻辑（如设置最大长度），或清洗数据时统一序列长度。单GPU训练时也需检查数据集是否包含异常长文本。","https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fissues\u002F36",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},5061,"bell_open_source\u002Ftrain_0.8M_CN.json数据集文件如何获取？","项目未直接提供该文件，建议使用作者发布的预训练模型进行SFT。若需自定义数据，需自行准备并清洗数据集，同时修改`config.py`中的`finetune_from_ckp_file`指向模型文件夹路径。","https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fissues\u002F30",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},5062,"SFT训练保存模型时出现权限不足错误如何处理？","Windows系统可能出现路径权限问题，建议：1. 检查保存路径`model_save\u002Fsft`的写入权限；2. 尝试将模型保存路径改为非系统盘路径（如D盘根目录）；3. 确保杀毒软件未拦截文件操作。","https:\u002F\u002Fgithub.com\u002Fcharent\u002FChatLM-mini-Chinese\u002Fissues\u002F23",[155],{"id":156,"version":157,"summary_zh":81,"released_at":81},104597,"v1.0"]