[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-zhanshijinwat--Steel-LLM":3,"tool-zhanshijinwat--Steel-LLM":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":75,"owner_twitter":75,"owner_website":78,"owner_url":79,"languages":80,"stars":101,"forks":102,"last_commit_at":103,"license":75,"difficulty_score":10,"env_os":104,"env_gpu":105,"env_ram":104,"env_deps":106,"category_tags":114,"github_topics":115,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":120,"updated_at":121,"faqs":122,"releases":147},6214,"zhanshijinwat\u002FSteel-LLM","Steel-LLM","Train a 1B LLM with 1T tokens from scratch by personal","Steel-LLM 是一个由个人发起并完全开源的中文大语言模型预训练项目，旨在证明在有限资源下也能从零构建高质量的 AI 模型。该项目使用约 1T token 的海量中文数据，成功训练出一个参数量约为 1B 的模型，在 C-Eval 和 CMMLU 等权威中文评测基准上取得了优于部分机构早期大模型的成绩。\n\nSteel-LLM 主要解决了普通开发者和研究人员难以复现大模型全流程训练的痛点。它详细公开了从数据收集、清洗处理、框架选型到模型架构设计的完整技术路径，并开源了全部代码。这使得拥有 8 至几十张显卡的个人或小团队，也能基于此方案复现训练过程，降低了大模型研发的门槛。\n\n该工具特别适合对大模型底层原理感兴趣的研究人员、希望掌握全链路训练技术的开发者，以及教育资源有限的学术团队。其独特亮点在于采用了创新的模型架构，如在 FFN 层使用 Softmax MoE 以提升训练效率，并结合双层 SwiGLU 结构优化性能。此外，项目灵感源于“土法炼钢”精神，展示了如何在非工业级条件下通过精细化运作打造出实用的“好钢”，为社区提供了极具参考价值的实践范本。","\u003Cdiv align=\"center\">\n\n# 开源中文预训练语言模型Steel-LLM\n\u003C\u002Fdiv>\n\n\\[ 中文 | [English](README_en.md) \\]\n\n## 👋 介绍\nSteel-LLM是个人发起的从零预训练中文大模型项目。我们使用了1T token的数据预训练一个1B左右参数量的中文LLM。项目从开始到微调出第一版模型耗时了8个月。我们详细的分享了数据收集、数据处理、预训练框架选择、模型设计等全过程，并开源全部代码。让每个人在有8~几十张卡的情况下都能复现我们的工作。得益于开源中文数据，Steel-LLM在中文benchmark上表现优于机构早期发布的一些更大的模型，在ceval达到了42分，cmmlu达到了36分。\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\".github\u002Fsteel.png\" width=\"200\"\u002F>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n        \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fgqszhanshijin\u002FSteel-LLM\" target=\"_blank\">\n        \u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97Hugging%20Face-Steel%20LLM-yellow\">\n        \u003C\u002Fa>\n        \u003Cspan style=\"display: inline-block; width: 10px;\">\u003C\u002Fspan>\n        \u003Ca href=\"https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fzhanshijin\u002FSteel-LLM\">\u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%96modelscope-Steel%20LLM-purple\">\n        \u003C\u002Fa>\n        \u003Cspan style=\"display: inline-block; width: 10px;\">\u003C\u002Fspan>\n        \u003Ca href=\".github\u002Fwechat_liangangAI.jpg\">\n        \u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWeChat-%E7%82%BC%E9%92%A2AI-brightgreen?logo=wechat&logoColor=white\">\n        \u003C\u002Fa>\u003Cbr>\n        \u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhan-shi-jin-27\">\n        \u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%E2%98%91%EF%B8%8Fzhihu%20blog-%E6%88%98%E5%A3%AB%E9%87%91-blue\">\n        \u003C\u002Fa>\n        \u003Cspan style=\"display: inline-block; width: 10px;\">\u003C\u002Fspan>\n        \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06635\" target=\"_blank\">\n        \u003Cimg alt=\"Arxiv\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-Steel%20LLM-7289da?logo=arxiv&logoColor=red&color=red\" \u002F>\n        \u003C\u002Fa>\n\n\n        \n\n\"Steel(钢)\"取名灵感来源于华北平原一只优秀的乐队“万能青年旅店（万青）”。乐队在做一专的时候条件有限，自称是在“土法炼钢”，但却是一张神专。我们训练LLM的条件同样有限，但也希望能炼出好“钢”来。\n\n## 🔔 公告 \n\n### 更新\n后续会在数学能力、强化学习、复杂推理等方面进一步探索......\n\n[2025\u002F3\u002F10] 发布了一篇强化学习相关博客：《拒绝采样微调加速RL收敛及模型遗忘问题探究》：https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FQk4bN6yFkI39Ye9fsS4NXA\n\n[2025\u002F3\u002F6] 🎉🎉🎉《Steel-LLM:From Scratch to Open Source -- A Personal Journey in Building a Chinese-Centric LLM》被ICLR 2025 workshop 接收\n\n[2025\u002F2\u002F13] 上传了技术报告：https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06635\n\n[2025\u002F1\u002F17]  更新steel-LLM-chat-v2,微调时加入了英文数据，中英文数据比例和预训练保持一致，最终在ceval上由38分提高到了41.9分，cmmlu从33分提高到了36分。\n\n[2024\u002F11\u002F13] 🔥发布一篇项目汇总文章《个人从零预训练1B LLM心路历程》：https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FPOUugkCNZTzmlKWZVVD1CQ🔥 \n\n[2024\u002F10\u002F28]更新了第一版chat模型，在ceval达到了38分，cmmlu达到了33分。\n\n[2024\u002F10\u002F24]发布了Steel-LLM微调和评估的细节。微调时探索了cot、模型刷榜等实验。博客地址：https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKK0G0spNw0D9rPUESkHMew\n\n[2024\u002F9\u002F2] HuggingFace更新了480k、660k、720k、980k、1060k（最后一个checkpoint）step的checkpoint。\n\n[2024\u002F8\u002F18] 预训练已经完成，后续进行微调以及评测\n\n[2024\u002F7\u002F18] 使用8*H800继续训练，wandb：https:\u002F\u002Fapi.wandb.ai\u002Flinks\u002Fsteel-llm-lab\u002Fvqf297nr\n\n[2024\u002F6\u002F30] 放出预训练200k个step的checkpoint，[huggingface链接](https:\u002F\u002Fhuggingface.co\u002Fgqszhanshijin\u002FSteel-LLM\u002Ftree\u002Fmain)\n\n[2024\u002F5\u002F21] 模型开启正式训练，后续不定期放出checkpoint。\n\n[2024\u002F5\u002F19] 基于Qwen1.5完成模型修改，模型大小1.12B：\n- FFN层使用softmax moe，相同参数量下有更高的训练速度\n- 使用双层的SwiGLU\n\n相关博客:https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F700395878\n\n[2024\u002F5\u002F5] 预训练程序修改相关的博客：https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F694223107\n\n[2024\u002F4\u002F24] 完成训练程序改进：兼容Hugginface格式模型、支持数据断点续训、支持追加新的数据 \n\n[2024\u002F4\u002F14] 完成数据收集与处理，生成预训练程序所需要的bin文件。更新数据收集与处理相关的博客：https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F687338497\n\n\n### 🧑‍🤝‍🧑 交流\n欢迎加入交流群,人数已超过200，添加微信入群：a1843450905\n\n\u003Cbr>\n\n## 🤖 预训练\n### 数据收集\n使用的数据集和链接如下所示，更详细的介绍见[**此篇文章**](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F687338497)\n\n- [Skywork\u002FSkypile-150B数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSkywork\u002FSkyPile-150B\u002Ftree\u002Fmain\u002Fdata)\n- [wanjuan1.0(nlp部分)](https:\u002F\u002Fopendatalab.org.cn\u002FOpenDataLab\u002FWanJuan1_dot_0?source=Q1NETg)\n- [中文维基过滤数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fpleisto\u002Fwikipedia-cn-20230720-filtered)\n- [百度百科数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fxuqinyang\u002FBaiduBaike-5.63M)\n- [百度百科问答数据](https:\u002F\u002Faistudio.baidu.com\u002Fdatasetdetail\u002F107726)\n- [知乎问答数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fwangrui6\u002FZhihu-KOL)\n- [BELLE对话数据](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE\u002Ftree\u002Fmain\u002Fdata\u002F10M)\n- [moss项目对话数据](https:\u002F\u002Fhf-mirror.com\u002Fdatasets\u002FYeungNLP\u002Fmoss-003-sft-data)\n- [firefly1.1M](https:\u002F\u002Fhf-mirror.com\u002Fdatasets\u002FYeungNLP\u002Ffirefly-train-1.1M)\n- [starcoder](https:\u002F\u002Fhf-mirror.com\u002Fdatasets\u002Fbigcode\u002Fstarcoderdata)\n\n### 数据处理\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FyqmtHLuuNV9075qHgzhcPw))\n#### step1：格式转化\n- 源数据：针对4类数据进行格式统一的转化处理：\n  - 简单文本：百度百科（title和各段落需要手动合并）、中文维基\n  - 对话（含单轮与多轮）：百度百科问答数据、BELLE对话数据（BELLE_3_5M）、moss项目对话数据、知乎问答数据、BELLE任务数据（BELLE_2_5M)、firefly1.1M\n  - 代码数据：starcode\n  - 其他数据：wanjuan和skypile数据集不用做单独处理\n- 目标格式：`{\"text\": \"asdfasdf...\"}`，文件保存为.jsonl类型。\n- 运行方式：`python data\u002Fpretrain_data_prepare\u002Fstep1_data_process.py`\n#### step2：data-juicer数据处理\n- 运行方式：`sh data\u002Fpretrain_data_prepare\u002Fstep2\u002Frun_step2.sh`\n\n- 具体使用的data juicer算子见\u003Ca href=\".github\u002Fdatajuicer_op.md\">此文档\u003C\u002Fa>。\n\n#### step3：生成最终用于训练的bin格式\n需要先在代码中修改filename_sets，指定数据路径，然后运行如下程序：\n\n`python pretrain_modify_from_TinyLlama\u002Fscripts\u002Fprepare_steel_llm_data.py`\n\n输入数据格式为：包含'text'字段的jsonl文件\n\n### tokenizer\n不单独训练tokenizer，使用[Qwen\u002FQwen1.5-MoE-A2.7B-Chat](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen1.5-MoE-A2.7B-Chat)的tokenizer\n\n### 模型结构\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FJaZyf1jOEOtNDCcFqSj8TQ))\n\n基于Qwen1.5模型，进行了如下改动：\n- FFN层使用softmax moe，相同参数量下有更高的训练速度\n- 使用双层的SwiGLU\n\n### 预训练框架\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKPRir6bK3MZZ-vMFTfhUQQ))\n\n基于TinyLlama预训练程序进行如下改进：\n\n  - 兼容HuggingFace格式的模型\n  - 加载checkpoint时，完全恢复数据训练的进度\n  - 数据一致性检测\n  - 在不影响已训练数据的情况下，在数据集中追加新的数据\n\n启动预训练：\n\n`python Steel-LLM\u002Fpretrain_modify_from_TinyLlama\u002Fpretrain\u002Fpretrain_steel_llm.py`\n\n### 评估\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKK0G0spNw0D9rPUESkHMew))\n\nSteel-LLM在CEVAL、CMMLU上进行了测试。Steel-LLM旨在训练一个中文LLM，80%的训练数据都是中文，因此在英文benchmark并未做过多的测试。\n其他模型的指标来自于CEVAL论文、MiniCPM技术报告、MAP-Neo技术报告等途径。更多模型的指标可查看之前的\u003Ca href=https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKK0G0spNw0D9rPUESkHMew>博客\u003C\u002Fa>\n\n|                              | CEVAL  | CMMLU |\n|------------------------------|--------|-------|\n| Steel-LLM-chat-v2            | 41.90  | 36.08 |\n| Steel-LLM-chat-v1            | 38.57  | 33.48 |\n| Tiny-Llama-1.1B              | 25.02  | 24.03 |\n| Gemma-2b-it                  | 32.3   | 33.07 |\n| Phi2(2B)\t                   | 23.37\t| 24.18 |\n| Deepseek-coder-1.3B-instruct |  28.33 | 27.75 |\n| CT-LLM-SFT-2B                | 41.54  | 41.48 |\n| MiniCPM-2B-sft-fp32          | 49.14  | 51.0  |\n| Qwen1.5-1.8B-Chat            | 56.84  | 54.11 |\n| ChatGLM-6B                   | 38.9   | -     |\n| Moss                         | 33.1   | -     |\n| LLAMA-65B                    | 34.7   | -     |\n| Qwen-7B                      | 58.96  | 60.35 |\n| Gemma-7B                     | 42.57  | 44.20 |\n| OLMo-7B                      | 35.18  | 35.55 |\n| MAP-NEO-7B                   | 56.97  | 55.01 |\n\n\u003Cbr>\n\n## ⛏️ 快速使用\n```python\nfrom modelscope import AutoModelForCausalLM, AutoTokenizer\n\nmodel_name = \"zhanshijin\u002FSteel-LLM\"\n\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_name,\n    torch_dtype=\"auto\",\n    device_map=\"auto\"\n)\ntokenizer = AutoTokenizer.from_pretrained(model_name)\n\nprompt = \"你是谁开发的\"\nmessages = [\n    {\"role\": \"user\", \"content\": prompt}\n]\ntext = tokenizer.apply_chat_template(\n    messages,\n    tokenize=False,\n    add_generation_prompt=True\n)\nmodel_inputs = tokenizer([text], return_tensors=\"pt\").to(model.device)\n\ngenerated_ids = model.generate(\n    **model_inputs,\n    max_new_tokens=512\n)\ngenerated_ids = [\n    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)\n]\n\nresponse = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]\nprint(response)\n\n```\n\n### 硬件资源\nGPU：8* H800 80G(训练30天左右)\n\nGPU：8* A100 80G（训练60天左右）\n\n硬盘：4TB\n\n## Citation\n\n**BibTeX:**\n```bibtex\n@article{gu2025steel,\n  title={Steel-LLM: From Scratch to Open Source--A Personal Journey in Building a Chinese-Centric LLM},\n  author={Gu, Qingshui and Li, Shu and Zheng, Tianyu and Zhang, Zhaoxiang},\n  journal={arXiv preprint arXiv:2502.06635},\n  year={2025}\n}\n```","\u003Cdiv align=\"center\">\n\n# 开源中文预训练语言模型Steel-LLM\n\u003C\u002Fdiv>\n\n\\[ 中文 | [English](README_en.md) \\]\n\n## 👋 介绍\nSteel-LLM是个人发起的从零预训练中文大模型项目。我们使用了1T token的数据预训练一个1B左右参数量的中文LLM。项目从开始到微调出第一版模型耗时了8个月。我们详细的分享了数据收集、数据处理、预训练框架选择、模型设计等全过程，并开源全部代码。让每个人在有8~几十张卡的情况下都能复现我们的工作。得益于开源中文数据，Steel-LLM在中文benchmark上表现优于机构早期发布的一些更大的模型，在ceval达到了42分，cmmlu达到了36分。\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\".github\u002Fsteel.png\" width=\"200\"\u002F>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n        \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fgqszhanshijin\u002FSteel-LLM\" target=\"_blank\">\n        \u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97Hugging%20Face-Steel%20LLM-yellow\">\n        \u003C\u002Fa>\n        \u003Cspan style=\"display: inline-block; width: 10px;\">\u003C\u002Fspan>\n        \u003Ca href=\"https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fzhanshijin\u002FSteel-LLM\">\u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%96modelscope-Steel%20LLM-purple\">\n        \u003C\u002Fa>\n        \u003Cspan style=\"display: inline-block; width: 10px;\">\u003C\u002Fspan>\n        \u003Ca href=\".github\u002Fwechat_liangangAI.jpg\">\n        \u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FWeChat-%E7%82%BC%E9%92%A2AI-brightgreen?logo=wechat&logoColor=white\">\n        \u003C\u002Fa>\u003Cbr>\n        \u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhan-shi-jin-27\">\n        \u003Cimg alt=\"Static Badge\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%E2%98%91%EF%B8%8Fzhihu%20blog-%E6%88%98%E5%A3%AB%E9%87%91-blue\">\n        \u003C\u002Fa>\n        \u003Cspan style=\"display: inline-block; width: 10px;\">\u003C\u002Fspan>\n        \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06635\" target=\"_blank\">\n        \u003Cimg alt=\"Arxiv\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FArxiv-Steel%20LLM-7289da?logo=arxiv&logoColor=red&color=red\" \u002F>\n        \u003C\u002Fa>\n\n\n        \n\n\"Steel(钢)\"取名灵感来源于华北平原一只优秀的乐队“万能青年旅店（万青）”。乐队在做一专的时候条件有限，自称是在“土法炼钢”，但却是一张神专。我们训练LLM的条件同样有限，但也希望能炼出好“钢”来。\n\n## 🔔 公告 \n\n### 更新\n后续会在数学能力、强化学习、复杂推理等方面进一步探索......\n\n[2025\u002F3\u002F10] 发布了一篇强化学习相关博客：《拒绝采样微调加速RL收敛及模型遗忘问题探究》：https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FQk4bN6yFkI39Ye9fsS4NXA\n\n[2025\u002F3\u002F6] 🎉🎉🎉《Steel-LLM:From Scratch to Open Source -- A Personal Journey in Building a Chinese-Centric LLM》被ICLR 2025 workshop 接收\n\n[2025\u002F2\u002F13] 上传了技术报告：https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06635\n\n[2025\u002F1\u002F17]  更新steel-LLM-chat-v2,微调时加入了英文数据，中英文数据比例和预训练保持一致，最终在ceval上由38分提高到了41.9分，cmmlu从33分提高到了36分。\n\n[2024\u002F11\u002F13] 🔥发布一篇项目汇总文章《个人从零预训练1B LLM心路历程》：https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FPOUugkCNZTzmlKWZVVD1CQ🔥 \n\n[2024\u002F10\u002F28]更新了第一版chat模型，在ceval达到了38分，cmmlu达到了33分。\n\n[2024\u002F10\u002F24]发布了Steel-LLM微调和评估的细节。微调时探索了cot、模型刷榜等实验。博客地址：https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKK0G0spNw0D9rPUESkHMew\n\n[2024\u002F9\u002F2] HuggingFace更新了480k、660k、720k、980k、1060k（最后一个checkpoint）step的checkpoint。\n\n[2024\u002F8\u002F18] 预训练已经完成，后续进行微调以及评测\n\n[2024\u002F7\u002F18] 使用8*H800继续训练，wandb：https:\u002F\u002Fapi.wandb.ai\u002Flinks\u002Fsteel-llm-lab\u002Fvqf297nr\n\n[2024\u002F6\u002F30] 放出预训练200k个step的checkpoint，[huggingface链接](https:\u002F\u002Fhuggingface.co\u002Fgqszhanshijin\u002FSteel-LLM\u002Ftree\u002Fmain)\n\n[2024\u002F5\u002F21] 模型开启正式训练，后续不定期放出checkpoint。\n\n[2024\u002F5\u002F19] 基于Qwen1.5完成模型修改，模型大小1.12B：\n- FFN层使用softmax moe，相同参数量下有更高的训练速度\n- 使用双层的SwiGLU\n\n相关博客:https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F700395878\n\n[2024\u002F5\u002F5] 预训练程序修改相关的博客：https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F694223107\n\n[2024\u002F4\u002F24] 完成训练程序改进：兼容Hugginface格式模型、支持数据断点续训、支持追加新的数据 \n\n[2024\u002F4\u002F14] 完成数据收集与处理，生成预训练程序所需要的bin文件。更新数据收集与处理相关的博客：https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F687338497\n\n\n### 🧑‍🤝‍🧑 交流\n欢迎加入交流群,人数已超过200，添加微信入群：a1843450905\n\n\u003Cbr>\n\n## 🤖 预训练\n### 数据收集\n使用的数据集和链接如下所示，更详细的介绍见[**此篇文章**](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F687338497)\n\n- [Skywork\u002FSkypile-150B数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FSkywork\u002FSkyPile-150B\u002Ftree\u002Fmain\u002Fdata)\n- [wanjuan1.0(nlp部分)](https:\u002F\u002Fopendatalab.org.cn\u002FOpenDataLab\u002FWanJuan1_dot_0?source=Q1NETg)\n- [中文维基过滤数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fpleisto\u002Fwikipedia-cn-20230720-filtered)\n- [百度百科数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fxuqinyang\u002FBaiduBaike-5.63M)\n- [百度百科问答数据](https:\u002F\u002Faistudio.baidu.com\u002Fdatasetdetail\u002F107726)\n- [知乎问答数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fwangrui6\u002FZhihu-KOL)\n- [BELLE对话数据](https:\u002F\u002Fgithub.com\u002FLianjiaTech\u002FBELLE\u002Ftree\u002Fmain\u002Fdata\u002F10M)\n- [moss项目对话数据](https:\u002F\u002Fhf-mirror.com\u002Fdatasets\u002FYeungNLP\u002Fmoss-003-sft-data)\n- [firefly1.1M](https:\u002F\u002Fhf-mirror.com\u002Fdatasets\u002FYeungNLP\u002Ffirefly-train-1.1M)\n- [starcoder](https:\u002F\u002Fhf-mirror.com\u002Fdatasets\u002Fbigcode\u002Fstarcoderdata)\n\n### 数据处理\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FyqmtHLuuNV9075qHgzhcPw))\n#### step1：格式转化\n- 源数据：针对4类数据进行格式统一的转化处理：\n  - 简单文本：百度百科（title和各段落需要手动合并）、中文维基\n  - 对话（含单轮与多轮）：百度百科问答数据、BELLE对话数据（BELLE_3_5M）、moss项目对话数据、知乎问答数据、BELLE任务数据（BELLE_2_5M)、firefly1.1M\n  - 代码数据：starcode\n  - 其他数据：wanjuan和skypile数据集不用做单独处理\n- 目标格式：`{\"text\": \"asdfasdf...\"}`，文件保存为.jsonl类型。\n- 运行方式：`python data\u002Fpretrain_data_prepare\u002Fstep1_data_process.py`\n#### step2：data-juicer数据处理\n- 运行方式：`sh data\u002Fpretrain_data_prepare\u002Fstep2\u002Frun_step2.sh`\n\n- 具体使用的data juicer算子见\u003Ca href=\".github\u002Fdatajuicer_op.md\">此文档\u003C\u002Fa>。\n\n#### step3：生成最终用于训练的bin格式\n需要先在代码中修改filename_sets，指定数据路径，然后运行如下程序：\n\n`python pretrain_modify_from_TinyLlama\u002Fscripts\u002Fprepare_steel_llm_data.py`\n\n输入数据格式为：包含'text'字段的jsonl文件\n\n### tokenizer\n不单独训练tokenizer，使用[Qwen\u002FQwen1.5-MoE-A2.7B-Chat](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen1.5-MoE-A2.7B-Chat)的tokenizer\n\n### 模型结构\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FJaZyf1jOEOtNDCcFqSj8TQ))\n\n基于Qwen1.5模型，进行了如下改动：\n- FFN层使用softmax moe，相同参数量下有更高的训练速度\n- 使用双层的SwiGLU\n\n### 预训练框架\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKPRir6bK3MZZ-vMFTfhUQQ))\n\n基于TinyLlama预训练程序进行如下改进：\n\n  - 兼容HuggingFace格式的模型\n  - 加载checkpoint时，完全恢复数据训练的进度\n  - 数据一致性检测\n  - 在不影响已训练数据的情况下，在数据集中追加新的数据\n\n启动预训练：\n\n`python Steel-LLM\u002Fpretrain_modify_from_TinyLlama\u002Fpretrain\u002Fpretrain_steel_llm.py`\n\n### 评估\n(详细内容见[**此篇文章**](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKK0G0spNw0D9rPUESkHMew))\n\nSteel-LLM在CEVAL、CMMLU上进行了测试。Steel-LLM旨在训练一个中文LLM，80%的训练数据都是中文，因此在英文benchmark并未做过多的测试。\n其他模型的指标来自于CEVAL论文、MiniCPM技术报告、MAP-Neo技术报告等途径。更多模型的指标可查看之前的\u003Ca href=https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKK0G0spNw0D9rPUESkHMew>博客\u003C\u002Fa>\n\n|                              | CEVAL  | CMMLU |\n|------------------------------|--------|-------|\n| Steel-LLM-chat-v2            | 41.90  | 36.08 |\n| Steel-LLM-chat-v1            | 38.57  | 33.48 |\n| Tiny-Llama-1.1B              | 25.02  | 24.03 |\n| Gemma-2b-it                  | 32.3   | 33.07 |\n| Phi2(2B)\t                   | 23.37\t| 24.18 |\n| Deepseek-coder-1.3B-instruct |  28.33 | 27.75 |\n| CT-LLM-SFT-2B                | 41.54  | 41.48 |\n| MiniCPM-2B-sft-fp32          | 49.14  | 51.0  |\n| Qwen1.5-1.8B-Chat            | 56.84  | 54.11 |\n| ChatGLM-6B                   | 38.9   | -     |\n| Moss                         | 33.1   | -     |\n| LLAMA-65B                    | 34.7   | -     |\n| Qwen-7B                      | 58.96  | 60.35 |\n| Gemma-7B                     | 42.57  | 44.20 |\n| OLMo-7B                      | 35.18  | 35.55 |\n| MAP-NEO-7B                   | 56.97  | 55.01 |\n\n\u003Cbr>\n\n## ⛏️ 快速使用\n```python\nfrom modelscope import AutoModelForCausalLM, AutoTokenizer\n\nmodel_name = \"zhanshijin\u002FSteel-LLM\"\n\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_name,\n    torch_dtype=\"auto\",\n    device_map=\"auto\"\n)\ntokenizer = AutoTokenizer.from_pretrained(model_name)\n\nprompt = \"你是谁开发的\"\nmessages = [\n    {\"role\": \"user\", \"content\": prompt}\n]\ntext = tokenizer.apply_chat_template(\n    messages,\n    tokenize=False,\n    add_generation_prompt=True\n)\nmodel_inputs = tokenizer([text], return_tensors=\"pt\").to(model.device)\n\ngenerated_ids = model.generate(\n    **model_inputs,\n    max_new_tokens=512\n)\ngenerated_ids = [\n    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)\n]\n\nresponse = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]\nprint(response)\n\n```\n\n### 硬件资源\nGPU：8* H800 80G（训练30天左右）\n\nGPU：8* A100 80G（训练60天左右）\n\n硬盘：4TB\n\n## 引用\n\n**BibTeX:**\n```bibtex\n@article{gu2025steel,\n  title={Steel-LLM: 从零开始到开源——构建以中文为中心的大模型的个人历程},\n  author={Gu, Qingshui and Li, Shu and Zheng, Tianyu and Zhang, Zhaoxiang},\n  journal={arXiv预印本 arXiv:2502.06635},\n  year={2025}\n}\n```","# Steel-LLM 快速上手指南\n\nSteel-LLM 是一个从零预训练的开源中文大语言模型项目（约 1B 参数），在中文基准测试（CEVAL\u002FCMMLU）中表现优异。本指南将帮助您快速部署并使用该模型。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 推理建议显存 ≥ 8GB (训练需多卡集群，如 8×H800 或 8×A100)\n*   **前置依赖**:\n    *   `torch` (支持 CUDA)\n    *   `transformers`\n    *   `modelscope` (推荐使用 ModelScope 获取国内加速下载)\n\n安装基础依赖命令：\n```bash\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install modelscope transformers accelerate\n```\n\n## 安装步骤\n\nSteel-LLM 无需复杂的源码编译，直接通过 Python 库加载即可。推荐使用 **ModelScope** 进行模型下载，以获得更快的国内访问速度。\n\n若需手动下载模型文件，可访问：\n*   **ModelScope**: [zhanshijin\u002FSteel-LLM](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fzhanshijin\u002FSteel-LLM)\n*   **Hugging Face**: [gqszhanshijin\u002FSteel-LLM](https:\u002F\u002Fhuggingface.co\u002Fgqszhanshijin\u002FSteel-LLM)\n\n## 基本使用\n\n以下是最简单的推理示例，展示如何加载模型并进行对话。代码默认使用 `modelscope` 库自动下载并加载模型。\n\n```python\nfrom modelscope import AutoModelForCausalLM, AutoTokenizer\n\n# 指定模型名称 (ModelScope ID)\nmodel_name = \"zhanshijin\u002FSteel-LLM\"\n\n# 加载模型和分词器\n# device_map=\"auto\" 会自动将模型映射到可用的 GPU 上\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_name,\n    torch_dtype=\"auto\",\n    device_map=\"auto\"\n)\ntokenizer = AutoTokenizer.from_pretrained(model_name)\n\n# 构建输入提示\nprompt = \"你是谁开发的\"\nmessages = [\n    {\"role\": \"user\", \"content\": prompt}\n]\n\n# 应用聊天模板\ntext = tokenizer.apply_chat_template(\n    messages,\n    tokenize=False,\n    add_generation_prompt=True\n)\n\n# 编码输入\nmodel_inputs = tokenizer([text], return_tensors=\"pt\").to(model.device)\n\n# 生成回复\ngenerated_ids = model.generate(\n    **model_inputs,\n    max_new_tokens=512\n)\n\n# 解码输出 (去除输入部分，仅保留新生成的内容)\ngenerated_ids = [\n    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)\n]\n\nresponse = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]\nprint(response)\n```\n\n**运行说明：**\n1. 首次运行时，脚本会自动从 ModelScope 下载模型权重（约 2-3GB），请确保网络连接通畅。\n2. 若本地已下载模型，可将 `model_name` 替换为本地文件夹路径。\n3. 该模型针对中文场景优化，建议使用中文提示词以获得最佳效果。","某独立开发者希望为中文垂直领域（如法律或医疗）构建专属大模型，但受限于预算仅拥有 8 张消费级显卡，无法承担商业大模型的微调成本或从头训练的资源消耗。\n\n### 没有 Steel-LLM 时\n- **资源门槛过高**：从零训练一个具备基础中文能力的模型通常需要数百张 A100\u002FH800 显卡，个人开发者只能望而却步，被迫依赖闭源 API。\n- **数据清洗黑盒**：缺乏高质量的中文预训练语料处理流程，自行收集的数据噪声大、格式乱，导致模型训练效果极差。\n- **技术复现困难**：开源社区多聚焦于超大参数模型，缺少针对中小算力环境优化的完整训练框架和断点续训支持，实验极易中断。\n- **基座能力不足**：直接使用参数量过小的随机初始化模型，其中文理解与逻辑推理能力薄弱，难以通过微调达到可用标准。\n\n### 使用 Steel-LLM 后\n- **低成本从零起步**：利用 Steel-LLM 开源的 1B 参数架构及适配 8~几十张卡的训练方案，成功在有限算力下完成了 1T token 的全量预训练。\n- **复用成熟数据管线**：直接采纳项目公开的 Skywork、WanJuan 等高质量中文数据集处理脚本，快速构建了纯净的预训练语料库。\n- **全流程透明可控**：依托详细的代码开源与断点续训功能，开发者能灵活调整 MoE 结构与 SwiGLU 激活函数，稳步迭代出多个检查点版本。\n- **基准表现优异**：基于该基座微调后的模型在 C-Eval 评测中达到 42 分，中文语境下的专业问答能力显著优于同量级的早期机构模型。\n\nSteel-LLM 证明了个人开发者在有限算力下，也能通过透明的全流程复现，炼出具备高可用性的中文大模型“好钢”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzhanshijinwat_Steel-LLM_9169290d.png","zhanshijinwat","zhanshijin","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fzhanshijinwat_85926985.jpg",null,"bytedance-seed","Beijing","https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhan-shi-jin-27","https:\u002F\u002Fgithub.com\u002Fzhanshijinwat",[81,85,89,93,97],{"name":82,"color":83,"percentage":84},"Jupyter Notebook","#DA5B0B",82.6,{"name":86,"color":87,"percentage":88},"Python","#3572A5",15.8,{"name":90,"color":91,"percentage":92},"Cuda","#3A4E3A",1,{"name":94,"color":95,"percentage":96},"Shell","#89e051",0.4,{"name":98,"color":99,"percentage":100},"C++","#f34b7d",0.2,797,77,"2026-04-08T13:57:36","未说明","训练必需：8x H800 (80GB) 或 8x A100 (80GB)。推理未明确指定最低要求，但建议使用支持自动设备映射的高显存 NVIDIA GPU。",{"notes":107,"python":104,"dependencies":108},"该项目主要面向大规模预训练场景，官方提供的硬件需求为训练环境（8卡 H800 需约 30 天，8卡 A100 需约 60 天），存储需求为 4TB。模型基于 Qwen1.5 架构修改（使用 Softmax MoE 和双层 SwiGLU），Tokenizer 复用 Qwen1.5-MoE-A2.7B-Chat。快速使用示例展示了通过 ModelScope 加载模型进行推理的方法。",[109,110,111,112,113],"torch","transformers","modelscope","data-juicer","wandb",[35,14],[116,117,118,119],"llama","llm","qwen","large-language-model","2026-03-27T02:49:30.150509","2026-04-10T20:47:27.521280",[123,128,133,137,142],{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},28129,"预训练数据处理时，是将每条数据单独 Pad 到最大长度，还是将多条数据 Concat 拼接后处理？","是将数据拼接到最大长度的（Concat），而不是对单条数据进行 Padding。","https:\u002F\u002Fgithub.com\u002Fzhanshijinwat\u002FSteel-LLM\u002Fissues\u002F7",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},28130,"框架是否支持针对不同数据来源设置不同的采样率（如上采样高质量数据、下采样低质量数据）？","支持。实现方法是在保存数据时采样一个随机数，如果该数小于或大于设定的阈值，则保留该条数据。维护者表示这是一个容易添加的功能。","https:\u002F\u002Fgithub.com\u002Fzhanshijinwat\u002FSteel-LLM\u002Fissues\u002F6",{"id":134,"question_zh":135,"answer_zh":136,"source_url":132},28131,"是否支持针对不同类别的数据观测独立的 Loss（channel_loss）？","目前比较困难且暂不支持，主要原因是所使用的开源数据集本身没有包含文本类别的标签信息。",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},28132,"CEval 和 CMMU 评估使用了多少 Shot？是否有推荐的评估库？","建议参考 SLM_Survey 项目中的 Issue #3 讨论，查看是否使用了相同的评估设置。相关链接：https:\u002F\u002Fgithub.com\u002FUbiquitousLearning\u002FSLM_Survey\u002Fissues\u002F3","https:\u002F\u002Fgithub.com\u002Fzhanshijinwat\u002FSteel-LLM\u002Fissues\u002F5",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},28133,"W&B (Weights & Biases) 报告链接失效或无法访问怎么办？","请使用带有 accessToken 参数的完整链接来访问报告。例如：https:\u002F\u002Fwandb.ai\u002Fsteel-llm-lab\u002Flightning_logs\u002Freports\u002FUntitled-Report--Vmlldzo5OTg1Mjgw?accessToken=4eilxq5fzt75a9br88ffolucjllmqnt2wwk9czp7pywx54ppnec4ftqnk9k05kkt","https:\u002F\u002Fgithub.com\u002Fzhanshijinwat\u002FSteel-LLM\u002Fissues\u002F4",[]]