[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-bigscience-workshop--bigscience":3,"tool-bigscience-workshop--bigscience":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",156033,2,"2026-04-14T23:32:00",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":95,"forks":96,"last_commit_at":97,"license":98,"difficulty_score":99,"env_os":100,"env_gpu":101,"env_ram":102,"env_deps":103,"category_tags":110,"github_topics":111,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":116,"updated_at":117,"faqs":118,"releases":144},7674,"bigscience-workshop\u002Fbigscience","bigscience","Central place for the engineering\u002Fscaling WG: documentation, SLURM scripts and logs, compute environment and data.","bigscience 是一个专注于大规模语言模型研究的开源协作平台，旨在为“语言模型之夏 2021\"工作坊提供统一的工程与扩展支持。它集中整理了训练文档、SLURM 调度脚本、实验日志、计算环境配置及数据集信息，解决了超大规模模型训练中资源协调难、实验记录分散和环境复现复杂等痛点。\n\n该项目托管了两个核心代码库：一是基于 Megatron-DeepSpeed 的旗舰训练框架，二是包含各类实验记录、数据说明和工具集成的综合仓库。用户可以在这里找到从 1.25 亿到 1040 亿参数不等的多个训练任务详情，包括基线模型（如 GPT-2 架构）在不同数据集（C4、OSCAR、Pile）和热身策略下的对比实验结果。所有训练过程均公开透明，提供实时日志查看脚本和 TensorBoard 可视化链接，便于追踪模型收敛情况与调试训练不稳定问题。\n\nbigscience 特别适合 AI 研究人员、深度学习工程师以及对大模型训练机制感兴趣的技术开发者使用。其独特的技术亮点在于完整开源了超大规模训练的实战经验，包括详细的“教训总结”文档和可复现的脚本流程，为社区提供了宝贵的参考基准。无论是希望复现实验、优","bigscience 是一个专注于大规模语言模型研究的开源协作平台，旨在为“语言模型之夏 2021\"工作坊提供统一的工程与扩展支持。它集中整理了训练文档、SLURM 调度脚本、实验日志、计算环境配置及数据集信息，解决了超大规模模型训练中资源协调难、实验记录分散和环境复现复杂等痛点。\n\n该项目托管了两个核心代码库：一是基于 Megatron-DeepSpeed 的旗舰训练框架，二是包含各类实验记录、数据说明和工具集成的综合仓库。用户可以在这里找到从 1.25 亿到 1040 亿参数不等的多个训练任务详情，包括基线模型（如 GPT-2 架构）在不同数据集（C4、OSCAR、Pile）和热身策略下的对比实验结果。所有训练过程均公开透明，提供实时日志查看脚本和 TensorBoard 可视化链接，便于追踪模型收敛情况与调试训练不稳定问题。\n\nbigscience 特别适合 AI 研究人员、深度学习工程师以及对大模型训练机制感兴趣的技术开发者使用。其独特的技术亮点在于完整开源了超大规模训练的实战经验，包括详细的“教训总结”文档和可复现的脚本流程，为社区提供了宝贵的参考基准。无论是希望复现实验、优化训练策略，还是学习如何管理千卡级集群任务，都能从中获得实质性帮助。","# bigscience\n\n[Research workshop on large language models - The Summer of Language Models 21](https:\u002F\u002Fbigscience.huggingface.co\u002F)\n\nAt the moment we have 2 code repos:\n\n1. https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002FMegatron-DeepSpeed - this is our flagship code base\n2. https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience - (this repo) for everything else - docs, experiments, etc.\n\nCurrently, the most active segments of this repo are:\n\n- [JZ](.\u002Fjz\u002F) - Lots of information about our work environment which helps evaluate, plan and get things done\n- [Experiments](.\u002Fexperiments) - many experiments are being done. Documentation, result tables, scripts and logs are all there\n- [Datasets info](.\u002Fdata\u002F)\n- [Train](.\u002Ftrain) - all the information about the current trainings (see below for the most important ones)\n\nWe have READMEs for specific aspects, such as:\n- [hub integration](.\u002Ftools\u002FREADME.md)\n\n\n## Trainings\n\nWhile we keep detailed chronicles of experiments and findings for some of the main trainings, here is a doc that contains a summary of the most important findings: [Lessons learned](train\u002Flessons-learned.md)\n\n\n### Train 1 - 13B - unmodified Megatron gpt2 - baseline\n\n* [the full spec and discussions](.\u002Ftrain\u002Ftr1-13B-base)\n* [the training script](.\u002Ftrain\u002Ftr1-13B-base\u002Ftr1-13B-round1.slurm)\n* checkpoints and logs:\n   - [tensorboard](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr1-13B-tensorboard\u002Ftensorboard)\n   - [logs](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr1-13B-logs\u002F)\n* [chronicles](.\u002Ftrain\u002Ftr1-13B-base\u002Fchronicles.md)\n\nYou can watch the training logs live by running this `tail -f` like script over remote log file that gets synced to the hub once an hour:\n```\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~\u002Fcontent-length: (\\d+)\u002F; \\\nprint qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr1-13B-logs\u002Fresolve\u002Fmain\u002Fmain_log.txt\n\n```\n\n### Train 3\n\nArchitecture and scaling baseline runs: no fancy tricks, just GPT2. Here are links to the respective tensorboards:\n\n| Size                \t| 1B3 \t| 760M \t| 350M \t| 125M \t|\n|---------------------\t|-----\t|------\t|------\t|------\t|\n| C4 + low warmup     \t| [a](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3-1B3-modeling-baseline-tensorboard)   \t| [b](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3b-760M-modeling-baseline-tensorboard)    \t| [c](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3c-350M-modeling-baseline-tensorboard)    \t|      \t|\n| OSCAR + low warmup  \t| [f](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3f-1B3-diagnostic2-low-warmup-oscar-tensorboard)   \t|      \t|      \t|      \t|\n| C4 + high warmup    \t| [e](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3e-1B3-diagnostic1-warmup-c4-tensorboard)   \t|      \t|      \t|      \t|\n| OSCAR + high warmup \t| **[d (current baseline)](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3d-1B3-more-warmup-tensorboard)**   \t| [g](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3g-760M-v2-tensorboard)    \t| [h](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3h-350M-v2-tensorboard)    \t| [i](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3i-125M-v2-tensorboard)    \t|\n| Pile + high warmup  \t| [m](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3m-1B3-pile-tensorboard)   \t| [j](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3j-760M-pile-tensorboard)    \t| [k](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3k-350M-pile-tensorboard)    \t| [l](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3l-125M-pile-tensorboard)    \t|\n\n\n### Train 8\n\n104B - unmodified Megatron gpt2 - with extra-wide hidden size to learn how to deal with training instabilities\n\n* [the full spec and discussions](.\u002Ftrain\u002Ftr8-104B-wide)\n* [the training script](.\u002Ftrain\u002Ftr8-104B-wide\u002Ftr8-104B.slurm)\n* checkpoints and logs:\n   - [tensorboard](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr8-104B-logs\u002Ftensorboard)\n   - [logs](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr8-104B-logs\u002Ftree\u002Fmain\u002Flogs)\n* [chronicles](.\u002Ftrain\u002Ftr8-104B-wide\u002Fchronicles.md)\n\nYou can watch the training logs live by running this `tail -f` like script over remote log file that gets synced to the hub once an hour:\n```\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~\u002Fcontent-length: (\\d+)\u002F; \\\nprint qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fcdn-lfs.huggingface.co\u002Fbigscience\u002Ftr8-104B-logs\u002Fb2cc478d5ae7c9ec937ea2db1d2fe09de593fa2ec38c171d6cc5dca094cd79f9\n```\n\n### Train 11\n\n**This is the current main training**\n\ntr11-176B-ml\n\n* [the full spec and discussions](.\u002Ftrain\u002Ftr11-176B-ml\u002F)\n* [the training script](.\u002Ftrain\u002Ftr11-176B-ml\u002Ftr11-176B-ml.slurm)\n* checkpoints and logs:\n   - [tensorboard](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr11-176B-ml-logs\u002Ftensorboard)\n   - [logs](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr11-176B-ml-logs\u002Ftree\u002Fmain\u002Flogs\u002Fmain)\n* [chronicles-prequel](.\u002Ftrain\u002Ftr11-176B-ml\u002Fchronicles-prequel.md)\n* [chronicles](.\u002Ftrain\u002Ftr11-176B-ml\u002Fchronicles.md)\n\nYou can watch the training logs live by running this `tail -f` like script over remote log file that gets synced to the hub once an hour:\n```\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -LsI $u]=~\u002F2 200.*?content-length: (\\d+)\u002Fs; \\\nprint qx[curl -Lsr $b-$e $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr11-176B-ml-logs\u002Fresolve\u002Fmain\u002Flogs\u002Fmain\u002Fmain_log.txt\n```\n","# 大科学\n\n[大型语言模型研究工作坊 - 语言模型之夏21](https:\u002F\u002Fbigscience.huggingface.co\u002F)\n\n目前我们有两个代码仓库：\n\n1. https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002FMegatron-DeepSpeed - 这是我们旗舰级的代码库\n2. https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience - （此仓库）用于存放其他内容，包括文档、实验等。\n\n当前，该仓库中最活跃的部分有：\n\n- [JZ](.\u002Fjz\u002F) - 包含大量关于我们工作环境的信息，有助于评估、规划和推进工作。\n- [Experiments](.\u002Fexperiments) - 正在进行许多实验。这里包含了实验文档、结果表格、脚本和日志等。\n- [Datasets info](.\u002Fdata\u002F)\n- [Train](.\u002Ftrain) - 所有与当前训练相关的信息（详见下方的重要训练）。\n\n我们为特定方面提供了 README 文件，例如：\n- [hub 集成](.\u002Ftools\u002FREADME.md)\n\n\n## 训练\n\n虽然我们为一些主要训练保存了详细的实验记录和发现，但这里有一份文档总结了最重要的经验教训：[Lessons learned](train\u002Flessons-learned.md)\n\n\n### 训练1 - 13B - 未修改的 Megatron gpt2 - 基线\n\n* [完整规格及讨论](.\u002Ftrain\u002Ftr1-13B-base)\n* [训练脚本](.\u002Ftrain\u002Ftr1-13B-base\u002Ftr1-13B-round1.slurm)\n* 检查点和日志：\n   - [tensorboard](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr1-13B-tensorboard\u002Ftensorboard)\n   - [日志](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr1-13B-logs\u002F)\n* [编年史](.\u002Ftrain\u002Ftr1-13B-base\u002Fchronicles.md)\n\n你可以通过运行以下类似 `tail -f` 的脚本来实时查看训练日志，该脚本会每隔一小时从远程日志文件中读取并同步到 hub：\n```\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~\u002Fcontent-length: (\\d+)\u002F; \\\nprint qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr1-13B-logs\u002Fresolve\u002Fmain\u002Fmain_log.txt\n\n```\n\n### 训练3\n\n架构和规模基准运行：没有花哨的技巧，只是 GPT2。以下是相应 tensorboard 的链接：\n\n| 规模                \t| 1B3 \t| 760M \t| 350M \t| 125M \t|\n|---------------------\t|-----\t|------\t|------\t|------\t|\n| C4 + 低预热     \t| [a](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3-1B3-modeling-baseline-tensorboard)   \t| [b](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3b-760M-modeling-baseline-tensorboard)    \t| [c](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3c-350M-modeling-baseline-tensorboard)    \t|      \t|\n| OSCAR + 低预热  \t| [f](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3f-1B3-diagnostic2-low-warmup-oscar-tensorboard)   \t|      \t|      \t|      \t|\n| C4 + 高预热    \t| [e](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3e-1B3-diagnostic1-warmup-c4-tensorboard)   \t|      \t|      \t|      \t|\n| OSCAR + 高预热 \t| **[d (当前基线)](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3d-1B3-more-warmup-tensorboard)**   \t| [g](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3g-760M-v2-tensorboard)    \t| [h](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3h-350M-v2-tensorboard)    \t| [i](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3i-125M-v2-tensorboard)    \t|\n| Pile + 高预热  \t| [m](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3m-1B3-pile-tensorboard)   \t| [j](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3j-760M-pile-tensorboard)    \t| [k](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3k-350M-pile-tensorboard)    \t| [l](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3l-125M-pile-tensorboard)    \t|\n\n\n### 训练8\n\n104B - 未修改的 Megatron gpt2 - 使用超宽隐藏层大小，以学习如何应对训练中的不稳定性。\n\n* [完整规格及讨论](.\u002Ftrain\u002Ftr8-104B-wide)\n* [训练脚本](.\u002Ftrain\u002Ftr8-104B-wide\u002Ftr8-104B.slurm)\n* 检查点和日志：\n   - [tensorboard](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr8-104B-logs\u002Ftensorboard)\n   - [日志](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr8-104B-logs\u002Ftree\u002Fmain\u002Flogs)\n* [编年史](.\u002Ftrain\u002Ftr8-104B-wide\u002Fchronicles.md)\n\n你可以通过运行以下类似 `tail -f` 的脚本来实时查看训练日志，该脚本会每隔一小时从远程日志文件中读取并同步到 hub：\n```\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~\u002Fcontent-length: (\\d+)\u002F; \\\nprint qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fcdn-lfs.huggingface.co\u002Fbigscience\u002Ftr8-104B-logs\u002Fb2cc478d5ae7c9ec937ea2db1d2fe09de593fa2ec38c171d6cc5dca094cd79f9\n```\n\n### 训练11\n\n**这是当前的主要训练**\n\ntr11-176B-ml\n\n* [完整规格及讨论](.\u002Ftrain\u002Ftr11-176B-ml\u002F)\n* [训练脚本](.\u002Ftrain\u002Ftr11-176B-ml\u002Ftr11-176B-ml.slurm)\n* 检查点和日志：\n   - [tensorboard](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr11-176B-ml-logs\u002Ftensorboard)\n   - [日志](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr11-176B-ml-logs\u002Ftree\u002Fmain\u002Flogs\u002Fmain)\n* [编年史前传](.\u002Ftrain\u002Ftr11-176B-ml\u002Fchronicles-prequel.md)\n* [编年史](.\u002Ftrain\u002Ftr11-176B-ml\u002Fchronicles.md)\n\n你可以通过运行以下类似 `tail -f` 的脚本来实时查看训练日志，该脚本会每隔一小时从远程日志文件中读取并同步到 hub：\n```\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -LsI $u]=~\u002F2 200.*?content-length: (\\d+)\u002Fs; \\\nprint qx[curl -Lsr $b-$e $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr11-176B-ml-logs\u002Fresolve\u002Fmain\u002Flogs\u002Fmain\u002Fmain_log.txt\n```","# BigScience 快速上手指南\n\nBigScience 是一个专注于大型语言模型（LLM）研究的开源工作坊项目。其核心代码库基于 Megatron-DeepSpeed，旨在支持超大规模模型的训练与研究。本指南将帮助您快速了解项目结构并访问关键的训练资源。\n\n## 环境准备\n\n本项目主要包含文档、实验脚本和数据分析工具，核心训练代码位于独立的仓库中。\n\n*   **系统要求**：推荐 Linux 环境（项目大量使用 Slurm 调度脚本）。\n*   **前置依赖**：\n    *   Git\n    *   Python 3.8+\n    *   Perl（用于实时日志监控脚本）\n    *   Curl\n*   **核心代码库**：\n    实际进行模型训练和推理需克隆旗舰代码库：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002FMegatron-DeepSpeed.git\n    ```\n*   **文档与实验库**（本仓库）：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience.git\n    cd bigscience\n    ```\n\n> **注意**：目前 README 未提供特定的中国镜像源。由于仓库托管在 GitHub 和 Hugging Face，国内开发者若遇到连接问题，建议配置 GitHub 加速代理或使用 Hugging Face 国内镜像（如 `hf-mirror.com`）来下载模型权重和日志数据。\n\n## 安装步骤\n\n本仓库主要用于存放文档、实验记录和数据处理脚本，通常无需复杂的“安装”过程。只需克隆仓库即可开始查阅资料。\n\n1.  **克隆仓库**：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience.git\n    ```\n\n2.  **进入目录**：\n    ```bash\n    cd bigscience\n    ```\n\n3.  **查看关键目录结构**：\n    *   `train\u002F`：包含当前主要训练任务（如 176B 模型）的规格说明、脚本和记录。\n    *   `experiments\u002F`：包含各类实验的文档、结果表格和日志。\n    *   `data\u002F`：数据集相关信息。\n    *   `jz\u002F`：关于工作环境（Jean Zay 超算）的配置与评估信息。\n\n若需运行具体的训练任务，请参照 `train\u002F` 目录下对应子文件夹中的 `.slurm` 脚本，并在配置好 Megatron-DeepSpeed 环境的集群上提交任务。\n\n## 基本使用\n\nBigScience 项目的核心用途是复现大规模模型训练或研究其训练过程。以下是几种最常用的使用场景：\n\n### 1. 查阅训练经验总结\n在项目正式训练大规模模型前，建议先阅读经验总结文档，了解遇到的陷阱和解决方案：\n```bash\n# 查看主要训练任务的教训总结\ncat train\u002Flessons-learned.md\n```\n\n### 2. 实时监控训练日志\n项目提供了 Perl 脚本，可以像本地 `tail -f` 一样实时查看同步到 Hugging Face Hub 的远程训练日志。\n\n**示例：监控 Train 11 (176B 模型) 的实时日志**\n这是当前的主训练任务，运行以下命令即可流式获取最新日志：\n```bash\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -LsI $u]=~\u002F2 200.*?content-length: (\\d+)\u002Fs; \\\nprint qx[curl -Lsr $b-$e $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr11-176B-ml-logs\u002Fresolve\u002Fmain\u002Flogs\u002Fmain\u002Fmain_log.txt\n```\n\n**示例：监控 Train 1 (13B 基线模型) 的实时日志**\n```bash\nperl -e '$u=shift; $b=0; while(1){($e)=qx[curl -sI $u]=~\u002Fcontent-length: (\\d+)\u002F; \\\nprint qx[curl -sr $b-$e -L $u] if $e>$b; $b=$e; sleep 300}' \\\nhttps:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr1-13B-logs\u002Fresolve\u002Fmain\u002Fmain_log.txt\n```\n\n### 3. 访问不同规模的实验看板 (TensorBoard)\n项目进行了多组不同参数量（从 125M 到 1.3B）和不同数据集（C4, OSCAR, Pile）的基线测试。您可以直接访问以下链接查看训练曲线：\n\n*   **当前基线 (OSCAR + 高预热)**: [1.3B 模型看板](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3d-1B3-more-warmup-tensorboard)\n*   **Pile 数据集系列**:\n    *   [1.3B](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3m-1B3-pile-tensorboard) | [760M](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3j-760M-pile-tensorboard) | [350M](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3k-350M-pile-tensorboard) | [125M](https:\u002F\u002Fhuggingface.co\u002Fbigscience\u002Ftr3l-125M-pile-tensorboard)\n\n### 4. 获取训练脚本与规格\n如需复现特定训练（例如 104B 宽隐藏层实验），可进入对应目录查看 Slurm 脚本和详细配置：\n```bash\n# 查看 Train 8 (104B) 的训练脚本\ncat train\u002Ftr8-104B-wide\u002Ftr8-104B.slurm\n\n# 查看完整规格讨论\ncat train\u002Ftr8-104B-wide\u002Fchronicles.md\n```","某大型语言模型研究团队正计划复现并扩展 BLOOM 模型的训练实验，需要在分布式集群上管理从数据准备到超大规模训练的全流程。\n\n### 没有 bigscience 时\n- **环境配置混乱**：团队成员需手动编写和调试复杂的 SLURM 脚本，常因计算环境不一致导致任务提交失败或资源浪费。\n- **实验记录分散**：训练日志、TensorBoard 数据和关键参数散落在不同成员的本地机器或临时存储中，难以追溯历史实验细节。\n- **复现难度极高**：缺乏统一的基准代码库（如 Megatron-DeepSpeed 的特定修改版）和详细的“经验教训”文档，新人上手极易踩坑。\n- **监控滞后**：无法实时查看远程训练状态，只能等待任务结束或手动同步日志，难以及时干预训练不稳定情况。\n\n### 使用 bigscience 后\n- **一键部署环境**：直接复用仓库中经过验证的 SLURM 脚本和计算环境配置文档，大幅降低集群任务提交门槛，确保环境一致性。\n- **全链路实验归档**：所有实验的完整规范、结果表格、脚本及实时同步至 Hugging Face Hub 的日志均集中管理，随时可查。\n- **站在巨人肩膀上**：基于官方维护的旗舰代码库和\"Lessons learned\"文档快速启动，直接参考 Train 1\u002F3\u002F8 等成熟案例规避已知陷阱。\n- **实时训练洞察**：利用提供的流式日志脚本，像本地 `tail -f` 一样实时监控远程百亿参数模型的训练动态，即时调整策略。\n\nbigscience 将原本碎片化、高门槛的大模型工程实践转化为标准化、可协作的中心化工作流，显著提升了科研迭代效率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbigscience-workshop_bigscience_ed975703.png","bigscience-workshop","BigScience Workshop","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fbigscience-workshop_1ddc064e.png","Research workshop on large language models - The Summer of Language Models 21",null,"bigscience-contact@googlegroups.com","BigScienceW","https:\u002F\u002Fbigscience.huggingface.co","https:\u002F\u002Fgithub.com\u002Fbigscience-workshop",[83,87,91],{"name":84,"color":85,"percentage":86},"Shell","#89e051",72.5,{"name":88,"color":89,"percentage":90},"Python","#3572A5",27.4,{"name":92,"color":93,"percentage":94},"Makefile","#427819",0.1,1009,101,"2026-04-11T10:02:27","NOASSERTION",5,"Linux","必需。基于 Megatron-DeepSpeed 框架，需多卡 NVIDIA GPU 集群环境（文中提及 13B、104B、176B 等超大模型训练），具体显存和 CUDA 版本未在本文档说明，但通常此类训练需 A100\u002FH100 及高版本 CUDA。","未说明（大规模分布式训练通常需数百 GB 至 TB 级内存）",{"notes":104,"python":105,"dependencies":106},"本项目主要包含大型语言模型的研究文档、实验记录和脚本，核心代码库位于独立的 'Megatron-DeepSpeed' 仓库。文中提到的训练任务（如 176B 模型）需在高性能计算集群（如使用 Slurm 调度系统）上运行，不适合普通单机环境。文档提供了通过 Perl 脚本实时远程查看训练日志的方法。","未说明",[107,108,109],"Megatron-DeepSpeed","PyTorch","Deepspeed",[14,35],[112,113,114,115],"nlp","machine-learning","training","models","2026-03-27T02:49:30.150509","2026-04-15T13:13:19.616757",[119,124,129,134,139],{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},34357,"如何备份最终训练数据到存储区？","需要将以下文件夹备份到 STORE 存储区：`\u002Fgpfswork\u002Frech\u002Fsix\u002Fcommun\u002Fbigscience-training\u002Fmerged-meg-ds_v2`。维护者已确认该操作已完成（done）。","https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience\u002Fissues\u002F34",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},34353,"最终模型配置中的 Tokenizer 路径错误，应该使用哪个正确的路径？","目前的配置指向的是仅用于测试的 Tokenizer。正确的路径应更改为：`bigscience-catalogue-data-dev\u002Fbyte-level-bpe-tokenizer-no-norm-250k-whitespace-and-eos-regex-alpha-v3-dedup-lines-articles`。但在切换之前，需要先与 Thomas (@thomasw21) 协调，确认准备就绪后再进行切换。","https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience\u002Fissues\u002F32",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},34354,"为什么需要 384 (12*2*16) 的批量大小才能填满所有流水线阶段（Pipeline Stages）？","根据流水线并行（PP=12）和微批次大小（MBS=2）的配置，只有当全局批量大小达到 384（计算公式：12 * 2 * 16）时，所有流水线阶段才会首次被完全填满。在此之前（例如迭代次数较少时），运行效率会非常低；一旦填满，性能将显著提升（预计从 113 TFLOPs 提升至约 90 TFLOPs 的有效吞吐量水平，注：原文此处数值对比意指效率提升后的稳定状态）。","https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience\u002Fissues\u002F70",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},34355,"最终训练进行了多少个 Epoch？配置文件显示的步数似乎不足以完成一个 Epoch。","虽然配置文件显示数据集样本数为 2.2 亿，全局批量大小为 2048（计算得出每 Epoch 约 107K 步），而总训练步数为 95K，看似未完成第一个 Epoch。但根据训练记录（Training Chronicles），实际上进行了超过一个 Epoch 的训练。这通常意味着在训练过程中数据集的采样策略、去重处理或实际使用的样本计数与初始配置文件中的静态数值有所调整，具体细节需参考最终的训练日志记录。","https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience\u002Fissues\u002F60",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},34356,"如何获取用于训练 1B3 模型的数据集？找不到相关的脚本。","1B3 模型使用的数据集配置路径为 `data\u002Fcatalogue\u002Ftraining_dataset_ratios_merged_nigercongo_v3.json`。如果在 `data` 目录下找不到直接生成该数据的脚本，通常需要参考 `catalogue` 相关的数据处理流程，或者检查是否需要在更大的数据合并流程中通过指定该 JSON 配置文件来间接生成。建议查阅项目关于数据目录（catalogue）的文档以了解如何构建此特定版本的数据集。","https:\u002F\u002Fgithub.com\u002Fbigscience-workshop\u002Fbigscience\u002Fissues\u002F59",[]]