[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-AI-Hypercomputer--maxtext":3,"tool-AI-Hypercomputer--maxtext":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":99,"forks":100,"last_commit_at":101,"license":102,"difficulty_score":103,"env_os":104,"env_gpu":105,"env_ram":106,"env_deps":107,"category_tags":118,"github_topics":119,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":133,"updated_at":134,"faqs":135,"releases":163},3469,"AI-Hypercomputer\u002Fmaxtext","maxtext","A simple, performant and scalable Jax LLM!","MaxText 是一款由谷歌开源的高性能大语言模型（LLM）训练库，基于纯 Python 和 JAX 构建，专为在 Google Cloud TPU 和 GPU 上实现高效、可扩展的模型训练而设计。它解决了传统框架在大规模集群训练中配置复杂、优化困难及资源利用率低的痛点，让开发者能够轻松地从单台主机扩展至数万个芯片集群，同时保持极高的计算效率（MFU）和吞吐量。\n\nMaxText 内置了 Gemma、Llama、DeepSeek、Qwen 和 Mistral 等主流模型架构，全面支持预训练及监督微调（SFT）、组相对策略优化（GRPO）等后训练技术。其核心亮点在于充分利用 JAX 生态与 XLA 编译器能力，实现了“近乎无需手动优化”的简洁开发体验，让用户能专注于算法创新而非底层工程调优。\n\n这款工具非常适合希望快速搭建大规模 LLM 项目的研究人员、AI 工程师及企业开发者。无论是进行前沿学术探索，还是部署生产级大模型，MaxText 都提供了坚实的参考实现与灵活的定制空间。近期更新更增加了对多模态模型及新型内存机制的支持，持续推动开源社区的技术边界。","\u003C!--\n # Copyright 2023–2025 Google LLC\n#\n# Licensed under the Apache License, Version 2.0 (the \"License\");\n# you may not use this file except in compliance with the License.\n# You may obtain a copy of the License at\n#\n#    https:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0\n#\n# Unless required by applicable law or agreed to in writing, software\n# distributed under the License is distributed on an \"AS IS\" BASIS,\n# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\n# See the License for the specific language governing permissions and\n# limitations under the License.\n -->\n\n# MaxText\n\n[![MaxText Tests](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Factions\u002Fworkflows\u002Fbuild_and_test_maxtext.yml\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Factions\u002Fworkflows\u002Fbuild_and_test_maxtext.yml)\n\n> **_NOTE:_** We recommend running MaxText with Python 3.12, as it is our primary supported version. Other Python versions may encounter compatibility issues.\n\nMaxText is a high performance, highly scalable, open-source LLM library and reference implementation written in pure Python\u002F[JAX](https:\u002F\u002Fdocs.jax.dev\u002Fen\u002Flatest\u002Fjax-101.html) and targeting Google Cloud TPUs and GPUs for training.\n\nMaxText provides a library of high performance models to choose from, including Gemma, Llama, DeepSeek, Qwen, and Mistral. For each of these models, MaxText supports pre-training (up to tens of thousands of chips) and scalable post-training, with popular techniques like Supervised Fine-Tuning (SFT) and Group Relative Policy Optimization (GRPO, a type of Reinforcement Learning) and Group Sequence Policy Optimization (GSPO, a type of Reinforcement Learning).\n\nMaxText achieves high Model FLOPs Utilization (MFU) and tokens\u002Fsecond from single host to very large clusters while staying simple and largely \"optimization-free\" thanks to the power of JAX and the XLA compiler.\n\nMaxText is the launching point for ambitious LLM projects both in research and production. We encourage you to start by experimenting with MaxText out of the box and then fork and modify MaxText to meet your needs.\n\nCheck out our [Read The Docs site](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002F) or directly [Get Started](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Ffirst_run.html) with your first MaxText run. If you’re interested in Diffusion models (Wan 2.1, Flux, etc), see the [MaxDiffusion](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxdiffusion) repository in our AI Hypercomputer GitHub organization.\n\n## Installation\n\nSee our installation guide to [install MaxText with pip from PyPI](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html#from-pypi-recommended).\n\n## Decoupled mode\nSee our guide on running MaxText in decoupled mode, without any GCP dependencies in [Decoupled Mode Guide](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Frun_maxtext\u002Fdecoupled_mode.html).\n\n\u003C!-- NEWS START -->\n\n## 🔥 Latest news 🔥\n\n* \\[April 2, 2026\\] Gemma 4 multi-modal models (26B MoE, 31B dense) are now supported! Try them out with our [gemma4-26b](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fgemma4-26b.yml) and [gemma4-31b](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fgemma4-31b.yml) configs. For more details, see [Run_Gemma4.md](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Ftests\u002Fend_to_end\u002Ftpu\u002Fgemma4\u002FRun_Gemma4.md).\n* \\[March 6, 2026\\] New features from DeepSeek-AI are now supported: Conditional Memory via Scalable Lookup ([Engram](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.07372)) and Manifold-Constrained Hyper-Connections ([mHC](https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.24880)). Try them out with our [deepseek-custom](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fdeepseek-custom.yml) starter config.\n* \\[March 5, 2026\\] New `tpu-post-train` [target in PyPI](https:\u002F\u002Fpypi.org\u002Fproject\u002Fmaxtext). Please also use this installation option for running vllm_decode. See the [MaxText installation instructions](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html) for more info.\n* \\[March 5, 2026\\] [Qwen3-Next](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F7656eb8d1c9eb0dd91e617a6fdf6ad805221221a\u002Ftests\u002Fend_to_end\u002Ftpu\u002Fqwen\u002Fnext\u002Frun_qwen3_next.md) is now supported.\n* \\[February 27, 2026\\] New MaxText structure! MaxText has been restructured according to [RESTRUCTURE.md](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F1b9e38aa0a19b6018feb3aed757406126b6953a1\u002FRESTRUCTURE.md). Please feel free to share your thoughts and feedback. \n* \\[December 22, 2025\\] [Muon optimizer](https:\u002F\u002Fkellerjordan.github.io\u002Fposts\u002Fmuon) is now supported.\n* \\[December 10, 2025\\] DeepSeek V3.1 is now supported. Use existing configs for [DeepSeek V3 671B](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F7656eb8d1c9eb0dd91e617a6fdf6ad805221221a\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fdeepseek3-671b.yml) and load in V3.1 checkpoint to use model.\n* \\[December 9, 2025\\] [New RL and SFT Notebook tutorials](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Ftree\u002F7656eb8d1c9eb0dd91e617a6fdf6ad805221221a\u002Fsrc\u002Fmaxtext\u002Fexamples) are available.\n* \\[December 4, 2025\\] The [ReadTheDocs documentation site](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Findex.html) has been reorganized.\n* \\[December 3, 2025\\] Multi-host support for GSPO and GRPO is now available via [new RL tutorials](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Frl_on_multi_host.html).\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>View full news archive\u003C\u002Fb>\u003C\u002Fsummary>\n\n* \\[November 20, 2025\\] A new guide, [What is Post Training in MaxText?](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fpost_training_index.html), is now available.\n* \\[November 6, 2025\\] Ironwood TPU co-designed AI stack announced. Read the [blog post on its co-design with MaxText](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fcompute\u002Finside-the-ironwood-tpu-codesigned-ai-stack?e=48754805).\n* \\[October 29, 2025\\] [Optimized models tiering documentation](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Freference\u002Fmodels\u002Ftiering.html) has been refreshed.\n* \\[October 12, 2025\\] Added Versioning. Check out our [first set of release notes](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Frelease_notes.html)!\n* \\[October 10, 2025\\] Post-Training (SFT, RL) via [Tunix](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Ftunix) is now available.\n* \\[September 26, 2025\\] Vocabulary tiling ([PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F2242)) is now supported in MaxText! Adjust config `num_vocab_tiling` to unlock more efficient memory usage.\n* \\[September 24, 2025\\] The GPT-OSS family of models (20B, 120B) is now supported.\n* \\[September 15, 2025\\] MaxText is now available as a [PyPI package](https:\u002F\u002Fpypi.org\u002Fproject\u002Fmaxtext). Users can now [install maxtext through pip](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html).\n* \\[September 5, 2025\\] MaxText has moved to an `src` layout as part of [RESTRUCTURE.md](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Faca5b24931ebcbadb55a82e56ebffe8024874028\u002FRESTRUCTURE.md). For existing environments, please run `pip install -e .` from MaxText root.\n* \\[August 13, 2025\\] The Qwen3 2507 MoE family of models is now supported: MoEs: 235B Thinking & 480B Coder as well as existing dense models: 0.6B, 4B, 8B, 14B, and 32B.\n* \\[July 27, 2025\\] Updated TFLOPS\u002Fs calculation ([PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F1988)) to account for causal attention, dividing the attention flops in half. Accounted for sliding window and chunked attention reduced attention flops in [PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F2009) and [PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F2030). Changes impact large sequence configs, as explained in this [doc](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Freference\u002Fperformance_metrics.html)\n* \\[July 16, 2025\\] We will be restructuring the MaxText repository for improved organization and clarity. Please review the [proposed structure](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Faca5b24931ebcbadb55a82e56ebffe8024874028\u002FRESTRUCTURE.md) and provide feedback.\n* \\[July 11, 2025\\] Multi-Token Prediction (MTP) training support\\! Adds an auxiliary loss based on predicting multiple future tokens, inspired by [DeepSeek-V3 paper](https:\u002F\u002Farxiv.org\u002Fhtml\u002F2412.19437v1), to enhance training efficiency.\n* \\[June 25, 2025\\] DeepSeek R1-0528 variant is now supported.\n* \\[April 24, 2025\\] Llama 4 Maverick models are now supported.\n\u003C\u002Fdetails>\n\u003C!-- NEWS END -->\n\n## Use cases\n\nMaxText provides a library of models and demonstrates how to perform pre-training or post-training with high performance and scale.\n\nMaxText leverages [JAX AI libraries](https:\u002F\u002Fdocs.jaxstack.ai\u002Fen\u002Flatest\u002Fgetting_started.html) and presents a cohesive and comprehensive demonstration of training at scale by using [Flax](https:\u002F\u002Fflax.readthedocs.io\u002Fen\u002Flatest\u002F) (neural networks), [Tunix](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Ftunix) (post-training), [Orbax](https:\u002F\u002Forbax.readthedocs.io\u002Fen\u002Flatest\u002F) (checkpointing), [Optax](https:\u002F\u002Foptax.readthedocs.io\u002Fen\u002Flatest\u002F) (optimization), and [Grain](https:\u002F\u002Fgoogle-grain.readthedocs.io\u002Fen\u002Flatest\u002F) (dataloading).\n\nIn addition to pure text-based LLMs, we also support multi-modal training with Gemma 3, Gemma 4, and Llama 4 VLMs.\n\n### Pre-training\n\nIf you’re building models from scratch, MaxText can serve as a reference implementation for experimentation, ideation, and inspiration \\- just fork and modify MaxText to train your model, whether it’s a small dense model like Llama 8B, or a large MoE like DeepSeek-V3. Experiment with configs and model design to build the most efficient model on TPU or GPU.\n\nMaxText provides opinionated implementations for how to achieve optimal performance across a wide variety of dimensions like sharding, quantization, and checkpointing.\n\n### Post-training\n\nIf you are post-training a model, whether it is proprietary or open source, MaxText provides a scalable framework using Tunix. For RL (like GRPO), we leverage vLLM for sampling and Pathways (soon) for multi-host.\n\nOur goal is to provide a variety of models (dimension “a”) and techniques (dimension “b”), so you can easily explore (a) \\* (b) combinations and efficiently train the perfect model for your use case.\n\nCheck out these getting started guides:\n\n* Supervised Fine Tuning (SFT)\n  * [SFT on Single-Host TPUs](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Fsft.html)\n  * [SFT on Multi-Host TPUs](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Fsft_on_multi_host.html)\n* Reinforcement Learning (RL)\n  * [RL on Single-Host TPUs](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Frl.html)\n  * [RL on Multi-Host TPUs](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Frl_on_multi_host.html)\n\n### Model library\n\nMaxText aims to provide you with the best OSS models, whether as a reference implementation, or to post-train and then serve with vLLM.\n\n**Supported JAX models in MaxText**\n\n* Google\n  * Gemma 4 (26B MoE, 31B Dense)\n  * Gemma 3 (4B, 12B, 27B)\n  * Gemma 2 (2B, 9B, 27B)\n  * Gemma 1 (2B, 7B)\n* Alibaba\n  * Qwen 2.5 (1.5B, 7B, 14B)\n  * Qwen 3 MoE 2507 (235B, 480B)\n  * Qwen 3 MoE (30B, 235B)\n  * Qwen 3 Dense (0.6B, 1.7B, 4B, 8B, 14B, 32B)\n* DeepSeek\n  * DeepSeek V3.1 (671B)\n  * DeepSeek V3 0324 (671B) & DeepSeek R1 0528 (671B)\n  * DeepSeek V2 (16B, 236B)\n* Meta\n  * Llama 4 Scout (109B) & Maverick (400B)\n  * Llama 3.3 70B, 3.1 (8B, 70B, 405B), 3.0 (8B, 70B, 405B)\n  * Llama 2 (7B, 13B, 70B)\n* Open AI\n  * GPT-OSS (20B, 120B)\n  * GPT3 (52K, 6B, 22B, 175B)\n* Mistral\n  * Mixtral (8x7B, 8x22B)\n  * Mistral (7B)\n* Diffusion Models\n  * See [MaxDiffusion](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxdiffusion) (LTXV, Wan 2.1, Flux, SDXL, etc)\n\n## Get involved\n\nPlease join our [Discord Channel](https:\u002F\u002Fdiscord.com\u002Finvite\u002F2H9PhvTcDU) and if you have feedback, you can file a feature request, documentation request, or bug report [here](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fissues\u002Fnew\u002Fchoose).\n\n## License\n\n[Apache License 2.0](LICENSE)\n","\u003C!--\n # 版权所有 2023–2025 Google LLC\n#\n# 根据 Apache License, Version 2.0（“许可证”）授权；\n# 除非符合许可证的规定，否则不得使用本文件。\n# 您可以在以下地址获取许可证副本：\n#\n#    https:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0\n#\n# 除非适用法律要求或双方另有约定，否则软件按“原样”分发，\n# 不提供任何形式的保证或条件，无论是明示的还是默示的。\n# 请参阅许可证以了解具体的权限和限制。\n -->\n\n# MaxText\n\n[![MaxText 测试](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Factions\u002Fworkflows\u002Fbuild_and_test_maxtext.yml\u002Fbadge.svg)](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Factions\u002Fworkflows\u002Fbuild_and_test_maxtext.yml)\n\n> **_注意:_** 我们建议使用 Python 3.12 运行 MaxText，因为它是我们主要支持的版本。其他 Python 版本可能会遇到兼容性问题。\n\nMaxText 是一个高性能、高度可扩展的开源大模型库及参考实现，完全用 Python 和 [JAX](https:\u002F\u002Fdocs.jax.dev\u002Fen\u002Flatest\u002Fjax-101.html) 编写，专为在 Google Cloud 的 TPU 和 GPU 上进行训练而设计。\n\nMaxText 提供了一系列高性能模型供选择，包括 Gemma、Llama、DeepSeek、Qwen 和 Mistral 等。对于这些模型，MaxText 支持预训练（最多可扩展至数万台芯片）以及可扩展的后训练，涵盖监督微调（SFT）、组相对策略优化（GRPO，一种强化学习方法）和组序列策略优化（GSPO，另一种强化学习方法）等常用技术。\n\n借助 JAX 和 XLA 编译器的强大功能，MaxText 在从单机到超大规模集群的场景下，都能实现高模型浮点运算利用率（MFU）和每秒处理的 token 数，同时保持代码简洁且基本无需手动优化。\n\nMaxText 是科研和生产领域中雄心勃勃的大模型项目的起点。我们鼓励您先从开箱即用的 MaxText 开始实验，然后根据自身需求对 MaxText 进行 fork 和修改。\n\n请访问我们的 [Read The Docs 网站](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002F) 或直接按照 [快速入门指南](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Ffirst_run.html) 进行您的首次 MaxText 运行。如果您对扩散模型（如 Wan 2.1、Flux 等）感兴趣，请查看我们 AI Hypercomputer GitHub 组织下的 [MaxDiffusion](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxdiffusion) 仓库。\n\n## 安装\n\n请参阅我们的安装指南，了解如何通过 [PyPI 使用 pip 安装 MaxText](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html#from-pypi-recommended)。\n\n## 解耦模式\n请参阅我们的解耦模式运行指南，在不依赖任何 GCP 服务的情况下运行 MaxText：[解耦模式指南](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Frun_maxtext\u002Fdecoupled_mode.html)。\n\n\u003C!-- 新闻开始 -->\n\n## 🔥 最新消息 🔥\n\n* \\[2026年4月2日\\] 现已支持Gemma 4多模态模型（26B MoE、31B密集模型）！请使用我们的[gemma4-26b](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fgemma4-26b.yml)和[gemma4-31b](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fgemma4-31b.yml)配置进行尝试。更多详情请参阅[Run_Gemma4.md](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Ftests\u002Fend_to_end\u002Ftpu\u002Fgemma4\u002FRun_Gemma4.md)。\n* \\[2026年3月6日\\] 现已支持DeepSeek-AI的新功能：通过可扩展查找实现的条件记忆（[Engram](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.07372)）以及流形约束超连接（[mHC](https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.24880)）。请使用我们的[deepseek-custom](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fdeepseek-custom.yml)入门配置进行体验。\n* \\[2026年3月5日\\] PyPI中新增`tpu-post-train`目标。运行vllm_decode时也请使用此安装选项。更多信息请参阅[MaxText安装说明](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html)。\n* \\[2026年3月5日\\] 现已支持[Qwen3-Next](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F7656eb8d1c9eb0dd91e617a6fdf6ad805221221a\u002Ftests\u002Fend_to_end\u002Ftpu\u002Fqwen\u002Fnext\u002Frun_qwen3_next.md)。\n* \\[2026年2月27日\\] MaxText全新架构！MaxText已根据[RESTRUCTURE.md](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F1b9e38aa0a19b6018feb3aed757406126b6953a1\u002FRESTRUCTURE.md)进行了重构。欢迎分享您的想法与反馈。\n* \\[2025年12月22日\\] 现已支持[Muon优化器](https:\u002F\u002Fkellerjordan.github.io\u002Fposts\u002Fmuon)。\n* \\[2025年12月10日\\] 现已支持DeepSeek V3.1。请使用现有的[DeepSeek V3 671B](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F7656eb8d1c9eb0dd91e617a6fdf6ad805221221a\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fdeepseek3-671b.yml)配置，并加载V3.1检查点以使用该模型。\n* \\[2025年12月9日\\] 新的RL和SFT笔记本教程已在[MaxText示例目录](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Ftree\u002F7656eb8d1c9eb0dd91e617a6fdf6ad805221221a\u002Fsrc\u002Fmaxtext\u002Fexamples)中提供。\n* \\[2025年12月4日\\] [ReadTheDocs文档网站](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Findex.html)已完成重新组织。\n* \\[2025年12月3日\\] 通过[新的RL教程](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Frl_on_multi_host.html)，现已支持GSPO和GRPO的多主机模式。\n\n\u003Cdetails>\n\u003Csummary>\u003Cb>查看完整新闻存档\u003C\u002Fb>\u003C\u002Fsummary>\n\n* \\[2025年11月20日\\] 新指南[什么是MaxText中的后训练？](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fpost_training_index.html)现已发布。\n* \\[2025年11月6日\\] 宣布推出Ironwood TPU联合设计的AI栈。请阅读关于其与MaxText联合设计的[博客文章](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fcompute\u002Finside-the-ironwood-tpu-codesigned-ai-stack?e=48754805)。\n* \\[2025年10月29日\\] [优化模型分级文档](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Freference\u002Fmodels\u002Ftiering.html)已更新。\n* \\[2025年10月12日\\] 增加了版本管理。请查看我们的[第一组发布说明](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Frelease_notes.html)！\n* \\[2025年10月10日\\] 现可通过[Tunix](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Ftunix)进行后训练（SFT、RL）。\n* \\[2025年9月26日\\] MaxText现已支持词汇分块（[PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F2242)）！调整配置项`num_vocab_tiling`即可解锁更高效的内存使用。\n* \\[2025年9月24日\\] 现已支持GPT-OSS系列模型（20B、120B）。\n* \\[2025年9月15日\\] MaxText现已成为一个[PyPI软件包](https:\u002F\u002Fpypi.org\u002Fproject\u002Fmaxtext)。用户现在可以通过[pip安装MaxText](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html)。\n* \\[2025年9月5日\\] MaxText已迁移到`src`布局，作为[RESTRUCTURE.md](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Faca5b24931ebcbadb55a82e56ebffe8024874028\u002FRESTRUCTURE.md)的一部分。对于现有环境，请从MaxText根目录运行`pip install -e .`。\n* \\[2025年8月13日\\] 现已支持Qwen3 2507 MoE系列模型：MoE包括235B Thinking和480B Coder，以及现有的密集模型0.6B、4B、8B、14B和32B。\n* \\[2025年7月27日\\] 更新了TFLOPS\u002Fs计算（[PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F1988)），以考虑因果注意力机制，将注意力浮点运算量减半。在[PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F2009)和[PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F2030)中，进一步考虑了滑动窗口和分块注意力，从而降低了注意力浮点运算量。这些变化会影响大序列配置，具体说明请参阅此[文档](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Freference\u002Fperformance_metrics.html)。\n* \\[2025年7月16日\\] 我们将对MaxText代码库进行重构，以提升组织性和清晰度。请审阅[拟议结构](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Faca5b24931ebcbadb55a82e56ebffe8024874028\u002FRESTRUCTURE.md)，并提出反馈意见。\n* \\[2025年7月11日\\] 支持多标记预测（MTP）训练！基于预测多个未来标记的辅助损失，灵感来源于[DeepSeek-V3论文](https:\u002F\u002Farxiv.org\u002Fhtml\u002F2412.19437v1)，以提高训练效率。\n* \\[2025年6月25日\\] 现已支持DeepSeek R1-0528变体。\n* \\[2025年4月24日\\] 现已支持Llama 4 Maverick模型。\n\u003C\u002Fdetails>\n\u003C!-- NEWS END -->\n\n## 使用场景\n\nMaxText提供一系列模型库，并演示如何以高性能和大规模进行预训练或后训练。\n\nMaxText利用[JAX AI库](https:\u002F\u002Fdocs.jaxstack.ai\u002Fen\u002Flatest\u002Fgetting_started.html)，并通过[Flax](https:\u002F\u002Fflax.readthedocs.io\u002Fen\u002Flatest\u002F)（神经网络）、[Tunix](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Ftunix)（后训练）、[Orbax](https:\u002F\u002Forbax.readthedocs.io\u002Fen\u002Flatest\u002F)（检查点保存）、[Optax](https:\u002F\u002Foptax.readthedocs.io\u002Fen\u002Flatest\u002F)（优化）和[Grain](https:\u002F\u002Fgoogle-grain.readthedocs.io\u002Fen\u002Flatest\u002F)（数据加载）等工具，呈现了一套连贯且全面的大规模训练示例。\n\n除了纯文本LLM之外，我们还支持使用Gemma 3、Gemma 4和Llama 4 VLM进行多模态训练。\n\n### 预训练\n\n如果您正在从零开始构建模型，MaxText可以作为参考实现，用于实验、构思和获取灵感——只需fork并修改MaxText，即可训练您的模型，无论是像Llama 8B这样的小型密集模型，还是像DeepSeek-V3这样的大型MoE模型。通过调整配置和模型设计，在TPU或GPU上构建最高效的模型。  \n\nMaxText提供了针对分片、量化和检查点保存等多种维度的最佳性能实现方案。\n\n### 后训练\n\n如果您正在对模型进行后训练，无论该模型是专有模型还是开源模型，MaxText 都会使用 Tunix 提供一个可扩展的框架。对于强化学习（如 GRPO），我们利用 vLLM 进行采样，并将很快借助 Pathways 实现多主机支持。\n\n我们的目标是提供多种模型（维度“a”）和多种技术（维度“b”），以便您可以轻松探索 (a) \\* (b) 的组合，并高效地训练出最适合您应用场景的完美模型。\n\n请查看以下入门指南：\n\n* 监督微调（SFT）\n  * [单主机 TPU 上的 SFT](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Fsft.html)\n  * [多主机 TPU 上的 SFT](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Fsft_on_multi_host.html)\n* 强化学习（RL）\n  * [单主机 TPU 上的 RL](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Frl.html)\n  * [多主机 TPU 上的 RL](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Frl_on_multi_host.html)\n\n### 模型库\n\nMaxText 致力于为您提供最佳的开源模型，无论是作为参考实现，还是用于后训练后再通过 vLLM 提供服务。\n\n**MaxText 支持的 JAX 模型**\n\n* Google\n  * Gemma 4（26B MoE，31B 密集）\n  * Gemma 3（4B、12B、27B）\n  * Gemma 2（2B、9B、27B）\n  * Gemma 1（2B、7B）\n* Alibaba\n  * Qwen 2.5（1.5B、7B、14B）\n  * Qwen 3 MoE 2507（235B、480B）\n  * Qwen 3 MoE（30B、235B）\n  * Qwen 3 密集（0.6B、1.7B、4B、8B、14B、32B）\n* DeepSeek\n  * DeepSeek V3.1（671B）\n  * DeepSeek V3 0324（671B）及 DeepSeek R1 0528（671B）\n  * DeepSeek V2（16B、236B）\n* Meta\n  * Llama 4 Scout（109B）及 Maverick（400B）\n  * Llama 3.3 70B、3.1（8B、70B、405B）、3.0（8B、70B、405B）\n  * Llama 2（7B、13B、70B）\n* OpenAI\n  * GPT-OSS（20B、120B）\n  * GPT3（52K、6B、22B、175B）\n* Mistral\n  * Mixtral（8x7B、8x22B）\n  * Mistral（7B）\n* 扩散模型\n  * 详见 [MaxDiffusion](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxdiffusion)（LTXV、Wan 2.1、Flux、SDXL 等）\n\n## 参与进来\n\n欢迎加入我们的 [Discord 频道](https:\u002F\u002Fdiscord.com\u002Finvite\u002F2H9PhvTcDU)，如果您有任何反馈，可以在此处提交功能请求、文档请求或错误报告：[这里](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fissues\u002Fnew\u002Fchoose)。\n\n## 许可证\n\n[Apache 2.0 许可证](LICENSE)","# MaxText 快速上手指南\n\nMaxText 是一个基于纯 Python 和 JAX 编写的高性能、高可扩展性开源大语言模型（LLM）库，专为 Google Cloud TPU 和 GPU 训练设计。它支持 Gemma、Llama、DeepSeek、Qwen、Mistral 等主流模型的预训练及后训练（SFT、RL）。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu)\n- **Python 版本**: **Python 3.12** (官方主要支持版本，其他版本可能存在兼容性问题)\n- **硬件加速**: \n  - Google Cloud TPUs (推荐)\n  - NVIDIA GPUs (需安装对应的 CUDA\u002FcuDNN 环境)\n\n### 前置依赖\n确保已安装以下基础工具：\n- `pip` (包管理工具)\n- `git` (代码克隆)\n- JAX 相关依赖将通过安装命令自动处理\n\n> **注意**：MaxText 强依赖 XLA 编译器以发挥最佳性能，请确保您的硬件驱动支持最新的 XLA 版本。\n\n## 安装步骤\n\n推荐使用 PyPI 进行安装，这是最简便的方式。\n\n### 方式一：通过 PyPI 安装（推荐）\n\n```bash\npip install maxtext\n```\n\n如果您需要针对 TPU 后训练或运行 `vllm_decode`，请使用以下专用目标安装：\n\n```bash\npip install maxtext[tpu-post-train]\n```\n\n### 方式二：从源码安装（开发模式）\n\n如果您需要修改源码或体验最新功能：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext.git\ncd maxtext\npip install -e .\n```\n\n> **国内加速提示**：如果下载速度较慢，可临时使用国内镜像源（如清华源）：\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple maxtext\n> ```\n\n## 基本使用\n\nMaxText 的核心操作通过配置文件驱动。以下是最简单的运行示例流程。\n\n### 1. 准备配置文件\nMaxText 内置了多种模型配置。例如，要运行一个小型的 Gemma 模型，您可以直接使用仓库中的预设配置（假设已克隆源码或配置位于当前路径）：\n\n```bash\n# 查看可用的模型配置示例\nls src\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002F\n```\n\n### 2. 运行训练任务\n使用 `train.py` 脚本启动训练。以下是一个在单主机上运行 Gemma 2B 模型进行简单训练的示例命令：\n\n```bash\npython3 src\u002Fmaxtext\u002Ftrain.py \\\n  src\u002Fmaxtext\u002Fconfigs\u002Fbase.yml \\\n  src\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fgemma2-2b.yml \\\n  run_name=my_first_run \\\n  dataset_path=your_dataset_path \\\n  steps=100\n```\n\n**参数说明：**\n- `base.yml`: 基础配置文件。\n- `models\u002Fgemma2-2b.yml`: 指定模型架构。\n- `run_name`: 本次运行的名称（用于保存检查点）。\n- `dataset_path`: 您的训练数据路径（支持 Grain 格式）。\n- `steps`: 训练步数（示例设为 100 步用于测试）。\n\n### 3. 运行后训练 (SFT\u002FRL)\nMaxText 同样支持监督微调 (SFT) 和强化学习 (RL)。使用 Tunix 框架进行后训练的典型命令如下：\n\n```bash\n# SFT 示例\npython3 src\u002Fmaxtext\u002Fpost_training\u002Fsft.py \\\n  src\u002Fmaxtext\u002Fconfigs\u002Fbase.yml \\\n  src\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fllama3-8b.yml \\\n  checkpoint_path=path\u002Fto\u002Fpretrained_checkpoint \\\n  dataset_path=path\u002Fto\u002Fsft_dataset\n```\n\n### 下一步\n- **详细文档**: 访问 [MaxText ReadTheDocs](https:\u002F\u002Fmaxtext.readthedocs.io\u002F) 获取完整的教程和 API 参考。\n- **社区交流**: 加入 [Discord 频道](https:\u002F\u002Fdiscord.com\u002Finvite\u002F2H9PhvTcDU) 获取实时支持。\n- **多模态支持**: 如需使用 Gemma 4 或 Llama 4 等多模态模型，请参考官方最新的配置示例。","某大型金融科技公司的大模型团队正计划在 Google Cloud TPU 集群上从零预训练一个定制化的千亿参数风控大模型，以处理海量交易数据。\n\n### 没有 maxtext 时\n- **开发门槛极高**：团队需手动编写复杂的 JAX 分布式训练代码，处理分片策略和通信逻辑，耗费数周搭建基础框架。\n- **硬件利用率低下**：自研框架难以充分挖掘 TPU 算力，模型浮点运算利用率（MFU）长期徘徊在 40% 以下，训练周期被大幅拉长。\n- **扩展性瓶颈明显**：当尝试将集群从单宿主机扩展至数千芯片时，频繁遭遇内存溢出或同步失败，稳定性极差。\n- **新模型适配困难**：想要引入最新的 DeepSeek 或 Gemma 架构进行实验，需要大量修改底层算子，迭代速度缓慢。\n\n### 使用 maxtext 后\n- **开箱即用高效启动**：直接调用 maxtext 内置的纯 Python\u002FJAX 参考实现，仅需修改配置文件即可在数小时内启动千卡级训练任务。\n- **极致性能释放**：借助 XLA 编译器优化，maxtext 将 MFU 提升至 60% 以上，显著加快 tokens\u002F秒生成速度，预计缩短 40% 的训练时间。\n- **无缝线性扩展**：依托其原生设计的可扩展性，轻松支撑从单机到数万芯片的平滑扩容，训练过程稳定无中断。\n- **主流模型快速集成**：原生支持 Llama、Gemma、DeepSeek 等前沿架构，团队可立即验证新算法（如 GRPO 强化学习），专注业务逻辑而非基建。\n\nmaxtext 让团队从繁琐的底层工程优化中解放出来，以最低成本实现了超大规模大模型的高效训练与快速迭代。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAI-Hypercomputer_maxtext_8d0b12f1.png","AI-Hypercomputer","AI Hypercomputer","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAI-Hypercomputer_0973261e.png","Reference implementations, benchmarks, recipes, and all things Google Cloud AI Hypercomputer",null,"https:\u002F\u002Fcloud.google.com\u002Fsolutions\u002Fai-hypercomputer#ai-hypercomputer","https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer",[83,87,91,95],{"name":84,"color":85,"percentage":86},"Python","#3572A5",80.2,{"name":88,"color":89,"percentage":90},"Jupyter Notebook","#DA5B0B",11.7,{"name":92,"color":93,"percentage":94},"Shell","#89e051",8,{"name":96,"color":97,"percentage":98},"Dockerfile","#384d54",0.2,2201,496,"2026-04-04T19:47:53","Apache-2.0",4,"Linux","支持 Google Cloud TPUs 和 GPUs。针对 GPU 的具体型号、显存大小及 CUDA 版本未在文中明确说明，但底层依赖 JAX\u002FXLA，通常需 NVIDIA GPU 配合相应驱动。","未说明（取决于模型规模及是否多主机运行）",{"notes":108,"python":109,"dependencies":110},"该工具主要针对 Google Cloud TPU 和 GPU 进行训练优化。支持多种大模型（如 Gemma, Llama, DeepSeek, Qwen 等）的预训练和后训练（SFT, GRPO, GSPO）。可通过 PyPI 安装，也支持无 GCP 依赖的解耦模式运行。多模态训练支持 Gemma 3\u002F4 和 Llama 4 VLMs。","3.12 (推荐主要支持版本，其他版本可能遇到兼容性问题)",[111,112,113,114,115,116,117],"jax","flax","optax","orbax","grain","tunix","vllm (用于 RL 采样)",[13,26,15],[120,121,122,123,124,125,126,111,127,128,129,130,131,132],"large-language-models","llm","gpt","deepseek","fine-tuning","gemma2","gemma3","llama2","llama3","llama4","mistral","mixtral","sft","2026-03-27T02:49:30.150509","2026-04-06T05:15:34.692845",[136,141,146,151,155,159],{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},15912,"是否有脚本可以将训练好的 Gemma\u002FLlama\u002FMistral MaxText 检查点转换为 HuggingFace 格式？","是的，可以使用 `llama_mistral_mixtral_orbax_to_hf.py` 或 `llama_or_mistral_orbax_to_huggingface.py` 脚本进行转换。但在转换大模型（如 Llama3.1 70B）时需注意：\n1. 内存需求巨大（约 1.4TB），建议在 CPU 上运行并添加交换分区（swap disk）。\n2. 脚本中存在一个小问题：`rope_freq.weight` 是 float32 类型，而其余权重是 float16，这可能导致创建 GGUF 量化模型时遇到困难。\n3. 如果在 v4-8 等 TPU 上运行脚本被杀死（OOM），可能是因为不支持 Pod 模式或内存不足，需尝试增加内存或使用交换空间。","https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fissues\u002F551",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},15913,"为什么转换后的 MLPerf GPT3 检查点在恢复训练时初始损失变差了？","这个问题通常与 Orbax 检查点机制有关。根据文档说明，所有节点必须写入同一个文件系统（write to the same filesystem）。如果分布式训练环境中各节点写入路径不一致或未共享存储，会导致检查点合并失败或数据不完整，从而引起损失异常。请确保配置中所有进程指向相同的共享文件系统路径。","https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fissues\u002F887",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},15914,"GitHub Actions 中的测试构建频繁失败怎么办？","这些由自动化工具生成的“构建失败”Issue 通常是临时性的 flaky tests（不稳定测试）。维护者通常会监控最新的测试运行状态，如果后续运行成功（如 https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Factions\u002Fruns\u002F20577104974），则会关闭该 Issue。用户无需特别操作，可关注官方跟踪的不稳定问题列表（如内部链接 b\u002F472299530）或直接查看最新 CI 状态。","https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fissues\u002F2836",{"id":152,"question_zh":153,"answer_zh":154,"source_url":140},15915,"在转换大型模型（如 70B）到 HuggingFace 格式时遇到 OOM（内存溢出）错误如何解决？","转换 70B 级别模型需要极高的内存（约 1.4TB）。解决方案包括：\n1. 使用带有大容量交换分区（swap disk）的 CPU 环境运行转换脚本。\n2. 避免在资源受限的 TPU 切片（如 v4-8）上直接运行，除非确认脚本支持 Pod 模式（当前脚本可能不支持）。\n3. 监控进程内存使用情况，确保在保存前不会因内存耗尽被系统杀死。",{"id":156,"question_zh":157,"answer_zh":158,"source_url":140},15916,"MaxText 检查点转换脚本中遇到的数据类型不一致问题如何处理？","在转换过程中，`rope_freq.weight` 参数默认为 float32 类型，而其他权重为 float16。这种混合精度虽然能被 HuggingFace 兼容处理，但在进一步转换为 GGUF 量化格式时会引发问题。建议在转换后手动检查并统一数据类型，或在生成 GGUF 前对 `rope_freq.weight` 进行显式类型转换。",{"id":160,"question_zh":161,"answer_zh":162,"source_url":145},15917,"如何确认分布式检查点保存配置是否正确？","在使用 Orbax 进行分布式检查点保存时，关键是要确保所有计算节点（processes）将数据写入同一个共享文件系统。如果节点写入不同路径，合并步骤会失败。请查阅 Orbax 官方文档中关于 `merge_ocdbt_per_process_files` 的说明，并验证配置文件中的保存路径是否为所有节点可访问的共享存储。",[164,169,174,178,183,187,191,195,199,204,209,214,219,224,229,234,239,244],{"id":165,"version":166,"summary_zh":167,"released_at":168},90643,"maxtext-v0.2.1","- 使用新的 `maxtext[runner]` 安装选项，无需克隆仓库即可构建 Docker 镜像。这可用于通过 XPK 调度作业。更多信息请参阅 [MaxText 安装说明](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Fmaxtext-v0.2.1\u002Fbuild_maxtext.html)。\n- 现在，大多数 MaxText 命令都可以自动推断配置。如果您选择不提供配置，MaxText 将会 [自动选择合适的配置](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F9e786c888cc7acdfc00a8f73064e285017e80b86\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fpyconfig.py#L51-L67)。\n- MaxText PyPI 中的配置现在可以直接加载，无需本地存储。\n- 现已支持 DeepSeek-AI 的新特性：基于可扩展查找的条件记忆（[Engram](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.07372)）和流形约束超连接（[mHC](https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.24880)）。您可以通过我们的 [deepseek-custom](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F9e786c888cc7acdfc00a8f73064e285017e80b86\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fdeepseek-custom.yml) 入门配置来体验这些功能。\n- MaxText 现在支持自定义网格和逻辑规则。在 [custom_mesh_and_rule](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Ftree\u002F9e786c888cc7acdfc00a8f73064e285017e80b86\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fcustom_mesh_and_rule) 目录中提供了两个示例，指导您如何使用自定义网格和规则进行分片。","2026-03-23T22:05:42",{"id":170,"version":171,"summary_zh":172,"released_at":173},90644,"maxtext-v0.2.0","# 变更\n* 现已支持 [Qwen3-Next](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Ftests\u002Fend_to_end\u002Ftpu\u002Fqwen\u002Fnext\u002Frun_qwen3_next.md)。\n* PyPI 中新增 `tpu-post-train` 目标。运行 vllm_decode 时也请使用此安装选项。更多信息请参阅 [MaxText 安装说明](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html)。\n* MaxText 结构全新升级！MaxText 已根据 [RESTRUCTURE.md](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002F1b9e38aa0a19b6018feb3aed757406126b6953a1\u002FRESTRUCTURE.md) 进行重构。欢迎分享您的想法和反馈。\n* 现已支持 [Muon 优化器](https:\u002F\u002Fkellerjordan.github.io\u002Fposts\u002Fmuon)。\n* 现已支持 DeepSeek V3.1。可使用现有配置文件针对 [DeepSeek V3 671B](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fblob\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fconfigs\u002Fmodels\u002Fdeepseek3-671b.yml)，并加载 V3.1 检查点以使用该模型。\n* 新的 RL 和 SFT 笔记本教程已在 [MaxText 示例目录](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Ftree\u002Fmain\u002Fsrc\u002Fmaxtext\u002Fexamples) 中提供。\n* [ReadTheDocs 文档站点](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Findex.html) 已重新整理。\n* 通过 [新的 RL 教程](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fposttraining\u002Frl_on_multi_host.html)，现已支持 GSPO 和 GRPO 的多主机模式。\n* 新指南 [什么是 MaxText 中的后训练？](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Ftutorials\u002Fpost_training_index.html) 现已发布。\n* 宣布推出 Ironwood TPU 共同设计的 AI 堆栈。请阅读关于其与 MaxText 共同设计的[博客文章](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fcompute\u002Finside-the-ironwood-tpu-codesigned-ai-stack?e=48754805)。\n* [优化模型分级文档](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Freference\u002Fmodels\u002Ftiering.html) 已更新。\n* 新增版本管理。请查看我们的[首版发行说明](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Frelease_notes.html)！\n* 现可通过 [Tunix](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Ftunix) 进行后训练（SFT、RL）。\n* MaxText 现已支持词汇表分块（[PR](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Fmaxtext\u002Fpull\u002F2242)）！调整配置项 `num_vocab_tiling` 即可实现更高效的内存使用。\n* 现已支持 GPT-OSS 系列模型（20B、120B）。\n\n# 废弃内容\n* 许多 MaxText 模块的路径已变更。核心命令如 train、decode、sft 等在短期内仍可正常使用。请将您的命令更新至最新的文件路径。\n* `install_maxtext_github_deps` 安装脚本已被替换为 `install_maxtext_tpu_github_deps`。\n* 用于后训练依赖项安装的 `tools\u002Fsetup\u002Fsetup_post_training_requirements.sh` 脚本已被弃用，建议改用 [pip 安装](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Finstall_maxtext.html)。","2026-03-06T07:15:09",{"id":175,"version":176,"summary_zh":79,"released_at":177},90645,"maxtext-tutorial-v1.5.0","2025-12-30T21:33:08",{"id":179,"version":180,"summary_zh":181,"released_at":182},90646,"maxtext-tutorial-v1.4.0","最大文本-教程-v1.4.0","2025-12-12T19:49:44",{"id":184,"version":185,"summary_zh":79,"released_at":186},90647,"maxtext-tutorial-v1.3.0","2025-11-20T07:19:17",{"id":188,"version":189,"summary_zh":79,"released_at":190},90648,"maxtext-tutorial-v1.2.0","2025-11-14T21:00:19",{"id":192,"version":193,"summary_zh":79,"released_at":194},90649,"maxtext-tutorial-v1.1.0","2025-10-25T03:54:26",{"id":196,"version":197,"summary_zh":79,"released_at":198},90650,"maxtext-tutorial-v1.0.0","2025-10-24T01:25:24",{"id":200,"version":201,"summary_zh":202,"released_at":203},90651,"tpu-recipes-v0.1.5","请将此版本用于需要 tpu-recipes-v0.1.5 版本的 [tpu-recipes](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Ftpu-recipes)。","2025-10-18T07:27:56",{"id":205,"version":206,"summary_zh":207,"released_at":208},90652,"maxtext-v0.1.0","我们的首个 MaxText PyPI 包现已发布！MaxText 是一个高性能、高度可扩展的开源大模型库及参考实现，完全使用 Python 和 JAX 编写，旨在利用 Google Cloud TPU 和 GPU 进行训练。我们很高兴能让入门变得更加简单便捷。\n\n现在，用户可以通过 pip 安装 MaxText，既可用于本地开发，也可通过 PyPI 的稳定版本进行安装。更多设置详情，请参阅我们的 [MaxText 安装指南](https:\u002F\u002Fmaxtext.readthedocs.io\u002Fen\u002Flatest\u002Fguides\u002Finstall_maxtext.html)。\n\n今后，本页面将记录 MaxText 新版本发布时的重要变更。","2025-11-06T01:20:23",{"id":210,"version":211,"summary_zh":212,"released_at":213},90653,"tpu-recipes-v0.1.4","请将此版本用于需要 tpu-recipes-v0.1.4 版本的 [tpu-recipes](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Ftpu-recipes)。","2025-07-15T16:09:31",{"id":215,"version":216,"summary_zh":217,"released_at":218},90654,"pre-nnx-v0.1.0","请使用此版本，以获得完全依赖 Flax Linen 的最新 MaxText 版本（不包含 NNX）。","2025-06-16T22:46:25",{"id":220,"version":221,"summary_zh":222,"released_at":223},90655,"tpu-recipes-v0.1.3","请将此版本用于需要 tpu-recipes-v0.1.3 版本的 [tpu-recipes](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Ftpu-recipes)。","2025-06-03T18:04:49",{"id":225,"version":226,"summary_zh":227,"released_at":228},90656,"tpu-recipes-v0.1.2","请将此版本用于需要 `tpu-recipes-v0.1.2` 版本的 [tpu-recipes](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Ftpu-recipes) 项目。","2025-04-16T19:33:08",{"id":230,"version":231,"summary_zh":232,"released_at":233},90657,"tpu-recipes-v0.1.1","请将此版本用于需要 `tpu-recipes-v0.1.1` 版本的 [tpu-recipes](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Ftpu-recipes) 项目。","2025-04-11T02:29:44",{"id":235,"version":236,"summary_zh":237,"released_at":238},90658,"pre-module-v0.1.0","Release prior to module refactor for older train API.\r\n\r\nWith this release or prior: `python3 MaxText\u002Ftrain.py MaxText\u002Fconfigs\u002Fbase.yml run_name=...`\r\n\r\nSoon after this release: `python3 -m MaxText.train MaxText\u002Fconfigs\u002Fbase.yml run_name=...`","2025-04-08T21:14:38",{"id":240,"version":241,"summary_zh":242,"released_at":243},90659,"tpu-recipes-v0.1.0","Use this release for [tpu-recipes](https:\u002F\u002Fgithub.com\u002FAI-Hypercomputer\u002Ftpu-recipes) that require version `tpu-recipes-v0.1.0`","2025-04-02T04:50:08",{"id":245,"version":246,"summary_zh":247,"released_at":248},90660,"moe-v1.0.0","MoE v1.0.0 supports:\r\n* Megablox with Fully Sharded Data Parallelism (FSDP) and Token Parallelism (TP)\r\n* Dropping strategies with FSDP, TP, and Expert Parallelism (EP)","2024-09-10T06:36:54"]