[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-databricks--megablocks":3,"tool-databricks--megablocks":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,2,"2026-04-17T23:33:34",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":65,"owner_location":65,"owner_email":65,"owner_twitter":65,"owner_website":76,"owner_url":77,"languages":78,"stars":103,"forks":104,"last_commit_at":105,"license":106,"difficulty_score":10,"env_os":107,"env_gpu":108,"env_ram":109,"env_deps":110,"category_tags":118,"github_topics":65,"view_count":32,"oss_zip_url":65,"oss_zip_packed_at":65,"status":17,"created_at":119,"updated_at":120,"faqs":121,"releases":152},8726,"databricks\u002Fmegablocks","megablocks",null,"MegaBlocks 是一个轻量级开源库，专为高效训练混合专家（MoE）模型而设计。它核心提供了标准的 MoE 层以及创新的“无丢弃 MoE\"（dMoE）层，旨在解决传统 MoE 训练中因令牌丢弃导致的信息损失问题，同时兼顾硬件计算效率。\n\n在性能方面，MegaBlocks 通过将 MoE 重构为块稀疏操作，成功移除了复杂的“容量因子”超参数，大幅简化了训练流程。实测显示，其 dMoE 方案比主流工具 Tutel 的最佳配置快至 40%，相比传统的稠密 Transformer 训练速度最高可提升 2.4 倍。此外，它与 NVIDIA 的 Megatron-LM 深度集成，支持数据、专家及流水线并行训练，也兼容 vLLM 等框架以部署如 Mixtral-8x7B 等大模型。\n\n这款工具非常适合从事大语言模型研发的研究人员、算法工程师及深度学习开发者使用。如果你希望在大规模分布式环境下探索稀疏模型架构，或寻求更快速、稳定的 MoE 训练方案，MegaBlocks 提供了一个经过验证的高效选择，尤其推荐在 Hopper 架构 GPU 上结合分组 GEMM 特性使用，以发挥最佳性能。","# :robot: MegaBlocks\n\nMegaBlocks is a light-weight library for mixture-of-experts (MoE) training. The core of the system is efficient \"dropless-MoE\" ([dMoE](megablocks\u002Flayers\u002Fdmoe.py), [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.15841)) and standard [MoE](megablocks\u002Flayers\u002Fmoe.py) layers.\n\nMegaBlocks is integrated with [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM), where we support data, expert and pipeline parallel training of MoEs. Stay tuned for tighter integration with Databricks libraries and tools!\n\n# :rocket: Performance\n\n![MegaBlocks Performance](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks_megablocks_readme_91132fe99d09.png)\n\nMegaBlocks dMoEs outperform MoEs trained with [Tutel](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Ftutel) by up to **40%** compared to Tutel's best performing `capacity_factor` configuration. MegaBlocks dMoEs use a reformulation of MoEs in terms of block-sparse operations, which allows us to avoid token dropping without sacrificing hardware efficiency. In addition to being faster, MegaBlocks simplifies MoE training by removing the `capacity_factor` hyperparameter altogether. Compared to dense Transformers trained with [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM), MegaBlocks dMoEs can accelerate training by as much as **2.4x**. Check out our [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.15841) for more details!\n\n# :building_construction: Installation\n\nNOTE: This assumes you have `numpy` and `torch` installed.\n\n**Training models with Megatron-LM:** We recommend using NGC's [`nvcr.io\u002Fnvidia\u002Fpytorch:23.09-py3`](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fcontainers\u002Fpytorch\u002Ftags) PyTorch container. The [Dockerfile](Dockerfile) builds on this image with additional dependencies. To build the image, run `docker build . -t megablocks-dev` and then `bash docker.sh` to launch the container. Once inside the container, install MegaBlocks with `pip install .`. See [Usage](#steam_locomotive-usage) for instructions on training MoEs with MegaBlocks + Megatron-LM.\n\n**Using MegaBlocks in other packages:** To install the MegaBlocks package for use in other frameworks, run `pip install megablocks`. For example, [Mixtral-8x7B](https:\u002F\u002Fmistral.ai\u002Fnews\u002Fmixtral-of-experts\u002F) can be run with [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) + MegaBlocks with this installation method.\n\n**Extras:** MegaBlocks has optional dependencies that enable additional features.\n\nInstalling `megablocks[gg]` enables dMoE computation with grouped GEMM. This feature is enabled by setting the `mlp_impl` argument to `grouped`. This is currently our recommended path for Hopper-generation GPUs.\n\nInstalling `megablocks[dev]` allows you to contribute to MegaBlocks and test locally. Installing `megablocks[testing]` allows you to test via Github Actions. If you've installed megablocks[dev], you can run pre-commit install to configure the pre-commit hook to automatically format the code.\n\nMegaBlocks can be installed with all dependencies (except for `testing`) via the `megablocks[all]` package.\n\n# :steam_locomotive: Usage\n\nWe provide scripts for pre-training Transformer MoE and dMoE language models under the [top-level directory](megablocks\u002F). The quickest way to get started is to use one of the [experiment launch scripts](exp\u002F). These scripts require a dataset in Megatron-LM's format, which can be created by following their [instructions](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM#data-preprocessing).\n\n# :writing_hand: Citation\n\n```\n@article{megablocks,\n  title={{MegaBlocks: Efficient Sparse Training with Mixture-of-Experts}},\n  author={Trevor Gale and Deepak Narayanan and Cliff Young and Matei Zaharia},\n  journal={Proceedings of Machine Learning and Systems},\n  volume={5},\n  year={2023}\n}\n```\n","# :robot: MegaBlocks\n\nMegaBlocks 是一个用于专家混合模型（MoE）训练的轻量级库。该系统的核心是高效的“无丢弃 MoE”（[dMoE](megablocks\u002Flayers\u002Fdmoe.py)，[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.15841)）和标准的 [MoE](megablocks\u002Flayers\u002Fmoe.py) 层。\n\nMegaBlocks 已与 [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM) 集成，在其中我们支持 MoE 的数据并行、专家并行和流水线并行训练。敬请期待与 Databricks 库和工具的更紧密集成！\n\n# :rocket: 性能\n\n![MegaBlocks 性能](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks_megablocks_readme_91132fe99d09.png)\n\n与 Tutel 最佳性能的 `capacity_factor` 配置相比，MegaBlocks dMoEs 的性能可提升高达 **40%**。MegaBlocks dMoEs 采用基于块稀疏运算的 MoE 重表述，这使我们能够在不牺牲硬件效率的情况下避免丢弃令牌。此外，MegaBlocks 还通过完全移除 `capacity_factor` 超参数，简化了 MoE 训练过程。与使用 [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM) 训练的密集型 Transformer 相比，MegaBlocks dMoEs 的训练速度最高可加快 **2.4 倍**。更多细节请参阅我们的 [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.15841)！\n\n# :building_construction: 安装\n\n注意：此安装步骤假定您已安装 `numpy` 和 `torch`。\n\n**使用 Megatron-LM 训练模型：** 我们建议使用 NGC 提供的 [`nvcr.io\u002Fnvidia\u002Fpytorch:23.09-py3`](https:\u002F\u002Fcatalog.ngc.nvidia.com\u002Forgs\u002Fnvidia\u002Fcontainers\u002Fpytorch\u002Ftags) PyTorch 容器。[Dockerfile](Dockerfile) 在此基础上构建，并添加了额外的依赖项。要构建镜像，请运行 `docker build . -t megablocks-dev`，然后执行 `bash docker.sh` 启动容器。进入容器后，使用 `pip install .` 安装 MegaBlocks。有关如何使用 MegaBlocks + Megatron-LM 训练 MoE 的说明，请参阅 [使用方法](#steam_locomotive-usage)。\n\n**在其他软件包中使用 MegaBlocks：** 若要将 MegaBlocks 包安装到其他框架中使用，只需运行 `pip install megablocks`。例如，[Mixtral-8x7B](https:\u002F\u002Fmistral.ai\u002Fnews\u002Fmixtral-of-experts\u002F) 可以通过这种安装方式与 [vLLM](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) 结合 MegaBlocks 运行。\n\n**附加组件：** MegaBlocks 具有一些可选依赖项，可启用额外功能。\n\n安装 `megablocks[gg]` 可启用基于分组 GEMM 的 dMoE 计算。此功能可通过将 `mlp_impl` 参数设置为 `grouped` 来激活。目前，这是我们推荐用于 Hopper 架构 GPU 的方案。\n\n安装 `megablocks[dev]` 允许您参与 MegaBlocks 的开发并在本地进行测试。安装 `megablocks[testing]` 则可通过 Github Actions 进行测试。如果您已安装 `megablocks[dev]`，可以运行 `pre-commit install` 来配置 pre-commit 钩子，以便自动格式化代码。\n\n可以通过 `megablocks[all]` 包一次性安装 MegaBlocks 的所有依赖项（除了 `testing`）。\n\n# :steam_locomotive: 使用方法\n\n我们在 [顶级目录](megablocks\u002F) 下提供了预训练 Transformer MoE 和 dMoE 语言模型的脚本。最快上手的方式是使用其中一个 [实验启动脚本](exp\u002F)。这些脚本需要符合 Megatron-LM 格式的数据集，您可以按照其 [说明](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM#data-preprocessing) 创建所需的数据集。\n\n# :writing_hand: 引用\n\n```\n@article{megablocks,\n  title={{MegaBlocks: Efficient Sparse Training with Mixture-of-Experts}},\n  author={Trevor Gale and Deepak Narayanan and Cliff Young and Matei Zaharia},\n  journal={Proceedings of Machine Learning and Systems},\n  volume={5},\n  year={2023}\n}\n```","# MegaBlocks 快速上手指南\n\nMegaBlocks 是一个轻量级库，专为混合专家模型（MoE）训练设计。其核心是高效的“无丢弃 MoE\"（dMoE）和标准 MoE 层，支持与 Megatron-LM 深度集成，实现数据、专家和流水线并行训练。\n\n## 环境准备\n\n*   **系统要求**：Linux 操作系统，推荐 NVIDIA GPU（特别是 Hopper 架构显卡可启用分组 GEMM 加速）。\n*   **前置依赖**：\n    *   Python 环境已安装 `numpy` 和 `torch`。\n    *   **推荐方案**：若需结合 Megatron-LM 进行大规模训练，建议使用 NVIDIA NGC 的 PyTorch 容器：`nvcr.io\u002Fnvidia\u002Fpytorch:23.09-py3`。\n\n## 安装步骤\n\n### 方案一：独立安装（适用于其他框架，如 vLLM）\n若仅需在现有项目中调用 MegaBlocks（例如运行 Mixtral-8x7B），直接使用 pip 安装：\n\n```bash\npip install megablocks\n```\n\n**可选增强功能**：\n*   **Hopper 架构显卡加速**：安装支持分组 GEMM 的版本（设置 `mlp_impl=grouped` 时启用）：\n    ```bash\n    pip install \"megablocks[gg]\"\n    ```\n*   **开发模式**：如需贡献代码或本地测试：\n    ```bash\n    pip install \"megablocks[dev]\"\n    # 配置代码格式化钩子\n    pre-commit install\n    ```\n*   **全量依赖**：安装除测试工具外的所有依赖：\n    ```bash\n    pip install \"megablocks[all]\"\n    ```\n\n### 方案二：结合 Megatron-LM 训练（Docker 方式）\n若需进行分布式预训练，建议构建专用 Docker 镜像：\n\n1.  **构建镜像**（基于 NGC 容器添加额外依赖）：\n    ```bash\n    docker build . -t megablocks-dev\n    ```\n\n2.  **启动容器**：\n    ```bash\n    bash docker.sh\n    ```\n\n3.  **容器内安装**：\n    ```bash\n    pip install .\n    ```\n\n## 基本使用\n\nMegaBlocks 提供了用于预训练 Transformer MoE 和 dMoE 语言模型的脚本。最快捷的启动方式是使用官方提供的实验启动脚本。\n\n1.  **准备数据**：\n    确保数据集已转换为 Megatron-LM 格式。请参考 [Megatron-LM 数据预处理指南](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM#data-preprocessing) 进行操作。\n\n2.  **运行训练**：\n    进入项目根目录，使用 `exp\u002F` 目录下的启动脚本开始训练。以下为一个典型的调用示例（具体参数需根据实际集群和数据集调整）：\n\n    ```bash\n    # 示例：运行 exp 目录下的启动脚本\n    python exp\u002Flaunch_script.py \\\n        --num-experts 8 \\\n        --expert-capacity-factor 1.0 \\\n        --mlp-impl grouped \\\n        --data-path \u002Fpath\u002Fto\u002Fmegatron_formatted_data\n    ```\n\n    > **提示**：MegaBlocks 的 dMoE 实现无需设置 `capacity_factor` 超参数即可避免 Token 丢弃，从而简化了调参过程并提升了训练速度（相比密集 Transformer 最高加速 2.4 倍）。","某大型科技公司的大模型团队正在基于 Megatron-LM 框架训练千亿参数级的语言模型，急需在有限算力下提升混合专家（MoE）架构的训练效率。\n\n### 没有 megablocks 时\n- **训练速度受限**：使用传统 MoE 实现或 Tutel 库时，受限于令牌丢弃（token dropping）机制和复杂的超参数调整，整体训练吞吐量难以突破瓶颈。\n- **资源浪费严重**：为了保证收敛，必须设置保守的 `capacity_factor`，导致大量计算单元闲置，昂贵的 GPU 集群利用率不足。\n- **调优成本高昂**：工程师需花费数周时间反复试验不同的容量因子配置，稍有不慎就会导致模型性能下降或训练不稳定。\n- **扩展性差**：在尝试数据、专家和流水线并行组合时，现有方案往往因通信开销大或负载不均而难以线性扩展。\n\n### 使用 megablocks 后\n- **训练显著加速**：借助 dMoE 技术，megablocks 消除了令牌丢弃问题，相比 Tutel 最佳配置提速高达 40%，相比稠密 Transformer 更是实现了 2.4 倍的加速。\n- **硬件效率最大化**：通过块稀疏运算重构，megablocks 无需牺牲硬件效率即可处理所有令牌，彻底释放了 GPU 集群的计算潜能。\n- **简化实验流程**：完全移除了 `capacity_factor` 这一棘手超参数，工程师不再需要繁琐的网格搜索，可直接专注于模型架构创新。\n- **无缝集成扩展**：与 Megatron-LM 深度整合，轻松支持数据、专家及流水线的多维并行策略，让千卡集群训练稳定高效。\n\nmegablocks 通过革新性的无丢弃 MoE 机制，将大模型训练从“拼凑参数”的调优困境转变为“极致效率”的工程实践。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdatabricks_megablocks_91132fe9.png","databricks","Databricks","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdatabricks_c90218cb.png","Helping data teams solve the world’s toughest problems using data and AI","https:\u002F\u002Fdatabricks.com","https:\u002F\u002Fgithub.com\u002Fdatabricks",[79,83,87,91,95,99],{"name":80,"color":81,"percentage":82},"Python","#3572A5",70.6,{"name":84,"color":85,"percentage":86},"Shell","#89e051",20.6,{"name":88,"color":89,"percentage":90},"C++","#f34b7d",8.1,{"name":92,"color":93,"percentage":94},"Makefile","#427819",0.4,{"name":96,"color":97,"percentage":98},"Cuda","#3A4E3A",0.3,{"name":100,"color":101,"percentage":102},"Dockerfile","#384d54",0.1,1556,224,"2026-04-17T08:15:09","Apache-2.0","Linux","必需 NVIDIA GPU。推荐使用 Hopper 架构显卡以启用 grouped GEMM 优化；官方推荐基于 NVIDIA PyTorch 容器 (nvcr.io\u002Fnvidia\u002Fpytorch:23.09-py3)，隐含需要较新的 CUDA 版本（通常对应 CUDA 12.x）。","未说明",{"notes":111,"python":112,"dependencies":113},"1. 官方强烈建议使用 NVIDIA 的 PyTorch Docker 容器 (nvcr.io\u002Fnvidia\u002Fpytorch:23.09-py3) 进行部署和训练。\n2. 若需使用 grouped GEMM 加速（特别是 Hopper 架构 GPU），需安装额外依赖 `megablocks[gg]`。\n3. 该工具主要设计用于与 Megatron-LM 集成以支持数据、专家和流水线并行训练。\n4. 也可单独安装用于其他框架（如 vLLM 运行 Mixtral 模型）。","未说明 (隐含在推荐的 pytorch:23.09-py3 容器中，通常为 Python 3.10+)",[114,115,116,117],"numpy","torch","Megatron-LM (用于训练集成)","grouped_gemm (可选，用于 megablocks[gg])",[35,14],"2026-03-27T02:49:30.150509","2026-04-18T09:20:12.417140",[122,127,132,137,142,147],{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},39098,"在运行 dMoE 时遇到 \"CUDA error: an illegal memory access was encountered\" 错误怎么办？","该错误通常与特定的代码路径有关。维护者建议检查您是否在使用稀疏（sparse）还是分组（grouped）的 MLP 代码路径。如果是稀疏路径，可能需要检查相关的内核实现或尝试切换到分组路径看问题是否复现。此问题在 8x8 A100 GPU 配置下偶有发生，需确认具体使用的后端模式。","https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fissues\u002F62",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},39099,"Megablocks 是否支持 SwiGLU 激活函数？如何适配 Megatron-LM 中的 SwiGLU 配置？","目前可以通过将激活函数从 GELU 替换为 SiLU 来大致实现 SwiGLU 的效果，因为两者非常相似。但需要注意，标准的 SwiGLU 实现通常会融合前两个矩阵，而 Megablocks 的实现使用了三个权重矩阵（w1\u002Fv1），这实际上使 `ffn_hidden_size` 翻倍。如果直接启用 SwiGLU 导致 `ffn_hidden_size` 不能被 blocking 参数整除从而触发断言错误，需要确保隐藏层尺寸配置正确，或者等待官方使激活函数完全可配置。","https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fissues\u002F35",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},39100,"运行 MoE\u002FdMoE 脚本时出现 \"ValueError: not enough values to unpack (expected 2, got 0)\" 错误如何解决？","该错误通常发生在负载平衡损失计算部分。根据社区反馈，可以通过应用 Issue #93 中的补丁来本地修复此问题。如果补丁无效，可能需要检查调用脚本（如 `third_party\u002FMegatron-LM\u002Fpretrain_gpt.py`）中的逻辑，确保在计算负载平衡损失时正确返回了专家令牌数和专家分数。","https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fissues\u002F134",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},39101,"如何将 Megablocks 集成到使用 PyTorch FSDP 的训练框架（如 open_lm）中？有哪些注意事项？","集成步骤包括：1. 将前馈层替换为 Megablocks MoE 层；2. 每隔一层添加一个 MoE 块（类似 Switch\u002FGShard 架构）；3. 添加负载平衡损失项。关于 FSDP，目前的做法是将包含 MoE 的 Transformer Block 模块整体包裹在 FSDP 中。用户反馈显示，使用 Top-2 路由且每隔一层设置专家的策略在 A100 集群上效果良好，无需特殊修改 FSDP 参数即可避免干扰 all2all 通信，但需密切关注吞吐量配置。","https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fissues\u002F57",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},39102,"Megablocks 是否支持张量模型并行（Tensor Model Parallelism）？","当前代码主要支持专家模型并行（Expert Model Parallelism），即当专家分片度数小于专家并行世界大小时进行分片。虽然目前尚未直接实现类似 Megatron 风格的张量模型并行，但理论上没有障碍。如果不想使用专家并行而直接使用张量并行，这需要作为单独的功能进行开发实现。","https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fissues\u002F40",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},39103,"在 PyTorch 2.5.0+ 环境下安装或使用 Megablocks 时出现 \"undefined symbol\" 链接错误怎么办？","该错误通常是因为编译后的 `megablocks_ops` 模块试图链接的 PyTorch 版本与实际运行时环境不一致。例如，`setup.py` 中的版本约束可能降级了 PyTorch，或者构建隔离导致链接了错误的分布。解决方法是确保编译时和运行时使用的是完全相同的 PyTorch 版本和分发渠道，必要时清理构建缓存并重新编译，确保没有版本冲突。","https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fissues\u002F159",[153,158,163,168,173,178,183,188,193,198,203,208],{"id":154,"version":155,"summary_zh":156,"released_at":157},315038,"v0.10.0","## 变更内容\n* 由 @irenedea 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F173 中将版本号升级至 0.10.0.dev\n* 由 @dakinggg 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F174 中将 grouped-gemm 更新至 0.2.0\n* 由 @bowenyang008 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F175 中将 PyTorch 更新至 2.7，并将 grouped-gemm 更新至 0.3.0\n\n## 新贡献者\n* @bowenyang008 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F175 中完成了首次贡献\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fcompare\u002Fv0.9.0...v0.10.0","2025-05-30T04:36:13",{"id":159,"version":160,"summary_zh":161,"released_at":162},315039,"v0.9.0","## 变更内容\n* 由 @rithwik-db 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F169 中将版本号提升至 0.9.0.dev0\n* 由 @irenedea 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F172 中更新了 setuptools 版本\n\n## 新贡献者\n* @irenedea 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F172 中完成了首次贡献\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fcompare\u002Fv0.8.0...v0.9.0","2025-04-09T00:06:09",{"id":164,"version":165,"summary_zh":166,"released_at":167},315040,"v0.8.0","## 重大变更\n由于升级到 `torch 2.6.0`，`megablocks` 中已禁用稀疏张量支持（即仅支持分组模式）。\n\n补充说明一下，`torch 2.6.0` 依赖于 `triton 3.2.0`，而后者在处理两个二元操作数具有不同数据类型时的类型提升行为上做了一些改动。因此，我们在 `megablocks` 的 `stk` 依赖中遇到了 int16 溢出问题，进而导致非法内存访问（IMA）。待该问题解决后，我们将发布 `megablocks` 的新版本。更多详情请参阅：https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F168。\n\n## 变更内容\n* 更新了 PyTorch，并由 @rithwik-db 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F168 中禁用了稀疏测试。\n\n## 新贡献者\n* @rithwik-db 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F168 中完成了首次贡献。\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fcompare\u002Fv0.7.0...v0.8.0","2025-03-14T17:57:28",{"id":169,"version":170,"summary_zh":171,"released_at":172},315041,"v0.7.0","## 变更内容\n* @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F148 中将 `_version.py` 版本号更新为 0.7.0.dev0\n* @snarayan21 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F150 中移除了已弃用的 `torch.cuda.amp` 自定义前向和反向传播实现\n* @josejg 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F151 中实现了 Router Z-loss\n* @janEbert 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F152 中实现了默认设备的惰性初始化\n* @mihir-db 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F158 中更新了 router 的代码风格检查\n* @j316chuck 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F162 中将 PyTorch 版本升级至 2.5.1，并将项目版本号更新为 0.8.0.dev0\n\n## 新贡献者\n* @josejg 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F151 中完成了首次贡献\n* @janEbert 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F152 中完成了首次贡献\n* @mihir-db 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F158 中完成了首次贡献\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fcompare\u002Fv0.6.1...v0.7.0","2024-11-20T00:44:53",{"id":174,"version":175,"summary_zh":176,"released_at":177},315042,"v0.6.1","## 新增内容\n补丁版本，移除了通过 GitHub 指定的依赖项，转而使用通过 PyPI 发布的版本（具体为 stanford-stk 和 grouped-gemm）。此举使得 megablocks 本身也可以通过 PyPI 发布。\n\n\n## 变更内容\n* 移除直接依赖项，从而支持 @snarayan21 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F149 中实现的 megablocks PyPI 发布。\n\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fcompare\u002Fv0.6.0...v0.6.1","2024-08-31T14:49:11",{"id":179,"version":180,"summary_zh":181,"released_at":182},315043,"v0.6.0","## 新功能\n\n**1. 兼容 Torch 2.4 (#145)**\n\nMegaBlocks 现在支持 Torch 2.4！\n\n**2. 新的 CI\u002FCD 流程**\n\nMegaBlocks 引入了新的 GitHub Actions，以实现更高效的 CI\u002FCD！现在，每当有新的 Pull Request 提出时，MegaBlocks 将自动执行代码 lint 和格式化（#131），并在 GPU 上运行测试（#127）。\n\n**3. 移除权重并行化 (#137)**\n\n由于权重并行化未被使用，我们已将其移除。\n\n**4. 共享专家 (#109）**\n\n根据 DeepSeekMoE 的 [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.06066)，实现了共享专家功能。\n\n\n## Bug 修复\n1. 更好地处理不兼容的 FFN 大小 (#108)\n2. 修复内存优化选项的 AMP 功能 (#111)\n3. 不保存 MoE LB-loss 张量 (#119)\n\n## 变更内容\n* 由 @dblalock 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F96 中移除 turbo 功能\n* 由 @dakinggg 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F98 中更新 README.md\n* 修复 `ffn_hidden_size` 为 128 的问题，并改进不兼容 FFN 大小时的错误提示。由 @snarayan21 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F108 中完成\n* 由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F109 中添加共享专家功能\n* 由 @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F111 中修复内存优化选项的 AMP 功能\n* 由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F112 中升级并锁定版本\n* 当 `args.moe_loss_weight=0` 时，不保存 MoE LB-loss 张量。由 @michael-go 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F119 中完成\n* 由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F116 中进行版本升级\n* 对 `batched_load_balancing_loss` 函数进行了小幅修改。由 @ShashankMosaicML 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F121 中完成\n* 将测试迁移到 pytest 并添加 GA。由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F127 中完成\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F129 中更改 GA 中的 Runner 配置\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F128 中清理 setup.py 文件\n* 仅当仓库所有者为 Databricks 时才运行 GA。由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F135 中完成\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F131 中将 GA 配置为对 MegaBlocks 进行 lint 和格式化\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F138 中将 ci-testing 升级至 v0.1.2\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F137 中移除权重并行化\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F140 中重构测试流程\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F141 中添加类型检查\n* 由 @eitanturok 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F145 中将 torch 版本升级至 \u003C2.4.1\n\n## 新贡献者\n* @dakinggg 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F98 中做出了首次贡献\n* @michael-go 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F119 中做出了首次贡献\n* @ShashankMosaicML 在 https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fpull\u002F121 中做出了首次贡献\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fdatabricks\u002Fmegablocks\u002Fcompare\u002Fv0.5.1...v0.6.0","2024-08-30T18:55:15",{"id":184,"version":185,"summary_zh":186,"released_at":187},315044,"v0.5.1","## 变更内容\n* 更新依赖项和包组织结构。由 @tgale96 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F52 中完成。\n* 移除 README 中多余的 `*` 符号。由 @tgale96 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F54 中完成。\n* 更新 Megatron-LM 脚本及与最新 Docker 容器的集成。由 @tgale96 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F55 中完成。\n* 更新 setup.py 以支持多设备能力。由 @simon-mo 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F56 中完成。\n* 启用路由权重的参数归一化功能。由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F58 中完成。\n* 为专家权重提供更灵活的自定义归一化方式。由 @snarayan21 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F60 中完成。\n* 更新 README.md 文件。由 @eltociear 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F63 中完成。\n* 支持自定义激活函数。由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F65 中完成。\n* 在评估时跳过负载均衡损失的更新。由 @sedrick-keh-tri 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F69 中完成。\n* 将路由器权重归一化的操作改为非原地操作。由 @sashaDoubov 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F70 中完成。\n* 添加内存优化的分组 GLU 操作。由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F66 中完成。\n* 为分组 MLP 的 DTensor 输入添加张量转换操作。由 @eracah 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F71 中完成。\n* 将 DTensor 应用于所有路径。由 @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F73 中完成。\n* 重构 DTensor 相关代码。由 @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F74 中完成。\n* 优化 GLU 反向传播的内存使用。由 @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F72 中完成。\n* 添加 DMLP 注册表参数。由 @j316chuck 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F75 中完成。\n* 修复默认设置为稀疏模式的问题。由 @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F76 中完成。\n* 修复当 `top_k=1` 时 `moe_normalize_expert_weights` 函数的行为问题。由 @152334H 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F87 中完成。\n* 更新 Triton 缓存策略。由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F89 中完成。\n\n## 新贡献者\n* @simon-mo 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F56 中完成了首次贡献。\n* @snarayan21 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F60 中完成了首次贡献。\n* @eltociear 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F63 中完成了首次贡献。\n* @sedrick-keh-tri 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F69 中完成了首次贡献。\n* @eracah 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F71 中完成了首次贡献。\n* @j316chuck 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F75 中完成了首次贡献。\n* @152334H 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F87 中完成了首次贡献。\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002F","2024-01-11T22:14:27",{"id":189,"version":190,"summary_zh":191,"released_at":192},315045,"v0.5.0","## 新增功能\n\n多项改进，用于避免 CPU 与 GPU 设备之间的同步；新增 GLU 支持；以及对部分新模型的支持 👀\n\n## 变更内容\n* @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F36 中更新了版本号。\n* @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F37 中避免了重复调用 `.cpu()`。\n* @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F39 中使 megablocks 依赖于 PyTorch 的默认精度。\n* @sashaDoubov 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F38 中添加了 GLU 支持。\n* @vchiley 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F41 中启用了输入的通用维度支持。\n* @bcui19 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F43 中移除了多余的 size 调用。\n* @tgale96 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F47 中修复了当 ffn_hidden_size > 4096 时拓扑内核中的 bug。\n\n## 新贡献者\n* @sashaDoubov 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F38 中完成了首次贡献。\n* @bcui19 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F43 中完成了首次贡献。\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fcompare\u002Fv0.4.0...v0.5.0","2023-12-08T16:51:51",{"id":194,"version":195,"summary_zh":196,"released_at":197},315046,"v0.4.0","## 变更内容\n* 由 @mvpatel2000 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F33 中实现的保存上下文一次性解包\n* 由 @tgale96 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F34 中进行的 FSDP 包装类层次结构重构\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fcompare\u002Fv0.3.3...v0.4.0","2023-10-24T22:44:25",{"id":199,"version":200,"summary_zh":201,"released_at":202},315047,"v0.3.3","## 变更内容\n* 由 @vchiley 在 https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F31 中实现，支持在不引入偏差的情况下运行 MegaBlocks MoE。\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fcompare\u002Fv0.3.2...v0.3.3","2023-10-17T21:58:42",{"id":204,"version":205,"summary_zh":206,"released_at":207},315048,"v0.3.2","## What's Changed\r\n\r\n- Support for bfloat16\r\n- Optimizations for top_k > 1\r\n- Support for fully-sharded data parallelism\r\n- Support tensor model parallelism when expert_parallel_world_size > num_experts\r\n- Optimizations for activation memory\r\n- Support activation quantization (thanks @dblalock!)\r\n- Optimizations for SM90 (Hopper)\r\n- Lots of bug fixes, cleanup and small optimizations\r\n\r\n## New Contributors\r\n* @vchiley made their first contribution in https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F9\r\n* @deepakn94 made their first contribution in https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F16\r\n* @b-chu made their first contribution in https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fpull\u002F19\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002Fstanford-futuredata\u002Fmegablocks\u002Fcompare\u002Fv0.1...v0.3.2","2023-10-10T22:32:16",{"id":209,"version":210,"summary_zh":211,"released_at":212},315049,"v0.1","Initial release documenting repository state prior to MLSys'23 camera-ready publication.","2023-05-01T15:14:01"]