[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-facebookresearch--fairscale":3,"tool-facebookresearch--fairscale":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",156033,2,"2026-04-14T23:32:00",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":99,"forks":100,"last_commit_at":101,"license":102,"difficulty_score":10,"env_os":103,"env_gpu":104,"env_ram":103,"env_deps":105,"category_tags":109,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":110,"updated_at":111,"faqs":112,"releases":141},7620,"facebookresearch\u002Ffairscale","fairscale","PyTorch extensions for high performance and large scale training.","fairscale 是一个专为 PyTorch 设计的扩展库，旨在帮助开发者和研究人员实现高性能、大规模的人工智能模型训练。随着深度学习模型日益庞大，单张显卡往往无法容纳整个模型，导致训练困难且资源消耗巨大。fairscale 正是为了解决这一痛点而生，它提供了一系列易于使用的模块化组件和接口，让用户能够以最小的学习成本，在有限的硬件资源下高效地扩展模型规模。\n\n该工具特别适合从事大模型研究的算法工程师、科研人员以及需要优化训练流程的开发者。其核心亮点在于集成了多种前沿的分布式训练技术，其中最著名的是 FullyShardedDataParallel（FSDP）。这项技术后来已被正式纳入 PyTorch 官方版本，能够将模型参数分片存储在不同设备上，显著降低显存占用并提升训练效率。此外，fairscale 还融合了来自 torchgpipe 的流水线并行和来自 Megatron-LM 的模型并行等先进技术。\n\n秉承易用性、模块化和高性能的设计理念，fairscale 允许用户像搭积木一样灵活组合各种功能，无缝融入现有的训练循环中。无论是希望复现最新科研成果，还是试图在有限算力下挑战更大","fairscale 是一个专为 PyTorch 设计的扩展库，旨在帮助开发者和研究人员实现高性能、大规模的人工智能模型训练。随着深度学习模型日益庞大，单张显卡往往无法容纳整个模型，导致训练困难且资源消耗巨大。fairscale 正是为了解决这一痛点而生，它提供了一系列易于使用的模块化组件和接口，让用户能够以最小的学习成本，在有限的硬件资源下高效地扩展模型规模。\n\n该工具特别适合从事大模型研究的算法工程师、科研人员以及需要优化训练流程的开发者。其核心亮点在于集成了多种前沿的分布式训练技术，其中最著名的是 FullyShardedDataParallel（FSDP）。这项技术后来已被正式纳入 PyTorch 官方版本，能够将模型参数分片存储在不同设备上，显著降低显存占用并提升训练效率。此外，fairscale 还融合了来自 torchgpipe 的流水线并行和来自 Megatron-LM 的模型并行等先进技术。\n\n秉承易用性、模块化和高性能的设计理念，fairscale 允许用户像搭积木一样灵活组合各种功能，无缝融入现有的训练循环中。无论是希望复现最新科研成果，还是试图在有限算力下挑战更大规模的神经网络，fairscale 都是值得尝试的得力助手。","![FairScale Logo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_260b5b2265e9.png)\n\n[![Support Ukraine](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSupport-Ukraine-FFD500?style=flat&labelColor=005BBB)](https:\u002F\u002Fopensource.facebook.com\u002Fsupport-ukraine)\n![PyPI](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fv\u002Ffairscale)\n[![Documentation Status](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_13d664e1afd7.png)](https:\u002F\u002Ffairscale.readthedocs.io\u002Fen\u002Flatest\u002F?badge=latest)\n[![CircleCI](https:\u002F\u002Fcircleci.com\u002Fgh\u002Ffacebookresearch\u002Ffairscale.svg?style=shield)](https:\u002F\u002Fapp.circleci.com\u002Fpipelines\u002Fgithub\u002Ffacebookresearch\u002Ffairscale\u002F) ![PyPI - License](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fl\u002Ffairscale) [![Downloads](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_b4320b4ee28c.png)](https:\u002F\u002Fpepy.tech\u002Fproject\u002Ffairscale) [![PRs Welcome](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-welcome-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fblob\u002Fmain\u002FCONTRIBUTING.md)\n--------------------------------------------------------------------------------\n\n## Description\nFairScale is a PyTorch extension library for high performance and large scale training.\nThis library extends basic PyTorch capabilities while adding new SOTA scaling techniques.\nFairScale makes available the latest distributed training techniques in the form of composable\nmodules and easy to use APIs. These APIs are a fundamental part of a researcher's toolbox as\nthey attempt to scale models with limited resources.\n\nFairScale was designed with the following values in mind:\n\n* **Usability** -  Users should be able to understand and use FairScale APIs with minimum cognitive overload.\n\n* **Modularity** - Users should be able to combine multiple FairScale APIs as part of their training loop seamlessly.\n\n* **Performance** - FairScale APIs provide the best performance in terms of scaling and efficiency.\n\n## Watch Introductory Video\n\n[![Explain Like I’m 5: FairScale](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_5e3b9e09b26a.jpg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=oDt7ebOwWIc)\n\n## Installation\n\nTo install FairScale, please see the following [instructions](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fblob\u002Fmain\u002Fdocs\u002Fsource\u002Finstallation_instructions.rst).\nYou should be able to install a package with pip or conda, or build directly from source.\n\n## Getting Started\nThe full [documentation](https:\u002F\u002Ffairscale.readthedocs.io\u002F) contains instructions for getting started, deep dives and tutorials about the various FairScale APIs.\n\n## FSDP\n\nFullyShardedDataParallel (FSDP) is the recommended method for scaling to large NN models.\nThis library has been [upstreamed to PyTorch](https:\u002F\u002Fpytorch.org\u002Fblog\u002Fintroducing-pytorch-fully-sharded-data-parallel-api\u002F).\nThe version of FSDP here is for historical references as well as for experimenting with\nnew and crazy ideas in research of scaling techniques. Please see the following blog\nfor [how to use FairScale FSDP and how does it work](https:\u002F\u002Fengineering.fb.com\u002F2021\u002F07\u002F15\u002Fopen-source\u002Ffsdp\u002F).\n\n## Testing\n\nWe use circleci to test FairScale with the following PyTorch versions (with CUDA 11.2):\n* the latest stable release (e.g. 1.10.0)\n* the latest LTS release (e.g. 1.8.1)\n* a recent nightly release (e.g. 1.11.0.dev20211101+cu111)\n\nPlease create an [issue](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fissues) if you are having trouble with installation.\n\n## Contributors\n\nWe welcome contributions! Please see the [CONTRIBUTING](CONTRIBUTING.md) instructions for how you can contribute to FairScale.\n\n## License\n\nFairScale is licensed under the [BSD-3-Clause License](LICENSE).\n\nfairscale.nn.pipe is forked from [torchgpipe](https:\u002F\u002Fgithub.com\u002Fkakaobrain\u002Ftorchgpipe), Copyright 2019, Kakao Brain, licensed under [Apache License](http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0).\n\nfairscale.nn.model_parallel is forked from [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM), Copyright 2020, NVIDIA CORPORATION, licensed under [Apache License](http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0).\n\nfairscale.optim.adascale is forked from [AdaptDL](https:\u002F\u002Fgithub.com\u002Fpetuum\u002Fadaptdl), Copyright 2020, Petuum, Inc., licensed under [Apache License](http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0).\n\nfairscale.nn.misc.flatten_params_wrapper is forked from [PyTorch-Reparam-Module](https:\u002F\u002Fgithub.com\u002FSsnL\u002FPyTorch-Reparam-Module), Copyright 2018, Tongzhou Wang, licensed under [MIT License](https:\u002F\u002Fgithub.com\u002FSsnL\u002FPyTorch-Reparam-Module\u002Fblob\u002Fmaster\u002FLICENSE).\n\n\n## Citing FairScale\n\nIf you use FairScale in your publication, please cite it by using the following BibTeX entry.\n\n```BibTeX\n@Misc{FairScale2021,\n  author =       {{FairScale authors}},\n  title =        {FairScale:  A general purpose modular PyTorch library for high performance and large scale training},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale}},\n  year =         {2021}\n}\n```\n","![FairScale Logo](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_260b5b2265e9.png)\n\n[![支持乌克兰](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSupport-Ukraine-FFD500?style=flat&labelColor=005BBB)](https:\u002F\u002Fopensource.facebook.com\u002Fsupport-ukraine)\n![PyPI](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fv\u002Ffairscale)\n[![文档状态](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_13d664e1afd7.png)](https:\u002F\u002Ffairscale.readthedocs.io\u002Fen\u002Flatest\u002F?badge=latest)\n[![CircleCI](https:\u002F\u002Fcircleci.com\u002Fgh\u002Ffacebookresearch\u002Ffairscale.svg?style=shield)](https:\u002F\u002Fapp.circleci.com\u002Fpipelines\u002Fgithub\u002Ffacebookresearch\u002Ffairscale\u002F) ![PyPI - 许可证](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fl\u002Ffairscale) [![下载量](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_b4320b4ee28c.png)](https:\u002F\u002Fpepy.tech\u002Fproject\u002Ffairscale) [![欢迎提交PR](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPRs-welcome-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fblob\u002Fmain\u002FCONTRIBUTING.md)\n--------------------------------------------------------------------------------\n\n## 描述\nFairScale 是一个用于高性能和大规模训练的 PyTorch 扩展库。该库在扩展基础 PyTorch 功能的同时，还引入了最新的 SOTA 扩展技术。FairScale 以可组合的模块和易于使用的 API 形式提供了最先进的分布式训练技术。这些 API 是研究人员在资源有限的情况下尝试扩展模型时不可或缺的工具。\n\nFairScale 在设计时秉持以下价值观：\n\n* **易用性** - 用户应能够在最小认知负担下理解和使用 FairScale 的 API。\n\n* **模块化** - 用户应能够无缝地将多个 FairScale API 组合到他们的训练循环中。\n\n* **性能** - FairScale 的 API 在扩展性和效率方面均表现出色。\n\n## 观看入门视频\n\n[![像对五岁小孩解释一样：FairScale](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_readme_5e3b9e09b26a.jpg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=oDt7ebOwWIc)\n\n## 安装\n\n要安装 FairScale，请参阅以下[说明](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fblob\u002Fmain\u002Fdocs\u002Fsource\u002Finstallation_instructions.rst)。您可以通过 pip 或 conda 安装软件包，也可以直接从源代码构建。\n\n## 入门\n完整的[文档](https:\u002F\u002Ffairscale.readthedocs.io\u002F)包含入门指南、深入解析以及关于各种 FairScale API 的教程。\n\n## FSDP\n\nFullyShardedDataParallel (FSDP) 是扩展大型神经网络模型的推荐方法。该库已被[合并到 PyTorch 主干](https:\u002F\u002Fpytorch.org\u002Fblog\u002Fintroducing-pytorch-fully-sharded-data-parallel-api\u002F)。此处的 FSDP 版本既可用于历史参考，也可用于研究扩展技术中的新奇想法。请参阅以下博客，了解[如何使用 FairScale FSDP 及其工作原理](https:\u002F\u002Fengineering.fb.com\u002F2021\u002F07\u002F15\u002Fopen-source\u002Ffsdp\u002F)。\n\n## 测试\n我们使用 CircleCI 对 FairScale 进行测试，测试环境包括以下 PyTorch 版本（搭配 CUDA 11.2）：\n* 最新的稳定版（例如 1.10.0）\n* 最新的长期支持版（例如 1.8.1）\n* 最近的每日构建版（例如 1.11.0.dev20211101+cu111）\n\n如果您在安装过程中遇到问题，请创建一个[issue](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fissues)。\n\n## 贡献者\n我们欢迎各位贡献！请参阅[CONTRIBUTING](CONTRIBUTING.md)说明，了解如何为 FairScale 做出贡献。\n\n## 许可证\nFairScale 采用[BSD-3-Clause 许可证](LICENSE)。\n\nfairscale.nn.pipe 源自 [torchgpipe](https:\u002F\u002Fgithub.com\u002Fkakaobrain\u002Ftorchgpipe)，版权归属 Kakao Brain，2019 年，采用 [Apache 许可证](http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0)。\n\nfairscale.nn.model_parallel 源自 [Megatron-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM)，版权归属 NVIDIA CORPORATION，2020 年，采用 [Apache 许可证](http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0)。\n\nfairscale.optim.adascale 源自 [AdaptDL](https:\u002F\u002Fgithub.com\u002Fpetuum\u002Fadaptdl)，版权归属 Petuum, Inc.，2020 年，采用 [Apache 许可证](http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0)。\n\nfairscale.nn.misc.flatten_params_wrapper 源自 [PyTorch-Reparam-Module](https:\u002F\u002Fgithub.com\u002FSsnL\u002FPyTorch-Reparam-Module)，版权归属 Tongzhou Wang，2018 年，采用 [MIT 许可证](https:\u002F\u002Fgithub.com\u002FSsnL\u002FPyTorch-Reparam-Module\u002Fblob\u002Fmaster\u002FLICENSE)。\n\n## 引用 FairScale\n如果您在论文或其他出版物中使用 FairScale，请使用以下 BibTeX 条目进行引用。\n\n```BibTeX\n@Misc{FairScale2021,\n  author =       {{FairScale authors}},\n  title =        {FairScale:  A general purpose modular PyTorch library for high performance and large scale training},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale}},\n  year =         {2021}\n}\n```","# FairScale 快速上手指南\n\nFairScale 是一个用于高性能和大规模训练的 PyTorch 扩展库，提供了最新的分布式训练技术（如 FSDP），帮助研究者在有限资源下扩展模型规模。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python**: 3.7 或更高版本\n*   **PyTorch**: 已安装兼容版本的 PyTorch (建议 1.8+，需包含 CUDA 支持以进行 GPU 训练)\n*   **CUDA**: 如需使用 GPU 加速，请确保已正确安装 NVIDIA 驱动和 CUDA Toolkit (FairScale 测试环境通常为 CUDA 11.2+)\n\n## 安装步骤\n\n您可以通过 `pip` 直接安装稳定版，或者从源码构建以获取最新功能。\n\n### 方式一：使用 pip 安装（推荐）\n\n```bash\npip install fairscale\n```\n\n*国内用户加速建议：*\n如果您在国内网络环境下安装较慢，推荐使用清华或阿里镜像源：\n```bash\npip install fairscale -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 方式二：从源码安装\n\n如果您需要最新的功能或进行开发贡献：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale.git\ncd fairscale\npip install -e .\n```\n\n## 基本使用\n\nFairScale 的核心功能是作为可组合的模块嵌入到您的现有 PyTorch 训练循环中。目前最常用且推荐的功能是 **FSDP (FullyShardedDataParallel)**，用于将大模型分片到多个 GPU 上进行训练。\n\n以下是一个最简单的 FSDP 使用示例，展示如何将普通模型包装为分片并行模型：\n\n```python\nimport torch\nimport torch.nn as nn\nfrom fairscale.nn.data_parallel import FullyShardedDataParallel as FSDP\n\n# 1. 定义一个简单的模型\nclass SimpleModel(nn.Module):\n    def __init__(self):\n        super().__init__()\n        self.net = nn.Sequential(\n            nn.Linear(1024, 1024),\n            nn.ReLU(),\n            nn.Linear(1024, 10)\n        )\n\n    def forward(self, x):\n        return self.net(x)\n\n# 2. 初始化模型和优化器\nmodel = SimpleModel()\noptimizer = torch.optim.Adam(model.parameters(), lr=0.001)\n\n# 3. 使用 FSDP 包装模型\n# 注意：需要在 CUDA 环境下运行，并设置正确的 device_id\nif torch.cuda.is_available():\n    model = FSDP(model)\n    model.to(torch.cuda.current_device())\n\n# 4. 正常的训练循环 (与普通 PyTorch 代码无异)\ndummy_input = torch.randn(32, 1024).cuda()\ntarget = torch.randn(32, 10).cuda()\n\noutput = model(dummy_input)\nloss = nn.MSELoss()(output, target)\n\nloss.backward()\noptimizer.step()\noptimizer.zero_grad()\n\nprint(\"FSDP 训练步骤执行成功！\")\n```\n\n**说明：**\n*   `FullyShardedDataParallel` 会自动处理参数分片、梯度分片和优化器状态分片，显著降低显存占用。\n*   除了 FSDP，FairScale 还提供了 `Pipe` (流水线并行) 和 `AdaScale` (自适应批大小缩放) 等模块，具体用法可参考官方完整文档。","某初创 AI 实验室的研究团队试图在仅有 4 张消费级显卡（每张 24GB 显存）的服务器上，训练一个参数量高达 100 亿的语言模型，以验证新架构的有效性。\n\n### 没有 fairscale 时\n- **显存立即溢出**：尝试加载模型时，单卡显存瞬间爆满，程序直接报错崩溃，根本无法启动训练。\n- **被迫削减规模**：为了强行运行，不得不将模型层数砍掉一半或大幅缩小批量大小（Batch Size），导致模型效果严重失真，实验结果不可信。\n- **手动改造困难**：试图手动编写分布式代码来分割模型，但涉及复杂的通信逻辑和梯度同步，开发周期长达数周且极易出错。\n- **资源利用率低**：即使勉强跑通小规模版本，多卡之间负载不均，大量时间浪费在等待通信上，训练效率极低。\n\n### 使用 fairscale 后\n- **突破显存限制**：利用 fairscale 提供的 FSDP（完全分片数据并行）技术，将模型参数、梯度和优化器状态自动分片存储到所有显卡上，成功在有限显存中加载了百亿参数模型。\n- **保持模型完整性**：无需修改模型结构或牺牲批量大小，完整保留了原定的超参数设置，确保了实验结果的准确性和可复现性。\n- **极简代码接入**：仅需几行代码即可将标准的 PyTorch `DistributedDataParallel` 替换为 fairscale 的封装模块，半天内就完成了分布式改造并启动训练。\n- **线性加速比**：得益于高效的通信优化和流水线并行支持，4 张卡的训练速度接近线性增长，大幅缩短了迭代周期。\n\nfairscale 让研究人员在有限的硬件资源下，也能轻松驾驭超大规模模型的训练，将原本不可能的实验变为现实。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_fairscale_260b5b22.png","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[81,85,89,93,96],{"name":82,"color":83,"percentage":84},"Python","#3572A5",99.2,{"name":86,"color":87,"percentage":88},"Cuda","#3A4E3A",0.7,{"name":90,"color":91,"percentage":92},"Shell","#89e051",0,{"name":94,"color":95,"percentage":92},"C++","#f34b7d",{"name":97,"color":98,"percentage":92},"C","#555555",3405,296,"2026-04-11T09:55:11","NOASSERTION","未说明","需要 NVIDIA GPU（用于分布式训练），测试环境使用 CUDA 11.2",{"notes":106,"python":103,"dependencies":107},"FairScale 是一个用于高性能和大规模训练的 PyTorch 扩展库。其核心功能 FSDP (FullyShardedDataParallel) 已合并至 PyTorch 主库，此处版本主要用于历史参考或研究实验。官方推荐使用 pip 或 conda 安装，也可从源码构建。测试环境基于 CUDA 11.2。",[108],"torch (支持最新稳定版、最新 LTS 版及近期夜间版，如 1.8.1, 1.10.0, 1.11.0.dev)",[14],"2026-03-27T02:49:30.150509","2026-04-15T08:09:44.447666",[113,118,122,127,132,137],{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},34133,"在 FSDP 中使用自定义反向钩子（backward hooks）时，为什么无法访问自定义的梯度属性（如 param.scaled_grad）？","这是因为 FSDP 会对参数进行扁平化（flatten）和分片（shard），导致原始参数对象被替换。如果在模块反向钩子中设置了自定义属性，在 FSDP 的内部钩子中可能无法直接访问到。解决方案是尝试设置 `flatten_parameters=False`。虽然这可能会略微降低性能（因为通信使用的张量变小了），但在某些情况下能提高与原始模型代码的兼容性，从而允许访问自定义属性。如果必须使用扁平化，可能需要修改代码逻辑以适应分片后的参数结构。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fissues\u002F1101",{"id":119,"question_zh":120,"answer_zh":121,"source_url":117},34134,"FSDP 中的 `flatten_parameters` 参数设置为 True 和 False 各有什么优缺点？","设置为 `True`（默认）的好处是性能更好，因为网络通信是使用更大的张量进行的，减少了通信开销。设置为 `False` 的优点是与某些原始模型代码的兼容性更好（例如在使用自定义钩子或特定层类型时），但可能会导致运行速度变慢。建议根据具体模型进行基准测试（benchmark）来决定最佳设置。如果遇到兼容性问题（如卷积层错误或自定义属性丢失），可以尝试设置为 `False`。",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},34135,"FSDP 是否自动对梯度、优化器状态和参数进行分片？是否需要单独调用 OSS？","FSDP（Fully Sharded Data Parallel）本身设计用于对参数、梯度和优化器状态进行分片。在 FairScale 的实现中，通常需要将 FSDP 与 `OSS` (Optimizer State Sharding) 结合使用以实现完整的优化器状态分片。你需要实例化 `OSS` 优化器并将其传递给 `ShardedDataParallel` 或 `FSDP` 包装器。关于混合精度，FSDP 支持通过参数配置开启 AMP（自动混合精度），验证\u002F测试通常在所有节点上进行，或者根据具体实现只在 rank 0 进行聚合，具体取决于你的推理逻辑编写方式。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fissues\u002F703",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},34136,"在多节点环境下使用 ShardedDataParallel 时报错 \"A bucket failed to be sent, probably unused parameters\" 怎么办？","这个错误通常表示系统检测到未使用的参数，或者在分片桶（buckets）机制中参数数量不足以填充所有分片。即使你认为没有未使用的参数，也可能是因为模型参数量相对于世界大小（world_size，即 GPU 总数）太小。解决方法有：1. 确保模型有足够的参数（参数量应大于 GPU 数量）；2. 禁用 ShardedDDP 的桶机制，通过将 `reduce_buffer_size` 参数设置为 0 来去激活 buckets；3. 检查是否有参数确实未在 forward\u002Fbackward 过程中被使用并移除它们。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fissues\u002F397",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},34137,"在使用 ShardedDDP 切换到 eval 模式后，为什么梯度仍然被标记为“等待归约”（waiting to be reduced）？","这通常是因为梯度清零的方式不正确。在 ShardedDDP 中，如果你使用了分片桶（buckets），必须在优化器上调用 `optimizer.zero_grad()` 而不是在模型上调用 `model.zero_grad()`。如果在模型上调用，可能无法正确重置桶内的梯度状态，导致在切换到 eval 模式后梯度状态异常。请确保在训练步骤结束时使用 `optimizer.zero_grad()`。如果问题依然存在，建议提供一个最小复现示例以便进一步排查。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fissues\u002F586",{"id":138,"question_zh":139,"answer_zh":140,"source_url":117},34138,"FairScale 版本的 FSDP 与 PyTorch 原生版本的 FSDP 有什么区别？应该选择哪个？","PyTorch 原生版本（torch.distributed.fsdp）通常更稳定，更适合生产环境使用。FairScale 版本主要用于研究和实验，因此包含更多前沿功能和实验性特性，但并非所有功能都同样稳定或经过充分测试。例如，某些特定配置（如非扁平化参数 `non-flatten`）可能仅在 FairScale 版本中可用。如果你的需求是稳定性和生产部署，建议使用 PyTorch 原生版本；如果你需要实验最新的功能或特定的研究配置，可以使用 FairScale 版本。",[142,146,150,154,158,162,166,170,174,178,182,187,191,196,200,204,208,212,216,220],{"id":143,"version":144,"summary_zh":77,"released_at":145},264021,"v0.4.13","2022-12-11T18:09:19",{"id":147,"version":148,"summary_zh":77,"released_at":149},264022,"v0.4.12","2022-10-05T16:51:45",{"id":151,"version":152,"summary_zh":77,"released_at":153},264023,"v0.4.11","2022-09-30T21:48:37",{"id":155,"version":156,"summary_zh":77,"released_at":157},264024,"v0.4.10","2022-09-23T19:15:24",{"id":159,"version":160,"summary_zh":77,"released_at":161},264025,"v0.4.9","2022-09-07T02:51:59",{"id":163,"version":164,"summary_zh":77,"released_at":165},264026,"v0.4.8","2022-07-26T23:16:17",{"id":167,"version":168,"summary_zh":77,"released_at":169},264027,"v0.4.7","2022-07-26T03:35:35",{"id":171,"version":172,"summary_zh":77,"released_at":173},264028,"v0.4.6","2022-03-09T19:12:03",{"id":175,"version":176,"summary_zh":77,"released_at":177},264029,"v0.4.5","2022-01-14T20:24:58",{"id":179,"version":180,"summary_zh":77,"released_at":181},264030,"v0.4.4","2021-12-21T20:08:57",{"id":183,"version":184,"summary_zh":185,"released_at":186},264031,"v0.4.3","## 变更内容\n* [docs][fix] 更新示例以使用 offload_model，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F806 中完成\n* 将默认分支从 master 切换到 main，由 @tmarkstrum 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F807 中完成\n* [FairScale] 移除代码注释中对“cpu_offload”的引用，由 @rohan-varma 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F814 中完成\n* [chore] 移除已弃用的 THCudaCheck，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F818 中完成\n* [feat] 层级内存跟踪功能，由 @QuentinDuval 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F808 中完成\n* [chore] 为新的实验性内存跟踪器功能添加日志记录，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F819 中完成\n* [chore] 更新我们用于运行 CPU 测试的 PyTorch 版本，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F809 中完成\n* [chore] 更新我们用于运行基准测试的 PyTorch 版本，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F823 中完成\n* 扩展自动分片功能，以绕过 torch.fx 的边缘情况，由 @EugenHotaj 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F817 中完成\n* [fix] 更新黄金数据以反映速度回归问题，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F825 中完成\n* [chore] 通过放宽约束临时修复主分支的中断，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F828 中完成\n* 在 auto_shard 中使用正确的节点名称进行参数计数，由 @EugenHotaj 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F830 中完成\n* [chore] 更新 requirements 文件以反映最新配置，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F832 中完成\n* [fix]: 修复 pre_backward 钩子注册的问题，由 @min-xu-ai 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F833 中完成\n* [feature] 在训练时跳过创建 CPU 梯度张量，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F821 中完成\n* [test] 提高测试覆盖率，由 @min-xu-ai 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F798 中完成\n* [fix] 将 `move_params_to_cpu` 与 `mixed_precision` 解耦，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F822 中完成\n* [fix] 修复主分支上的测试，由 @min-xu-ai 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F835 中完成\n* [feature] 添加低级别 SSD API，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F829 中完成\n* [feat] [FSDP]: 添加对共享权重的实验性支持，由 @min-xu-ai 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F836 中完成\n* 更新夜间版 PyTorch 并测试不稳定测试，由 @min-xu-ai 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F837 中完成\n* [chore] 修复因 GitHub URL 要求更新而导致的主分支中断，由 @anj-s 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F838 中完成\n* [chore] 更新文档 requirements 文件中的 Sphinx 版本，由 @vtantia 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F841 中完成\n* [feat] 实验性 MEVO 层，由 @min-xu-ai 在 https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairs","2021-11-18T22:57:34",{"id":188,"version":189,"summary_zh":77,"released_at":190},264032,"v0.4.2","2021-11-08T23:10:46",{"id":192,"version":193,"summary_zh":194,"released_at":195},264033,"v0.4.1","FairScale 发布 0.4.1 版本。","2021-09-20T14:41:08",{"id":197,"version":198,"summary_zh":77,"released_at":199},264034,"v0.4.0","2021-08-12T17:42:24",{"id":201,"version":202,"summary_zh":77,"released_at":203},264035,"v0.3.9","2021-08-12T17:42:11",{"id":205,"version":206,"summary_zh":77,"released_at":207},264036,"v0.3.8","2021-07-12T21:22:29",{"id":209,"version":210,"summary_zh":77,"released_at":211},264037,"v0.3.7","2021-05-18T02:29:18",{"id":213,"version":214,"summary_zh":77,"released_at":215},264038,"v0.3.6","2021-05-18T02:28:39",{"id":217,"version":218,"summary_zh":77,"released_at":219},264039,"v0.3.5","2021-05-18T02:27:57",{"id":221,"version":222,"summary_zh":223,"released_at":224},264040,"v0.3.4","## [0.3.4] - 2021-04-13\n### 新增\n- FSDP：添加不广播优化状态的选项 ([#560](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F560))\n\n### 修复\n- ShardedDDP：正确处理 `.eval()` 模式 ([#587](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F587))\n- ShardedDDP：处理在状态合并之前模型被移回 CPU 的情况 ([#573](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F573))\n- FSDP：大幅加快状态合并速度 ([#595](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F595))\n- FSDP：添加梯度预除操作，以防止在世界规模较大时发生溢出 ([#565](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F565))\n- Offload：（实验性）修复激活值卸载到 CPU 的问题 ([#588](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Ffairscale\u002Fpull\u002F588))","2021-04-13T22:21:27"]