[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Lightning-AI--lightning-thunder":3,"tool-Lightning-AI--lightning-thunder":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,2,"2026-04-14T11:34:08",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":100,"forks":101,"last_commit_at":102,"license":103,"difficulty_score":10,"env_os":104,"env_gpu":105,"env_ram":106,"env_deps":107,"category_tags":117,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":118,"updated_at":119,"faqs":120,"releases":149},7485,"Lightning-AI\u002Flightning-thunder","lightning-thunder","PyTorch compiler that accelerates training and inference. Get built-in optimizations for performance, memory, parallelism, and easily write your own.","Lightning-Thunder 是一款专为 PyTorch 打造的源代码到源代码编译器，旨在为深度学习模型的训练和推理注入“超能力”。它核心解决了模型优化门槛高、硬件适配复杂以及难以兼顾性能与灵活性的痛点，帮助开发者轻松将未优化的模型转化为高效运行版本。\n\n这款工具特别适合深度学习工程师、算法研究人员以及需要探索前沿硬件特性的技术团队使用。其独特亮点在于提供了一个简单且符合 Python 习惯的中间表示（IR），让计算过程完全透明、可检查且易于扩展。用户不仅能直接获得内置的性能加速（如算子融合、混合精度支持及分布式并行策略），还能通过可编程方式自定义优化逻辑，甚至无缝集成针对 NVIDIA Blackwell 等新硬件的特化内核。\n\n借助 Lightning-Thunder，用户可以快速迭代量化策略、消除图断裂以获取完整计算图，并将单卡模型便捷地转换为分布式运行模式。它将复杂的底层优化封装为可组合的“配方”，让用户在保持代码可读性的同时，显著提升模型在各类场景下的执行效率，是连接原型开发与生产级部署的高效桥梁。","\u003Cdiv align='center'>\n\n# Give your PyTorch models superpowers ⚡\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_4e0f1ce6a39b.png\" width=\"400px\" style=\"max-width: 100%;\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_6ca7183fea87.png\" width=\"400px\" style=\"max-width: 100%;\">\n\u003Cbr\u002F>\n\u003Cbr\u002F>\n\n \n\n\u003Cstrong>Source-to-source compiler for PyTorch.\u003C\u002Fstrong>\nUnderstandable. Inspectable. Extensible.\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align='center'>\n\n\u003Cpre>\n✅ Run PyTorch 40% faster   ✅ Quantization                ✅ Kernel fusion        \n✅ Training recipes         ✅ FP4\u002FFP6\u002FFP8 precision       ✅ Distributed TP\u002FPP\u002FDP \n✅ Inference recipes        ✅ Ready for NVIDIA Blackwell  ✅ CUDA Graphs          \n✅ LLMs, non LLMs and more  ✅ Custom Triton kernels       ✅ Compose all the above\n\u003C\u002Fpre>\n\n\u003C\u002Fdiv>\n\nThunder is a source-to-source deep learning compiler for PyTorch that focuses on making it simple to optimize models for training and inference.\n\nIt provides:\n\n- a simple, Pythonic IR capturing the entire computation\n- a rich system of transforms that simultaneously operate on the computation IR, the model, and the weights\n- an extensible dispatch mechanism to fusers and optimized kernel libraries\n\nWith Thunder you can:\n\n- profile deep learning programs easily, map individual ops to kernels and inspect programs interactively\n- programmatically replace sequences of operations with optimized ones and see the effect on performance\n- acquire full computation graphs without graph breaks by flexibly extending the interpreter\n- modify programs to fully utilize bleeding edge kernel libraries on specific hardware\n- write models for single GPU and transform them to run distributed\n- quickly iterate on mixed precision and quantization strategies to search for combinations that minimally affect quality\n- bundle all optimizations in composable recipes, so they can be ported across model families\n\nUltimately, you should think about Thunder as a highly efficient tool to go from “unoptimized” to “optimized”.\n\nIf that is of interest for you, read on to Install Thunder and get started quickly.\n\n\u003Cdiv align='center'>\n\n[![license](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-blue.svg)](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fblob\u002Fmain\u002FLICENSE)\n[![CI testing](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-testing.yml\u002Fbadge.svg?event=push)](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-testing.yml)\n[![General checks](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-checks.yml\u002Fbadge.svg?event=push)](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-checks.yml)\n[![Documentation Status](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_13d664e1afd7.png)](https:\u002F\u002Flightning-thunder.readthedocs.io\u002Fen\u002Flatest\u002F?badge=latest)\n[![pre-commit.ci status](https:\u002F\u002Fresults.pre-commit.ci\u002Fbadge\u002Fgithub\u002FLightning-AI\u002Flightning-thunder\u002Fmain.svg)](https:\u002F\u002Fresults.pre-commit.ci\u002Flatest\u002Fgithub\u002FLightning-AI\u002Flightning-thunder\u002Fmain)\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cdiv style=\"text-align: center;\">\n    \u003Ca target=\"_blank\" href=\"#quick-start\" style=\"margin: 0 10px;\">Quick start\u003C\u002Fa> •\n    \u003Ca target=\"_blank\" href=\"#examples\" style=\"margin: 0 10px;\">Examples\u003C\u002Fa> •\n    \u003Ca target=\"_blank\" href=\"#performance\" style=\"margin: 0 10px;\">Performance\u003C\u002Fa> •\n    \u003C!-- \u003Ca target=\"_blank\" href=\"#hosting-options\" style=\"margin: 0 10px;\">Hosting\u003C\u002Fa> • -->\n    \u003Ca target=\"_blank\" href=\"https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Flatest\u002F\" style=\"margin: 0 10px;\">Docs\u003C\u002Fa>\n  \u003C\u002Fdiv>\n\u003C\u002Fdiv>\n\n \n\n\u003C!--\n\u003Cdiv align=\"center\">\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Fhome\u002Fget-started\">\n  \u003Cimg src=\"https:\u002F\u002Fpl-bolts-doc-images.s3.us-east-2.amazonaws.com\u002Fapp-2\u002Fget-started-badge.svg\" height=\"36px\" alt=\"Get started\"\u002F>\n\u003C\u002Fa>\n\u003C\u002Fdiv>\n-->\n\n \n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_16cc0afbb421.png\" width=\"800px\" style=\"max-width: 100%;\">\n\u003C\u002Fdiv>\n\n# Quick start\n\nInstall Thunder via pip ([more options](https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Flatest\u002Ffundamentals\u002Finstallation.html)):\n\n```bash\npip install lightning-thunder\n\npip install -U torch torchvision\npip install nvfuser-cu128-torch28 nvidia-cudnn-frontend  # if NVIDIA GPU is present\n```\n\n\u003Cdetails>\n  \u003Csummary>For older versions of \u003Ccode>torch\u003C\u002Fcode>\u003C\u002Fsummary>\n\n\u003Ccode>torch==2.7\u003C\u002Fcode> + CUDA 12.8\n\n```bash\npip install lightning-thunder\n\npip install torch==2.7.0 torchvision==0.22\npip install nvfuser-cu128-torch27 nvidia-cudnn-frontend  # if NVIDIA GPU is present\n```\n\n\u003Ccode>torch==2.6\u003C\u002Fcode> + CUDA 12.6\n\n```bash\npip install lightning-thunder\n\npip install torch==2.6.0 torchvision==0.21\npip install nvfuser-cu126-torch26 nvidia-cudnn-frontend  # if NVIDIA GPU is present\n```\n\n\u003Ccode>torch==2.5\u003C\u002Fcode> + CUDA 12.4\n\n```bash\npip install lightning-thunder\n\npip install torch==2.5.0 torchvision==0.20\npip install nvfuser-cu124-torch25 nvidia-cudnn-frontend  # if NVIDIA GPU is present\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n  \u003Csummary>Advanced install options\u003C\u002Fsummary>\n\n### Install optional executors\n\n```bash\n# Float8 support (this will compile from source, be patient)\npip install \"transformer_engine[pytorch]\"\n```\n\n### Install Thunder bleeding edge\n\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder.git@main\n```\n\n### Install Thunder for development\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder.git\ncd lightning-thunder\npip install -e .\n```\n\n\u003C\u002Fdetails>\n\n### Hello world\n\nDefine a function or a torch module:\n\n```python\nimport torch.nn as nn\n\nmodel = nn.Sequential(nn.Linear(2048, 4096), nn.ReLU(), nn.Linear(4096, 64))\n```\n\nOptimize it with Thunder:\n\n```python\nimport thunder\nimport torch\n\nthunder_model = thunder.compile(model)\n\nx = torch.randn(64, 2048)\n\ny = thunder_model(x)\n\ntorch.testing.assert_close(y, model(x))\n```\n\n## Examples\n\n### LLM training\n\nInstall LitGPT (without updating other dependencies)\n\n```\npip install --no-deps 'litgpt[all]'\n```\n\nand run\n\n```python\nimport thunder\nimport torch\nimport litgpt\n\nwith torch.device(\"cuda\"):\n    model = litgpt.GPT.from_name(\"Llama-3.2-1B\").to(torch.bfloat16)\n\nthunder_model = thunder.compile(model)\n\ninp = torch.ones((1, 2048), device=\"cuda\", dtype=torch.int64)\n\nout = thunder_model(inp)\nout.sum().backward()\n```\n\n### HuggingFace BERT inference\n\nInstall Hugging Face Transformers (recommended version is `4.50.2` and above)\n\n```\npip install -U transformers\n```\n\nand run\n\n```python\nimport thunder\nimport torch\nimport transformers\n\nmodel_name = \"bert-large-uncased\"\n\ntokenizer = transformers.AutoTokenizer.from_pretrained(model_name)\n\nwith torch.device(\"cuda\"):\n    model = transformers.AutoModelForCausalLM.from_pretrained(\n        model_name, torch_dtype=torch.bfloat16\n    )\n    model.requires_grad_(False)\n    model.eval()\n\n    inp = tokenizer([\"Hello world!\"], return_tensors=\"pt\")\n\nthunder_model = thunder.compile(model)\n\nout = thunder_model(**inp)\nprint(out)\n```\n\n### HuggingFace DeepSeek R1 distill inference\n\nInstall Hugging Face Transformers (recommended version is `4.50.2` and above)\n\n```\npip install -U transformers\n```\n\nand run\n\n```python\nimport torch\nimport transformers\nimport thunder\n\nmodel_name = \"deepseek-ai\u002FDeepSeek-R1-Distill-Llama-8B\"\n\ntokenizer = transformers.AutoTokenizer.from_pretrained(model_name)\n\nwith torch.device(\"cuda\"):\n    model = transformers.AutoModelForCausalLM.from_pretrained(\n        model_name, torch_dtype=torch.bfloat16\n    )\n    model.requires_grad_(False)\n    model.eval()\n\n    inp = tokenizer([\"Hello world! Here's a long story\"], return_tensors=\"pt\")\n\nthunder_model = thunder.compile(model)\n\nout = thunder_model.generate(\n    **inp, do_sample=False, cache_implementation=\"static\", max_new_tokens=100\n)\nprint(out)\n```\n\n### Vision Transformer inference\n\n```python\nimport thunder\nimport torch\nimport torchvision as tv\n\nwith torch.device(\"cuda\"):\n    model = tv.models.vit_b_16()\n    model.requires_grad_(False)\n    model.eval()\n\n    inp = torch.randn(128, 3, 224, 224)\n\nout = model(inp)\n\nthunder_model = thunder.compile(model)\n\nout = thunder_model(inp)\n```\n\n### Benchmarks\n\nAlthough is Thunder a tool for optimizing models, rather than an opaque compiler that gets you speedups out of the box, here is a set of benchmarks.\n\nPerf-wise, out of the box Thunder is in the ballpark of torch compile, especially when using CUDAGraphs. Note however that Thunder is not a competitor to torch compile! It can actually use torch compile as one of its fusion executors.\n\nThe script `examples\u002Fquickstart\u002Fhf_llm.py` demonstrates how to benchmark a model for text generation, forward pass, forward pass with loss, and a full forward + backward computation.\n\nOn an H100 with torch=2.8.0 and nvfuser-cu128-torch28 and Transformers 4.55.4 running Llama 3.2 1B we see the following timings:\n\n```\nTransformers with torch.compile and CUDAGraphs (reduce-overhead mode):  521ms\nTransformers with torch.compile but no CUDAGraphs (default mode):       814ms\nTransformers without torch.compile:                                    1493ms\nThunder with CUDAGraphs:                                                542ms\n```\n\n## Plugins\n\nPlugins are a way to apply optimizations to a model, such as parallelism and quantization.\n\nThunder comes with a few plugins included of the box, but it's easy to write new ones.\n\n- scale up with distributed strategies with DDP, FSDP, TP ()\n- optimize numerical precision with FP8, MXFP8\n- save memory with quantization\n- reduce latency with CUDAGraphs\n- debugging and profiling\n\nFor example, in order to reduce CPU overheads via CUDAGraphs you can add \"reduce-overhead\"\nto the `plugins=` argument of `thunder.compile`:\n\n```python\nthunder_model = thunder.compile(model, plugins=\"reduce-overhead\")\n```\n\nThis may or may not make a big difference. The point of Thunder is that you can easily\nswap optimizations in and out and explore the best combination for your setup.\n\n## How it works\n\nThunder works in three stages:\n\n1. ⚡️ It acquires your model by interpreting Python bytecode and producing a straight-line Python program\n\n1. ️⚡️ It transforms the model and computation trace to make it distributed, change precision\n\n1. ⚡️ It routes parts of the trace for execution\n\n   - fusion (`NVFuser`, `torch.compile`)\n   - specialized libraries (e.g. `cuDNN SDPA`, `TransformerEngine`)\n   - custom Triton and CUDA kernels\n   - PyTorch eager operations\n\n \n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_570a022926eb.png\" width=\"800px\" style=\"max-width: 100%;\">\n\u003C\u002Fdiv>\n\n \n\nThis is how the trace looks like for a simple MLP:\n\n```python\nimport thunder\nimport torch\nimport torch.nn as nn\n\nmodel = nn.Sequential(nn.Linear(1024, 2048), nn.ReLU(), nn.Linear(2048, 256))\n\nthunder_model = thunder.compile(model)\ny = thunder_model(torch.randn(4, 1024))\n\nprint(thunder.last_traces(thunder_model)[-1])\n```\n\nThis is the acquired trace, ready to be transformed and executed:\n\n```python\ndef computation(input, t_0_bias, t_0_weight, t_2_bias, t_2_weight):\n# input: \"cuda:0 f32[4, 1024]\"\n# t_0_bias: \"cuda:0 f32[2048]\"\n# t_0_weight: \"cuda:0 f32[2048, 1024]\"\n# t_2_bias: \"cuda:0 f32[256]\"\n# t_2_weight: \"cuda:0 f32[256, 2048]\"\nt3 = ltorch.linear(input, t_0_weight, t_0_bias) # t3: \"cuda:0 f32[4, 2048]\"\nt6 = ltorch.relu(t3, False) # t6: \"cuda:0 f32[4, 2048]\"\nt10 = ltorch.linear(t6, t_2_weight, t_2_bias) # t10: \"cuda:0 f32[4, 256]\"\nreturn (t10,)\n```\n\nNote how Thunder's intermediate representation is just (a subset of) Python!\n\n## Performance\n\nThunder is fast. Here are the speed-ups obtained on a pre-training task using LitGPT on H100 and B200 hardware, relative to PyTorch eager.\n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_16cc0afbb421.png\" width=\"800px\" style=\"max-width: 100%;\">\n\u003C\u002Fdiv>\n\n# Community\n\nThunder is an open source project, developed in collaboration with the community with significant contributions from NVIDIA.\n⚡️ [Docs on Contributing to Thunder](https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Flatest\u002Fadvanced\u002Fcontrib_thunder.html)\n💬 [Get help on Discord](https:\u002F\u002Fdiscord.com\u002Finvite\u002FXncpTy7DSt)\n📋 [License: Apache 2.0](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitserve\u002Fblob\u002Fmain\u002FLICENSE)\n","\u003Cdiv align='center'>\n\n# 为你的 PyTorch 模型赋予超能力 ⚡\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_4e0f1ce6a39b.png\" width=\"400px\" style=\"max-width: 100%;\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_6ca7183fea87.png\" width=\"400px\" style=\"max-width: 100%;\">\n\u003Cbr\u002F>\n\u003Cbr\u002F>\n\n \n\n\u003Cstrong>PyTorch 的源到源编译器。\u003C\u002Fstrong>\n易于理解。可检查。可扩展。\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align='center'>\n\n\u003Cpre>\n✅ 让 PyTorch 运行速度提升 40%   ✅ 量化                ✅ 核融合        \n✅ 训练配方         ✅ FP4\u002FFP6\u002FFP8 精度       ✅ 分布式 TP\u002FPP\u002FDP \n✅ 推理配方        ✅ 适用于 NVIDIA Blackwell  ✅ CUDA 图          \n✅ LLM、非 LLM 及更多  ✅ 自定义 Triton 内核       ✅ 组合以上所有功能\n\u003C\u002Fpre>\n\n\u003C\u002Fdiv>\n\nThunder 是一个面向 PyTorch 的源到源深度学习编译器，专注于简化模型在训练和推理中的优化流程。\n\n它提供了：\n\n- 一种简单、符合 Python 风格的中间表示（IR），用于捕捉整个计算过程\n- 一套丰富的转换系统，能够同时作用于计算 IR、模型和权重\n- 一个可扩展的调度机制，用于连接融合器和优化的内核库\n\n借助 Thunder，你可以：\n\n- 轻松剖析深度学习程序，将单个操作映射到内核，并以交互方式检查程序\n- 通过编程方式将一系列操作替换为优化后的版本，并观察对性能的影响\n- 通过灵活扩展解释器，在不中断图的情况下获取完整的计算图\n- 修改程序以充分利用特定硬件上的前沿内核库\n- 编写适用于单 GPU 的模型，并将其转换为分布式运行模式\n- 快速迭代混合精度和量化策略，寻找对模型质量影响最小的组合\n- 将所有优化打包成可组合的配方，以便在不同模型系列之间移植\n\n归根结底，你可以把 Thunder 看作是从“未优化”到“已优化”的高效工具。\n\n如果你对此感兴趣，请继续阅读以安装 Thunder 并快速上手。\n\n\u003Cdiv align='center'>\n\n[![license](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-blue.svg)](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fblob\u002Fmain\u002FLICENSE)\n[![CI 测试](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-testing.yml\u002Fbadge.svg?event=push)](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-testing.yml)\n[![常规检查](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-checks.yml\u002Fbadge.svg?event=push)](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Factions\u002Fworkflows\u002Fci-checks.yml)\n[![文档状态](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_13d664e1afd7.png)](https:\u002F\u002Flightning-thunder.readthedocs.io\u002Fen\u002Flatest\u002F?badge=latest)\n[![pre-commit.ci 状态](https:\u002F\u002Fresults.pre-commit.ci\u002Fbadge\u002Fgithub\u002FLightning-AI\u002Flightning-thunder\u002Fmain.svg)](https:\u002F\u002Fresults.pre-commit.ci\u002Flatest\u002Fgithub\u002FLightning-AI\u002Flightning-thunder\u002Fmain)\n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cdiv style=\"text-align: center;\">\n    \u003Ca target=\"_blank\" href=\"#quick-start\" style=\"margin: 0 10px;\">快速入门\u003C\u002Fa> •\n    \u003Ca target=\"_blank\" href=\"#examples\" style=\"margin: 0 10px;\">示例\u003C\u002Fa> •\n    \u003Ca target=\"_blank\" href=\"#performance\" style=\"margin: 0 10px;\">性能\u003C\u002Fa> •\n    \u003C!-- \u003Ca target=\"_blank\" href=\"#hosting-options\" style=\"margin: 0 10px;\">托管\u003C\u002Fa> • -->\n    \u003Ca target=\"_blank\" href=\"https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Flatest\u002F\" style=\"margin: 0 10px;\">文档\u003C\u002Fa>\n  \u003C\u002Fdiv>\n\u003C\u002Fdiv>\n\n \n\n\u003C!--\n\u003Cdiv align=\"center\">\n\u003Ca target=\"_blank\" href=\"https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Fhome\u002Fget-started\">\n  \u003Cimg src=\"https:\u002F\u002Fpl-bolts-doc-images.s3.us-east-2.amazonaws.com\u002Fapp-2\u002Fget-started-badge.svg\" height=\"36px\" alt=\"开始使用\"\u002F>\n\u003C\u002Fa>\n\u003C\u002Fdiv>\n-->\n\n \n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_16cc0afbb421.png\" width=\"800px\" style=\"max-width: 100%;\">\n\u003C\u002Fdiv>\n\n# 快速入门\n\n通过 pip 安装 Thunder（[更多选项](https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Flatest\u002Ffundamentals\u002Finstallation.html)）：\n\n```bash\npip install lightning-thunder\n\npip install -U torch torchvision\npip install nvfuser-cu128-torch28 nvidia-cudnn-frontend  # 如果有 NVIDIA GPU\n```\n\n\u003Cdetails>\n  \u003Csummary>针对旧版 \u003Ccode>torch\u003C\u002Fcode>\u003C\u002Fsummary>\n\n\u003Ccode>torch==2.7\u003C\u002Fcode> + CUDA 12.8\n\n```bash\npip install lightning-thunder\n\npip install torch==2.7.0 torchvision==0.22\npip install nvfuser-cu128-torch27 nvidia-cudnn-frontend  # 如果有 NVIDIA GPU\n```\n\n\u003Ccode>torch==2.6\u003C\u002Fcode> + CUDA 12.6\n\n```bash\npip install lightning-thunder\n\npip install torch==2.6.0 torchvision==0.21\npip install nvfuser-cu126-torch26 nvidia-cudnn-frontend  # 如果有 NVIDIA GPU\n```\n\n\u003Ccode>torch==2.5\u003C\u002Fcode> + CUDA 12.4\n\n```bash\npip install lightning-thunder\n\npip install torch==2.5.0 torchvision==0.20\npip install nvfuser-cu124-torch25 nvidia-cudnn-frontend  # 如果有 NVIDIA GPU\n```\n\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n  \u003Csummary>高级安装选项\u003C\u002Fsummary>\n\n### 安装可选执行器\n\n```bash\n# Float8 支持（这将从源代码编译，需耐心等待）\npip install \"transformer_engine[pytorch]\"\n```\n\n### 安装 Thunder 的最新开发版本\n\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder.git@main\n```\n\n### 为开发安装 Thunder\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder.git\ncd lightning-thunder\npip install -e .\n```\n\n\u003C\u002Fdetails>\n\n### Hello world\n\n定义一个函数或一个 PyTorch 模块：\n\n```python\nimport torch.nn as nn\n\nmodel = nn.Sequential(nn.Linear(2048, 4096), nn.ReLU(), nn.Linear(4096, 64))\n```\n\n用 Thunder 对其进行优化：\n\n```python\nimport thunder\nimport torch\n\nthunder_model = thunder.compile(model)\n\nx = torch.randn(64, 2048)\n\ny = thunder_model(x)\n\ntorch.testing.assert_close(y, model(x))\n```\n\n## 示例\n\n### LLM 训练\n\n安装 LitGPT（不更新其他依赖项）\n\n```\npip install --no-deps 'litgpt[all]'\n```\n\n然后运行：\n\n```python\nimport thunder\nimport torch\nimport litgpt\n\nwith torch.device(\"cuda\"):\n    model = litgpt.GPT.from_name(\"Llama-3.2-1B\").to(torch.bfloat16)\n\nthunder_model = thunder.compile(model)\n\ninp = torch.ones((1, 2048), device=\"cuda\", dtype=torch.int64)\n\nout = thunder_model(inp)\nout.sum().backward()\n```\n\n### HuggingFace BERT 推理\n\n安装 Hugging Face Transformers（推荐版本为 `4.50.2` 及以上）\n\n```\npip install -U transformers\n```\n\n然后运行以下代码：\n\n```python\nimport thunder\nimport torch\nimport transformers\n\nmodel_name = \"bert-large-uncased\"\n\ntokenizer = transformers.AutoTokenizer.from_pretrained(model_name)\n\nwith torch.device(\"cuda\"):\n    model = transformers.AutoModelForCausalLM.from_pretrained(\n        model_name, torch_dtype=torch.bfloat16\n    )\n    model.requires_grad_(False)\n    model.eval()\n\n    inp = tokenizer([\"Hello world!\"], return_tensors=\"pt\")\n\nthunder_model = thunder.compile(model)\n\nout = thunder_model(**inp)\nprint(out)\n```\n\n### HuggingFace DeepSeek R1 distill 推理\n\n安装 Hugging Face Transformers（推荐版本为 `4.50.2` 及以上）\n\n```\npip install -U transformers\n```\n\n然后运行以下代码：\n\n```python\nimport torch\nimport transformers\nimport thunder\n\nmodel_name = \"deepseek-ai\u002FDeepSeek-R1-Distill-Llama-8B\"\n\ntokenizer = transformers.AutoTokenizer.from_pretrained(model_name)\n\nwith torch.device(\"cuda\"):\n    model = transformers.AutoModelForCausalLM.from_pretrained(\n        model_name, torch_dtype=torch.bfloat16\n    )\n    model.requires_grad_(False)\n    model.eval()\n\n    inp = tokenizer([\"Hello world! Here's a long story\"], return_tensors=\"pt\")\n\nthunder_model = thunder.compile(model)\n\nout = thunder_model.generate(\n    **inp, do_sample=False, cache_implementation=\"static\", max_new_tokens=100\n)\nprint(out)\n```\n\n### Vision Transformer 推理\n\n```python\nimport thunder\nimport torch\nimport torchvision as tv\n\nwith torch.device(\"cuda\"):\n    model = tv.models.vit_b_16()\n    model.requires_grad_(False)\n    model.eval()\n\n    inp = torch.randn(128, 3, 224, 224)\n\nout = model(inp)\n\nthunder_model = thunder.compile(model)\n\nout = thunder_model(inp)\n```\n\n### 基准测试\n\n尽管 Thunder 是一个用于优化模型的工具，而不是一个开箱即用就能带来加速的黑盒编译器，但这里仍提供一组基准测试结果。\n\n从性能上看，Thunder 在开箱即用的情况下与 PyTorch 的 `torch.compile` 处于同一水平，尤其是在使用 CUDAGraphs 时。不过需要注意的是，Thunder 并不是 PyTorch `torch.compile` 的竞争对手！它实际上可以将 `torch.compile` 作为其融合执行器之一。\n\n脚本 `examples\u002Fquickstart\u002Fhf_llm.py` 展示了如何对文本生成模型进行基准测试，包括前向传播、带损失的前向传播以及完整的前向 + 后向计算。\n\n在配备 H100 显卡、PyTorch 版本为 2.8.0、nvFuser-cu128-torch28 和 Transformers 4.55.4 的环境下，运行 Llama 3.2 1B 模型时，我们观察到以下时间数据：\n\n```\n使用 torch.compile 和 CUDAGraphs（减少开销模式）：  521ms\n使用 torch.compile 但不使用 CUDAGraphs（默认模式）：       814ms\n不使用 torch.compile：                                    1493ms\n使用 Thunder 和 CUDAGraphs：                                                542ms\n```\n\n## 插件\n\n插件是一种对模型应用优化的方式，例如并行化和量化。\n\nThunder 自带一些插件，但也很容易编写新的插件。\n\n- 使用 DDP、FSDP、TP 等分布式策略进行扩展\n- 使用 FP8、MXFP8 优化数值精度\n- 通过量化节省显存\n- 使用 CUDAGraphs 减少延迟\n- 调试和性能分析\n\n例如，为了通过 CUDAGraphs 减少 CPU 开销，可以在 `thunder.compile` 的 `plugins=` 参数中添加 `\"reduce-overhead\"`：\n\n```python\nthunder_model = thunder.compile(model, plugins=\"reduce-overhead\")\n```\n\n这可能会或可能不会带来显著的效果。Thunder 的优势在于，你可以轻松地切换不同的优化方法，探索最适合你环境的组合。\n\n## 工作原理\n\nThunder 的工作分为三个阶段：\n\n1. ⚡️ 它通过解释 Python 字节码来获取你的模型，并生成一段线性 Python 程序。\n2. ⚡️ 它转换模型和计算轨迹，以实现分布式计算或改变精度。\n3. ⚡️ 它将轨迹的不同部分路由到相应的执行方式：\n   - 融合（如 NVFuser、torch.compile）\n   - 专用库（如 cuDNN SDPA、TransformerEngine）\n   - 自定义 Triton 和 CUDA 内核\n   - PyTorch eager 操作\n\n \n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_570a022926eb.png\" width=\"800px\" style=\"max-width: 100%;\">\n\u003C\u002Fdiv>\n\n \n\n以下是针对一个简单 MLP 的轨迹示例：\n\n```python\nimport thunder\nimport torch\nimport torch.nn as nn\n\nmodel = nn.Sequential(nn.Linear(1024, 2048), nn.ReLU(), nn.Linear(2048, 256))\n\nthunder_model = thunder.compile(model)\ny = thunder_model(torch.randn(4, 1024))\n\nprint(thunder.last_traces(thunder_model)[-1])\n```\n\n这是获取到的轨迹，已准备好进行转换和执行：\n\n```python\ndef computation(input, t_0_bias, t_0_weight, t_2_bias, t_2_weight):\n# input: \"cuda:0 f32[4, 1024]\"\n# t_0_bias: \"cuda:0 f32[2048]\"\n# t_0_weight: \"cuda:0 f32[2048, 1024]\"\n# t_2_bias: \"cuda:0 f32[256]\"\n# t_2_weight: \"cuda:0 f32[256, 2048]\"\nt3 = ltorch.linear(input, t_0_weight, t_0_bias) # t3: \"cuda:0 f32[4, 2048]\"\nt6 = ltorch.relu(t3, False) # t6: \"cuda:0 f32[4, 2048]\"\nt10 = ltorch.linear(t6, t_2_weight, t_2_bias) # t10: \"cuda:0 f32[4, 256]\"\nreturn (t10,)\n```\n\n请注意，Thunder 的中间表示形式仅仅是 Python 的子集！\n\n## 性能\n\nThunder 非常快速。以下是使用 LitGPT 在 H100 和 B200 硬件上进行预训练任务时，相对于 PyTorch eager 所获得的加速效果。\n\n\u003Cdiv align=\"center\">\n\u003Cimg alt=\"Thunder\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_readme_16cc0afbb421.png\" width=\"800px\" style=\"max-width: 100%;\">\n\u003C\u002Fdiv>\n\n# 社区\n\nThunder 是一个开源项目，由社区协作开发，并得到了 NVIDIA 的重要贡献。\n⚡️ [关于贡献 Thunder 的文档](https:\u002F\u002Flightning.ai\u002Fdocs\u002Fthunder\u002Flatest\u002Fadvanced\u002Fcontrib_thunder.html)\n💬 [在 Discord 上寻求帮助](https:\u002F\u002Fdiscord.com\u002Finvite\u002FXncpTy7DSt)\n📋 [许可证：Apache 2.0](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitserve\u002Fblob\u002Fmain\u002FLICENSE)","# Lightning Thunder 快速上手指南\n\nLightning Thunder 是一个专为 PyTorch 设计的源码到源码（source-to-source）深度学习编译器。它旨在通过简单的 Python 接口，让开发者轻松优化模型的训练和推理性能，支持内核融合、量化、分布式策略以及最新硬件特性（如 NVIDIA Blackwell）。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python**: 3.10 或更高版本\n*   **GPU**: 推荐使用 NVIDIA GPU (需安装对应的 CUDA 驱动)\n*   **PyTorch**: 建议安装最新版本 (2.8.0+) 以获得最佳兼容性，同时也支持 2.5 - 2.7 版本。\n\n## 安装步骤\n\n### 1. 基础安装\n\n使用 pip 安装 Lightning Thunder 及最新的 PyTorch 版本：\n\n```bash\npip install lightning-thunder\n\npip install -U torch torchvision\n```\n\n### 2. 可选依赖 (针对 NVIDIA GPU)\n\n如果您使用 NVIDIA GPU，建议安装 `nvfuser` 和 `cudnn-frontend` 以启用内核融合等高级优化功能。请根据您的 PyTorch 版本选择对应的命令：\n\n**对于 PyTorch 2.8 + CUDA 12.8:**\n```bash\npip install nvfuser-cu128-torch28 nvidia-cudnn-frontend\n```\n\n**对于旧版本 PyTorch:**\n*   **PyTorch 2.7 + CUDA 12.6:**\n    ```bash\n    pip install torch==2.7.0 torchvision==0.22\n    pip install nvfuser-cu126-torch26 nvidia-cudnn-frontend\n    ```\n*   **PyTorch 2.6 + CUDA 12.4:**\n    ```bash\n    pip install torch==2.6.0 torchvision==0.21\n    pip install nvfuser-cu124-torch25 nvidia-cudnn-frontend\n    ```\n\n> **提示**: 国内用户若遇到下载缓慢，可添加 `-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` 使用清华镜像源。\n\n### 3. 高级功能 (可选)\n\n如需启用 FP8 精度支持或其他前沿功能：\n\n```bash\n# 安装 Float8 支持 (可能需要从源码编译，耗时较长)\npip install \"transformer_engine[pytorch]\"\n\n# 或者安装开发版\npip install git+https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder.git@main\n```\n\n## 基本使用\n\nThunder 的使用非常直观，只需导入库并使用 `thunder.compile` 包装您的 PyTorch 模型即可。\n\n### Hello World 示例\n\n以下示例展示如何定义一个简单的神经网络并通过 Thunder 进行编译和优化：\n\n```python\nimport torch.nn as nn\nimport thunder\nimport torch\n\n# 1. 定义标准的 PyTorch 模型\nmodel = nn.Sequential(\n    nn.Linear(2048, 4096), \n    nn.ReLU(), \n    nn.Linear(4096, 64)\n)\n\n# 2. 使用 Thunder 编译模型\nthunder_model = thunder.compile(model)\n\n# 3. 准备输入数据\nx = torch.randn(64, 2048)\n\n# 4. 运行优化后的模型\ny = thunder_model(x)\n\n# 5. 验证输出结果是否与原始模型一致\ntorch.testing.assert_close(y, model(x))\n```\n\n### 进阶用法：应用插件\n\nThunder 支持通过插件轻松应用各种优化策略，例如使用 CUDA Graphs 减少 CPU 开销：\n\n```python\n# 启用 \"reduce-overhead\" 插件以减少启动开销\nthunder_model = thunder.compile(model, plugins=\"reduce-overhead\")\n```\n\n您现在可以像使用普通 PyTorch 模型一样使用 `thunder_model`，但它将自动利用底层的高效算子和融合技术。","某 AI 初创团队正在基于 PyTorch 训练一款百亿参数的大语言模型，急需在有限的 GPU 集群上缩短训练周期并降低显存占用。\n\n### 没有 lightning-thunder 时\n- **训练速度瓶颈明显**：原生 PyTorch 执行大量细粒度算子，导致 GPU 利用率不足，单次迭代耗时过长，难以快速验证算法改进。\n- **显存经常溢出**：在处理长序列或大批次数据时，中间激活值占用过高，频繁遭遇 OOM（显存溢出）错误，被迫缩小模型规模或批大小。\n- **混合精度调试困难**：手动配置 FP8 或动态量化策略极其复杂，稍有不慎就会导致模型收敛失败或精度大幅下降，试错成本极高。\n- **分布式改造繁琐**：将单卡模型迁移到多卡张量并行（TP）或流水线并行（PP）需要重写大量底层代码，容易引入难以排查的通信 bug。\n\n### 使用 lightning-thunder 后\n- **端到端加速显著**：lightning-thunder 自动融合内核并生成优化的计算图，使模型训练速度提升约 40%，大幅缩短了实验迭代周期。\n- **显存效率大幅优化**：通过智能重计算和内存布局优化，在不牺牲批大小的前提下成功运行更大规模的模型，彻底解决了 OOM 问题。\n- **前沿精度轻松落地**：只需几行代码即可启用内置的 FP8\u002FFP6 支持及量化食谱，自动平衡精度与性能，让团队能快速探索最优训练策略。\n- **无缝扩展至分布式**：利用其源到源编译能力，直接将单卡脚本转换为支持张量并行和流水线并行的分布式程序，无需修改核心模型逻辑。\n\nlightning-thunder 让团队从繁琐的底层性能调优中解放出来，专注于模型创新，实现了从“勉强能跑”到“高效量产”的跨越。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FLightning-AI_lightning-thunder_4e0f1ce6.png","Lightning-AI","⚡️ Lightning AI ","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FLightning-AI_e518c84b.png","Turn ideas into AI, Lightning fast. Creators of PyTorch Lightning, Lightning AI Studio, TorchMetrics, Fabric, Lit-GPT, Lit-LLaMA",null,"LightningAI","https:\u002F\u002Flightning.ai\u002F","https:\u002F\u002Fgithub.com\u002FLightning-AI",[81,85,89,93,96],{"name":82,"color":83,"percentage":84},"Python","#3572A5",65.7,{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",34,{"name":90,"color":91,"percentage":92},"Dockerfile","#384d54",0.1,{"name":94,"color":95,"percentage":92},"Shell","#89e051",{"name":97,"color":98,"percentage":99},"Makefile","#427819",0,1451,113,"2026-04-10T09:06:04","Apache-2.0","Linux","需要 NVIDIA GPU（支持 CUDA Graphs、FP8 及 Blackwell 架构），需安装特定版本的 nvfuser（如 nvfuser-cu128-torch28），CUDA 版本需与 PyTorch 匹配（示例中为 12.4-12.8）","未说明",{"notes":108,"python":106,"dependencies":109},"该工具主要作为 PyTorch 的源到源编译器，强烈依赖 NVIDIA GPU 生态。安装时需根据已安装的 PyTorch 版本选择对应的 nvfuser 版本（如 torch 2.8 对应 cu128，2.7 对应 cu128，2.6 对应 cu126 等）。支持通过插件启用分布式训练（DDP\u002FFSDP\u002FTP）、量化及 CUDAGraphs 优化。虽然 README 未明确禁止其他系统，但提供的安装指令和硬件加速特性（如 nvfuser, CUDAGraphs）主要针对 Linux 环境下的 NVIDIA GPU。",[110,111,112,113,114,115,116],"torch>=2.5.0","torchvision","nvfuser","nvidia-cudnn-frontend","transformer_engine (可选，用于 FP8)","litgpt (示例依赖)","transformers>=4.50.2 (示例依赖)",[14],"2026-03-27T02:49:30.150509","2026-04-15T04:18:15.197253",[121,126,130,135,140,145],{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},33575,"如何在 benchmark_inference.py 中启用符号值（Symbolic Values）支持？","现在可以在单设备或多设备上使用符号值运行 benchmark_inference.py。请使用以下命令并添加 `--thunder-cache \"symbolic values\"` 参数：\n\npython3 thunder\u002Fbenchmarks\u002Fbenchmark_inference.py \\\n    --input-length 32 --output-length 3 --num-iterations 10 \\\n    --mode thunder --thunder-cache \"symbolic values\"","https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fissues\u002F2677",{"id":127,"question_zh":128,"answer_zh":129,"source_url":125},33576,"遇到 'Attempting to execute symbol numel outside of a tracing context' 错误该如何解决？","该错误通常发生在主分支（main）上尝试使用尚未合并的功能时。请确保拉取最新的代码，因为相关的修复 PR 已经合并。如果问题依旧，请检查是否按照正确的方式启用了符号值缓存（参考上一个问题中的命令参数）。",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},33577,"如何在 Thunder 中优化 Hugging Face Llama 模型的推理延迟（特别是使用 nvFuser 时）？","为了在低延迟场景下充分利用 nvFuser，需要在 `thunder.jit` 中添加特定参数以强制相关操作通过 nvFuser 运行时执行，并关闭 Thunder 自带的 SDPA 执行器。配置如下：\n\njm = thunder.jit(\n    model,\n    executors=[\"apex\", \"nvfuser\"],\n    nv_enable_linear=True,\n    nv_enable_matmul=True,\n    nv_enable_embedding=True,\n    nv_enable_sdpa=True\n)","https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fissues\u002F1467",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},33578,"Thunder 与 torch.compile 在 Pythia 等非 LLaMa 架构模型上的性能对比如何？","早期版本中，混合使用 torch.compile 执行器在 Pythia 模型上表现不如纯 Thunder。但经过分区逻辑（partitioning logic）的改进后，新的 \"thunder_inductor_cat\" 配置在 Phi-2 和 Dolly 等模型上表现更佳。建议重新运行基准测试以获取最新性能数据，旧的性能差距问题已在新版本中解决。","https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fissues\u002F256",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},33579,"在使用 FSDP ZeRO3 和多卡（如 2x8 H100）训练大模型（如 Gemma-7b, Llama-2-13b）时遇到 OOM（显存溢出）怎么办？","这是一个已知问题，特定配置下（如 Batch Size=2）Thunder 后端（thunder_cudnn 等）相比原生 Inductor 更容易出现 OOM，导致吞吐量降低约 24%。建议尝试减小 Batch Size，或者暂时切换回 `inductor` 执行器以避免显存溢出。维护者正在针对 FSDP zero3 场景进行优化。","https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fissues\u002F474",{"id":146,"question_zh":147,"answer_zh":148,"source_url":134},33580,"为什么我的 Thunder 推理速度比 Eager 模式还慢？","这通常是因为默认的执行器组合未针对特定模型或硬件进行优化。例如在 Llama 模型上，默认配置可能未完全启用 nvFuser 的所有算子融合能力。请尝试显式指定执行器列表（如 `executors=[\"apex\", \"nvfuser\"]`）并开启相应的 `nv_enable_*` 标志（见 Issue #1467），这通常能带来显著的性能提升（比 Eager 快 20% 以上）。",[150,155,160,165,169,174,178],{"id":151,"version":152,"summary_zh":153,"released_at":154},255801,"0.2.6","## 变更内容\n* 将版本号升级至开发版，紧接 0.2.5 版本，由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2513 中完成  \n* torch.cumsum API 变更，由 @jjsjann123 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2507 中完成  \n* DTensor：支持线性操作，由 @kshitij12345 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2422 中完成  \n* TEv2 作为默认的 TE 执行器，由 @riccardofelluga 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2510 中完成  \n* 在 `_register_custom_op` 中使用 `is_prim=True` 创建 `Symbol`，由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2516 中完成  \n* [pre-commit.ci] pre-commit 建议，由 @pre-commit-ci[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2515 中完成  \n* 在 MutableMappingWrapper.__new__ 中使用底层类的 __new__ 方法，由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2514 中完成  \n* 修复：使 README.md 示例正常工作，并为 torch==2.8 添加 nvfuser 支持，由 @lianakoleva 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2525 中完成  \n* 添加 KaelanDt 为代码所有者，由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2540 中完成  \n* 添加 CI 跳过配置，由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2547 中完成  \n* TE：修复 cudnn.h 未找到的问题，由 @kshitij12345 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2536 中完成  \n* 功能：_register_custom_op 现已支持 List[torch.Tensor]，由 @lianakoleva 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2529 中完成  \n* 功能：在注册自定义算子时提供指导，由 @lianakoleva 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2530 中完成  \n* 修复：将字符串替换为格式化字符串（f-string），由 @lianakoleva 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2528 中完成  \n* 初步支持 TE NVFP4 配方，由 @riccardofelluga 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2523 中完成  \n* 为 exp 添加 DTensor prim 和 torch 符号，由 @kshitij12345 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2496 中完成  \n* [DTensor] 为 neg 和 reciprocal 添加 prim 与 torch 符号，由 @kshitij12345 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2552 中完成  \n* 将 pytest 从 8.3.5 升级至 8.4.2，由 @dependabot[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2567 中完成  \n* 将 bitsandbytes 从 0.47.0 升级至 0.48.0，由 @dependabot[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2565 中完成  \n* 将 diffusers 从 0.34.0 升级至 0.35.1，由 @dependabot[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2564 中完成  \n* 将 CI 切换为不可中断模式，由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2554 中完成  \n* 测试：清理 VJP 测试中的预期失败项，由 @aobolensk 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2578 中完成  \n* 修复 nvfuserex cumsum 的输出数据类型问题，由 @jjsjann123 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2580 中完成  \n* 当签名不可用时，使用 (*args, **kwargs) 签名，由 @shino16 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2542 中完成  \n* 修复：在 available_devices 中调用 torch.cuda.is_available()，由 @aobolensk 完成","2025-10-22T04:53:39",{"id":156,"version":157,"summary_zh":158,"released_at":159},255802,"0.2.5","## 变更内容\n* 由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2274 中将版本号提升至 0.2.5.dev0\n* [pre-commit.ci] 由 @pre-commit-ci[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2271 中提供的 pre-commit 建议\n* 由 @protonu 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2246 中添加对 torch.argsort 的支持\n* 由 @kshitij12345 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F1850 中添加 Phi-3-vision-128k-instruct 的测试\n* DTensor：NVFuser 集成，由 @kshitij12345 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2177 中完成\n* 由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2277 中修复合并引入的 lint 问题\n* 由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2270 中移除 F842 忽略规则\n* Thunder 的端到端覆盖率测试，由 @tejapulagam 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2086 中完成\n* 由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2283 中将 pow 梯度转换为新样式\n* 由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2284 中为 Windows 上无法运行的测试添加 xfail\u002Fskipif 标记\n* 由 @beverlylytle 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2203 中修复联合追踪中的激活检查点问题\n* 由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2268 中移除 F811 忽略规则\n* 由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2286 中修复 lint 问题\n* 由 @beverlylytle 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2279 中将反向传播保存的对象以元组形式返回\n* [pre-commit.ci] 由 @pre-commit-ci[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2287 中提供的 pre-commit 建议\n* 由 @dependabot[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2292 中将 coverage 依赖从 ~=7.8.2 更新至 ~=7.9.1\n* 由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2226 中将 \"transformer_engine_v2\" 添加到预期的所有执行器集合中\n* 由 @KaelanDt 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2303 中修复 CI 基准测试\n* 由 @dependabot[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2289 中将 pytest-random-order 从 1.1.1 升级至 1.2.0\n* 由 @Borda 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2296 中精简 CI 工作流中的冗余 if 判断\n* 由 @dependabot[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2291 中将 pytest-cov 从 6.1.1 升级至 6.2.1\n* 由 @beverlylytle 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2304 中添加 hardsigmoid 操作\n* 由 @dependabot[bot] 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2290 中将 hypothesis 依赖从 ~=6.133.0 更新至 ~=6.135.20\n* 由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2276 中跳过 `aminmax` 对复数数据类型张量的处理\n* 由 @lantiga 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2281 中扩展 thunder.jit 对 Hugging Face 模型的覆盖范围\n* 在 `thunder\u002Fbenchmarks` 中添加 PEFT 基准测试脚本","2025-09-10T12:27:27",{"id":161,"version":162,"summary_zh":163,"released_at":164},255803,"0.2.4","## 变更内容\n\n* 由 @Borda 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2125 中清理了针对旧版 Torch 开发版本的 `skipif` 检查。\n* 由 @Borda 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2130 中修复了在 PyPI 发布时缺少图片的问题。\n* 由 @protonu 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2043 中为 nvfuser 执行器添加了交叉熵损失的自定义分解。\n* [pre-commit.ci] 由 @pre-commit-ci 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2139 中提供了 pre-commit 的建议。\n* 由 @riccardofelluga 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2147 中移除了对自动微分中方法的限定访问。\n* 由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2124 中为 `torch.utils.collect_env.get_pip_packages` 的输出添加了非空检查。\n* 当 `test_core_vs_torch_consistency` 测试失败并指定了样本索引时，由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2131 中打印重现命令。\n* 由 @beverlylytle 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2146 中将 `input_quantizer.internal` 设置为 `True`。\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2160 中将 transformers 从 4.50.3 升级到 4.52.4。\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2159 中将 ipython[all] 的依赖版本从 ~=8.36.0 更新至 ~=8.37.0。\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2158 中将 coverage 的依赖版本从 ~=7.6.8 更新至 ~=7.8.2。\n* TE：由 @kshitij12345 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2156 中更新测试以提高稳定性。\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2161 中将 pytest-timeout 从 2.3.1 升级到 2.4.0。\n* 由 @Borda 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2162 中更新了 dependabot 的评审人员配置。\n* 由 @riccardofelluga 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2143 中修复了高阶函数中自动微分的联合轨迹数据流和原地操作问题。\n* 由 @kiya00 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2077 中缩短了测试时间。\n* 由 @t-vi 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2154 中为基准测试添加了 `use_hf` 选项。\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2164 中将 pytest-xdist 从 3.6.1 升级到 3.7.0。\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2165 中将 hypothesis 的依赖版本从 ~=6.131.9 更新至 ~=6.133.0。\n* 由 @dependabot 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2168 中将 snowballstemmer 的依赖版本从 \u003C3 更新至 \u003C4。\n* nvFuser 执行器：由 @protonu 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2180 中确保在计算反向传播时不会重新计算交叉熵损失的前向传播。\n* 由 @crcrpar 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-thunder\u002Fpull\u002F2069 中添加了运行时与轨迹形状\u002F数据类型\u002F设备的一致性检查。\n* 由 @KaelanDt 在 https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flightning-t 中为配方添加了文档字符串。","2025-06-24T10:49:45",{"id":166,"version":167,"summary_zh":76,"released_at":168},255804,"0.2.3","2025-05-23T09:01:04",{"id":170,"version":171,"summary_zh":172,"released_at":173},255805,"0.2.2","于2025年GTC大会上发布，搭载最新、最强大的…","2025-03-20T15:41:43",{"id":175,"version":176,"summary_zh":76,"released_at":177},255806,"0.2.1","2025-02-04T16:11:01",{"id":179,"version":180,"summary_zh":76,"released_at":181},255807,"0.1.0","2024-03-20T22:27:20"]