[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVIDIA-AI-IOT--torch2trt":3,"tool-NVIDIA-AI-IOT--torch2trt":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":104,"forks":105,"last_commit_at":106,"license":107,"difficulty_score":108,"env_os":109,"env_gpu":110,"env_ram":111,"env_deps":112,"category_tags":120,"github_topics":121,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":128,"updated_at":129,"faqs":130,"releases":163},4513,"NVIDIA-AI-IOT\u002Ftorch2trt","torch2trt","An easy to use PyTorch to TensorRT converter","torch2trt 是一款专为开发者设计的开源工具，旨在简化将 PyTorch 深度学习模型转换为 NVIDIA TensorRT 引擎的过程。它主要解决了模型在边缘设备（如 Jetson 系列）或高性能 GPU 上部署时，难以兼顾开发灵活性与推理速度的痛点。通过转换，模型能够获得显著的加速效果，实测数据显示，在多种经典网络架构上，其推理吞吐量相比原生 PyTorch 可提升数倍甚至十倍以上。\n\n这款工具特别适合需要在嵌入式设备或生产环境中优化模型性能的 AI 工程师和研究人员使用。它的核心亮点在于极高的易用性与扩展性：用户只需调用一个简单的 `torch2trt` 函数并传入示例数据，即可完成模型转换；同时，它还支持通过 Python 装饰器轻松注册自定义算子，方便开发者针对特定模型结构进行扩展。此外，转换后的模型可以像普通 PyTorch 模块一样直接执行，并支持标准的保存与加载流程，无缝融入现有的开发工作流。虽然其对算子的覆盖范围主要集中在常用模型，但对于追求高效推理的团队而言，torch2trt 无疑是一个实用且高效的桥梁。","# torch2trt\n\n> What models are you using, or hoping to use, with TensorRT?  Feel free to join the discussion [here](https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\u002Fdiscussions\u002F531).\n \n\u003Ca href=\"https:\u002F\u002Fnvidia-ai-iot.github.io\u002Ftorch2trt\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Documentation-brightgreen\"\u002F>\u003C\u002Fa>\n\ntorch2trt is a PyTorch to TensorRT converter which utilizes the \nTensorRT Python API.  The converter is\n\n* Easy to use - Convert modules with a single function call ``torch2trt``\n\n* Easy to extend - Write your own layer converter in Python and register it with ``@tensorrt_converter``\n\nIf you find an issue, please [let us know](..\u002F..\u002F\u002Fissues)!\n\n> Please note, this converter has limited coverage of TensorRT \u002F PyTorch.  We created it primarily\n> to easily optimize the models used in the [JetBot](https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetbot) project.  If you find the converter helpful with other models, please [let us know](..\u002F..\u002F\u002Fissues).\n\n## Usage\n\nBelow are some usage examples, for more check out the [notebooks](notebooks).\n\n### Convert\n\n```python\nimport torch\nfrom torch2trt import torch2trt\nfrom torchvision.models.alexnet import alexnet\n\n# create some regular pytorch model...\nmodel = alexnet(pretrained=True).eval().cuda()\n\n# create example data\nx = torch.ones((1, 3, 224, 224)).cuda()\n\n# convert to TensorRT feeding sample data as input\nmodel_trt = torch2trt(model, [x])\n```\n\n### Execute\n\nWe can execute the returned ``TRTModule`` just like the original PyTorch model\n\n```python\ny = model(x)\ny_trt = model_trt(x)\n\n# check the output against PyTorch\nprint(torch.max(torch.abs(y - y_trt)))\n```\n\n### Save and load\n\nWe can save the model as a ``state_dict``.\n\n```python\ntorch.save(model_trt.state_dict(), 'alexnet_trt.pth')\n```\n\nWe can load the saved model into a ``TRTModule``\n\n```python\nfrom torch2trt import TRTModule\n\nmodel_trt = TRTModule()\n\nmodel_trt.load_state_dict(torch.load('alexnet_trt.pth'))\n```\n\n## Models\n\nWe tested the converter against these models using the [test.sh](test.sh) script.  You can generate the results by calling\n\n```bash\n.\u002Ftest.sh TEST_OUTPUT.md\n```\n\n> The results below show the throughput in FPS.  You can find the raw output, which includes latency, in the [benchmarks folder](benchmarks).\n\n| Model | Nano (PyTorch) | Nano (TensorRT) | Xavier (PyTorch) | Xavier (TensorRT) |\n|-------|:--------------:|:---------------:|:----------------:|:-----------------:|\n| alexnet | 46.4 | 69.9 | 250 | 580 |\n| squeezenet1_0 | 44 | 137 | 130 | 890 |\n| squeezenet1_1 | 76.6 | 248 | 132 | 1390 |\n| resnet18 | 29.4 | 90.2 | 140 | 712 |\n| resnet34 | 15.5 | 50.7 | 79.2 | 393 |\n| resnet50 | 12.4 | 34.2 | 55.5 | 312 |\n| resnet101 | 7.18 | 19.9 | 28.5 | 170 |\n| resnet152 | 4.96 | 14.1 | 18.9 | 121 |\n| densenet121 | 11.5 | 41.9 | 23.0 | 168 |\n| densenet169 | 8.25 | 33.2 | 16.3 | 118 |\n| densenet201 | 6.84 | 25.4 | 13.3 | 90.9 |\n| densenet161 | 4.71 | 15.6 | 17.2 | 82.4 |\n| vgg11 | 8.9 | 18.3 | 85.2 | 201 |\n| vgg13 | 6.53 | 14.7 | 71.9 | 166 |\n| vgg16 | 5.09 | 11.9 | 61.7 | 139 |\n| vgg19 |  |  | 54.1 | 121 |\n| vgg11_bn | 8.74 | 18.4 | 81.8 | 201 |\n| vgg13_bn | 6.31 | 14.8 | 68.0 | 166 |\n| vgg16_bn | 4.96 | 12.0 | 58.5 | 140 |\n| vgg19_bn |  |  | 51.4 | 121 |\n\n\n## Setup\n\n> Note: torch2trt depends on the TensorRT Python API.  On Jetson, this is included with the latest JetPack.  For desktop, please follow the [TensorRT Installation Guide](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Ftensorrt\u002Finstall-guide\u002Findex.html).  You may also try installing torch2trt inside one of the NGC PyTorch docker containers for [Desktop](https:\u002F\u002Fngc.nvidia.com\u002Fcatalog\u002Fcontainers\u002Fnvidia:pytorch) or [Jetson](https:\u002F\u002Fngc.nvidia.com\u002Fcatalog\u002Fcontainers\u002Fnvidia:l4t-pytorch).\n\n### Step 1 - Install the torch2trt Python library\n\nTo install the torch2trt Python library, call the following\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\ncd torch2trt\npython setup.py install\n```\n\n### Step 2 (optional) - Install the torch2trt plugins library\n\nTo install the torch2trt plugins library, call the following\n\n```bash\ncmake -B build . && cmake --build build --target install && ldconfig\n```\n\nThis includes support for some layers which may not be supported natively by TensorRT.  Once this library is found in the system, the associated layer converters in torch2trt are implicitly enabled.\n\n> Note: torch2trt now maintains plugins as an independent library compiled with CMake.  This makes compiled TensorRT engines more portable.  If needed, the deprecated plugins (which depend on PyTorch) may still be installed by calling ``python setup.py install --plugins``.\n\n### Step 3 (optional) - Install experimental community contributed features\n\nTo install torch2trt with experimental community contributed features under ``torch2trt.contrib``, like Quantization Aware Training (QAT)(`requires TensorRT>=7.0`), call the following,      \n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\ncd torch2trt\u002Fscripts    \nbash build_contrib.sh   \n```\n  \nThis enables you to run the QAT example located [here](examples\u002Fcontrib\u002Fquantization_aware_training).   \n    \n\n## How does it work?\n\nThis converter works by attaching conversion functions (like ``convert_ReLU``) to the original \nPyTorch functional calls (like ``torch.nn.ReLU.forward``).  The sample input data is passed\nthrough the network, just as before, except now whenever a registered function (``torch.nn.ReLU.forward``)\nis encountered, the corresponding converter (``convert_ReLU``) is also called afterwards.  The converter\nis passed the arguments and return statement of the original PyTorch function, as well as the TensorRT\nnetwork that is being constructed.  The input tensors to the original PyTorch function are modified to\nhave an attribute ``_trt``, which is the TensorRT counterpart to the PyTorch tensor.  The conversion function\nuses this ``_trt`` to add layers to the TensorRT network, and then sets the ``_trt`` attribute for\nrelevant output tensors.  Once the model is fully executed, the final tensors returns are marked as outputs\nof the TensorRT network, and the optimized TensorRT engine is built.\n\n## How to add (or override) a converter\n\nHere we show how to add a converter for the ``ReLU`` module using the TensorRT\npython API.\n\n```python\nimport tensorrt as trt\nfrom torch2trt import tensorrt_converter\n\n@tensorrt_converter('torch.nn.ReLU.forward')\ndef convert_ReLU(ctx):\n    input = ctx.method_args[1]\n    output = ctx.method_return\n    layer = ctx.network.add_activation(input=input._trt, type=trt.ActivationType.RELU)  \n    output._trt = layer.get_output(0)\n```\n\nThe converter takes one argument, a ``ConversionContext``, which will contain\nthe following\n\n* ``ctx.network`` - The TensorRT network that is being constructed.\n\n* ``ctx.method_args`` - Positional arguments that were passed to the specified PyTorch function.  The ``_trt`` attribute is set for relevant input tensors.\n* ``ctx.method_kwargs`` - Keyword arguments that were passed to the specified PyTorch function.\n* ``ctx.method_return`` - The value returned by the specified PyTorch function.  The converter must set the ``_trt`` attribute where relevant.\n\nPlease see [this folder](torch2trt\u002Fconverters) for more examples.\n\n## See also\n\n- [JetBot](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetbot) - An educational AI robot based on NVIDIA Jetson Nano\n\n- [JetRacer](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetracer) - An educational AI racecar using NVIDIA Jetson Nano\n- [JetCam](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetcam) - An easy to use Python camera interface for NVIDIA Jetson\n- [JetCard](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetcard) - An SD card image for web programming AI projects with NVIDIA Jetson Nano\n","# torch2trt\n\n> 您正在使用或希望使用哪些模型与 TensorRT 配合？欢迎加入讨论 [这里](https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\u002Fdiscussions\u002F531)。\n\n\u003Ca href=\"https:\u002F\u002Fnvidia-ai-iot.github.io\u002Ftorch2trt\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Documentation-brightgreen\"\u002F>\u003C\u002Fa>\n\ntorch2trt 是一个基于 TensorRT Python API 的 PyTorch 到 TensorRT 转换器。该转换器具有以下特点：\n\n* 易于使用 - 仅需调用单个函数 `torch2trt` 即可转换模块。\n\n* 易于扩展 - 您可以用 Python 编写自己的层转换器，并使用 `@tensorrt_converter` 注册它。\n\n如果您发现任何问题，请 [告知我们](..\u002F..\u002F\u002Fissues)！\n\n> 请注意，此转换器对 TensorRT 和 PyTorch 的支持范围有限。我们主要创建它是为了方便优化 [JetBot](https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetbot) 项目中使用的模型。如果您发现该转换器对其他模型也有帮助，请 [告知我们](..\u002F..\u002F\u002Fissues)。\n\n## 使用方法\n\n以下是一些使用示例，更多内容请参阅 [notebooks](notebooks)。\n\n### 转换\n\n```python\nimport torch\nfrom torch2trt import torch2trt\nfrom torchvision.models.alexnet import alexnet\n\n# 创建一个普通的 PyTorch 模型...\nmodel = alexnet(pretrained=True).eval().cuda()\n\n# 创建示例数据\nx = torch.ones((1, 3, 224, 224)).cuda()\n\n# 使用示例数据作为输入将模型转换为 TensorRT\nmodel_trt = torch2trt(model, [x])\n```\n\n### 执行\n\n我们可以像执行原始 PyTorch 模型一样执行返回的 `TRTModule`。\n\n```python\ny = model(x)\ny_trt = model_trt(x)\n\n# 将输出与 PyTorch 进行比较\nprint(torch.max(torch.abs(y - y_trt)))\n```\n\n### 保存和加载\n\n我们可以将模型保存为 `state_dict`。\n\n```python\ntorch.save(model_trt.state_dict(), 'alexnet_trt.pth')\n```\n\n然后可以将保存的模型加载到 `TRTModule` 中。\n\n```python\nfrom torch2trt import TRTModule\n\nmodel_trt = TRTModule()\nmodel_trt.load_state_dict(torch.load('alexnet_trt.pth'))\n```\n\n## 模型\n\n我们使用 [test.sh](test.sh) 脚本对这些模型进行了测试。您可以通过运行以下命令生成结果：\n\n```bash\n.\u002Ftest.sh TEST_OUTPUT.md\n```\n\n> 下面的结果显示了以 FPS 为单位的吞吐量。包含延迟在内的原始输出可以在 [benchmarks 文件夹](benchmarks) 中找到。\n\n| 模型 | Nano (PyTorch) | Nano (TensorRT) | Xavier (PyTorch) | Xavier (TensorRT) |\n|-------|:--------------:|:---------------:|:----------------:|:-----------------:|\n| alexnet | 46.4 | 69.9 | 250 | 580 |\n| squeezenet1_0 | 44 | 137 | 130 | 890 |\n| squeezenet1_1 | 76.6 | 248 | 132 | 1390 |\n| resnet18 | 29.4 | 90.2 | 140 | 712 |\n| resnet34 | 15.5 | 50.7 | 79.2 | 393 |\n| resnet50 | 12.4 | 34.2 | 55.5 | 312 |\n| resnet101 | 7.18 | 19.9 | 28.5 | 170 |\n| resnet152 | 4.96 | 14.1 | 18.9 | 121 |\n| densenet121 | 11.5 | 41.9 | 23.0 | 168 |\n| densenet169 | 8.25 | 33.2 | 16.3 | 118 |\n| densenet201 | 6.84 | 25.4 | 13.3 | 90.9 |\n| densenet161 | 4.71 | 15.6 | 17.2 | 82.4 |\n| vgg11 | 8.9 | 18.3 | 85.2 | 201 |\n| vgg13 | 6.53 | 14.7 | 71.9 | 166 |\n| vgg16 | 5.09 | 11.9 | 61.7 | 139 |\n| vgg19 |  |  | 54.1 | 121 |\n| vgg11_bn | 8.74 | 18.4 | 81.8 | 201 |\n| vgg13_bn | 6.31 | 14.8 | 68.0 | 166 |\n| vgg16_bn | 4.96 | 12.0 | 58.5 | 140 |\n| vgg19_bn |  |  | 51.4 | 121 |\n\n\n## 安装\n\n> 注意：torch2trt 依赖于 TensorRT 的 Python API。在 Jetson 上，这已包含在最新的 JetPack 中。对于桌面端，请按照 [TensorRT 安装指南](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Ftensorrt\u002Finstall-guide\u002Findex.html) 进行安装。您也可以尝试在 NGC 的 PyTorch Docker 容器中安装 torch2trt，适用于 [桌面](https:\u002F\u002Fngc.nvidia.com\u002Fcatalog\u002Fcontainers\u002Fnvidia:pytorch) 或 [Jetson](https:\u002F\u002Fngc.nvidia.com\u002Fcatalog\u002Fcontainers\u002Fnvidia:l4t-pytorch)。\n\n### 第一步 - 安装 torch2trt Python 库\n\n要安装 torch2trt Python 库，请执行以下操作：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\ncd torch2trt\npython setup.py install\n```\n\n### 第二步（可选）- 安装 torch2trt 插件库\n\n要安装 torch2trt 插件库，请执行以下命令：\n\n```bash\ncmake -B build . && cmake --build build --target install && ldconfig\n```\n\n这包括对某些可能未被 TensorRT 原生支持的层的支持。一旦系统中找到此库，torch2trt 中相关的层转换器就会自动启用。\n\n> 注意：现在 torch2trt 将插件维护为一个独立的库，并使用 CMake 进行编译。这使得编译后的 TensorRT 引擎更具可移植性。如果需要，仍然可以通过运行 `python setup.py install --plugins` 来安装已弃用的插件（这些插件依赖于 PyTorch）。\n\n### 第三步（可选）- 安装实验性的社区贡献功能\n\n要安装带有实验性社区贡献功能的 torch2trt（位于 `torch2trt.contrib` 中），例如量化感知训练 (QAT)（`需要 TensorRT>=7.0`），请执行以下操作：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\ncd torch2trt\u002Fscripts    \nbash build_contrib.sh   \n```\n  \n这将使您能够运行位于 [此处](examples\u002Fcontrib\u002Fquantization_aware_training) 的 QAT 示例。\n    \n\n## 工作原理\n\n该转换器通过将转换函数（如 `convert_ReLU`）附加到原始的 PyTorch 函数调用（如 `torch.nn.ReLU.forward`）来工作。示例输入数据会像以前一样通过网络传递，但每当遇到已注册的函数（`torch.nn.ReLU.forward`）时，相应的转换器（`convert_ReLU`）也会被调用。转换器会接收原始 PyTorch 函数的参数和返回值，以及正在构建的 TensorRT 网络。原始 PyTorch 函数的输入张量会被修改，添加一个 `_trt` 属性，该属性是 PyTorch 张量对应的 TensorRT 版本。转换函数会利用这个 `_trt` 属性向 TensorRT 网络中添加层，并为相关的输出张量设置 `_trt` 属性。当模型完全执行完毕后，最终的输出张量会被标记为 TensorRT 网络的输出，随后构建优化后的 TensorRT 引擎。\n\n## 如何添加（或覆盖）转换器\n\n下面我们展示如何使用 TensorRT 的 Python API 为 `ReLU` 模块添加一个转换器。\n\n```python\nimport tensorrt as trt\nfrom torch2trt import tensorrt_converter\n\n@tensorrt_converter('torch.nn.ReLU.forward')\ndef convert_ReLU(ctx):\n    input = ctx.method_args[1]\n    output = ctx.method_return\n    layer = ctx.network.add_activation(input=input._trt, type=trt.ActivationType.RELU)  \n    output._trt = layer.get_output(0)\n```\n\n该转换器接受一个参数，即 `ConversionContext` 对象，其中包含以下内容：\n\n* `ctx.network` - 当前正在构建的 TensorRT 网络。\n* `ctx.method_args` - 传递给指定 PyTorch 函数的位置参数。相关输入张量会设置 `_trt` 属性。\n* `ctx.method_kwargs` - 传递给指定 PyTorch 函数的关键字参数。\n* `ctx.method_return` - 指定 PyTorch 函数返回的值。转换器需要在适当的地方设置 `_trt` 属性。\n\n更多示例请参阅 [此文件夹](torch2trt\u002Fconverters)。\n\n## 参阅\n\n- [JetBot](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetbot) - 基于 NVIDIA Jetson Nano 的教育型 AI 机器人\n- [JetRacer](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetracer) - 使用 NVIDIA Jetson Nano 的教育型 AI 赛车\n- [JetCam](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetcam) - 面向 NVIDIA Jetson 的易用 Python 相机接口\n- [JetCard](http:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Fjetcard) - 用于基于 NVIDIA Jetson Nano 的 Web 编程 AI 项目的 SD 卡镜像","# torch2trt 快速上手指南\n\ntorch2trt 是一个基于 Python API 的 PyTorch 到 TensorRT 转换工具。它允许开发者通过单个函数调用轻松将 PyTorch 模型转换为优化的 TensorRT 引擎，显著提升在 NVIDIA Jetson 或桌面 GPU 上的推理速度。\n\n## 环境准备\n\n在使用 torch2trt 之前，请确保满足以下系统和依赖要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **核心依赖**:\n    *   **PyTorch**: 已安装并配置好 CUDA 支持。\n    *   **TensorRT**: 必须安装 TensorRT 及其 Python API。\n        *   **Jetson 平台**: 包含在最新的 JetPack SDK 中，无需单独安装。\n        *   **桌面平台 (x86_64)**: 请参考 [NVIDIA TensorRT 安装指南](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Ftensorrt\u002Finstall-guide\u002Findex.html) 进行安装。\n*   **编译工具** (可选，用于安装插件): `cmake`, `g++`, `make`。\n\n> **提示**: 对于桌面用户，也可以直接使用 NVIDIA NGC 提供的 PyTorch Docker 容器（包含预装的环境）：\n> *   [Desktop PyTorch Container](https:\u002F\u002Fngc.nvidia.com\u002Fcatalog\u002Fcontainers\u002Fnvidia:pytorch)\n> *   [Jetson PyTorch Container](https:\u002F\u002Fngc.nvidia.com\u002Fcatalog\u002Fcontainers\u002Fnvidia:l4t-pytorch)\n\n## 安装步骤\n\n### 1. 安装 torch2trt 核心库\n\n克隆仓库并运行安装脚本：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\ncd torch2trt\npython setup.py install\n```\n\n### 2. (可选) 安装插件库\n\n如果需要支持某些 TensorRT 原生不支持的层，建议编译安装 C++ 插件库。这将使生成的引擎更具可移植性。\n\n```bash\ncmake -B build . && cmake --build build --target install && ldconfig\n```\n\n### 3. (可选) 安装社区贡献的实验性功能\n\n如需使用量化感知训练 (QAT) 等实验性功能（需 TensorRT >= 7.0）：\n\n```bash\ncd scripts    \nbash build_contrib.sh   \n```\n\n## 基本使用\n\n以下是将 PyTorch 模型转换为 TensorRT 模型并进行推理的最简流程。\n\n### 1. 模型转换\n\n导入必要的库，加载预训练的 PyTorch 模型，准备示例输入数据，然后调用 `torch2trt` 进行转换。\n\n```python\nimport torch\nfrom torch2trt import torch2trt\nfrom torchvision.models.alexnet import alexnet\n\n# 创建普通的 PyTorch 模型 (例如 AlexNet)\nmodel = alexnet(pretrained=True).eval().cuda()\n\n# 创建示例输入数据 (形状需与实际推理一致)\nx = torch.ones((1, 3, 224, 224)).cuda()\n\n# 执行转换：传入模型和示例数据\nmodel_trt = torch2trt(model, [x])\n```\n\n### 2. 执行推理\n\n转换后的 `model_trt` 是一个 `TRTModule`，其调用方式与原 PyTorch 模型完全一致。\n\n```python\n# 原始 PyTorch 推理\ny = model(x)\n\n# TensorRT 加速推理\ny_trt = model_trt(x)\n\n# (可选) 验证输出差异\nprint(torch.max(torch.abs(y - y_trt)))\n```\n\n### 3. 保存与加载\n\n可以将优化后的 TensorRT 引擎保存为文件，以便后续直接加载使用，无需重新转换。\n\n**保存模型：**\n```python\ntorch.save(model_trt.state_dict(), 'alexnet_trt.pth')\n```\n\n**加载模型：**\n```python\nfrom torch2trt import TRTModule\n\nmodel_trt = TRTModule()\nmodel_trt.load_state_dict(torch.load('alexnet_trt.pth'))\n\n# 加载后即可直接使用\n# y = model_trt(x)\n```","某自动驾驶初创团队正在将基于 PyTorch 训练的行人检测模型部署到 NVIDIA Jetson Xavier 边缘计算设备上，以满足实时路况分析需求。\n\n### 没有 torch2trt 时\n- **推理延迟过高**：原始 PyTorch 模型在 Xavier 上的帧率仅为 55 FPS，难以满足高速移动场景下毫秒级的响应要求。\n- **优化门槛极高**：团队需深入研读复杂的 TensorRT C++ API 文档，手动重写网络结构，开发周期从几天延长至数周。\n- **调试成本巨大**：手动转换过程中极易出现算子不支持或精度对齐问题，排查错误耗时耗力且缺乏直观反馈。\n- **资源利用率低**：未针对硬件深度优化的模型无法充分释放 GPU 算力，导致设备功耗高而性能产出低。\n\n### 使用 torch2trt 后\n- **推理速度倍增**：仅需几行代码调用 `torch2trt` 完成转换，模型帧率从 55 FPS 飙升至 312 FPS，轻松实现超低延迟实时检测。\n- **开发流程极简**：无需触碰底层 C++ 代码，直接复用现有 PyTorch 模块，将原本数周的移植工作压缩至小时级完成。\n- **精度验证便捷**：工具支持直接对比 PyTorch 与 TensorRT 的输出差异，一键确认数值误差在允许范围内，大幅降低调试难度。\n- **部署灵活高效**：转换后的模型可保存为标准状态字典文件，像普通 PyTorch 模型一样随时加载运行，无缝集成至现有流水线。\n\ntorch2trt 通过“一键式”转换能力，让算法工程师无需成为系统专家，即可在边缘设备上获得极致的推理性能。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_torch2trt_e65b1a2b.png","NVIDIA-AI-IOT","NVIDIA AI IOT","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVIDIA-AI-IOT_3faae4f1.png","",null,"https:\u002F\u002Fdeveloper.nvidia.com\u002F","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT",[80,84,88,92,96,100],{"name":81,"color":82,"percentage":83},"Python","#3572A5",76.8,{"name":85,"color":86,"percentage":87},"C++","#f34b7d",14.3,{"name":89,"color":90,"percentage":91},"Cuda","#3A4E3A",5.7,{"name":93,"color":94,"percentage":95},"Shell","#89e051",2.4,{"name":97,"color":98,"percentage":99},"CMake","#DA3434",0.5,{"name":101,"color":102,"percentage":103},"Dockerfile","#384d54",0.3,4863,699,"2026-04-04T02:31:33","MIT",4,"Linux","必需 NVIDIA GPU。桌面端需安装 TensorRT；Jetson 系列（Nano, Xavier 等）需安装包含 TensorRT Python API 的最新版 JetPack。具体显存大小取决于模型，未明确指定最低要求。","未说明",{"notes":113,"python":114,"dependencies":115},"1. 该工具主要设计用于 NVIDIA Jetson 设备（如 JetBot 项目），在桌面端使用需手动遵循 NVIDIA TensorRT 安装指南或拉取 NGC PyTorch Docker 容器。\n2. 可选步骤：需通过 CMake 编译并安装 'torch2trt plugins' 库以支持部分 TensorRT 原生不支持的层。\n3. 实验性功能（如量化感知训练 QAT）需要 TensorRT 版本 >= 7.0。\n4. 转换器对 TensorRT\u002FPyTorch 的覆盖范围有限，主要用于优化特定模型。","未说明 (需支持 PyTorch 和 TensorRT Python API 的版本)",[116,117,118,119],"torch","tensorrt","torchvision","cmake (用于编译插件)",[14],[122,123,124,125,117,126,127],"jetson-nano","jetson-tx2","jetson-xavier","pytorch","inference","classification","2026-03-27T02:49:30.150509","2026-04-07T00:49:39.615683",[131,136,141,146,151,155,159],{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},20533,"运行 interpolate 测试时出现 \"IndexError: list index out of range\" 错误怎么办？","该错误通常是因为未正确编译或加载 torch2trt 的自定义插件（plugins）。请尝试使用带插件的安装方式（Option 2）：\n1. 确保已安装兼容版本的 protobuf (如 3.11.4) 和 gcc。\n2. 进入 torch2trt 目录，运行命令：`python3 setup.py build_ext --inplace` 进行编译。\n3. 编译成功后，再次运行 `python -m torch2trt.test --name=interpolate` 验证是否修复。如果使用的是 Docker，建议直接使用 NVIDIA 官方的 PyTorch Docker 镜像以避免环境依赖问题。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\u002Fissues\u002F20",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},20534,"如何将 PyTorch 的 LSTM 网络转换为 TensorRT？遇到序列长度报错如何解决？","转换 LSTM 时需注意以下几点：\n1. 修改 forward 函数返回值：不要直接返回 `self.lstm(x)`，而应解包为 `out, (h0, c0) = self.lstm(x)` 并仅返回 `out`。\n2. 关于序列长度报错 (`input.getDimensions().d[di.seqLen()] == maxSeqLen`)：确保传入 `add_rnn_v2` 的 `max_seq_length` 参数与输入张量的时间步维度（通常是 shape[0] 或 shape[1]，取决于 batch_first 设置）完全一致。\n3. 如果需要设置初始隐藏状态，可以在创建 layer 后直接赋值：`layer.hidden_state = init_state_tensor._trt`。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\u002Fissues\u002F144",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},20535,"安装带插件版本（Option 2）时遇到 protobuf 或 gcc 版本相关的编译错误怎么办？","这是常见的环境配置问题，解决方案如下：\n1. 升级 GCC：TensorRT 和较新版本的 PyTorch 通常需要 GCC 5 或更高版本（推荐 7+），旧版 Ubuntu (16.04) 默认 gcc 4.8 会导致编译失败，请通过 `sudo apt-get install gcc-7 g++-7` 等方式升级。\n2. 手动安装 Protobuf：系统自带的 libprotobuf-dev 版本可能过老，建议从 GitHub release 页面下载源码（如 v3.11.4）手动编译安装，或使用 `pip install protobuf==3.11.4`。\n3. 编译标志：在构建插件时，可能需要添加 `-D_GLIBCXX_USE_CXX11_ABI=0` 标志以匹配 PyTorch 的 ABI 设置。\n4. 推荐方案：如果本地环境难以配置，建议使用 NVIDIA 提供的 PyTorch Docker 容器，其中已预装好兼容的依赖库。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\u002Fissues\u002F306",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},20536,"转换模型时报错 \"all concat input tensors must have the same dimensions except on the concatenation axis\" 是什么原因？","该错误表示在进行张量拼接（Concatenation）操作时，除了拼接轴以外的其他维度尺寸不一致。这通常发生在模型包含动态形状或特定的池化层（如 AvgPooling with ceil_mode=True）导致输出尺寸发生微小变化时。\n解决方法：\n1. 检查模型结构，确认所有参与 concat 的分支输出尺寸在静态推断下是否严格一致。\n2. 如果是池化层导致的尺寸差异，尝试调整 padding 或移除 `ceil_mode=True` 参数。\n3. 确保输入给 torch2trt 的示例输入（example inputs）尺寸具有代表性，最好与实际推理时的尺寸一致，以便 TensorRT 能正确推断维度。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftorch2trt\u002Fissues\u002F44",{"id":152,"question_zh":153,"answer_zh":154,"source_url":135},20537,"在 Jetson Nano 上运行 torch2trt 遇到 interpolate 转换问题是否正常？","是的，这在早期版本中是一个已知问题。Jetson Nano 上的 TensorRT 版本可能与桌面版存在差异，且默认安装的 torch2trt 可能未包含必要的插值插件。\n解决步骤：\n1. 必须在 Jetson 上重新编译插件。确保安装了构建工具（build-essential, cmake 等）。\n2. 克隆源码后，务必执行 `python3 setup.py build_ext --inplace` 来生成针对当前硬件架构的 `.so` 插件文件。\n3. 确认生成的 `plugins.cpython-xxx.so` 文件存在于 torch2trt 包目录下。\n4. 如果仍然失败，检查 TensorRT 版本是否与 torch2trt 支持的版本匹配（Jetson Nano 通常绑定特定版本的 JetPack）。",{"id":156,"question_zh":157,"answer_zh":158,"source_url":140},20538,"如何在 LSTM 或 GRU 转换中同时输入初始隐藏状态（h_0）？","默认的 `ctx.network.add_rnn_v2` 调用主要关注输入序列张量。若要显式控制初始隐藏状态：\n1. 首先创建一个包含初始隐藏状态数据的 TensorRT 张量（init_state_tensor）。\n2. 调用 `layer = ctx.network.add_rnn_v2(...)` 创建 RNN 层。\n3. 关键步骤：直接访问生成的 layer 对象并设置其隐藏状态属性，代码示例：`layer.hidden_state = init_state_tensor._trt`。\n注意：这需要你对 TensorRT 的 Python API 有一定了解，并且确保初始状态的维度（num_layers * num_directions, batch, hidden_size）与网络定义完全匹配。",{"id":160,"question_zh":161,"answer_zh":162,"source_url":145},20539,"为什么运行 `python -m torch2trt.test --name=interpolate` 没有任何输出或报错？","如果没有输出也没有报错，通常意味着测试脚本没有成功加载到自定义插件，或者插件加载静默失败了。\n排查方法：\n1. 确认是否执行了 `python3 setup.py build_ext --inplace`。如果没有编译插件，interpolate 转换器将无法找到对应的 Plugin Creator，从而导致测试跳过或静默失败。\n2. 检查 Python 环境变量，确保当前运行的 python 环境与编译插件的环境一致。\n3. 尝试在代码中显式导入插件模块，看是否有 ImportError。\n4. 某些情况下，重新克隆仓库并切换到正确的分支（如 `plugin_serialization_torch`）可以解决文件缺失问题。",[164,169,174,179,184],{"id":165,"version":166,"summary_zh":167,"released_at":168},126530,"v0.5.0","- 增加了张量形状跟踪功能，以支持 flatten、squeeze、unsqueeze、view、reshape、interpolate 和 getitem 方法的动态形状\n- 新增了 EasyOCR 示例\n- 添加了 ``DatasetRecorder`` 上下文管理器，便于在大型流水线中轻松捕获模块输入，用于校准和形状推断\n- 通过优化配置文件，增加了对旧版 max_batch_size 的支持\n- 通过 ``Flattener`` 类，新增了对嵌套元组、字典和列表形式的模块输入与输出的支持\n- 增加了直接将数据集作为 ``inputs`` 参数传入的功能，并可根据数据推断优化配置文件\n- 新增了 Dataset、TensorBatchDataset、ListDataset 和 FolderDataset 等数据集类\n- 增加了对动态形状的支持\n  - 已知限制：目前部分转换算子（如 View）如果其参数使用动态张量形状定义，可能会出现预期之外的行为。\n","2024-05-03T20:13:45",{"id":170,"version":171,"summary_zh":172,"released_at":173},126531,"v0.4.0","- 使用原生 TensorRT 层为 `torch.nn.functional.group_norm` 添加了转换器\n- 使用插件层为 `torch.nn.ReflectionPad2d` 添加了转换器\n- 添加了 torch2trt_plugins 库\n- 增加了对深度学习加速器 (DLA) 的支持\n- 增加了对显式批处理的支持\n- 增加了对 TensorRT 8 的支持\n","2022-07-22T22:46:01",{"id":175,"version":176,"summary_zh":177,"released_at":178},126532,"v0.3.0","此版本在 torch2trt.contrib 中引入了量化感知训练工作流（感谢 @SrivastavaKshitij）。\n此外，还包含了自上一版本以来新增的各类转换器。请参阅下方说明。\n\n## 新增内容\n\n- 添加了对 `torch.nn.functional.adaptive_avg_pool3d` 的转换器\n- 添加了对 `torch.nn.functional.adaptive_max_pool3d` 的转换器\n- 添加了对 `torch.maxpool3d` 和 `torch.nn.functional.max_pool3d` 的转换器\n- 在 contrib 模块中新增了量化感知训练（QAT）工作流\n- 添加了对 `torch.roll` 的转换器\n- 添加了对 `torch.nn.functional.layer_norm` 的转换器\n- 添加了对 `torch.nn.functional.gelu` 的转换器\n- 添加了对 `torch.nn.functional.linear` 的转换器\n- 添加了对 `torch.nn.functional.silu` 的转换器\n","2021-07-15T19:53:46",{"id":180,"version":181,"summary_zh":182,"released_at":183},126533,"v0.2.0","### 新增内容\n\n- 添加了 `torch.Tensor.expand` 的转换器\n- 增加了对在 `torch` 模块之外定义的方法自定义转换器的支持\n- 为 TensorRT 层添加了名称\n- 添加了 GroupNorm 插件，其内部使用 PyTorch 的 `aten::group_norm`\n- 将 `Tensor.ndim` 的引用替换为 `len(tensor.shape)`，以支持较旧版本的 PyTorch\n- 添加了低精度文档页面\n- 添加了 `floordiv`、`mod`、`ne` 以及 `torch.tensor` 操作的转换器\n- 扩展了 `relu` 转换器，以支持 `Tensor.relu` 操作\n- 扩展了 `sigmoid` 转换器，以支持 `Tensor.sigmoid` 操作\n\n","2021-03-02T20:44:42",{"id":185,"version":186,"summary_zh":187,"released_at":188},126534,"v0.0.0","- torch2trt 方法\n  - 转换钩子\n  - 转换上下文\n- ``TRTModule`` 类\n- 用于支持大多数 ``torchvision`` 图像分类模型的转换器\n- 图像分类示例笔记本","2019-06-21T04:33:05"]