[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVIDIA-AI-IOT--tf_trt_models":3,"tool-NVIDIA-AI-IOT--tf_trt_models":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":93,"env_os":94,"env_gpu":95,"env_ram":96,"env_deps":97,"category_tags":106,"github_topics":107,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":122,"updated_at":123,"faqs":124,"releases":153},8117,"NVIDIA-AI-IOT\u002Ftf_trt_models","tf_trt_models","TensorFlow models accelerated with NVIDIA TensorRT","tf_trt_models 是一个专为 NVIDIA Jetson 边缘计算设备打造的开源项目，旨在让开发者能够轻松部署经过加速的 TensorFlow 图像分类与物体检测模型。它主要解决了深度学习模型在资源受限的边缘设备上推理速度慢、实时性差的痛点。通过集成 NVIDIA TensorRT 技术，该项目将标准的 TensorFlow 模型转化为高度优化的推理引擎，在保持精度的同时显著降低延迟。\n\n数据显示，在 Jetson TX2 平台上，经 tf_trt_models 优化后的模型（如 Inception、ResNet、MobileNet 系列）推理速度相比原生 TensorFlow 提升了数倍，部分场景下耗时从上百毫秒降至几十毫秒甚至几毫秒，极大地释放了硬件潜能。\n\n该工具特别适合嵌入式 AI 开发者、研究人员以及需要在边缘端实现实时视觉应用的工程师使用。其独特亮点在于提供了一套完整的自动化流程脚本，涵盖预训练模型下载、图构建、TensorRT 量化优化及 Jupyter Notebook 示例，让用户无需深入底层细节即可快速完成模型部署。此外，它还支持针对自定义任务进行训练和适","tf_trt_models 是一个专为 NVIDIA Jetson 边缘计算设备打造的开源项目，旨在让开发者能够轻松部署经过加速的 TensorFlow 图像分类与物体检测模型。它主要解决了深度学习模型在资源受限的边缘设备上推理速度慢、实时性差的痛点。通过集成 NVIDIA TensorRT 技术，该项目将标准的 TensorFlow 模型转化为高度优化的推理引擎，在保持精度的同时显著降低延迟。\n\n数据显示，在 Jetson TX2 平台上，经 tf_trt_models 优化后的模型（如 Inception、ResNet、MobileNet 系列）推理速度相比原生 TensorFlow 提升了数倍，部分场景下耗时从上百毫秒降至几十毫秒甚至几毫秒，极大地释放了硬件潜能。\n\n该工具特别适合嵌入式 AI 开发者、研究人员以及需要在边缘端实现实时视觉应用的工程师使用。其独特亮点在于提供了一套完整的自动化流程脚本，涵盖预训练模型下载、图构建、TensorRT 量化优化及 Jupyter Notebook 示例，让用户无需深入底层细节即可快速完成模型部署。此外，它还支持针对自定义任务进行训练和适配，是连接云端训练与边缘高效推理的理想桥梁。","TensorFlow\u002FTensorRT Models on Jetson\n====================================\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_tf_trt_models_readme_9a08c4179372.jpg\" alt=\"landing graphic\" height=\"300px\"\u002F>\n\u003C\u002Fp>\n\nThis repository contains scripts and documentation to use TensorFlow image classification and object detection models on NVIDIA Jetson.  The models are sourced from the [TensorFlow models repository](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels)\nand optimized using TensorRT.\n\n* [Setup](#setup)\n* [Image Classification](#ic)\n  * [Models](#ic_models)\n  * [Download pretrained model](#ic_download)\n  * [Build TensorRT \u002F Jetson compatible graph](#ic_build)\n  * [Optimize with TensorRT](#ic_trt)\n  * [Jupyter Notebook Sample](#ic_notebook)\n  * [Train for custom task](#ic_train)\n* [Object Detection](#od)\n  * [Models](#od_models)\n  * [Download pretrained model](#od_download)\n  * [Build TensorRT \u002F Jetson compatible graph](#od_build)\n  * [Optimize with TensorRT](#od_trt)\n  * [Jupyter Notebook Sample](#od_notebook)\n  * [Train for custom task](#od_train)\n\n\u003Ca name=\"setup\">\u003C\u002Fa>\nSetup\n-----\n\n1. Flash your Jetson TX2 with JetPack 3.2 (including TensorRT).\n2. Install miscellaneous dependencies on Jetson\n\n   ```\n   sudo apt-get install python-pip python-matplotlib python-pil\n   ```\n   \n3. Install TensorFlow 1.7+ (with TensorRT support).  Download the [pre-built pip wheel](https:\u002F\u002Fdevtalk.nvidia.com\u002Fdefault\u002Ftopic\u002F1031300\u002Fjetson-tx2\u002Ftensorflow-1-8-wheel-with-jetpack-3-2-\u002F) and install using pip.\n\n    ```\n    pip install tensorflow-1.8.0-cp27-cp27mu-linux_aarch64.whl --user\n    ```\n    \n    or if you're using Python 3.\n    \n    ```\n    pip3 install tensorflow-1.8.0-cp35-cp35m-linux_aarch64.whl --user\n    ```\n\n    \n4. Clone this repository\n\n    ```\n    git clone --recursive https:\u002F\u002Fgithub.com\u002FNVIDIA-Jetson\u002Ftf_trt_models.git\n    cd tf_trt_models\n    ```\n\n5. Run the installation script\n\n    ```\n    .\u002Finstall.sh\n    ```\n    \n    or if you want to specify python intepreter\n    \n    ```\n    .\u002Finstall.sh python3\n    ```\n\n\u003Ca name=\"ic\">\u003C\u002Fa>\nImage Classification\n--------------------\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_tf_trt_models_readme_6471809d82af.jpg\" alt=\"classification\" height=\"300px\"\u002F>\n\n\n\u003Ca name=\"ic_models\">\u003C\u002Fa>\n### Models\n\n| Model | Input Size | TF-TRT TX2 | TF TX2 |\n|:------|:----------:|-----------:|-------:|\n| inception_v1 | 224x224 | 7.36ms | 22.9ms |\n| inception_v2 | 224x224 | 9.08ms | 31.8ms |\n| inception_v3 | 299x299 | 20.7ms | 74.3ms |\n| inception_v4 | 299x299 | 38.5ms | 129ms  |\n| inception_resnet_v2 | 299x299 |   | 158ms |\n| resnet_v1_50 | 224x224 | 12.5ms | 55.1ms |\n| resnet_v1_101 | 224x224 | 20.6ms | 91.0ms |\n| resnet_v1_152 | 224x224 | 28.9ms | 124ms |\n| resnet_v2_50 | 299x299 | 26.5ms | 73.4ms |\n| resnet_v2_101 | 299x299 | 46.9ms |    |\n| resnet_v2_152 | 299x299 | 69.0ms |    |\n| mobilenet_v1_0p25_128 | 128x128 | 3.72ms | 7.99ms |\n| mobilenet_v1_0p5_160 | 160x160 | 4.47ms | 8.69ms |\n| mobilenet_v1_1p0_224 | 224x224 | 11.1ms | 17.3ms |\n\n**TF** - Original TensorFlow graph (FP32)\n\n**TF-TRT** - TensorRT optimized graph (FP16)\n\nThe above benchmark timings were gathered after placing the Jetson TX2 in MAX-N\nmode.  To do this, run the following commands in a terminal:\n\n```\nsudo nvpmodel -m 0\nsudo ~\u002Fjetson_clocks.sh\n```\n\n\u003Ca name=\"ic_download\">\u003C\u002Fa>\n### Download pretrained model\n\nAs a convenience, we provide a script to download pretrained models sourced from the\nTensorFlow models repository.  \n\n```python\nfrom tf_trt_models.classification import download_classification_checkpoint\n\ncheckpoint_path = download_classification_checkpoint('inception_v2')\n```\nTo manually download the pretrained models, follow the links [here](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fslim#Pretrained).\n\n\u003Ca name=\"ic_build\">\u003C\u002Fa>\n\n### Build TensorRT \u002F Jetson compatible graph\n\n```python\nfrom tf_trt_models.classification import build_classification_graph\n\nfrozen_graph, input_names, output_names = build_classification_graph(\n    model='inception_v2',\n    checkpoint=checkpoint_path,\n    num_classes=1001\n)\n```\n\n### Optimize with TensorRT\n\n```python\nimport tensorflow.contrib.tensorrt as trt\n\ntrt_graph = trt.create_inference_graph(\n    input_graph_def=frozen_graph,\n    outputs=output_names,\n    max_batch_size=1,\n    max_workspace_size_bytes=1 \u003C\u003C 25,\n    precision_mode='FP16',\n    minimum_segment_size=50\n)\n```\n\n\u003Ca name=\"ic_notebook\">\u003C\u002Fa>\n### Jupyter Notebook Sample\n\nFor a comprehensive example of performing the above steps and executing on a real\nimage, see the [jupyter notebook sample](examples\u002Fclassification\u002Fclassification.ipynb).\n\n\u003Ca name=\"ic_train\">\u003C\u002Fa>\n### Train for custom task\n\nFollow the documentation from the [TensorFlow models repository](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fslim).\nOnce you have obtained a checkpoint, proceed with building the graph and optimizing\nwith TensorRT as shown above.\n\n\u003Ca name=\"od\">\u003C\u002Fa>\nObject Detection \n----------------\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_tf_trt_models_readme_52339623d6cd.jpg\" alt=\"detection\" height=\"300px\"\u002F>\n\n\u003Ca name=\"od_models\">\u003C\u002Fa>\n### Models\n\n| Model | Input Size | TF-TRT TX2 | TF TX2 |\n|:------|:----------:|-----------:|-------:|\n| ssd_mobilenet_v1_coco | 300x300 | 50.5ms | 72.9ms |\n| ssd_inception_v2_coco | 300x300 | 54.4ms | 132ms  |\n\n**TF** - Original TensorFlow graph (FP32)\n\n**TF-TRT** - TensorRT optimized graph (FP16)\n\nThe above benchmark timings were gathered after placing the Jetson TX2 in MAX-N\nmode.  To do this, run the following commands in a terminal:\n\n```\nsudo nvpmodel -m 0\nsudo ~\u002Fjetson_clocks.sh\n```\n\n\u003Ca name=\"od_download\">\u003C\u002Fa>\n### Download pretrained model\n\nAs a convenience, we provide a script to download pretrained model weights and config files sourced from the\nTensorFlow models repository.  \n\n```python\nfrom tf_trt_models.detection import download_detection_model\n\nconfig_path, checkpoint_path = download_detection_model('ssd_inception_v2_coco')\n```\nTo manually download the pretrained models, follow the links [here](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Fblob\u002Fmaster\u002Fresearch\u002Fobject_detection\u002Fg3doc\u002Fdetection_model_zoo.md).\n\n> **Important:** Some of the object detection configuration files have a very low non-maximum suppression score threshold (ie. 1e-8).\n> This can cause unnecessarily large CPU post-processing load.  Depending on your application, it may be advisable to raise \n> this value to something larger (like 0.3) for improved performance.  We do this for the above benchmark timings.  This can be done by modifying the configuration\n> file directly before calling build_detection_graph.  The parameter can be found for example in this [line](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Fblob\u002Fmaster\u002Fresearch\u002Fobject_detection\u002Fsamples\u002Fconfigs\u002Fssd_mobilenet_v1_coco.config#L130).\n\n\u003Ca name=\"od_build\">\u003C\u002Fa>\n### Build TensorRT \u002F Jetson compatible graph\n\n```python\nfrom tf_trt_models.detection import build_detection_graph\n\nfrozen_graph, input_names, output_names = build_detection_graph(\n    config=config_path,\n    checkpoint=checkpoint_path\n)\n```\n\n\u003Ca name=\"od_trt\">\u003C\u002Fa>\n### Optimize with TensorRT\n\n```python\nimport tensorflow.contrib.tensorrt as trt\n\ntrt_graph = trt.create_inference_graph(\n    input_graph_def=frozen_graph,\n    outputs=output_names,\n    max_batch_size=1,\n    max_workspace_size_bytes=1 \u003C\u003C 25,\n    precision_mode='FP16',\n    minimum_segment_size=50\n)\n```\n\n\u003Ca name=\"od_notebook\">\u003C\u002Fa>\n### Jupyter Notebook Sample\n\nFor a comprehensive example of performing the above steps and executing on a real\nimage, see the [jupyter notebook sample](examples\u002Fdetection\u002Fdetection.ipynb).\n\n\u003Ca name=\"od_train\">\u003C\u002Fa>\n### Train for custom task\n\nFollow the documentation from the [TensorFlow models repository](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fobject_detection).\nOnce you have obtained a checkpoint, proceed with building the graph and optimizing\nwith TensorRT as shown above.  Please note that all models are not tested so \nyou should use an object detection\nconfig file during training that resembles one of the ssd_mobilenet_v1_coco or\nssd_inception_v2_coco models.  Some config parameters may be modified, such as the number of\nclasses, image size, non-max supression parameters, but the performance may vary.\n","Jetson 上的 TensorFlow\u002FTensorRT 模型\n====================================\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_tf_trt_models_readme_9a08c4179372.jpg\" alt=\"landing graphic\" height=\"300px\"\u002F>\n\u003C\u002Fp>\n\n此仓库包含用于在 NVIDIA Jetson 上使用 TensorFlow 图像分类和目标检测模型的脚本及文档。这些模型来源于 [TensorFlow 模型仓库](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels)，并使用 TensorRT 进行优化。\n\n* [设置](#setup)\n* [图像分类](#ic)\n  * [模型](#ic_models)\n  * [下载预训练模型](#ic_download)\n  * [构建 TensorRT \u002F Jetson 兼容图](#ic_build)\n  * [使用 TensorRT 优化](#ic_trt)\n  * [Jupyter Notebook 示例](#ic_notebook)\n  * [针对自定义任务进行训练](#ic_train)\n* [目标检测](#od)\n  * [模型](#od_models)\n  * [下载预训练模型](#od_download)\n  * [构建 TensorRT \u002F Jetson 兼容图](#od_build)\n  * [使用 TensorRT 优化](#od_trt)\n  * [Jupyter Notebook 示例](#od_notebook)\n  * [针对自定义任务进行训练](#od_train)\n\n\u003Ca name=\"setup\">\u003C\u002Fa>\n设置\n-----\n\n1. 使用 JetPack 3.2（包含 TensorRT）为您的 Jetson TX2 刷机。\n2. 在 Jetson 上安装其他依赖项：\n\n   ```\n   sudo apt-get install python-pip python-matplotlib python-pil\n   ```\n   \n3. 安装 TensorFlow 1.7+（支持 TensorRT）。下载 [预编译的 pip 轮子](https:\u002F\u002Fdevtalk.nvidia.com\u002Fdefault\u002Ftopic\u002F1031300\u002Fjetson-tx2\u002Ftensorflow-1-8-wheel-with-jetpack-3-2-\u002F) 并使用 pip 安装。\n\n    ```\n    pip install tensorflow-1.8.0-cp27-cp27mu-linux_aarch64.whl --user\n    ```\n    \n    或者如果您使用的是 Python 3：\n    \n    ```\n    pip3 install tensorflow-1.8.0-cp35-cp35m-linux_aarch64.whl --user\n    ```\n\n    \n4. 克隆此仓库：\n\n    ```\n    git clone --recursive https:\u002F\u002Fgithub.com\u002FNVIDIA-Jetson\u002Ftf_trt_models.git\n    cd tf_trt_models\n    ```\n\n5. 运行安装脚本：\n\n    ```\n    .\u002Finstall.sh\n    ```\n    \n    或者如果您想指定 Python 解释器：\n\n    ```\n    .\u002Finstall.sh python3\n    ```\n\n\u003Ca name=\"ic\">\u003C\u002Fa>\n图像分类\n--------------------\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_tf_trt_models_readme_6471809d82af.jpg\" alt=\"classification\" height=\"300px\"\u002F>\n\n\n\u003Ca name=\"ic_models\">\u003C\u002Fa>\n### 模型\n\n| 模型 | 输入尺寸 | TF-TRT TX2 | TF TX2 |\n|:------|:----------:|-----------:|-------:|\n| inception_v1 | 224x224 | 7.36ms | 22.9ms |\n| inception_v2 | 224x224 | 9.08ms | 31.8ms |\n| inception_v3 | 299x299 | 20.7ms | 74.3ms |\n| inception_v4 | 299x299 | 38.5ms | 129ms  |\n| inception_resnet_v2 | 299x299 |   | 158ms |\n| resnet_v1_50 | 224x224 | 12.5ms | 55.1ms |\n| resnet_v1_101 | 224x224 | 20.6ms | 91.0ms |\n| resnet_v1_152 | 224x224 | 28.9ms | 124ms |\n| resnet_v2_50 | 299x299 | 26.5ms | 73.4ms |\n| resnet_v2_101 | 299x299 | 46.9ms |    |\n| resnet_v2_152 | 299x299 | 69.0ms |    |\n| mobilenet_v1_0p25_128 | 128x128 | 3.72ms | 7.99ms |\n| mobilenet_v1_0p5_160 | 160x160 | 4.47ms | 8.69ms |\n| mobilenet_v1_1p0_224 | 224x224 | 11.1ms | 17.3ms |\n\n**TF** - 原始 TensorFlow 图（FP32）\n\n**TF-TRT** - TensorRT 优化后的图（FP16）\n\n以上基准测试时间是在将 Jetson TX2 设置为 MAX-N 模式后收集的。为此，请在终端中运行以下命令：\n\n```\nsudo nvpmodel -m 0\nsudo ~\u002Fjetson_clocks.sh\n```\n\n\u003Ca name=\"ic_download\">\u003C\u002Fa>\n### 下载预训练模型\n\n为了方便起见，我们提供了一个脚本，用于从 TensorFlow 模型仓库下载预训练模型。\n\n```python\nfrom tf_trt_models.classification import download_classification_checkpoint\n\ncheckpoint_path = download_classification_checkpoint('inception_v2')\n```\n要手动下载预训练模型，请按照 [此处](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fslim#Pretrained) 的链接操作。\n\n\u003Ca name=\"ic_build\">\u003C\u002Fa>\n\n### 构建 TensorRT \u002F Jetson 兼容图\n\n```python\nfrom tf_trt_models.classification import build_classification_graph\n\nfrozen_graph, input_names, output_names = build_classification_graph(\n    model='inception_v2',\n    checkpoint=checkpoint_path,\n    num_classes=1001\n)\n```\n\n### 使用 TensorRT 优化\n\n```python\nimport tensorflow.contrib.tensorrt as trt\n\ntrt_graph = trt.create_inference_graph(\n    input_graph_def=frozen_graph,\n    outputs=output_names,\n    max_batch_size=1,\n    max_workspace_size_bytes=1 \u003C\u003C 25,\n    precision_mode='FP16',\n    minimum_segment_size=50\n)\n```\n\n\u003Ca name=\"ic_notebook\">\u003C\u002Fa>\n### Jupyter Notebook 示例\n\n有关执行上述步骤并在实际图像上运行的完整示例，请参阅 [jupyter notebook 示例](examples\u002Fclassification\u002Fclassification.ipynb)。\n\n\u003Ca name=\"ic_train\">\u003C\u002Fa>\n### 针对自定义任务进行训练\n\n请遵循 [TensorFlow 模型仓库](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fslim) 中的文档。获得检查点后，按照上述方法构建图并使用 TensorRT 进行优化。\n\n\u003Ca name=\"od\">\u003C\u002Fa>\n目标检测\n----------------\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_tf_trt_models_readme_52339623d6cd.jpg\" alt=\"detection\" height=\"300px\"\u002F>\n\n\u003Ca name=\"od_models\">\u003C\u002Fa>\n### 模型\n\n| 模型 | 输入尺寸 | TF-TRT TX2 | TF TX2 |\n|:------|:----------:|-----------:|-------:|\n| ssd_mobilenet_v1_coco | 300x300 | 50.5ms | 72.9ms |\n| ssd_inception_v2_coco | 300x300 | 54.4ms | 132ms  |\n\n**TF** - 原始 TensorFlow 图（FP32）\n\n**TF-TRT** - TensorRT 优化后的图（FP16）\n\n以上基准测试时间是在将 Jetson TX2 设置为 MAX-N 模式后收集的。为此，请在终端中运行以下命令：\n\n```\nsudo nvpmodel -m 0\nsudo ~\u002Fjetson_clocks.sh\n```\n\n\u003Ca name=\"od_download\">\u003C\u002Fa>\n### 下载预训练模型\n\n为了方便起见，我们提供了一个脚本，用于从 TensorFlow 模型仓库下载预训练模型权重和配置文件。\n\n```python\nfrom tf_trt_models.detection import download_detection_model\n\nconfig_path, checkpoint_path = download_detection_model('ssd_inception_v2_coco')\n```\n要手动下载预训练模型，请按照 [此处](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Fblob\u002Fmaster\u002Fresearch\u002Fobject_detection\u002Fg3doc\u002Fdetection_model_zoo.md) 的链接操作。\n\n> **重要提示：** 一些目标检测配置文件具有非常低的非极大值抑制阈值（例如 1e-8）。这可能会导致不必要的大量 CPU 后处理负载。根据您的应用，建议将此值提高到更大的数值（如 0.3），以提升性能。我们在上述基准测试中就是这么做的。您可以在调用 build_detection_graph 之前直接修改配置文件来实现这一点。该参数例如可在这一 [行](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Fblob\u002Fmaster\u002Fresearch\u002Fobject_detection\u002Fsamples\u002Fconfigs\u002Fssd_mobilenet_v1_coco.config#L130) 找到。\n\n\u003Ca name=\"od_build\">\u003C\u002Fa>\n### 构建 TensorRT \u002F Jetson 兼容图\n\n```python\nfrom tf_trt_models.detection import build_detection_graph\n\nfrozen_graph, input_names, output_names = build_detection_graph(\n    config=config_path,\n    checkpoint=checkpoint_path\n)\n```\n\n\u003Ca name=\"od_trt\">\u003C\u002Fa>\n\n### 使用 TensorRT 进行优化\n\n```python\nimport tensorflow.contrib.tensorrt as trt\n\ntrt_graph = trt.create_inference_graph(\n    input_graph_def=frozen_graph,\n    outputs=output_names,\n    max_batch_size=1,\n    max_workspace_size_bytes=1 \u003C\u003C 25,\n    precision_mode='FP16',\n    minimum_segment_size=50\n)\n```\n\n\u003Ca name=\"od_notebook\">\u003C\u002Fa>\n### Jupyter Notebook 示例\n\n有关执行上述步骤并在实际图像上运行的完整示例，请参阅 [Jupyter Notebook 示例](examples\u002Fdetection\u002Fdetection.ipynb)。\n\n\u003Ca name=\"od_train\">\u003C\u002Fa>\n### 针对自定义任务进行训练\n\n请按照 [TensorFlow 模型仓库](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Fmodels\u002Ftree\u002Fmaster\u002Fresearch\u002Fobject_detection) 中的文档操作。在获得检查点后，按照上述方法构建图并使用 TensorRT 进行优化。请注意，并非所有模型都经过测试，因此在训练时应使用与 ssd_mobilenet_v1_coco 或 ssd_inception_v2_coco 模型类似的物体检测配置文件。部分配置参数（如类别数、图像尺寸、非极大值抑制参数等）可以修改，但性能可能会有所不同。","# tf_trt_models 快速上手指南\n\n本指南帮助开发者在 NVIDIA Jetson 平台上快速部署经过 TensorRT 优化的 TensorFlow 图像分类与目标检测模型。\n\n## 环境准备\n\n*   **硬件平台**：NVIDIA Jetson TX2 (或其他支持 JetPack 的 Jetson 设备)\n*   **系统镜像**：需刷入 **JetPack 3.2** (必须包含 TensorRT 组件)\n*   **性能模式**：建议将设备设置为最大性能模式以获得最佳推理速度：\n    ```bash\n    sudo nvpmodel -m 0\n    sudo ~\u002Fjetson_clocks.sh\n    ```\n\n## 安装步骤\n\n1.  **安装系统依赖**\n    ```bash\n    sudo apt-get install python-pip python-matplotlib python-pil\n    ```\n\n2.  **安装 TensorFlow (含 TensorRT 支持)**\n    下载适用于 Jetson 的预编译 wheel 包（TensorFlow 1.8+），然后使用 pip 安装。\n    \n    *Python 2.7:*\n    ```bash\n    pip install tensorflow-1.8.0-cp27-cp27mu-linux_aarch64.whl --user\n    ```\n    \n    *Python 3.5:*\n    ```bash\n    pip3 install tensorflow-1.8.0-cp35-cp35m-linux_aarch64.whl --user\n    ```\n    > **提示**：国内用户若下载官方 wheel 包较慢，可尝试在 NVIDIA 开发者论坛查找国内镜像资源或使用本地传输方式。\n\n3.  **克隆项目并安装**\n    ```bash\n    git clone --recursive https:\u002F\u002Fgithub.com\u002FNVIDIA-Jetson\u002Ftf_trt_models.git\n    cd tf_trt_models\n    .\u002Finstall.sh\n    ```\n    若需指定 Python 3 环境：\n    ```bash\n    .\u002Finstall.sh python3\n    ```\n\n## 基本使用\n\n### 1. 图像分类 (Image Classification)\n\n以下示例展示如何下载预训练模型、构建图并进行 TensorRT 优化（以 `inception_v2` 为例）。\n\n```python\nfrom tf_trt_models.classification import download_classification_checkpoint, build_classification_graph\nimport tensorflow.contrib.tensorrt as trt\n\n# 1. 下载预训练模型\ncheckpoint_path = download_classification_checkpoint('inception_v2')\n\n# 2. 构建兼容 TensorRT\u002FJetson 的冻结图\nfrozen_graph, input_names, output_names = build_classification_graph(\n    model='inception_v2',\n    checkpoint=checkpoint_path,\n    num_classes=1001\n)\n\n# 3. 使用 TensorRT 优化 (FP16 精度)\ntrt_graph = trt.create_inference_graph(\n    input_graph_def=frozen_graph,\n    outputs=output_names,\n    max_batch_size=1,\n    max_workspace_size_bytes=1 \u003C\u003C 25,\n    precision_mode='FP16',\n    minimum_segment_size=50\n)\n```\n> **完整示例**：参考 `examples\u002Fclassification\u002Fclassification.ipynb`。\n\n### 2. 目标检测 (Object Detection)\n\n以下示例展示如何配置并优化目标检测模型（以 `ssd_inception_v2_coco` 为例）。\n\n```python\nfrom tf_trt_models.detection import download_detection_model, build_detection_graph\nimport tensorflow.contrib.tensorrt as trt\n\n# 1. 下载模型权重与配置文件\nconfig_path, checkpoint_path = download_detection_model('ssd_inception_v2_coco')\n\n# 2. 构建冻结图\nfrozen_graph, input_names, output_names = build_detection_graph(\n    config=config_path,\n    checkpoint=checkpoint_path\n)\n\n# 3. 使用 TensorRT 优化\ntrt_graph = trt.create_inference_graph(\n    input_graph_def=frozen_graph,\n    outputs=output_names,\n    max_batch_size=1,\n    max_workspace_size_bytes=1 \u003C\u003C 25,\n    precision_mode='FP16',\n    minimum_segment_size=50\n)\n```\n\n> **性能优化提示**：部分默认配置文件的非极大值抑制（NMS）阈值过低（如 1e-8），会导致 CPU 后处理负载过高。建议在调用 `build_detection_graph` 前修改配置文件，将阈值调整为合理值（如 0.3）以提升整体性能。\n> **完整示例**：参考 `examples\u002Fdetection\u002Fdetection.ipynb`。","某农业科技公司正在 NVIDIA Jetson TX2 边缘设备上部署实时作物病害检测系统，需要在田间地头快速识别叶片异常。\n\n### 没有 tf_trt_models 时\n- **推理延迟过高**：直接运行原生 TensorFlow 模型（如 Inception V2），单张图片处理耗时约 31.8ms，导致视频流卡顿，无法达到实时交互标准。\n- **硬件性能浪费**：Jetson 板载的 TensorRT 加速引擎未被调用，GPU 算力闲置，设备长期处于高负载低效状态。\n- **部署流程繁琐**：开发人员需手动编写复杂的图转换脚本，将预训练模型转换为兼容格式，极易因版本不匹配导致报错。\n- **能耗与发热严重**：由于计算效率低下，设备为维持帧率不得不全速运转，导致电池续航骤减且机身过热。\n\n### 使用 tf_trt_models 后\n- **推理速度倍增**：通过内置脚本一键构建并优化模型，Inception V2 的推理时间从 31.8ms 骤降至 9.08ms，轻松实现流畅的实时检测。\n- **自动底层优化**：tf_trt_models 自动将浮点运算转换为 FP16 精度并融合算子，无需人工干预即可榨干 Jetson 硬件性能。\n- **开发门槛降低**：提供标准的下载、构建和优化 API，开发者仅需几行代码即可完成从预训练模型到边缘部署的全流程。\n- **能效显著提升**：更快的推理意味着 CPU\u002FGPU 能更快进入空闲状态，大幅降低了系统功耗和发热量，延长户外作业时间。\n\ntf_trt_models 通过自动化集成 TensorRT 加速技术，将边缘端的 AI 推理性能提升了 3 倍以上，让高精度模型在低功耗设备上真正落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA-AI-IOT_tf_trt_models_9a08c417.jpg","NVIDIA-AI-IOT","NVIDIA AI IOT","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVIDIA-AI-IOT_3faae4f1.png","",null,"https:\u002F\u002Fdeveloper.nvidia.com\u002F","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",94.2,{"name":86,"color":87,"percentage":88},"Shell","#89e051",5.8,693,237,"2026-02-23T18:45:59","BSD-3-Clause",4,"Linux (NVIDIA Jetson TX2)","必需，仅限 NVIDIA Jetson TX2 嵌入式平台（需配合 TensorRT），未提及独立显卡显存大小","未说明",{"notes":98,"python":99,"dependencies":100},"该工具专为 NVIDIA Jetson TX2 设计，必须刷入 JetPack 3.2 系统（包含 TensorRT）。需安装特定架构的 TensorFlow wheel 包 (linux_aarch64)。运行前建议将设备设置为 MAX-N 模式并锁定时钟频率以获得最佳性能。部分目标检测模型的配置文件可能需要手动调整非极大值抑制阈值以降低 CPU 负载。","2.7 或 3.5",[101,102,103,104,105],"tensorflow>=1.7 (含 TensorRT 支持，推荐 1.8.0)","tensorrt (通过 JetPack 3.2 安装)","python-pip","python-matplotlib","python-pil",[15,14],[108,109,110,111,112,113,114,115,116,117,118,119,120,121],"tensorflow","tensorrt","nvidia","jetson","tx1","tx2","models","neural-network","object-detection","image-classification","train","inference","realtime","optimize","2026-03-27T02:49:30.150509","2026-04-17T09:54:10.521818",[125,130,135,140,144,149],{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},36309,"为什么使用 TensorRT 推理时，输出的分类 ID 与不使用 TensorRT 时不同（通常少 1）？","这是因为 COCO 数据集的标签映射文件（如 mscoco_label_map.pbtxt）中的 ID 定义通常比模型输出的原始索引少 1。在使用示例代码时，请检查标签映射文件的配置。TensorRT 集成旨在适用于任何 TensorFlow 模型，但需确保正确获取冻结图（frozen graph）并通过 TensorBoard 等工具确认输出节点的名称，以保证索引对齐。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftf_trt_models\u002Fissues\u002F21",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},36310,"安装脚本中使用了 `sudo`，这会导致系统目录被污染，如何安全安装？","维护者已接受建议并修改了安装脚本。现在用户可以通过以下方式安全安装，而无需强制使用 `sudo`：\n1. 普通安装：`.\u002Finstall.sh`\n2. 用户级安装（推荐）：`.\u002Finstall.sh --user`\n3. 指定 Python 版本：`.\u002Finstall.sh python3`\n脚本现在支持将库安装到用户本地目录（~\u002F.local），避免了对系统目录的修改。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftf_trt_models\u002Fissues\u002F17",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},36311,"为什么在 Jetson 设备上运行基准测试时，推理速度比官方文档中标注的结果慢很多？","这通常是因为没有排除模型初始化（建引擎）的时间。TensorRT 在首次运行时需要构建推理引擎（Build engine），这会消耗大量时间（日志中可见 'starting build engine' 到 'Built network' 的过程）。\n解决方案：在进行速度基准测试时，请务必跳过第一次或前几次的推理迭代，仅计算引擎构建完成后的稳定推理时间。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftf_trt_models\u002Fissues\u002F1",{"id":141,"question_zh":142,"answer_zh":143,"source_url":129},36312,"目前有哪些模型在实验分支中验证过可以与 TensorRT 正常工作？","目前在实验分支中已验证以下模型可以正常工作：\n- ssd_mobilenet_v1_coco\n- ssd_mobilenet_v2_coco\n- ssd_inception_v2_coco\n其他模型与 TensorRT 的集成问题正在跟踪中。如果需要使用其他模型，请确保先获取冻结图并正确指定输出节点名称。",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},36313,"如何使用 `trt.create_inference_graph` 配置参数以尝试加速模型（例如针对 SSD MobileNet V1 FPN）？","用户可以尝试以下配置参数来创建 TensorRT 推理图。注意，某些模型（如 FPN 结构）可能因算子支持问题导致加速不明显或失败：\n```python\ntrt_graph = trt.create_inference_graph(\n    input_graph_def=frozen_graph,\n    outputs=output_names,\n    max_batch_size=1,\n    max_workspace_size_bytes=1 \u003C\u003C 25,  # 32MB 工作空间\n    precision_mode='FP16',             # 使用半精度加速\n    minimum_segment_size=50            # 最小转换段大小\n)\n```\n如果在 Jetson Nano 等设备上速度未提升，可能是因为该模型结构不完全支持 TensorRT 优化，建议换用已验证的模型（如 ssd_mobilenet_v1_coco）。","https:\u002F\u002Fgithub.com\u002FNVIDIA-AI-IOT\u002Ftf_trt_models\u002Fissues\u002F14",{"id":150,"question_zh":151,"answer_zh":152,"source_url":129},36314,"如何将 TensorRT 集成应用到非目标检测任务的其他 TensorFlow 模型上？","TensorRT 集成不仅限于目标检测，可用于任何 TensorFlow 模型。具体步骤如下：\n1. 获取模型的冻结图（Frozen Graph）。有关如何冻结图的详细步骤可参考外部文档。\n2. 确定模型输出节点的名称。如果是自定义模型，可在构建时设置；如果是现有模型，可使用 TensorBoard 可视化图形来确定节点名称。\n3. 使用 `trt.create_inference_graph` 进行转换并执行推理。",[]]