[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-google-ai-edge--litert-torch":3,"tool-google-ai-edge--litert-torch":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161692,"2026-04-20T11:33:57",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":74,"owner_location":74,"owner_email":74,"owner_twitter":74,"owner_website":74,"owner_url":75,"languages":76,"stars":101,"forks":102,"last_commit_at":103,"license":104,"difficulty_score":24,"env_os":105,"env_gpu":106,"env_ram":107,"env_deps":108,"category_tags":114,"github_topics":74,"view_count":24,"oss_zip_url":74,"oss_zip_packed_at":74,"status":17,"created_at":115,"updated_at":116,"faqs":117,"releases":146},10144,"google-ai-edge\u002Flitert-torch","litert-torch","Support PyTorch model conversion with LiteRT.","litert-torch 是一款专为边缘计算设计的 Python 库，旨在帮助开发者将 PyTorch 模型高效转换为 LiteRT 格式（.tflite），从而在 Android、iOS 及 IoT 设备上实现完全本地化的模型推理。它有效解决了大型深度学习模型难以在资源受限的移动端流畅运行、以及依赖云端服务导致延迟高和隐私风险等痛点。\n\n这款工具特别适合移动端应用开发者、嵌入式工程师以及希望部署离线 AI 功能的研究人员。其核心技术亮点在于深度集成 PyTorch 生态，基于 `torch.export()` 构建并广泛支持 Core ATen 算子，确保了转换过程的兼容性与稳定性。除了通用的模型转换能力（目前为 Beta 版），litert-torch 还提供了针对大语言模型（LLM）和 Transformer 架构的生成式 API（Alpha 版）。该接口支持模型创作与量化优化，能显著提升生成式 AI 在移动设备上的运行效率。当前版本已提供完善的 CPU 支持，并初步涵盖 GPU 加速，未来还将扩展至 NPU，是让 PyTorch 模型轻松落地手机端与物联网设备的理想桥梁。","# LiteRT Torch\n\nLiteRT Torch is a python library that supports converting PyTorch models into a\n.tflite format, which can then be run with [LiteRT](https:\u002F\u002Fai.google.dev\u002Fedge\u002Flitert).\nThis enables applications for Android, iOS and IOT that can run models\ncompletely on-device. LiteRT Torch offers broad CPU coverage, with initial GPU\nand NPU support.  LiteRT Torch seeks to closely integrate with PyTorch,\nbuilding on top of torch.export() and providing good coverage of Core ATen\noperators.\n\nTo get started converting PyTorch models to LiteRT, see additional details in\nthe [PyTorch converter](#pytorch-converter) section. For the particular case of\nLarge Language Models (LLMs) and transformer-based models, the [Generative\nAPI](#generative-api) supports model authoring and quantization to enable\nimproved on device performance.\n\nAlthough part of the same PyPi package, the PyTorch converter is a Beta release,\nwhile the Generative API is an Alpha release. Please see the [release\nnotes](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Freleases\u002F) for additional\ninformation.\n\n## PyTorch Converter\nHere are the steps needed to convert a PyTorch model to a .tflite flatbuffer:\n\n```python\nimport torch\nimport torchvision\nimport litert_torch\n\n# Use resnet18 with pre-trained weights.\nresnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1)\nsample_inputs = (torch.randn(1, 3, 224, 224),)\n\n# Convert and serialize PyTorch model to a .tflite flatbuffer. Note that we\n# are setting the model to evaluation mode prior to conversion.\nedge_model = litert_torch.convert(resnet18.eval(), sample_inputs)\nedge_model.export(\"resnet18.tflite\")\n```\n\nThe [getting started](docs\u002Fpytorch_converter\u002Fgetting_started.ipynb) Jupyter\nnotebook gives an initial walkthrough of the conversion process and can be tried\nout with Google Colab.\n\nAdditional technical details of the PyTorch Converter are [here](docs\u002Fpytorch_converter\u002FREADME.md).\n\n## Generative API\nThe LiteRT Torch Generative API is a Torch native library for authoring\nmobile-optimized PyTorch Transformer models, which can be converted to LiteRT-LM models,\nallowing users to easily deploy Large Language Models (LLMs) on edge\ndevices. Users can run the converted models via [LiteRT-LM](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002FLiteRT-LM).\n\nMore detailed documentation can be found [here](litert_torch\u002Fgenerative).\n\nThe Generative API currently supports CPU and GPU, with planned support for NPU.\nA further future direction is to collaborate with the PyTorch community to\nensure that frequently used transformer abstractions can be directly supported\nwithout reauthoring.\n\n\n## Build Status\n\nBuild Type         |    Status     |\n-----------        | --------------|\nGenerative API (Linux) | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_generative_api.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_generative_api.yml) |\nModel Coverage (Linux) | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_model_coverage.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_model_coverage.yml) |\nUnit tests (Linux)     | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_unittests.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_unittests.yml) |\nNightly Release    | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_release.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_release.yml) |\n\n## Installation\n\n### Requirements and Dependencies\n\n * Python versions: >=3.10\n * Operating system: Linux\n * PyTorch: [![torch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Ftorch->=2.4.0-blue)](https:\u002F\u002Fpypi.org\u002Fproject\u002Ftorch\u002F)\n * TensorFlow: [![tf-nightly](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Ftf--nightly-latest-blue)](https:\u002F\u002Fpypi.org\u002Fproject\u002Ftf-nightly\u002F)\n\n\u003C!-- requirement badges are updated by ci\u002Fupdate_nightly_versions.py -->\n\n### Python Virtual Env\n\nSet up a Python virtualenv:\n```bash\npython -m venv --prompt litert-torch venv\nsource venv\u002Fbin\u002Factivate\n```\n\nThe latest stable release can be installed with:\n```bash\npip install litert-torch\n```\n\nAlternately, the nightly version can be installed with:\n```bash\npip install --pre litert-torch-nightly\n```\n\n\n* The list of versioned releases can be seen [here](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Freleases).\n* The full list of PyPi releases (including nightly builds) can be seen [here](https:\u002F\u002Fpypi.org\u002Fproject\u002Flitert-torch\u002F#history).\n\n\n# Contributing\n\nSee our [contribution documentation](CONTRIBUTING.md).\n\n# Getting Help\n\nPlease [create a GitHub issue](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Fissues\u002Fnew\u002Fchoose) with any questions.\n","# LiteRT Torch\n\nLiteRT Torch 是一个 Python 库，支持将 PyTorch 模型转换为 .tflite 格式，随后可以在 [LiteRT](https:\u002F\u002Fai.google.dev\u002Fedge\u002Flitert) 上运行。这使得 Android、iOS 和 IoT 应用程序能够在设备端完全本地运行模型。LiteRT Torch 提供了广泛的 CPU 支持，并初步支持 GPU 和 NPU。LiteRT Torch 致力于与 PyTorch 紧密集成，基于 torch.export() 构建，并对 Core ATen 运算符提供了良好的覆盖。\n\n要开始将 PyTorch 模型转换为 LiteRT 格式，请参阅 [PyTorch 转换器](#pytorch-converter) 部分的详细说明。对于大型语言模型（LLMs）和基于 Transformer 的模型，[生成式 API](#generative-api) 支持模型创作和量化，以提升设备端性能。\n\n尽管它们属于同一个 PyPI 包，但 PyTorch 转换器目前处于 Beta 版本，而生成式 API 则是 Alpha 版本。更多信息请参阅 [发布说明](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Freleases\u002F)。\n\n## PyTorch 转换器\n以下是将 PyTorch 模型转换为 .tflite FlatBuffer 文件所需的步骤：\n\n```python\nimport torch\nimport torchvision\nimport litert_torch\n\n# 使用带有预训练权重的 resnet18。\nresnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1)\nsample_inputs = (torch.randn(1, 3, 224, 224),)\n\n# 将 PyTorch 模型转换并序列化为 .tflite FlatBuffer 文件。请注意，在转换之前，我们已将模型设置为评估模式。\nedge_model = litert_torch.convert(resnet18.eval(), sample_inputs)\nedge_model.export(\"resnet18.tflite\")\n```\n\n在 [入门指南](docs\u002Fpytorch_converter\u002Fgetting_started.ipynb) Jupyter 笔记本中，提供了转换过程的初步演示，并可通过 Google Colab 进行尝试。\n\nPyTorch 转换器的更多技术细节请参见 [这里](docs\u002Fpytorch_converter\u002FREADME.md)。\n\n## 生成式 API\nLiteRT Torch 生成式 API 是一个原生 Torch 库，用于创作针对移动设备优化的 PyTorch Transformer 模型，这些模型可以被转换为 LiteRT-LM 模型，从而让用户能够轻松地在边缘设备上部署大型语言模型（LLMs）。转换后的模型可以通过 [LiteRT-LM](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002FLiteRT-LM) 运行。\n\n更详细的文档可在 [这里](litert_torch\u002Fgenerative) 找到。\n\n生成式 API 目前支持 CPU 和 GPU，并计划支持 NPU。未来的一个发展方向是与 PyTorch 社区合作，确保常用的 Transformer 抽象可以直接得到支持，而无需重新编写代码。\n\n## 构建状态\n\n构建类型         |    状态     |\n-----------        | --------------|\n生成式 API（Linux） | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_generative_api.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_generative_api.yml) |\n模型覆盖率（Linux） | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_model_coverage.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_model_coverage.yml) |\n单元测试（Linux）     | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_unittests.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_unittests.yml) |\n夜间发布    | [![](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_release.yml\u002Fbadge.svg?branch=main)](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Factions\u002Fworkflows\u002Fnightly_release.yml) |\n\n## 安装\n\n### 要求和依赖项\n\n * Python 版本：>=3.10\n * 操作系统：Linux\n * PyTorch：[![torch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Ftorch->=2.4.0-blue)](https:\u002F\u002Fpypi.org\u002Fproject\u002Ftorch\u002F)\n * TensorFlow：[![tf-nightly](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Ftf--nightly-latest-blue)](https:\u002F\u002Fpypi.org\u002Fproject\u002Ftf-nightly\u002F)\n\n\u003C!-- 要求徽章由 ci\u002Fupdate_nightly_versions.py 自动更新 -->\n\n### Python 虚拟环境\n\n设置一个 Python 虚拟环境：\n```bash\npython -m venv --prompt litert-torch venv\nsource venv\u002Fbin\u002Factivate\n```\n\n可以使用以下命令安装最新稳定版：\n```bash\npip install litert-torch\n```\n\n或者，也可以安装夜间版本：\n```bash\npip install --pre litert-torch-nightly\n```\n\n* 已发布的版本列表可在 [这里](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Freleases) 查看。\n* PyPI 上的所有版本列表（包括夜间构建）可在 [这里](https:\u002F\u002Fpypi.org\u002Fproject\u002Flitert-torch\u002F#history) 查看。\n\n# 贡献\n\n请参阅我们的 [贡献文档](CONTRIBUTING.md)。\n\n# 获取帮助\n\n如有任何问题，请 [创建 GitHub 问题](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Fissues\u002Fnew\u002Fchoose)。","# LiteRT Torch 快速上手指南\n\nLiteRT Torch 是一个 Python 库，支持将 PyTorch 模型转换为 `.tflite` 格式，以便在 Android、iOS 和 IoT 设备上通过 [LiteRT](https:\u002F\u002Fai.google.dev\u002Fedge\u002Flitert) 进行完全本地化的推理。该工具基于 `torch.export()` 构建，广泛支持 Core ATen 算子，并提供针对大语言模型（LLM）的生成式 API 支持。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux\n*   **Python 版本**: >= 3.10\n*   **PyTorch**: >= 2.4.0\n*   **TensorFlow**: 需安装 `tf-nightly` (用于底层转换支持)\n\n> **注意**：目前官方主要支持 Linux 环境。PyTorch 转换器处于 Beta 阶段，生成式 API 处于 Alpha 阶段。\n\n## 安装步骤\n\n建议使用 Python 虚拟环境进行安装，以避免依赖冲突。\n\n1.  **创建并激活虚拟环境**：\n    ```bash\n    python -m venv --prompt litert-torch venv\n    source venv\u002Fbin\u002Factivate\n    ```\n\n2.  **安装 LiteRT Torch**：\n    \n    安装最新稳定版：\n    ```bash\n    pip install litert-torch\n    ```\n    \n    或者，如需体验最新夜间构建版（包含最新功能但可能不稳定）：\n    ```bash\n    pip install --pre litert-torch-nightly\n    ```\n\n    *(注：如果在国内网络环境下安装较慢，可尝试添加国内镜像源，例如：`pip install litert-torch -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`)*\n\n## 基本使用\n\n以下是将预训练的 PyTorch ResNet18 模型转换为 `.tflite` 格式的最小化示例：\n\n```python\nimport torch\nimport torchvision\nimport litert_torch\n\n# 加载预训练的 ResNet18 模型\nresnet18 = torchvision.models.resnet18(torchvision.models.ResNet18_Weights.IMAGENET1K_V1)\nsample_inputs = (torch.randn(1, 3, 224, 224),)\n\n# 转换并序列化模型为 .tflite flatbuffer\n# 注意：转换前必须将模型设置为评估模式 (.eval())\nedge_model = litert_torch.convert(resnet18.eval(), sample_inputs)\n\n# 导出模型文件\nedge_model.export(\"resnet18.tflite\")\n```\n\n转换完成后，生成的 `resnet18.tflite` 文件即可部署到支持 LiteRT 的移动端或边缘设备上进行推理。\n\n对于大语言模型（LLM）和 Transformer 架构，请参考官方文档中的 **Generative API** 部分以获取模型编写和量化的高级用法。","某移动端开发团队正致力于将一款基于 ResNet 的工业缺陷检测应用部署到安卓手持终端，要求在没有网络连接的生产车间内实现实时识别。\n\n### 没有 litert-torch 时\n- **依赖云端推理**：由于缺乏高效的端侧转换工具，模型必须运行在服务器上，导致车间网络波动时检测延迟高达数秒，甚至服务中断。\n- **重写成本高昂**：若强行移植到移动端，开发人员需用 C++ 或 TensorFlow Lite 手动重写整个 PyTorch 模型架构，耗时数周且极易引入逻辑错误。\n- **隐私与带宽顾虑**：所有产品缺陷图片需上传至云端处理，不仅消耗大量流量，还引发了客户对核心生产数据泄露的担忧。\n- **硬件利用率低**：无法直接利用手机本地的 GPU 或 NPU 加速，仅靠 CPU 运行未优化的通用模型，导致设备发热严重且帧率低下。\n\n### 使用 litert-torch 后\n- **一键端侧部署**：通过几行 Python 代码即可将预训练的 PyTorch ResNet18 直接转换为 .tflite 格式，无需修改模型结构，半天内完成从训练到端侧集成的闭环。\n- **原生生态兼容**：litert-torch 深度集成 `torch.export()`，完美支持 Core ATen 算子，开发人员可继续使用熟悉的 PyTorch 工作流进行迭代和调试。\n- **数据本地闭环**：模型完全在设备本地运行，图片无需出域，彻底解决了数据隐私合规问题，同时消除了网络延迟，实现毫秒级实时反馈。\n- **性能极致优化**：转换后的模型自动适配 Android 设备的 CPU、GPU 及 NPU，推理速度提升数倍，且在长时间运行下保持低功耗和低发热。\n\nlitert-torch 打破了 PyTorch 模型通往边缘设备的最后一道壁垒，让开发者能以最小成本实现高性能、高隐私的纯端侧智能应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgoogle-ai-edge_litert-torch_3c5a070a.png","google-ai-edge","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fgoogle-ai-edge_0b6e7f86.png",null,"https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge",[77,81,85,89,93,97],{"name":78,"color":79,"percentage":80},"Jupyter Notebook","#DA5B0B",71.4,{"name":82,"color":83,"percentage":84},"Python","#3572A5",27.3,{"name":86,"color":87,"percentage":88},"Kotlin","#A97BFF",0.6,{"name":90,"color":91,"percentage":92},"C++","#f34b7d",0.3,{"name":94,"color":95,"percentage":96},"Starlark","#76d275",0.2,{"name":98,"color":99,"percentage":100},"Shell","#89e051",0.1,997,159,"2026-04-19T13:30:11","Apache-2.0","Linux","非必需。支持 CPU，初始支持 GPU 和 NPU（Generative API 目前支持 CPU 和 GPU，计划支持 NPU）。未说明具体显卡型号、显存大小或 CUDA 版本要求。","未说明",{"notes":109,"python":110,"dependencies":111},"该工具主要用于将 PyTorch 模型转换为 .tflite 格式以在 Android、iOS 和 IoT 设备上运行。PyTorch 转换器处于 Beta 阶段，生成式 API (Generative API) 处于 Alpha 阶段。虽然旨在支持边缘设备推理，但转换过程本身需要在 Linux 环境下进行。",">=3.10",[112,113],"torch>=2.4.0","tf-nightly",[36,14],"2026-03-27T02:49:30.150509","2026-04-20T19:41:50.971915",[118,123,128,133,138,142],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},45549,"使用 TinyLlama 模型进行推理时出现乱码（Garbled characters）怎么办？","如果在转换模型时设置 `quantize = False`（不量化），推理输出会出现乱码或重复字符。解决方案是将转换脚本中的 `quantize` 参数设置为 `True`。例如，在 `convert_tiny_llama_to_tflite` 函数中确保 `quantize: bool = True`。目前非量化模式（float32）在该流程下可能无法正确解码。","https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Fissues\u002F109",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},45550,"在 Qualcomm NPU 后端运行时遇到 'ERROR: Encountered unresolved custom op: DISPATCH_OP' 错误如何解决？","该错误通常发生在 CPU 后端试图处理计算图但无法解析 `DISPATCH_OP` 时，这往往是因为 QNN 后端创建上下文失败（例如由于不支持的量化配置）导致的回退行为。建议尝试不使用任何量化（包括 int8 权重），仅使用全 float32 格式进行转换和运行，以排查是否为量化兼容性问题。","https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Fissues\u002F960",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},45551,"如何在 Model Explorer 中查看 TinyLlama 模型的旋转位置编码（RoPE）和复合算子（Composite Ops）？","在计算图中可能无法直接看到名为 'Rotary Position Encoding' 的独立节点，因为它可能被融合到了其他操作中。图中出现的 `stable-hlo composite op` 是优化后的融合算子。如果无法确认具体操作或怀疑数值退化，建议使用最新版本的库重新生成模型并追踪，因为早期版本的导出逻辑可能存在显示或实现上的差异。","https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Fissues\u002F254",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},45552,"为什么通过 torch.load 或 torch.jit.load 加载的 PyTorch 模型转换会失败？","直接使用 `torch.jit.save` 保存的追踪（traced）或脚本化（scripted）模型在进行 export 转换时可能会报错，因为 `_get_forward_arg_names` 等内部机制无法正确解析已序列化的 JIT 模型结构。建议避免直接加载 `.pt` 或 `.jit` 文件进行转换，而是重新实例化模型类并加载状态字典（state_dict），或者使用 `ai-edge-torch` 推荐的模型构建方式重新加载模型。","https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Flitert-torch\u002Fissues\u002F221",{"id":139,"question_zh":140,"answer_zh":141,"source_url":127},45553,"将 PyTorch 模型转换为 Litert-LM 格式并在 Qualcomm NPU 上运行的完整流程是什么？","推荐的高层级流程为：PyTorch -> TFLite -> TFLite (NPU 优化) -> LitertLM。首先使用 `ai_edge_torch` 加载模型并配置 `ExportConfig`（如设置 `kvcache_layout` 和 `mask_as_input`），将其导出为 TFLite 格式。随后针对 Qualcomm 芯片组进行 NPU 优化。如果在 NPU 上遇到上下文创建失败，请尝试移除量化步骤，使用纯 float32 模型测试以确认是否为量化算子支持问题。",{"id":143,"question_zh":144,"answer_zh":145,"source_url":122},45554,"旧版本 Issue 中报告的问题在新版本中是否已修复？","许多早期报告的 Bug（如乱码、计算图显示问题等）可能已在后续的显著更新和改进中得到解决。如果遇到类似问题，请务必先测试最新版本的库。如果问题在最新版本中仍然存在，请提供基于最新代码的重现步骤以便开发者调查。",[147,151,155,159,163,167,172],{"id":148,"version":149,"summary_zh":74,"released_at":150},360432,"v0.8.0","2026-01-26T23:09:42",{"id":152,"version":153,"summary_zh":74,"released_at":154},360433,"v0.7.1","2025-12-17T23:28:11",{"id":156,"version":157,"summary_zh":74,"released_at":158},360434,"v0.7.0","2025-11-12T22:58:59",{"id":160,"version":161,"summary_zh":74,"released_at":162},360435,"v0.6.0","2025-09-02T21:48:24",{"id":164,"version":165,"summary_zh":74,"released_at":166},360436,"v0.4.0","2025-03-21T18:42:03",{"id":168,"version":169,"summary_zh":170,"released_at":171},360437,"v0.2.0","# 安装与依赖\n\n```bash\npip install ai-edge-torch==0.2.0\n```\n\n * Python 版本：3.9、3.10、3.11\n * 操作系统：Linux\n * PyTorch：2.4.0\n * TensorFlow：tf-nightly>=2.18.0.dev20240722\n\n请参阅 README 中的[此部分](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Ftree\u002Fv0.2.0?tab=readme-ov-file#installation)\n\n# PyTorch 转换器\n\n兼容 PyTorch 2.4.0 稳定版。现在，只需运行 `pip install ai-edge-torch(-nightly)` 即可安装 ai-edge-torch 及所有依赖项。\n\n## 功能\n* 新增 `ai_edge_torch.to_channel_last_io` API（[文档](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Fblob\u002Fv0.2.0\u002Fdocs\u002Fpytorch_converter\u002FREADME.md#convert-model-with-nhwc-channel-last-inputsoutputs)）\n* 新增 `ai_edge_torch.debug._search_model` API\n\n## 性能改进\n* 优化了布局优化算法及整体模型性能\n* 提升了使用最近邻插值模式的 `torch.nn.function.interpolate` 的性能\n* 提升了 `aten.gelu` 的性能\n* 提升了 `aten.avg_pool2d` 在 `ceil_mode=True` 时的性能\n* 降低了 torch_xla 和 MLIR 转换器中的转换内存占用\n\n## 错误修复\n* 修复了 `aten.native_group_norm`（`nn.GroupNorm`）的数值\u002F精度问题\n\n# 生成式 API\n\n## 创作 API\n* 实现了用于基于扩散模型的新层组件（[GitHub 链接](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Ftree\u002Fv0.2.0\u002Fai_edge_torch\u002Fgenerative\u002Flayers\u002Funet)）\n\n## 对新模型的支持\n* [Stable Diffusion](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Ftree\u002Fv0.2.0\u002Fai_edge_torch\u002Fgenerative\u002Fexamples\u002Fstable_diffusion) 1.5 支持 CPU\n\n## 量化\n* 为 LLM 的不同生成式层启用了[选择性量化](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Fblob\u002Fv0.2.0\u002Fai_edge_torch\u002Fgenerative\u002Fquantize\u002FREADME.md#advanced-usage)\n* 启用了[仅权重量化](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Fblob\u002Fv0.2.0\u002Fai_edge_torch\u002Fgenerative\u002Fquantize\u002Fquant_recipes.py#L43)，计算过程以浮点数进行，以提高精度\n* 新增了对[嵌入表](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Fblob\u002Fv0.2.0\u002Fai_edge_torch\u002Fgenerative\u002Fquantize\u002Fquant_recipe.py#L103)的量化支持\n\n## 文档\n* 为 Torch 生成式 API 添加了[系统架构概述](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Fblob\u002Fv0.2.0\u002Fai_edge_torch\u002Fgenerative\u002Fdoc\u002Fsystem_overview.md)","2024-08-02T21:05:12",{"id":173,"version":174,"summary_zh":175,"released_at":176},360438,"v0.1.1","# 安装与依赖\n\n```bash\npip install -r https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Freleases\u002Fdownload\u002Fv0.1.1\u002Frequirements.txt\npip install ai-edge-torch==0.1.1\n```\n\n* Python 版本：3.9、3.10、3.11\n* 操作系统：Linux\n* PyTorch：2.4.0.dev20240429\n* TensorFlow：2.17.0.dev20240509\n\n请参阅 README 中的[此部分](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Ftree\u002Fv0.1.1?tab=readme-ov-file#installation)。\n\n# PyTorch 转换器（Beta 版）\n\n## 功能\n首次推出从 PyTorch 直接转换至 TFLite 运行时的路径（[博客文章](https:\u002F\u002Fdevelopers.googleblog.com\u002Fen\u002Fai-edge-torch-high-performance-inference-of-pytorch-models-on-mobile-devices\u002F)）。\n\n### 覆盖范围\n* 已验证在包含 72 个 PyTorch 模型的 Beta 测试集上成功完成 PyTorch 到 TFLite 的转换。这些模型可从 [torchvision](https:\u002F\u002Fpytorch.org\u002Fvision\u002F0.9\u002Fmodels.html)、[torchaudio](https:\u002F\u002Fpytorch.org\u002Faudio\u002Fstable\u002Fmodels.html)、[timm](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpytorch-image-models?tab=readme-ov-file#models)、[HuggingFace transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002F) 以及开源 GitHub 仓库（如 [Yolox](https:\u002F\u002Fgithub.com\u002FMegvii-BaseDetection\u002FYOLOX\u002Ftree\u002Fmain)、[U2Net](https:\u002F\u002Fgithub.com\u002Fxuebinqin\u002FU-2-Net\u002Ftree\u002Fmaster)、[IS-Net](https:\u002F\u002Fgithub.com\u002Fxuebinqin\u002FDIS)）中获取，覆盖计算机视觉、文本、音频和语音等应用领域。\n\n### 性能\n* 转换后的模型在 CPU 上表现出色，得益于 TFLite XNNPACK 委托。\n* Beta 测试集中的一部分模型可以完全委托给 GPU，其余部分则部分委托或不支持。\n* QNN 委托（[可在此处下载](https:\u002F\u002Fsoftwarecenter.qualcomm.com\u002Fapi\u002Fdownload\u002Fsoftware\u002Fqualcomm_neural_processing_sdk\u002Fv2.22.0.240425.zip)）支持 Beta 测试集中的大多数模型，并相对于 CPU 和 GPU 分别实现了显著的平均加速（CPU 加速 20 倍，GPU 加速 5 倍），利用高通的 DSP 和神经处理单元。\n\n### 量化\n* 支持使用 [PT2E](https:\u002F\u002Fpytorch.org\u002Ftutorials\u002Fprototype\u002Fquantization_in_pytorch_2_0_export_tutorial.html) 进行动态量化。\n* 支持通过 TFLite 转换器进行[训练后量化](https:\u002F\u002Fwww.tensorflow.org\u002Flite\u002Fperformance\u002Fpost_training_quantization)。\n* 使用上述两种量化框架的 AI Edge Torch 转换器 API 可见[此处](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Fblob\u002Fv0.1.1\u002Fdocs\u002Fpytorch_converter\u002FREADME.md#quantization)。\n\n## 已知问题\n* 在某些情况下，量化模型的推理延迟高于未量化模型。\n\n# 生成式 API（Alpha 版）\n\n## 功能\n* 提供 PyTorch 原生的[构建模块](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Ftree\u002Fv0.1.1\u002Fai_edge_torch\u002Fgenerative\u002Flayers)，用于基于移动友好抽象来构建 LLM，以实现高效的 TFLite 运行时执行。\n* 示例展示了如何通过 Edge 生成式 API 构建 LLM，并将其转换为 TFLite 格式，适用于 Gemma、TinyLlama 和 Phi-2。（[示例](https:\u002F\u002Fgithub.com\u002Fgoogle-ai-edge\u002Fai-edge-torch\u002Ftree\u002Fv0.1.1","2024-05-14T16:38:50"]