[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-YuqingWang1029--VisTR":3,"tool-YuqingWang1029--VisTR":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":100,"forks":101,"last_commit_at":102,"license":103,"difficulty_score":104,"env_os":105,"env_gpu":106,"env_ram":107,"env_deps":108,"category_tags":117,"github_topics":119,"view_count":32,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":124,"updated_at":125,"faqs":126,"releases":157},5004,"YuqingWang1029\u002FVisTR","VisTR","[CVPR2021 Oral] End-to-End Video Instance Segmentation with Transformers","VisTR 是一款基于 Transformer 架构的端到端视频实例分割开源工具，曾作为口头报告论文入选 CVPR 2021。它主要解决传统视频分析中流程繁琐、依赖复杂后处理的问题，能够直接从视频序列中精准识别并分割出多个动态目标物体，同时保持帧间对象身份的一致性。\n\n与以往方法不同，VisTR 的创新之处在于将视频视为整体序列进行处理，利用 Transformer 强大的全局建模能力，实现了从输入到输出的端到端推理。这种设计不仅简化了算法管线，还显著提升了处理效率，在 YouTubeVIS 数据集上，其 ResNet-50 版本即可达到近 70 FPS 的推理速度，兼顾了高精度与实时性。\n\n该工具非常适合计算机视觉领域的研究人员、算法工程师及高阶开发者使用。如果你正在探索视频理解、自动驾驶感知或智能监控等场景，VisTR 提供了一个高效且前沿的技术基线。需要注意的是，由于模型训练对显存要求较高（建议 32GB 以上 GPU），它更侧重于科研实验与高性能部署场景，而非普通用户的日常应用。通过提供预训练模型和详细的复现指南，VisTR 帮助开发者快速验证想法，推动视频实例分割技术的落地应","VisTR 是一款基于 Transformer 架构的端到端视频实例分割开源工具，曾作为口头报告论文入选 CVPR 2021。它主要解决传统视频分析中流程繁琐、依赖复杂后处理的问题，能够直接从视频序列中精准识别并分割出多个动态目标物体，同时保持帧间对象身份的一致性。\n\n与以往方法不同，VisTR 的创新之处在于将视频视为整体序列进行处理，利用 Transformer 强大的全局建模能力，实现了从输入到输出的端到端推理。这种设计不仅简化了算法管线，还显著提升了处理效率，在 YouTubeVIS 数据集上，其 ResNet-50 版本即可达到近 70 FPS 的推理速度，兼顾了高精度与实时性。\n\n该工具非常适合计算机视觉领域的研究人员、算法工程师及高阶开发者使用。如果你正在探索视频理解、自动驾驶感知或智能监控等场景，VisTR 提供了一个高效且前沿的技术基线。需要注意的是，由于模型训练对显存要求较高（建议 32GB 以上 GPU），它更侧重于科研实验与高性能部署场景，而非普通用户的日常应用。通过提供预训练模型和详细的复现指南，VisTR 帮助开发者快速验证想法，推动视频实例分割技术的落地应用。","## VisTR: End-to-End Video Instance Segmentation with Transformers\n\nThis is the official implementation of the [VisTR paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2011.14503):\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuqingWang1029_VisTR_readme_2f915cf1e122.png\" width=\"600\">\n\u003C\u002Fp>\n\n\n### Installation\nWe provide instructions how to install dependencies via conda.\nFirst, clone the repository locally:\n```\ngit clone https:\u002F\u002Fgithub.com\u002FEpiphqny\u002Fvistr.git\n```\nThen, install PyTorch 1.6 and torchvision 0.7:\n```\nconda install pytorch==1.6.0 torchvision==0.7.0\n```\nInstall pycocotools\n```\nconda install cython scipy\npip install -U 'git+https:\u002F\u002Fgithub.com\u002Fcocodataset\u002Fcocoapi.git#subdirectory=PythonAPI'\npip install git+https:\u002F\u002Fgithub.com\u002Fyoutubevos\u002Fcocoapi.git#\"egg=pycocotools&subdirectory=PythonAPI\"\n```\nCompile DCN module(requires GCC>=5.3, cuda>=10.0)\n```\ncd models\u002Fdcn\npython setup.py build_ext --inplace\n```\n\n### Preparation\n\nDownload and extract 2019 version of YoutubeVIS  train and val images with annotations from\n[CodeLab](https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F20128#participate-get_data) or [YoutubeVIS](https:\u002F\u002Fyoutube-vos.org\u002Fdataset\u002Fvis\u002F).\nWe expect the directory structure to be the following:\n```\nVisTR\n├── data\n│   ├── train\n│   ├── val\n│   ├── annotations\n│   │   ├── instances_train_sub.json\n│   │   ├── instances_val_sub.json\n├── models\n...\n```\n\nDownload the pretrained DETR models [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1DlN8uWHT2WaKruarGW2_XChhpZeI9MFG?usp=sharing) [BaiduYun](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12omUNDRjhAeGZ5olqQPpHA)(passcode:alge) on COCO and save it to the pretrained path.\n\n\n### Training\n\nTraining of the model requires at least 32g memory GPU, we performed the experiment on 32g V100 card. （As the training resolution is limited by the GPU memory, if you have a larger memory GPU and want to perform the experiment, please contact with me, thanks very much)\n\nTo train baseline VisTR on a single node with 8 gpus for 18 epochs, run:\n```\npython -m torch.distributed.launch --nproc_per_node=8 --use_env main.py --backbone resnet101\u002F50 --ytvos_path \u002Fpath\u002Fto\u002Fytvos --masks --pretrained_weights \u002Fpath\u002Fto\u002Fpretrained_path\n```\n\n### Inference\n\n```\npython inference.py --masks --model_path \u002Fpath\u002Fto\u002Fmodel_weights --save_path \u002Fpath\u002Fto\u002Fresults.json\n```\n\n### Models\n\nWe provide baseline VisTR models, and plan to include more in future. AP is computed on YouTubeVIS dataset by submitting the result json file to the [CodeLab](https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F20128#results) system, and inference time is calculated by pure model inference time (without data-loading and post-processing).\n\n   \u003Ctable>\n     \u003Cthead>\n       \u003Ctr style=\"text-align: right;\">\n         \u003Cth>\u003C\u002Fth>\n         \u003Cth>name\u003C\u002Fth>\n         \u003Cth>backbone\u003C\u002Fth>\n         \u003Cth>FPS\u003C\u002Fth>\n         \u003Cth>mask AP\u003C\u002Fth>\n         \u003Cth>model\u003C\u002Fth>\n         \u003Cth>result json zip\u003C\u002Fth>\n         \u003Cth>detailed AP \u003C\u002Fth>\n       \u003C\u002Ftr>\n     \u003C\u002Fthead>\n     \u003Ctbody>\n       \u003Ctr>\n         \u003Cth>0\u003C\u002Fth>\n         \u003Ctd>VisTR\u003C\u002Ftd>\n         \u003Ctd>R50\u003C\u002Ftd>\n         \u003Ctd>69.9\u003C\u002Ftd>\n         \u003Ctd>36.2\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F10lfe_QJSoZJzcJKxWoxt67QbJG35X55e\u002Fview?usp=sharing\">vistr_r50.pth \u003C\u002Fa>\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1vnZvxFR94EQ5TsrWixe368WMnqJ2KHIv\u002Fview?usp=sharing\">vistr_r50.zip\u003C\u002Fa>\u003C\u002Ftd>\n       \u003Ctd>\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuqingWang1029_VisTR_readme_ee8d53d87d4f.png\" width=\"100\">\n\n\n\u003C\u002Fp>\u003C\u002Ftd>\n       \u003C\u002Ftr>\n       \u003Ctr>\n         \u003Cth>1\u003C\u002Fth>\n         \u003Ctd>VisTR\u003C\u002Ftd>\n         \u003Ctd>R101\u003C\u002Ftd>\n         \u003Ctd>57.7\u003C\u002Ftd>\n         \u003Ctd>40.1\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1WTkrpbITPsjVQESaetgI-nPyjQybRc2M\u002Fview?usp=sharing\">vistr_r101.pth \u003C\u002Fa>\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1bfZO3MNF9e0aO0W8vwnALsf_m84lCFfb\u002Fview?usp=sharing\">vistr_r101.zip\u003C\u002Fa>\u003C\u002Ftd>\n       \u003Ctd>\n          \u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuqingWang1029_VisTR_readme_171d392c0045.png\" width=\"100\">\n\u003C\u002Fp>\n\u003C\u002Ftd>\n       \u003C\u002Ftr>\n   \u003C\u002Ftable>\n\n\n### License\n\nVisTR is released under the Apache 2.0 license. Please see the [LICENSE](LICENSE) file for more information.\n\n### Acknowledgement\nWe would like to thank the [DETR](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetr) open-source project for its awesome work, part of the code are modified from its project.\n\n### Citation\n\nPlease consider citing our paper in your publications if the project helps your research. BibTeX reference is as follow.\n\n```\n@inproceedings{wang2020end,\n  title={End-to-End Video Instance Segmentation with Transformers},\n  author={Wang, Yuqing and Xu, Zhaoliang and Wang, Xinlong and Shen, Chunhua and Cheng, Baoshan and Shen, Hao and Xia, Huaxia},\n  booktitle =  {Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR)},\n  year={2021}\n}\n```\n\n","## VisTR：基于 Transformer 的端到端视频实例分割\n\n这是 [VisTR 论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2011.14503) 的官方实现：\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuqingWang1029_VisTR_readme_2f915cf1e122.png\" width=\"600\">\n\u003C\u002Fp>\n\n\n### 安装\n我们提供了通过 conda 安装依赖的说明。\n首先，在本地克隆仓库：\n```\ngit clone https:\u002F\u002Fgithub.com\u002FEpiphqny\u002Fvistr.git\n```\n然后，安装 PyTorch 1.6 和 torchvision 0.7：\n```\nconda install pytorch==1.6.0 torchvision==0.7.0\n```\n安装 pycocotools：\n```\nconda install cython scipy\npip install -U 'git+https:\u002F\u002Fgithub.com\u002Fcocodataset\u002Fcocoapi.git#subdirectory=PythonAPI'\npip install git+https:\u002F\u002Fgithub.com\u002Fyoutubevos\u002Fcocoapi.git#\"egg=pycocotools&subdirectory=PythonAPI\"\n```\n编译 DCN 模块（需要 GCC>=5.3，CUDA>=10.0）：\n```\ncd models\u002Fdcn\npython setup.py build_ext --inplace\n```\n\n### 准备工作\n\n从 [CodeLab](https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F20128#participate-get_data) 或 [YoutubeVIS](https:\u002F\u002Fyoutube-vos.org\u002Fdataset\u002Fvis\u002F) 下载并解压 2019 年版 YouTubeVIS 的训练和验证图像及其标注文件。\n我们期望目录结构如下：\n```\nVisTR\n├── data\n│   ├── train\n│   ├── val\n│   ├── annotations\n│   │   ├── instances_train_sub.json\n│   │   ├── instances_val_sub.json\n├── models\n...\n```\n\n下载在 COCO 数据集上预训练的 DETR 模型 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1DlN8uWHT2WaKruarGW2_XChhpZeI9MFG?usp=sharing) [BaiduYun](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12omUNDRjhAeGZ5olqQPpHA)(提取码: alge)，并将其保存到预训练模型路径。\n\n### 训练\n\n训练该模型至少需要 32GB 显存的 GPU，我们是在 32GB 的 V100 显卡上进行实验的。（由于训练分辨率受显存限制，如果您拥有更大显存的 GPU 并希望进行实验，请与我联系，非常感谢）\n\n要在单节点上使用 8 张 GPU 卡训练基线 VisTR 模型 18 个 epoch，运行以下命令：\n```\npython -m torch.distributed.launch --nproc_per_node=8 --use_env main.py --backbone resnet101\u002F50 --ytvos_path \u002Fpath\u002Fto\u002Fytvos --masks --pretrained_weights \u002Fpath\u002Fto\u002Fpretrained_path\n```\n\n### 推理\n\n```\npython inference.py --masks --model_path \u002Fpath\u002Fto\u002Fmodel_weights --save_path \u002Fpath\u002Fto\u002Fresults.json\n```\n\n### 模型\n\n我们提供了基线 VisTR 模型，并计划在未来增加更多模型。AP 值是通过将结果 JSON 文件提交到 [CodeLab](https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F20128#results) 系统计算得出的，推理时间则仅计算模型本身的推理时间（不包括数据加载和后处理）。\n\n   \u003Ctable>\n     \u003Cthead>\n       \u003Ctr style=\"text-align: right;\">\n         \u003Cth>\u003C\u002Fth>\n         \u003Cth>名称\u003C\u002Fth>\n         \u003Cth>骨干网络\u003C\u002Fth>\n         \u003Cth>帧率 (FPS)\u003C\u002Fth>\n         \u003Cth>掩码 AP\u003C\u002Fth>\n         \u003Cth>模型\u003C\u002Fth>\n         \u003Cth>结果 JSON 压缩包\u003C\u002Fth>\n         \u003Cth>详细 AP\u003C\u002Fth>\n       \u003C\u002Ftr>\n     \u003C\u002Fthead>\n     \u003Ctbody>\n       \u003Ctr>\n         \u003Cth>0\u003C\u002Fth>\n         \u003Ctd>VisTR\u003C\u002Ftd>\n         \u003Ctd>R50\u003C\u002Ftd>\n         \u003Ctd>69.9\u003C\u002Ftd>\n         \u003Ctd>36.2\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F10lfe_QJSoZJzcJKxWoxt67QbJG35X55e\u002Fview?usp=sharing\">vistr_r50.pth \u003C\u002Fa>\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1vnZvxFR94EQ5TsrWixe368WMnqJ2KHIv\u002Fview?usp=sharing\">vistr_r50.zip\u003C\u002Fa>\u003C\u002Ftd>\n       \u003Ctd>\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuqingWang1029_VisTR_readme_ee8d53d87d4f.png\" width=\"100\">\n\n\n\u003C\u002Fp>\u003C\u002Ftd>\n       \u003C\u002Ftr>\n       \u003Ctr>\n         \u003Cth>1\u003C\u002Fth>\n         \u003Ctd>VisTR\u003C\u002Ftd>\n         \u003Ctd>R101\u003C\u002Ftd>\n         \u003Ctd>57.7\u003C\u002Ftd>\n         \u003Ctd>40.1\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1WTkrpbITPsjVQESaetgI-nPyjQybRc2M\u002Fview?usp=sharing\">vistr_r101.pth \u003C\u002Fa>\u003C\u002Ftd>\n         \u003Ctd>\u003Ca href=\"https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1bfZO3MNF9e0aO0W8vwnALsf_m84lCFfb\u002Fview?usp=sharing\">vistr_r101.zip\u003C\u002Fa>\u003C\u002Ftd>\n       \u003Ctd>\n          \u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuqingWang1029_VisTR_readme_171d392c0045.png\" width=\"100\">\n\u003C\u002Fp>\n\u003C\u002Ftd>\n       \u003C\u002Ftr>\n   \u003C\u002Ftable>\n\n\n### 许可证\n\nVisTR 采用 Apache 2.0 许可证发布。更多信息请参阅 [LICENSE](LICENSE) 文件。\n\n### 致谢\n我们感谢 [DETR](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetr) 开源项目所做的出色工作，部分代码源自该项目的修改。\n\n### 引用\n如果本项目对您的研究有所帮助，请考虑在您的出版物中引用我们的论文。BibTeX 格式如下：\n\n```\n@inproceedings{wang2020end,\n  title={End-to-End Video Instance Segmentation with Transformers},\n  author={Wang, Yuqing and Xu, Zhaoliang and Wang, Xinlong and Shen, Chunhua and Cheng, Baoshan and Shen, Hao and Xia, Huaxia},\n  booktitle =  {Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR)},\n  year={2021}\n}\n```","# VisTR 快速上手指南\n\nVisTR 是一个基于 Transformer 的端到端视频实例分割（Video Instance Segmentation）模型。本指南将帮助开发者快速完成环境搭建、模型准备及推理测试。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n- **操作系统**: Linux (推荐 Ubuntu)\n- **GPU**: 至少一张显存 ≥32GB 的 GPU（如 V100 32G），用于训练；推理可根据显存调整分辨率。\n- **编译器**: GCC ≥ 5.3\n- **CUDA**: ≥ 10.0\n- **Python 环境**: 建议使用 Conda 管理环境\n\n## 2. 安装步骤\n\n### 2.1 克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FEpiphqny\u002Fvistr.git\ncd vistr\n```\n\n### 2.2 安装基础依赖\n创建并激活 Conda 环境，安装指定版本的 PyTorch 和 torchvision：\n```bash\nconda install pytorch==1.6.0 torchvision==0.7.0\n```\n\n安装 `pycocotools` 及相关依赖：\n```bash\nconda install cython scipy\npip install -U 'git+https:\u002F\u002Fgithub.com\u002Fcocodataset\u002Fcocoapi.git#subdirectory=PythonAPI'\npip install git+https:\u002F\u002Fgithub.com\u002Fyoutubevos\u002Fcocoapi.git#\"egg=pycocotools&subdirectory=PythonAPI\"\n```\n\n### 2.3 编译 DCN 模块\n进入目录编译可变形卷积（Deformable Convolution）模块：\n```bash\ncd models\u002Fdcn\npython setup.py build_ext --inplace\ncd ..\u002F..\n```\n\n## 3. 数据与模型准备\n\n### 3.1 数据集准备\n下载 YouTubeVIS 2019 版本的训练集和验证集（包含图片和标注文件）。\n来源推荐：\n- [CodeLab 竞赛页面](https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F20128#participate-get_data)\n- [YoutubeVIS 官网](https:\u002F\u002Fyoutube-vos.org\u002Fdataset\u002Fvis\u002F)\n\n解压后，请确保目录结构如下：\n```text\nVisTR\n├── data\n│   ├── train\n│   ├── val\n│   ├── annotations\n│   │   ├── instances_train_sub.json\n│   │   ├── instances_val_sub.json\n├── models\n...\n```\n\n### 3.2 下载预训练权重\n下载在 COCO 数据集上预训练的 DETR 模型，并保存至本地路径。\n- **Google Drive**: [下载链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1DlN8uWHT2WaKruarGW2_XChhpZeI9MFG?usp=sharing)\n- **百度网盘**: [下载链接](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12omUNDRjhAeGZ5olqQPpHA) (提取码: `alge`)\n\n## 4. 基本使用\n\n### 4.1 模型推理 (Inference)\n使用预训练好的权重对视频进行实例分割推理。以下命令展示了最基础的用法：\n\n```bash\npython inference.py --masks --model_path \u002Fpath\u002Fto\u002Fmodel_weights --save_path \u002Fpath\u002Fto\u002Fresults.json\n```\n\n**参数说明：**\n- `--model_path`: 替换为下载的 `.pth` 模型文件路径（例如 `vistr_r50.pth`）。\n- `--save_path`: 指定输出结果 JSON 文件的保存路径。\n\n> **注**：如需重新训练模型，需确保 GPU 显存充足（单卡 32GB 或分布式多卡），训练命令参考原文档 Training 章节。","某自动驾驶研发团队正在构建城市道路视频分析系统，需要从海量行车记录仪视频中精准追踪并分割每一辆动态车辆，以训练更安全的感知模型。\n\n### 没有 VisTR 时\n- **流程繁琐且误差累积**：团队需先逐帧进行图像实例分割，再额外开发复杂的关联算法将不同帧的同一辆车匹配起来，导致身份切换（ID Switch）频繁，追踪轨迹断裂。\n- **实时性难以达标**：分步处理的流水线延迟高，无法满足车载系统对低延迟的严苛要求，难以在边缘设备上实现流畅的实时推理。\n- **长时依赖捕捉弱**：传统方法难以有效利用视频的时间上下文信息，当车辆被短暂遮挡后，系统往往无法重新识别并恢复其原有 ID。\n- **调优成本高昂**：分割与追踪两个模块需要分别调整超参数，协同优化难度极大，耗费大量算力资源与工程师时间。\n\n### 使用 VisTR 后\n- **端到端统一建模**：VisTR 利用 Transformer 架构直接将视频序列映射为实例分割结果，天然融合了时空特征，彻底消除了级联误差，显著提升了轨迹连续性。\n- **高效实时推理**：凭借优化的架构设计，VisTR 在单卡上即可达到约 70 FPS 的推理速度，轻松满足自动驾驶场景下的实时处理需求。\n- **强大的抗遮挡能力**：通过全局注意力机制，VisTR 能有效记忆长时序信息，即使车辆经历复杂遮挡或形变，也能准确保持 ID 一致。\n- **简化开发部署**：无需维护复杂的多阶段流水线，单一模型即可完成训练与部署，大幅降低了工程落地门槛与维护成本。\n\nVisTR 通过将视频实例分割转化为直接的序列预测问题，以端到端的方式实现了精度与速度的双重突破，让复杂动态场景下的精细化视觉感知变得简单高效。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuqingWang1029_VisTR_23990766.png","YuqingWang1029","Yuqing Wang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FYuqingWang1029_3d5c09d9.jpg","PhD student in Computer Vision","The University of Hong Kong","Hong Kong","yuqingwang1029@gmail.com",null,"https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=QC7nNe0AAAAJ","https:\u002F\u002Fgithub.com\u002FYuqingWang1029",[84,88,92,96],{"name":85,"color":86,"percentage":87},"Python","#3572A5",65.5,{"name":89,"color":90,"percentage":91},"Cuda","#3A4E3A",30.9,{"name":93,"color":94,"percentage":95},"C","#555555",3.3,{"name":97,"color":98,"percentage":99},"C++","#f34b7d",0.3,757,97,"2026-04-06T22:06:03","Apache-2.0",4,"Linux","必需 NVIDIA GPU，显存至少 32GB（官方实验使用 32GB V100），CUDA 版本需 >= 10.0","未说明",{"notes":109,"python":110,"dependencies":111},"1. 编译 DCN 模块需要 GCC 版本 >= 5.3。2. 训练基线模型强烈建议使用 32GB 显存的显卡，若显存较小可能无法运行或需降低分辨率。3. 需手动下载 YouTubeVIS 2019 数据集及预训练的 DETR 模型文件。4. 代码部分修改自 DETR 项目。","未说明 (隐含需兼容 PyTorch 1.6)",[112,113,114,115,116],"pytorch==1.6.0","torchvision==0.7.0","cython","scipy","pycocotools",[118,15,35],"视频",[120,121,122,123],"cvpr2021","video-instance-segmentation","transformers","instance-segmentation","2026-03-27T02:49:30.150509","2026-04-11T18:33:10.967457",[127,132,137,142,147,152],{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},22740,"运行推理时遇到 'ModuleNotFoundError: No module named pycocotools.ytvos' 错误怎么办？","这是因为 youtubevos 的 cocoapi 没有正确设置。解决方法是手动复制文件：\n1. 从 https:\u002F\u002Fgithub.com\u002Fyoutubevos\u002Fcocoapi\u002Ftree\u002Fmaster\u002FPythonAPI\u002Fpycocotools 下载 ytvos.py 和 ytvoseval.py 文件。\n2. 将它们复制到你 Python 环境 site-packages 目录下的 pycocotools 文件夹中。\n例如，如果你使用的是名为 visTR 的 conda 环境和 Python 3.7，目标路径通常是：.\u002Fanaconda3\u002Fenvs\u002FvisTR\u002Flib\u002Fpython3.7\u002Fsite-packages\u002Fpycocotools。\n注意：不要直接使用 pip install pycocotools，建议本地安装 youtubevos 版本的 cocoapi。","https:\u002F\u002Fgithub.com\u002FYuqingWang1029\u002FVisTR\u002Fissues\u002F5",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},22741,"加载 vistr_r50.pth 模型时报错 'Missing key(s) in state_dict' 如何解决？","这是因为模型架构不匹配。如果你使用的是基于 ResNet-50 训练的权重（如 vistr_r50.pth 或 384_coco_r50.pth），在运行推理脚本时必须显式指定 backbone 参数。\n请在命令中添加 '--backbone resnet50'，例如：\npython inference.py --masks --model_path vistr_r50.pth --backbone resnet50\n如果不加该参数，默认可能尝试加载 ResNet-101 的结构，从而导致键值缺失错误。","https:\u002F\u002Fgithub.com\u002FYuqingWang1029\u002FVisTR\u002Fissues\u002F22",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},22742,"YoutubeVIS 数据集的类别索引是如何定义的？是否包含空类别？","是的，YoutubeVIS 原有 40 个类别，VisTR 实现中增加了一个空类别（empty class），因此总类别数为 41。\n早期版本代码中存在一个 Bug，将类别数设为了 40，这会导致训练效果不佳。维护者已修复该问题，将 self.num_classes 改为 41，修复后结果从 0.38 提升到了 0.40。请确保使用更新后的代码以获取正确的类别索引处理逻辑。","https:\u002F\u002Fgithub.com\u002FYuqingWang1029\u002FVisTR\u002Fissues\u002F11",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},22743,"如何处理帧数超过 36 帧的视频进行推理？","VisTR 原始设定中，实例查询（instance queries）的数量与输入帧数成正比且为固定学习的嵌入，因此默认输入帧数是固定的（如 36 帧）。\n对于长视频，目前官方建议的处理方式是使用后处理技术（如卡尔曼滤波 Kalman Filter 和匈牙利算法 Hungarian algorithm）来链接不同片段（clips）之间的轨迹。\n虽然论文中提到可以尝试不依赖帧数的实例级查询来处理动态帧数，但这可能会引发内存问题，尚未作为标准功能提供。","https:\u002F\u002Fgithub.com\u002FYuqingWang1029\u002FVisTR\u002Fissues\u002F3",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},22744,"YouTubeVIS 验证集（Valid dataset）没有分割标注信息，如何测试模型效果？","YouTubeVIS 的验证集和测试集确实不提供公开的分割标注信息（ground truth）。\n要测试模型效果，你需要按照 README 中的说明，将模型生成的预测结果保存为 JSON 文件，然后提交到 Codalab 竞赛系统（https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F20128）进行评估，系统会返回具体的准确率指标。无法直接在本地计算验证集精度。","https:\u002F\u002Fgithub.com\u002FYuqingWang1029\u002FVisTR\u002Fissues\u002F26",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},22745,"在哪里可以找到训练所需的 instances_val_train_sun.json 或类似的子集标注文件？","在 Codalab 页面（https:\u002F\u002Fcompetitions.codalab.org\u002Fcompetitions\u002F20128#participate-get_data）上通常只能下载到基础的 train.json, val.json 或 test.json，其中可能不包含直接用于某些特定训练配置的细分标注文件。\n如果在官方渠道找不到特定的子集文件（如 instance_train_sub.json），通常意味着你需要根据基础标注文件自行划分或使用完整的标注文件进行训练。请检查项目的 README 文档是否有额外的数据预处理脚本或说明，或者确认是否必须通过竞赛系统提交来获取特定格式的数据。","https:\u002F\u002Fgithub.com\u002FYuqingWang1029\u002FVisTR\u002Fissues\u002F57",[]]