[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-fundamentalvision--Deformable-DETR":3,"tool-fundamentalvision--Deformable-DETR":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,2,"2026-04-08T11:23:26",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":59,"last_commit_at":60,"category_tags":61,"status":17},5646,"opencv","opencv\u002Fopencv","OpenCV 是一个功能强大的开源计算机视觉库，被誉为机器视觉领域的“瑞士军刀”。它主要解决让计算机“看懂”图像和视频的核心难题，提供了从基础的图像读取、色彩转换、边缘检测，到复杂的人脸识别、物体追踪、3D 重建及深度学习模型部署等全方位算法支持。无论是处理静态图片还是分析实时视频流，OpenCV 都能高效完成特征提取与模式识别任务。\n\n这款工具特别适合计算机视觉开发者、人工智能研究人员以及机器人工程师使用。对于希望将视觉感知能力集成到应用中的软件工程师，或是需要快速验证算法原型的学术研究者，OpenCV 都是不可或缺的基础设施。虽然普通用户通常不会直接操作代码，但日常生活中使用的扫码支付、美颜相机和自动驾驶系统，背后往往都有它的身影。\n\nOpenCV 的独特亮点在于其卓越的性能与广泛的兼容性。它采用 C++ 编写以确保高速运算，同时提供 Python、Java 等多种语言接口，极大降低了开发门槛。库中内置了数千种优化算法，并支持跨平台运行，能够无缝对接各类硬件加速器。作为社区驱动的项目，OpenCV 拥有活跃的生态系统和丰富的学习资源，持续推动着视觉技术的前沿发展。",86988,1,"2026-04-08T16:06:22",[14,15],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":94,"forks":95,"last_commit_at":96,"license":97,"difficulty_score":98,"env_os":99,"env_gpu":100,"env_ram":101,"env_deps":102,"category_tags":109,"github_topics":75,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":110,"updated_at":111,"faqs":112,"releases":142},6018,"fundamentalvision\u002FDeformable-DETR","Deformable-DETR","Deformable DETR: Deformable Transformers for End-to-End Object Detection.","Deformable-DETR 是一款基于 Transformer 架构的端到端目标检测开源模型，旨在高效识别图像中的各类物体。它主要解决了其前身 DETR 模型存在的两大痛点：训练收敛速度极慢，以及对小尺寸物体检测效果不佳的问题。传统 DETR 因注意力机制计算复杂度高，往往需要数百个训练周期才能生效，而 Deformable-DETR 通过引入创新的“可变形注意力机制”，仅对参考点周围的一小组关键采样点进行关注，大幅降低了计算复杂度。\n\n这一技术亮点使得 Deformable-DETR 在保持甚至提升检测精度（尤其是小目标）的同时，将所需的训练轮次减少了约 10 倍，显著缩短了研发迭代时间。该工具非常适合计算机视觉领域的研究人员、算法工程师及开发者使用，帮助他们快速构建高性能的目标检测系统，或作为基准模型进行深入的学术探索。对于希望摆脱繁琐人工设计组件、追求更高效训练流程的技术团队而言，Deformable-DETR 是一个极具价值的选择。","# Deformable DETR\n\nBy [Xizhou Zhu](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=02RXI00AAAAJ),  [Weijie Su](https:\u002F\u002Fwww.weijiesu.com\u002F),  [Lewei Lu](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Flewei-lu-94015977\u002F), [Bin Li](http:\u002F\u002Fstaff.ustc.edu.cn\u002F~binli\u002F), [Xiaogang Wang](http:\u002F\u002Fwww.ee.cuhk.edu.hk\u002F~xgwang\u002F), [Jifeng Dai](https:\u002F\u002Fjifengdai.org\u002F).\n\nThis repository is an official implementation of the paper [Deformable DETR: Deformable Transformers for End-to-End Object Detection](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.04159).\n\n\n## Introduction\n\n**TL; DR.** Deformable DETR is an efficient and fast-converging end-to-end object detector. It mitigates the high complexity and slow convergence issues of DETR via a novel sampling-based efficient attention mechanism.  \n\n![deformable_detr](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffundamentalvision_Deformable-DETR_readme_bdaad494458c.png)\n\n![deformable_detr](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffundamentalvision_Deformable-DETR_readme_7087d055e33d.png)\n\n**Abstract.** DETR has been recently proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance. However, it suffers from slow convergence and limited feature spatial resolution, due to the limitation of Transformer attention modules in processing image feature maps. To mitigate these issues, we proposed Deformable DETR, whose attention modules only attend to a small set of key sampling points around a reference. Deformable DETR can achieve better performance than DETR (especially on small objects) with 10× less training epochs. Extensive experiments on the COCO benchmark demonstrate the effectiveness of our approach.\n\n## License\n\nThis project is released under the [Apache 2.0 license](.\u002FLICENSE).\n\n## Changelog\n\nSee [changelog.md](.\u002Fdocs\u002Fchangelog.md) for detailed logs of major changes. \n\n\n## Citing Deformable DETR\nIf you find Deformable DETR useful in your research, please consider citing:\n```bibtex\n@article{zhu2020deformable,\n  title={Deformable DETR: Deformable Transformers for End-to-End Object Detection},\n  author={Zhu, Xizhou and Su, Weijie and Lu, Lewei and Li, Bin and Wang, Xiaogang and Dai, Jifeng},\n  journal={arXiv preprint arXiv:2010.04159},\n  year={2020}\n}\n```\n\n## Main Results\n\n| \u003Csub>\u003Csub>Method\u003C\u002Fsub>\u003C\u002Fsub>   | \u003Csub>\u003Csub>Epochs\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003Csub>S\u003C\u002Fsub>\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003Csub>M\u003C\u002Fsub>\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003Csub>L\u003C\u002Fsub>\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>params\u003Cbr>(M)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>FLOPs\u003Cbr>(G)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Total\u003Cbr>Train\u003Cbr>Time\u003Cbr>(GPU\u003Cbr\u002F>hours)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Train\u003Cbr\u002F>Speed\u003Cbr>(GPU\u003Cbr\u002F>hours\u003Cbr\u002F>\u002Fepoch)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Infer\u003Cbr\u002F>Speed\u003Cbr\u002F>(FPS)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Batch\u003Cbr\u002F>Infer\u003Cbr\u002F>Speed\u003Cbr>(FPS)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>URL\u003C\u002Fsub>\u003C\u002Fsub>                     |\n| ----------------------------------- | :----: | :--: | :----: | :---: | :------------------------------: | :--------------------:| :----------------------------------------------------------: | :--: | :---: | :---: | ----- | ----- |\n| \u003Csub>\u003Csub>Faster R-CNN + FPN\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>109\u003C\u002Fsub> | \u003Csub>42.0\u003C\u002Fsub> | \u003Csub>26.6\u003C\u002Fsub> | \u003Csub>45.4\u003C\u002Fsub> | \u003Csub>53.4\u003C\u002Fsub> | \u003Csub>42\u003C\u002Fsub> | \u003Csub>180\u003C\u002Fsub> | \u003Csub>380\u003C\u002Fsub> | \u003Csub>3.5\u003C\u002Fsub> | \u003Csub>25.6\u003C\u002Fsub> | \u003Csub>28.0\u003C\u002Fsub> | \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>500\u003C\u002Fsub> | \u003Csub>42.0\u003C\u002Fsub> | \u003Csub>20.5\u003C\u002Fsub> | \u003Csub>45.8\u003C\u002Fsub> | \u003Csub>61.1\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> | \u003Csub>86\u003C\u002Fsub> | \u003Csub>2000\u003C\u002Fsub> | \u003Csub>4.0\u003C\u002Fsub> |     \u003Csub>27.0\u003C\u002Fsub>       |         \u003Csub>38.3\u003C\u002Fsub>           | \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR-DC5\u003C\u002Fsub>\u003C\u002Fsub>      | \u003Csub>500\u003C\u002Fsub> | \u003Csub>43.3\u003C\u002Fsub> | \u003Csub>22.5\u003C\u002Fsub> | \u003Csub>47.3\u003C\u002Fsub> | \u003Csub>61.1\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>187\u003C\u002Fsub>|\u003Csub>7000\u003C\u002Fsub>|\u003Csub>14.0\u003C\u002Fsub>|\u003Csub>11.4\u003C\u002Fsub>|\u003Csub>12.4\u003C\u002Fsub>| \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR-DC5\u003C\u002Fsub>\u003C\u002Fsub>      | \u003Csub>50\u003C\u002Fsub> | \u003Csub>35.3\u003C\u002Fsub> | \u003Csub>15.2\u003C\u002Fsub> | \u003Csub>37.5\u003C\u002Fsub> | \u003Csub>53.6\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>187\u003C\u002Fsub>|\u003Csub>700\u003C\u002Fsub>|\u003Csub>14.0\u003C\u002Fsub>|\u003Csub>11.4\u003C\u002Fsub>|\u003Csub>12.4\u003C\u002Fsub>| \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR-DC5+\u003C\u002Fsub>\u003C\u002Fsub>     | \u003Csub>50\u003C\u002Fsub> | \u003Csub>36.2\u003C\u002Fsub> | \u003Csub>16.3\u003C\u002Fsub> | \u003Csub>39.2\u003C\u002Fsub> | \u003Csub>53.9\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>187\u003C\u002Fsub>|\u003Csub>700\u003C\u002Fsub>|\u003Csub>14.0\u003C\u002Fsub>|\u003Csub>11.4\u003C\u002Fsub>|\u003Csub>12.4\u003C\u002Fsub>| \u003Csub>-\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>Deformable DETR\u003Cbr>(single scale)\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>39.4\u003C\u002Fsub> | \u003Csub>20.6\u003C\u002Fsub> | \u003Csub>43.0\u003C\u002Fsub> | \u003Csub>55.5\u003C\u002Fsub> | \u003Csub>34\u003C\u002Fsub> |\u003Csub>78\u003C\u002Fsub>|\u003Csub>160\u003C\u002Fsub>|\u003Csub>3.2\u003C\u002Fsub>|\u003Csub>27.0\u003C\u002Fsub>|\u003Csub>42.4\u003C\u002Fsub>| \u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_single_scale.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1n3ZnZ-UAqmTUR4AZoM4qQntIDn6qCZx4\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1WEjQ9_FgfI5sw5OZZ4ix-OKk-IJ_-SDU\u002Fview?usp=sharing)\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>Deformable DETR\u003Cbr>(single scale, DC5)\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>41.5\u003C\u002Fsub> | \u003Csub>24.1\u003C\u002Fsub> | \u003Csub>45.3\u003C\u002Fsub> | \u003Csub>56.0\u003C\u002Fsub> | \u003Csub>34\u003C\u002Fsub> |\u003Csub>128\u003C\u002Fsub>|\u003Csub>215\u003C\u002Fsub>|\u003Csub>4.3\u003C\u002Fsub>|\u003Csub>22.1\u003C\u002Fsub>|\u003Csub>29.4\u003C\u002Fsub>| \u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_single_scale_dc5.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1-UfTp2q4GIkJjsaMRIkQxa5k5vn8_n-B\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1m_TgMjzH7D44fbA-c_jiBZ-xf-odxGdk\u002Fview?usp=sharing)\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>Deformable DETR\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>44.5\u003C\u002Fsub> | \u003Csub>27.1\u003C\u002Fsub> | \u003Csub>47.6\u003C\u002Fsub> | \u003Csub>59.6\u003C\u002Fsub> | \u003Csub>40\u003C\u002Fsub> |\u003Csub>173\u003C\u002Fsub>|\u003Csub>325\u003C\u002Fsub>|\u003Csub>6.5\u003C\u002Fsub>|\u003Csub>15.0\u003C\u002Fsub>|\u003Csub>19.4\u003C\u002Fsub>|\u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18YSLshFjc_erOLfFC-hHu4MX4iyz1Dqr\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1nDWZWHuRwtwGden77NLM9JoWe-YisJnA\u002Fview?usp=sharing)\u003C\u002Fsub>                   |\n| **\u003Csub>\u003Csub>+ iterative bounding box refinement\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>46.2\u003C\u002Fsub> | \u003Csub>28.3\u003C\u002Fsub> | \u003Csub>49.2\u003C\u002Fsub> | \u003Csub>61.5\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>173\u003C\u002Fsub>|\u003Csub>325\u003C\u002Fsub>|\u003Csub>6.5\u003C\u002Fsub>|\u003Csub>15.0\u003C\u002Fsub>|\u003Csub>19.4\u003C\u002Fsub>|\u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_plus_iterative_bbox_refinement.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1DFNloITi1SFBWjYzvVEAI75ndwmGM1Uj\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1JYKyRYzUH7uo9eVfDaVCiaIGZb5YTCuI\u002Fview?usp=sharing)\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>++ two-stage Deformable DETR\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>46.9\u003C\u002Fsub> | \u003Csub>29.6\u003C\u002Fsub> | \u003Csub>50.1\u003C\u002Fsub> | \u003Csub>61.6\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>173\u003C\u002Fsub>|\u003Csub>340\u003C\u002Fsub>|\u003Csub>6.8\u003C\u002Fsub>|\u003Csub>14.5\u003C\u002Fsub>|\u003Csub>18.8\u003C\u002Fsub>|\u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_plus_iterative_bbox_refinement_plus_plus_two_stage.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ozi0wbv5-Sc5TbWt1jAuXco72vEfEtbY\u002Fview?usp=sharing) \u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F15I03A7hNTpwuLNdfuEmW9_taZMNVssEp\u002Fview?usp=sharing)\u003C\u002Fsub> |\n\n*Note:*\n\n1. All models of Deformable DETR are trained with total batch size of 32. \n2. Training and inference speed are measured on NVIDIA Tesla V100 GPU.\n3. \"Deformable DETR (single scale)\" means only using res5 feature map (of stride 32) as input feature maps for Deformable Transformer Encoder.\n4. \"DC5\" means removing the stride in C5 stage of ResNet and add a dilation of 2 instead.\n5. \"DETR-DC5+\" indicates DETR-DC5 with some modifications, including using Focal Loss for bounding box classification and increasing number of object queries to 300.\n6. \"Batch Infer Speed\" refer to inference with batch size = 4  to maximize GPU utilization.\n7. The original implementation is based on our internal codebase. There are slight differences in the final accuracy and running time due to the plenty details in platform switch.\n\n\n## Installation\n\n### Requirements\n\n* Linux, CUDA>=9.2, GCC>=5.4\n  \n* Python>=3.7\n\n    We recommend you to use Anaconda to create a conda environment:\n    ```bash\n    conda create -n deformable_detr python=3.7 pip\n    ```\n    Then, activate the environment:\n    ```bash\n    conda activate deformable_detr\n    ```\n  \n* PyTorch>=1.5.1, torchvision>=0.6.1 (following instructions [here](https:\u002F\u002Fpytorch.org\u002F))\n\n    For example, if your CUDA version is 9.2, you could install pytorch and torchvision as following:\n    ```bash\n    conda install pytorch=1.5.1 torchvision=0.6.1 cudatoolkit=9.2 -c pytorch\n    ```\n  \n* Other requirements\n    ```bash\n    pip install -r requirements.txt\n    ```\n\n### Compiling CUDA operators\n```bash\ncd .\u002Fmodels\u002Fops\nsh .\u002Fmake.sh\n# unit test (should see all checking is True)\npython test.py\n```\n\n## Usage\n\n### Dataset preparation\n\nPlease download [COCO 2017 dataset](https:\u002F\u002Fcocodataset.org\u002F) and organize them as following:\n\n```\ncode_root\u002F\n└── data\u002F\n    └── coco\u002F\n        ├── train2017\u002F\n        ├── val2017\u002F\n        └── annotations\u002F\n        \t├── instances_train2017.json\n        \t└── instances_val2017.json\n```\n\n### Training\n\n#### Training on single node\n\nFor example, the command for training Deformable DETR on 8 GPUs is as following:\n\n```bash\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 8 .\u002Fconfigs\u002Fr50_deformable_detr.sh\n```\n\n#### Training on multiple nodes\n\nFor example, the command for training Deformable DETR on 2 nodes of each with 8 GPUs is as following:\n\nOn node 1:\n\n```bash\nMASTER_ADDR=\u003CIP address of node 1> NODE_RANK=0 GPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 16 .\u002Fconfigs\u002Fr50_deformable_detr.sh\n```\n\nOn node 2:\n\n```bash\nMASTER_ADDR=\u003CIP address of node 1> NODE_RANK=1 GPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 16 .\u002Fconfigs\u002Fr50_deformable_detr.sh\n```\n\n#### Training on slurm cluster\n\nIf you are using slurm cluster, you can simply run the following command to train on 1 node with 8 GPUs:\n\n```bash\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_slurm.sh \u003Cpartition> deformable_detr 8 configs\u002Fr50_deformable_detr.sh\n```\n\nOr 2 nodes of  each with 8 GPUs:\n\n```bash\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_slurm.sh \u003Cpartition> deformable_detr 16 configs\u002Fr50_deformable_detr.sh\n```\n#### Some tips to speed-up training\n* If your file system is slow to read images, you may consider enabling '--cache_mode' option to load whole dataset into memory at the beginning of training.\n* You may increase the batch size to maximize the GPU utilization, according to GPU memory of yours, e.g., set '--batch_size 3' or '--batch_size 4'.\n\n### Evaluation\n\nYou can get the config file and pretrained model of Deformable DETR (the link is in \"Main Results\" session), then run following command to evaluate it on COCO 2017 validation set:\n\n```bash\n\u003Cpath to config file> --resume \u003Cpath to pre-trained model> --eval\n```\n\nYou can also run distributed evaluation by using ```.\u002Ftools\u002Frun_dist_launch.sh``` or ```.\u002Ftools\u002Frun_dist_slurm.sh```.\n","# 可变形DETR\n\n作者：[朱锡洲](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=02RXI00AAAAJ)、[苏伟杰](https:\u002F\u002Fwww.weijiesu.com\u002F)、[卢乐威](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Flewei-lu-94015977\u002F)、[李斌](http:\u002F\u002Fstaff.ustc.edu.cn\u002F~binli\u002F)、[王小刚](http:\u002F\u002Fwww.ee.cuhk.edu.hk\u002F~xgwang\u002F)、[戴继峰](https:\u002F\u002Fjifengdai.org\u002F)。\n\n本仓库是论文《可变形DETR：用于端到端目标检测的可变形Transformer》（[arXiv:2010.04159](https:\u002F\u002Farxiv.org\u002Fabs\u002F2010.04159)）的官方实现。\n\n## 简介\n\n**TL;DR。** 可变形DETR是一种高效且收敛速度快的端到端目标检测器。它通过一种基于采样的高效注意力机制，有效缓解了DETR计算复杂度高、收敛慢的问题。\n\n![deformable_detr](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffundamentalvision_Deformable-DETR_readme_bdaad494458c.png)\n\n![deformable_detr](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffundamentalvision_Deformable-DETR_readme_7087d055e33d.png)\n\n**摘要。** DETR最近被提出，旨在消除目标检测中大量手工设计的组件，同时展现出良好的性能。然而，由于Transformer注意力模块在处理图像特征图时的局限性，DETR存在收敛缓慢和特征空间分辨率有限的问题。为了解决这些问题，我们提出了可变形DETR，其注意力模块仅关注参考点周围的一小部分关键采样点。与DETR相比，可变形DETR在训练轮数减少10倍的情况下，仍能取得更好的性能（尤其是在小目标检测上）。我们在COCO基准数据集上的大量实验验证了我们方法的有效性。\n\n## 许可证\n\n本项目采用[Apache 2.0许可证](.\u002FLICENSE)发布。\n\n## 更改日志\n\n有关主要更改的详细记录，请参阅[changelog.md](.\u002Fdocs\u002Fchangelog.md)。\n\n\n## 引用可变形DETR\n\n如果您在研究中使用了可变形DETR，请考虑引用以下文献：\n```bibtex\n@article{zhu2020deformable,\n  title={Deformable DETR: Deformable Transformers for End-to-End Object Detection},\n  author={Zhu, Xizhou and Su, Weijie and Lu, Lewei and Li, Bin and Wang, Xiaogang and Dai, Jifeng},\n  journal={arXiv preprint arXiv:2010.04159},\n  year={2020}\n}\n```\n\n## 主要结果\n\n| \u003Csub>\u003Csub>方法\u003C\u002Fsub>\u003C\u002Fsub>   | \u003Csub>\u003Csub>Epochs\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003Csub>S\u003C\u002Fsub>\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003Csub>M\u003C\u002Fsub>\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>AP\u003Csub>L\u003C\u002Fsub>\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>params\u003Cbr>(M)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>FLOPs\u003Cbr>(G)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Total\u003Cbr>Train\u003Cbr>Time\u003Cbr>(GPU\u003Cbr\u002F>hours)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Train\u003Cbr\u002F>Speed\u003Cbr>(GPU\u003Cbr\u002F>hours\u003Cbr\u002F>\u002Fepoch)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Infer\u003Cbr\u002F>Speed\u003Cbr>(FPS)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>Batch\u003Cbr\u002F>Infer\u003Cbr\u002F>Speed\u003Cbr>(FPS)\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>\u003Csub>URL\u003C\u002Fsub>\u003C\u002Fsub>                     |\n| ----------------------------------- | :----: | :--: | :----: | :---: | :------------------------------: | :--------------------:| :----------------------------------------------------------: | :--: | :---: | :---: | ----- | ----- |\n| \u003Csub>\u003Csub>Faster R-CNN + FPN\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>109\u003C\u002Fsub> | \u003Csub>42.0\u003C\u002Fsub> | \u003Csub>26.6\u003C\u002Fsub> | \u003Csub>45.4\u003C\u002Fsub> | \u003Csub>53.4\u003C\u002Fsub> | \u003Csub>42\u003C\u002Fsub> | \u003Csub>180\u003C\u002Fsub> | \u003Csub>380\u003C\u002Fsub> | \u003Csub>3.5\u003C\u002Fsub> | \u003Csub>25.6\u003C\u002Fsub> | \u003Csub>28.0\u003C\u002Fsub> | \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR\u003C\u002Fsub>\u003C\u002Fsub> | \u003Csub>500\u003C\u002Fsub> | \u003Csub>42.0\u003C\u002Fsub> | \u003Csub>20.5\u003C\u002Fsub> | \u003Csub>45.8\u003C\u002Fsub> | \u003Csub>61.1\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> | \u003Csub>86\u003C\u002Fsub> | \u003Csub>2000\u003C\u002Fsub> | \u003Csub>4.0\u003C\u002Fsub> |     \u003Csub>27.0\u003C\u002Fsub>       |         \u003Csub>38.3\u003C\u002Fsub>           | \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR-DC5\u003C\u002Fsub>\u003C\u002Fsub>      | \u003Csub>500\u003C\u002Fsub> | \u003Csub>43.3\u003C\u002Fsub> | \u003Csub>22.5\u003C\u002Fsub> | \u003Csub>47.3\u003C\u002Fsub> | \u003Csub>61.1\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>187\u003C\u002Fsub>|\u003Csub>7000\u003C\u002Fsub>|\u003Csub>14.0\u003C\u002Fsub>|\u003Csub>11.4\u003C\u002Fsub>|\u003Csub>12.4\u003C\u002Fsub>| \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR-DC5\u003C\u002Fsub>\u003C\u002Fsub>      | \u003Csub>50\u003C\u002Fsub> | \u003Csub>35.3\u003C\u002Fsub> | \u003Csub>15.2\u003C\u002Fsub> | \u003Csub>37.5\u003C\u002Fsub> | \u003Csub>53.6\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>187\u003C\u002Fsub>|\u003Csub>700\u003C\u002Fsub>|\u003Csub>14.0\u003C\u002Fsub>|\u003Csub>11.4\u003C\u002Fsub>|\u003Csub>12.4\u003C\u002Fsub>| \u003Csub>-\u003C\u002Fsub> |\n| \u003Csub>\u003Csub>DETR-DC5+\u003C\u002Fsub>\u003C\u002Fsub>     | \u003Csub>50\u003C\u002Fsub> | \u003Csub>36.2\u003C\u002Fsub> | \u003Csub>16.3\u003C\u002Fsub> | \u003Csub>39.2\u003C\u002Fsub> | \u003Csub>53.9\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>187\u003C\u002Fsub>|\u003Csub>700\u003C\u002Fsub>|\u003Csub>14.0\u003C\u002Fsub>|\u003Csub>11.4\u003C\u002Fsub>|\u003Csub>12.4\u003C\u002Fsub>| \u003Csub>-\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>Deformable DETR\u003Cbr>(single scale)\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>39.4\u003C\u002Fsub> | \u003Csub>20.6\u003C\u002Fsub> | \u003Csub>43.0\u003C\u002Fsub> | \u003Csub>55.5\u003C\u002Fsub> | \u003Csub>34\u003C\u002Fsub> |\u003Csub>78\u003C\u002Fsub>|\u003Csub>160\u003C\u002Fsub>|\u003Csub>3.2\u003C\u002Fsub>|\u003Csub>27.0\u003C\u002Fsub>|\u003Csub>42.4\u003C\u002Fsub>| \u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_single_scale.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1n3ZnZ-UAqmTUR4AZoM4qQntIDn6qCZx4\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1WEjQ9_FgfI5sw5OZZ4ix-OKk-IJ_-SDU\u002Fview?usp=sharing)\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>Deformable DETR\u003Cbr>(single scale, DC5)\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>41.5\u003C\u002Fsub> | \u003Csub>24.1\u003C\u002Fsub> | \u003Csub>45.3\u003C\u002Fsub> | \u003Csub>56.0\u003C\u002Fsub> | \u003Csub>34\u003C\u002Fsub> |\u003Csub>128\u003C\u002Fsub>|\u003Csub>215\u003C\u002Fsub>|\u003Csub>4.3\u003C\u002Fsub>|\u003Csub>22.1\u003C\u002Fsub>|\u003Csub>29.4\u003C\u002Fsub>| \u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_single_scale_dc5.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1-UfTp2q4GIkJjsaMRIkQxa5k5vn8_n-B\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1m_TgMjzH7D44fbA-c_jiBZ-xf-odxGdk\u002Fview?usp=sharing)\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>Deformable DETR\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>44.5\u003C\u002Fsub> | \u003Csub>27.1\u003C\u002Fsub> | \u003Csub>47.6\u003C\u002Fsub> | \u003Csub>59.6\u003C\u002Fsub> | \u003Csub>40\u003C\u002Fsub> |\u003Csub>173\u003C\u002Fsub>|\u003Csub>325\u003C\u002Fsub>|\u003Csub>6.5\u003C\u002Fsub>|\u003Csub>15.0\u003C\u002Fsub>|\u003Csub>19.4\u003C\u002Fsub>|\u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F18YSLshFjc_erOLfFC-hHu4MX4iyz1Dqr\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1nDWZWHuRwtwGden77NLM9JoWe-YisJnA\u002Fview?usp=sharing)\u003C\u002Fsub>                   |\n| **\u003Csub>\u003Csub>+ iterative bounding box refinement\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>46.2\u003C\u002Fsub> | \u003Csub>28.3\u003C\u002Fsub> | \u003Csub>49.2\u003C\u002Fsub> | \u003Csub>61.5\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>173\u003C\u002Fsub>|\u003Csub>325\u003C\u002Fsub>|\u003Csub>6.5\u003C\u002Fsub>|\u003Csub>15.0\u003C\u002Fsub>|\u003Csub>19.4\u003C\u002Fsub>|\u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_plus_iterative_bbox_refinement.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1DFNloITi1SFBWjYzvVEAI75ndwmGM1Uj\u002Fview?usp=sharing)\u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1JYKyRYzUH7uo9eVfDaVCiaIGZb5YTCuI\u002Fview?usp=sharing)\u003C\u002Fsub> |\n| **\u003Csub>\u003Csub>++ two-stage Deformable DETR\u003C\u002Fsub>\u003C\u002Fsub>** | \u003Csub>50\u003C\u002Fsub> | \u003Csub>46.9\u003C\u002Fsub> | \u003Csub>29.6\u003C\u002Fsub> | \u003Csub>50.1\u003C\u002Fsub> | \u003Csub>61.6\u003C\u002Fsub> | \u003Csub>41\u003C\u002Fsub> |\u003Csub>173\u003C\u002Fsub>|\u003Csub>340\u003C\u002Fsub>|\u003Csub>6.8\u003C\u002Fsub>|\u003Csub>14.5\u003C\u002Fsub>|\u003Csub>18.8\u003C\u002Fsub>|\u003Csub>[config](.\u002Fconfigs\u002Fr50_deformable_detr_plus_iterative_bbox_refinement_plus_plus_two_stage.sh)\u003Cbr\u002F>[log](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ozi0wbv5-Sc5TbWt1jAuXco72vEfEtbY\u002Fview?usp=sharing) \u003Cbr\u002F>[model](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F15I03A7hNTpwuLNdfuEmW9_taZMNVssEp\u002Fview?usp=sharing)\u003C\u002Fsub> |\n\n*注释：*\n\n1. 所有Deformable DETR模型均使用总批量大小为32进行训练。\n2. 训练和推理速度均在NVIDIA Tesla V100 GPU上测量。\n3. “Deformable DETR (single scale)”表示仅使用res5特征图（步幅为32）作为可变形Transformer编码器的输入特征图。\n4. “DC5”表示移除ResNet C5阶段的步幅，并改为使用2倍膨胀率。\n5. “DETR-DC5+”表示对DETR-DC5进行了一些修改，包括使用焦点损失进行边界框分类，并将对象查询数量增加到300。\n6. “Batch Infer Speed”指以批量大小为4进行推理，以最大化GPU利用率。\n7. 原始实现基于我们的内部代码库。由于平台切换中的诸多细节差异，最终的准确性和运行时间可能存在细微差别。\n\n\n## 安装\n\n### 要求\n\n* Linux系统，CUDA≥9.2，GCC≥5.4\n  \n* Python≥3.7\n\n    我们建议您使用Anaconda创建一个conda环境：\n    ```bash\n    conda create -n deformable_detr python=3.7 pip\n    ```\n    然后激活该环境：\n    ```bash\n    conda activate deformable_detr\n    ```\n  \n* PyTorch≥1.5.1，torchvision≥0.6.1（请按照[此处](https:\u002F\u002Fpytorch.org\u002F)的说明进行安装）\n\n    例如，如果您使用的CUDA版本是9.2，可以按如下方式安装PyTorch和torchvision：\n    ```bash\n    conda install pytorch=1.5.1 torchvision=0.6.1 cudatoolkit=9.2 -c pytorch\n    ```\n  \n* 其他依赖项\n    ```bash\n    pip install -r requirements.txt\n    ```\n\n### 编译CUDA算子\n```bash\ncd .\u002Fmodels\u002Fops\nsh .\u002Fmake.sh\n# 单元测试（应显示所有检查均为True）\npython test.py\n```\n\n## 使用\n\n### 数据集准备\n\n请下载[COCO 2017数据集](https:\u002F\u002Fcocodataset.org\u002F)，并按以下方式组织：\n\n```\ncode_root\u002F\n└── data\u002F\n    └── coco\u002F\n        ├── train2017\u002F\n        ├── val2017\u002F\n        └── annotations\u002F\n        \t├── instances_train2017.json\n        \t└── instances_val2017.json\n```\n\n### 训练\n\n#### 单节点训练\n\n例如，在8张GPU上训练Deformable DETR的命令如下：\n\n```bash\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 8 .\u002Fconfigs\u002Fr50_deformable_detr.sh\n```\n\n#### 多节点训练\n\n例如，在2个节点上分别使用8张GPU训练Deformable DETR的命令如下：\n\n在节点1上：\n\n```bash\nMASTER_ADDR=\u003C节点1的IP地址> NODE_RANK=0 GPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 16 .\u002Fconfigs\u002Fr50_deformable_detr.sh\n```\n\n在节点2上：\n\n```bash\nMASTER_ADDR=\u003C节点1的IP地址> NODE_RANK=1 GPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 16 .\u002Fconfigs\u002Fr50_deformable_detr.sh\n```\n\n#### 在Slurm集群上训练\n\n如果你使用的是Slurm集群，可以简单地运行以下命令，在1个节点的8张GPU上进行训练：\n\n```bash\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_slurm.sh \u003C分区> deformable_detr 8 configs\u002Fr50_deformable_detr.sh\n```\n\n或者在2个节点上，每个节点8张GPU：\n\n```bash\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_slurm.sh \u003C分区> deformable_detr 16 configs\u002Fr50_deformable_detr.sh\n```\n\n#### 加速训练的一些技巧\n* 如果你的文件系统读取图像较慢，可以考虑启用`--cache_mode`选项，以便在训练开始时将整个数据集加载到内存中。\n* 可以根据你的GPU显存情况，适当增大批大小以最大化GPU利用率，例如设置`--batch_size 3`或`--batch_size 4`。\n\n### 评估\n\n你可以获取Deformable DETR的配置文件和预训练模型（链接见“主要结果”部分），然后运行以下命令在COCO 2017验证集上对其进行评估：\n\n```bash\n\u003C配置文件路径> --resume \u003C预训练模型路径> --eval\n```\n\n你也可以使用`.\u002Ftools\u002Frun_dist_launch.sh`或`.\u002Ftools\u002Frun_dist_slurm.sh`来进行分布式评估。","# Deformable DETR 快速上手指南\n\nDeformable DETR 是一种高效且收敛快速的端到端目标检测模型。它通过一种新颖的基于采样的注意力机制，解决了原始 DETR 模型复杂度高和收敛慢的问题，尤其在处理小目标时表现优异，且仅需 1\u002F10 的训练轮次即可达到更好效果。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux\n*   **硬件**: NVIDIA GPU (CUDA >= 9.2)\n*   **编译器**: GCC >= 5.4\n*   **Python**: >= 3.7\n*   **深度学习框架**: PyTorch >= 1.5.1, torchvision >= 0.6.1\n\n**推荐配置：**\n建议使用 Anaconda 创建独立的虚拟环境。如果您在中国大陆，建议在安装依赖时使用清华或阿里镜像源以加速下载。\n\n```bash\n# 创建并激活 conda 环境\nconda create -n deformable_detr python=3.7 pip\nconda activate deformable_detr\n\n# 安装 PyTorch 和 torchvision (示例：CUDA 9.2，请根据实际版本调整)\n# 国内用户可添加 -c https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fcloud\u002Fpytorch\u002F\nconda install pytorch=1.5.1 torchvision=0.6.1 cudatoolkit=9.2 -c pytorch\n\n# 安装其他 Python 依赖\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 安装步骤\n\nDeformable DETR 包含自定义的 CUDA 算子，需要手动编译。\n\n1.  **克隆代码库**（如果尚未下载）：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Ffundamentalvision\u002FDeformable-DETR.git\n    cd Deformable-DETR\n    ```\n\n2.  **编译 CUDA 算子**：\n    进入算子目录并执行编译脚本，随后运行单元测试确保编译成功。\n    ```bash\n    cd .\u002Fmodels\u002Fops\n    sh .\u002Fmake.sh\n    # 运行单元测试 (应输出所有 checking is True)\n    python test.py\n    cd ..\u002F..\n    ```\n\n3.  **数据集准备**：\n    下载 [COCO 2017 数据集](https:\u002F\u002Fcocodataset.org\u002F) 并按以下结构组织文件：\n    ```\n    code_root\u002F\n    └── data\u002F\n        └── coco\u002F\n            ├── train2017\u002F\n            ├── val2017\u002F\n            └── annotations\u002F\n                ├── instances_train2017.json\n                └── instances_val2017.json\n    ```\n\n## 基本使用\n\n### 训练模型\n\n以下命令演示如何在单节点 8 张 GPU 上启动训练。\n\n```bash\n# 单节点训练 (8 GPUs)\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 8 .\u002Fconfigs\u002Fr50_deformable_detr.sh\n```\n\n**加速小贴士：**\n*   如果读取图片较慢，可添加 `--cache_mode` 参数将数据集一次性加载到内存。\n*   可根据显存大小调整 batch size (例如 `--batch_size 4`) 以最大化 GPU 利用率。\n\n### 评估模型\n\n您可以从 README 的 \"Main Results\" 部分下载预训练模型和对应的配置文件，然后在 COCO 2017 验证集上进行评估。\n\n```bash\n# 单机评估\npython main.py \u003Cpath to config file> --resume \u003Cpath to pre-trained model> --eval\n\n# 分布式评估 (推荐)\nGPUS_PER_NODE=8 .\u002Ftools\u002Frun_dist_launch.sh 8 \u003Cpath to config file> --resume \u003Cpath to pre-trained model> --eval\n```\n\n*注：请将 `\u003Cpath to ...>` 替换为实际的本地文件路径。*","某自动驾驶初创公司的算法团队正致力于提升车辆对远处行人及小型交通标志的实时检测能力，以保障夜间行车安全。\n\n### 没有 Deformable-DETR 时\n- **训练周期漫长**：沿用原始 DETR 模型需要训练 500 个 epoch 才能收敛，单次实验耗时数周，严重拖慢算法迭代速度。\n- **小目标漏检率高**：由于 Transformer 注意力机制受限于固定的特征分辨率，难以捕捉远处微小的行人或标志，导致 APs（小目标精度）仅为 20.5%。\n- **计算资源浪费**：全局注意力机制对整张特征图进行无差别计算，产生了巨大的 FLOPs 开销，却未带来相应的精度提升。\n- **部署落地困难**：模型收敛慢且对小物体不敏感，使得团队难以在有限的开发周期内达到量产所需的可靠性标准。\n\n### 使用 Deformable-DETR 后\n- **收敛速度飞跃**：借助可变形注意力机制，模型仅需 50 个 epoch 即可达到甚至超越原有性能，训练时间缩短为原来的十分之一。\n- **小目标检测显著增强**：通过聚焦参考点周围的关键采样点，有效提升了特征空间分辨率，小目标检测精度（APs）大幅攀升至更高水平。\n- **计算效率优化**：稀疏化的采样策略避免了冗余计算，在降低显存占用和 FLOPs 的同时，保持了高效的推理速度。\n- **快速迭代验证**：工程师可以在一天内完成多次模型调优与验证，迅速响应长尾场景中的检测失效问题，加速产品上市进程。\n\nDeformable-DETR 通过革新注意力机制，彻底解决了端到端检测器训练慢、小目标识别弱的核心痛点，让高精度视觉感知模型的落地变得高效可行。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffundamentalvision_Deformable-DETR_2689922c.png","fundamentalvision","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffundamentalvision_cbfa73cb.png",null,"https:\u002F\u002Fgithub.com\u002Ffundamentalvision",[78,82,86,90],{"name":79,"color":80,"percentage":81},"Python","#3572A5",72.9,{"name":83,"color":84,"percentage":85},"Cuda","#3A4E3A",23.4,{"name":87,"color":88,"percentage":89},"C++","#f34b7d",2.3,{"name":91,"color":92,"percentage":93},"Shell","#89e051",1.3,3939,620,"2026-04-07T20:32:06","Apache-2.0",4,"Linux","必需 NVIDIA GPU，测试环境为 Tesla V100，需安装 CUDA >= 9.2","未说明",{"notes":103,"python":104,"dependencies":105},"需要编译自定义 CUDA 算子（运行 models\u002Fops\u002Fmake.sh）；训练总批大小建议为 32；若文件系统读取慢可开启缓存模式；支持单机多卡、多机分布式及 Slurm 集群训练。",">=3.7",[106,107,108],"PyTorch>=1.5.1","torchvision>=0.6.1","requirements.txt 中的其他依赖",[15],"2026-03-27T02:49:30.150509","2026-04-10T07:46:36.101572",[113,118,123,128,133,138],{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},27271,"运行 make.sh 编译 CUDA 扩展时出现 g++ 错误，提示找不到 .o 文件（No such file or directory）怎么办？","这通常是因为之前的编译残留文件导致的路径或链接错误。解决方法是清理构建目录并重新编译：\n1. 删除编译生成的临时文件夹（例如 `build` 目录）。\n2. 删除相关的 `.egg-info` 文件夹。\n3. 重新运行官方提供的编译命令（如 `sh .\u002Fmake.sh` 或 `python setup.py build install`）。\n多位用户反馈删除 `build` 和 `MultiScaleDeformableAttention.egg-info` 后重新编译即可解决问题。","https:\u002F\u002Fgithub.com\u002Ffundamentalvision\u002FDeformable-DETR\u002Fissues\u002F10",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},27272,"导入模块时出现 'undefined symbol' (未定义符号) 的 ImportError 错误如何解决？","该错误通常由环境依赖冲突或旧的编译文件残留引起。请按以下步骤操作：\n1. 完全删除已安装的包目录，例如：`conda\u002Fenvs\u002Fdeformable_detr\u002Flib\u002Fpython3.7\u002Fsite-packages\u002FMultiScaleDeformableAttention-1.0-py3.7-linux-x86_64.egg\u002F`。\n2. 务必同时删除源码目录下的 `build` 文件夹和 `MultiScaleDeformableAttention.egg-info` 文件夹。\n3. 确保 PyTorch 和 CUDA 版本匹配，然后重新编译算子（运行安装脚本）。\n清理所有旧文件后重新编译通常能解决此问题。","https:\u002F\u002Fgithub.com\u002Ffundamentalvision\u002FDeformable-DETR\u002Fissues\u002F51",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},27273,"加载预训练模型权重时出现形状不匹配（shape mismatch），特别是 transformer 或 class_embed 部分报错怎么办？","如果是因为类别数量（num_classes）不同导致的形状不匹配，可以在加载权重时跳过类别嵌入层（class_embed）。\n修改 `main.py` 中加载权重的代码（约第 239 行）：\n将：\n`missing_keys, unexpected_keys = model_without_ddp.load_state_dict(checkpoint['model'], strict=False)`\n改为：\n`missing_keys, unexpected_keys = model_without_ddp.load_state_dict({k:v for k,v in checkpoint['model'].items() if \"class_embed\" not in k}, strict=False)`\n这样可以忽略类别层的权重差异，成功加载其余参数进行迁移学习。","https:\u002F\u002Fgithub.com\u002Ffundamentalvision\u002FDeformable-DETR\u002Fissues\u002F21",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},27274,"如何在单张 GPU 上进行训练？默认脚本报错或无法运行。","默认配置可能针对多卡分布式训练优化。在单卡训练时：\n1. 确保命令行参数中没有启用分布式模式（脚本通常会自动检测，若只有一张卡应显示 'Not using distributed mode'）。\n2. 调整 `batch_size` 以适应单卡显存（例如设为 2 或 4）。\n3. 如果是自定义数据集，确保正确设置了 `--dataset_file` 和 `--data_path`。\n4. 注意：某些用户反馈需要修改代码以适配单卡逻辑，或者检查是否因显存不足导致静默失败。如果报错涉及维度不匹配，请确认是否复用了不兼容的预训练权重（参考类别不匹配问题的解决方案）。","https:\u002F\u002Fgithub.com\u002Ffundamentalvision\u002FDeformable-DETR\u002Fissues\u002F110",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},27275,"微调自己的数据集时，Loss 正常下降但 AP (Average Precision) 始终为 0 是什么原因？","AP 为 0 通常是因为预训练权重的输出类别数与当前数据集的类别数不一致，导致预测结果无法正确匹配。\n解决方法：\n1. 不要直接加载包含分类头权重的预训练模型，或者在加载时排除 `class_embed` 层（参考形状不匹配问题的代码修改）。\n2. 如果是从头开始训练或使用新类别数的数据集，作者建议不需要 resume 预训练 checkpoint，直接训练即可；若必须使用预训练权重，请务必跳过最后一层分类层的权重加载。\n3. 检查数据标注格式是否正确，确保类别索引从 0 开始且连续。","https:\u002F\u002Fgithub.com\u002Ffundamentalvision\u002FDeformable-DETR\u002Fissues\u002F91",{"id":139,"question_zh":140,"answer_zh":141,"source_url":127},27276,"如何修改代码以支持自定义数据集的类别数量变化？","当自定义数据集的类别数与预训练模型（如 COCO 的 80 类）不同时，直接加载权重会报错。有两种主要策略：\n1. **推荐做法**：不使用预训练权重中的分类层。在代码中加载 `state_dict` 时，过滤掉包含 \"class_embed\" 的键值对，让模型随机初始化分类层并重新训练。\n2. **手动调整（不推荐）**：虽然可以手动 resize 权重矩阵（如 `pretrained_weights[\"model\"][\"class_embed.weight\"].resize_(num_class+1, 256)`），但这容易引发维度对齐问题且不如第一种方法稳健。\n核心原则是：骨干网络和 Transformer 编码器\u002F解码器的权重可以复用，但最后的分类头必须根据新数据集的类别数重新初始化或跳过加载。",[]]