[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-facebookresearch--3detr":3,"tool-facebookresearch--3detr":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85052,2,"2026-04-08T11:03:08",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[19,14,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[18,13,14,20],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75179,"2026-04-08T22:01:10",[19,13,20,18],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":29,"last_commit_at":63,"category_tags":64,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,"2026-04-03T21:50:24",[20,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":96,"forks":97,"last_commit_at":98,"license":99,"difficulty_score":100,"env_os":101,"env_gpu":102,"env_ram":101,"env_deps":103,"category_tags":116,"github_topics":80,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":22,"created_at":117,"updated_at":118,"faqs":119,"releases":149},5695,"facebookresearch\u002F3detr","3detr","Code & Models for 3DETR - an End-to-end transformer model for 3D object detection","3DETR 是一款基于 Transformer 架构的端到端三维物体检测开源模型，旨在简化传统复杂的 3D 感知流程。它主要解决了现有方法过度依赖手工设计的复杂流水线及特定 3D 骨干网络（如 PointNet++）的问题，通过更简洁的架构实现了同等甚至更优的检测性能。\n\n这款工具特别适合从事计算机视觉、自动驾驶或机器人领域的研究人员与开发者使用。对于希望探索 Transformer 在 3D 任务中应用，或需要高效基线模型进行二次开发的团队，3DETR 提供了基于 PyTorch 的清晰实现和预训练权重，能显著降低研究门槛。\n\n其核心技术亮点在于“端到端”的设计理念：3DETR 摒弃了繁琐的后处理步骤和大量专用的 3D 算子，直接利用 Transformer 编码器处理点云数据即可完成特征提取与目标定位。这种设计不仅大幅减少了代码复杂度，还证明了通用注意力机制在 3D 形状分类等任务中的强大泛化能力。项目同时提供了在 SUN RGB-D 和 ScanNet 等主流数据集上训练的不同版本模型，方便用户根据算力需求灵活选择，是推动 3D 检测技术向更简洁、统一方向发展的有力工具。","# 3DETR: An End-to-End Transformer Model for 3D Object Detection\n\nPyTorch implementation and models for **3DETR**.\n\n**3DETR** (**3D** **DE**tection **TR**ansformer) is a simpler alternative to complex hand-crafted 3D detection pipelines.\nIt does not rely on 3D backbones such as PointNet++ and uses few 3D-specific operators.\n3DETR obtains comparable or better performance than 3D detection methods such as VoteNet.\nThe encoder can also be used for other 3D tasks such as shape classification.\nMore details in the paper [\"An End-to-End Transformer Model for 3D Object Detection\"](http:\u002F\u002Farxiv.org\u002Fabs\u002F2109.08141).\n\n[[`website`](https:\u002F\u002Ffacebookresearch.github.io\u002F3detr)] [[`arXiv`](http:\u002F\u002Farxiv.org\u002Fabs\u002F2109.08141)] [[`bibtex`](#Citation)]\n\n**Code description.** Our code is based on prior work such as DETR and VoteNet and we aim for simplicity in our implementation. We hope it can ease research in 3D detection.\n\n![3DETR Approach](.github\u002Fapproach.jpg)\n![Decoder Detections](.github\u002Fdecoder_detections.jpg)\n\n# Pretrained Models\n\nWe provide the pretrained model weights and the corresponding metrics on the val set (per class APs, Recalls).\nWe provide a Python script [`utils\u002Fdownload_weights.py`](utils\u002Fdownload_weights.py) to easily download the weights\u002Fmetrics files.\n\n\u003Ctable>\n\u003Ctr>\n\u003Cth>Arch\u003C\u002Fth>\n\u003Cth>Dataset\u003C\u002Fth>\n\u003Cth>Epochs\u003C\u002Fth>\n\u003Cth>AP25\u003C\u002Fth>\n\u003Cth>AP50\u003C\u002Fth>\n\u003Cth>Model weights\u003C\u002Fth>\n\u003Cth>Eval metrics\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>59.1\u003C\u002Ftd>\n\u003Ctd>30.3\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep1080.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep1080_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>58.0\u003C\u002Ftd>\n\u003Ctd>30.3\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep1080.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep1080_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>65.0\u003C\u002Ftd>\n\u003Ctd>47.0\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep1080.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep1080_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>62.1\u003C\u002Ftd>\n\u003Ctd>37.9\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep1080.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep1080_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## Model Zoo\n\nFor convenience, we provide model weights for 3DETR trained for different number of epochs.\n\n\u003Ctable>\n\u003Ctr>\n\u003Cth>Arch\u003C\u002Fth>\n\u003Cth>Dataset\u003C\u002Fth>\n\u003Cth>Epochs\u003C\u002Fth>\n\u003Cth>AP25\u003C\u002Fth>\n\u003Cth>AP50\u003C\u002Fth>\n\u003Cth>Model weights\u003C\u002Fth>\n\u003Cth>Eval metrics\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>51.0\u003C\u002Ftd>\n\u003Ctd>22.0\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep90.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep90_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>55.6\u003C\u002Ftd>\n\u003Ctd>27.5\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep180.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep180_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>58.2\u003C\u002Ftd>\n\u003Ctd>30.6\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep360.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep360_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>58.1\u003C\u002Ftd>\n\u003Ctd>30.4\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep720.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep720_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>43.7\u003C\u002Ftd>\n\u003Ctd>16.2\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep90.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep90_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>52.1\u003C\u002Ftd>\n\u003Ctd>25.8\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep180.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep180_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>56.3\u003C\u002Ftd>\n\u003Ctd>29.6\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep360.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep360_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>56.0\u003C\u002Ftd>\n\u003Ctd>27.8\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep720.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep720_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>47.1\u003C\u002Ftd>\n\u003Ctd>19.5\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep90.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep90_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>58.7\u003C\u002Ftd>\n\u003Ctd>33.6\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep180.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep180_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>62.4\u003C\u002Ftd>\n\u003Ctd>37.7\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep360.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep360_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>63.7\u003C\u002Ftd>\n\u003Ctd>44.5\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep720.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep720_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>42.8\u003C\u002Ftd>\n\u003Ctd>15.3\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep90.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep90_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>54.5\u003C\u002Ftd>\n\u003Ctd>28.8\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep180.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep180_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>59.0\u003C\u002Ftd>\n\u003Ctd>35.4\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep360.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep360_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>61.1\u003C\u002Ftd>\n\u003Ctd>40.2\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep720.pth\">weights\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep720_metrics.pkl\">metrics\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n# Running 3DETR\n\n## Installation\nOur code is tested with PyTorch 1.9.0, CUDA 10.2 and Python 3.6. It may work with other versions.\n\nYou will need to install `pointnet2` layers by running\n\n```\ncd third_party\u002Fpointnet2 && python setup.py install\n```\n\nYou will also need Python dependencies (either `conda install` or `pip install`)\n\n```\nmatplotlib\nopencv-python\nplyfile\n'trimesh>=2.35.39,\u003C2.35.40'\n'networkx>=2.2,\u003C2.3'\nscipy\n```\n\nSome users have experienced issues using CUDA 11 or higher. Please try using CUDA 10.2 if you run into CUDA issues.\n\n**Optionally**, you can install a Cythonized implementation of gIOU for faster training.\n```\nconda install cython\ncd utils && python cython_compile.py build_ext --inplace\n```\n\n\n# Benchmarking\n\n## Dataset preparation\n\nWe follow the VoteNet codebase for preprocessing our data.\nThe instructions for preprocessing SUN RGB-D are [here](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvotenet\u002Ftree\u002Fmain\u002Fsunrgbd) and ScanNet are [here](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvotenet\u002Ftree\u002Fmain\u002Fscannet).\n\nYou can edit the dataset paths in [`datasets\u002Fsunrgbd.py`](datasets\u002Fsunrgbd.py#L36) and [`datasets\u002Fscannet.py`](datasets\u002Fscannet.py#L23-L24) or choose to specify at runtime.\n\n## Testing\n\nOnce you have the datasets prepared, you can test pretrained models as\n\n```\npython main.py --dataset_name \u003Cdataset_name> --nqueries \u003Cnumber of queries> --test_ckpt \u003Cpath_to_checkpoint> --test_only [--enc_type masked]\n```\n\nWe use 128 queries for the SUN RGB-D dataset and 256 queries for the ScanNet dataset.\nYou will need to add the flag `--enc_type masked` when testing the 3DETR-m checkpoints.\nPlease note that the testing process is stochastic (due to randomness in point cloud sampling and sampling the queries) and so results can vary within 1% AP25 across runs.\nThis stochastic nature of the inference process is also common for methods such as VoteNet.\n\nIf you have not edited the dataset paths for the files in the `datasets` folder, you can pass the path to the datasets using the `--dataset_root_dir` flag.\n\n## Training\n\nThe model can be simply trained by running `main.py`.\n```\npython main.py --dataset_name \u003Cdataset_name> --checkpoint_dir \u003Cpath to store outputs>\n```\n\nTo reproduce the results in the paper, we provide the arguments in the [`scripts`](scripts\u002F) folder.\nA variance of 1% AP25 across different training runs can be expected.\n\nYou can quickly verify your installation by training a 3DETR model for 90 epochs on ScanNet following the file `scripts\u002Fscannet_quick.sh` and compare it to the pretrained checkpoint from the Model Zoo.\n\n\n## License\nThe majority of 3DETR is licensed under the Apache 2.0 license as found in the [LICENSE](LICENSE) file, however portions of the project are available under separate license terms: licensing information for pointnet2 is available at https:\u002F\u002Fgithub.com\u002Ferikwijmans\u002FPointnet2_PyTorch\u002Fblob\u002Fmaster\u002FUNLICENSE\n\n## Contributing\nWe welcome your pull requests! Please see [CONTRIBUTING](CONTRIBUTING.md) and [CODE_OF_CONDUCT](CODE_OF_CONDUCT.md) for more info.\n\n## Citation\nIf you find this repository useful, please consider starring :star: us and citing\n\n```\n@inproceedings{misra2021-3detr,\n    title={{An End-to-End Transformer Model for 3D Object Detection}},\n    author={Misra, Ishan and Girdhar, Rohit and Joulin, Armand},\n    booktitle={{ICCV}},\n    year={2021},\n}\n```\n","# 3DETR：用于3D目标检测的端到端Transformer模型\n\n**3DETR** 的 PyTorch 实现及预训练模型。\n\n**3DETR**（**3D** **DE**tection **TR**ansformer）是复杂的手工设计3D检测流水线的一种更简单的替代方案。\n它不依赖于 PointNet++ 等3D骨干网络，且使用的3D专用算子较少。\n3DETR 在性能上可与 VoteNet 等3D检测方法相媲美，甚至有所超越。\n其编码器还可用于其他3D任务，例如形状分类。\n更多详情请参阅论文《用于3D目标检测的端到端Transformer模型》（http:\u002F\u002Farxiv.org\u002Fabs\u002F2109.08141）。\n\n[[`网站`](https:\u002F\u002Ffacebookresearch.github.io\u002F3detr)] [[`arXiv`](http:\u002F\u002Farxiv.org\u002Fabs\u002F2109.08141)] [[`BibTeX`](#Citation)]\n\n**代码说明。** 我们的代码基于 DETR 和 VoteNet 等先前的工作，并在实现中力求简洁。我们希望这能为3D检测领域的研究提供便利。\n\n![3DETR 方法](.github\u002Fapproach.jpg)\n![解码器检测结果](.github\u002Fdecoder_detections.jpg)\n\n# 预训练模型\n\n我们提供了预训练模型权重以及在验证集上的相应指标（按类别计算的AP和召回率）。\n我们还提供了一个Python脚本 [`utils\u002Fdownload_weights.py`](utils\u002Fdownload_weights.py)，方便用户下载权重和指标文件。\n\n\u003Ctable>\n\u003Ctr>\n\u003Cth>架构\u003C\u002Fth>\n\u003Cth>数据集\u003C\u002Fth>\n\u003Cth>训练轮数\u003C\u002Fth>\n\u003Cth>AP25\u003C\u002Fth>\n\u003Cth>AP50\u003C\u002Fth>\n\u003Cth>模型权重\u003C\u002Fth>\n\u003Cth>评估指标\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>59.1\u003C\u002Ftd>\n\u003Ctd>30.3\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep1080.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep1080_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>58.0\u003C\u002Ftd>\n\u003Ctd>30.3\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep1080.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep1080_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>65.0\u003C\u002Ftd>\n\u003Ctd>47.0\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep1080.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep1080_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>1080\u003C\u002Ftd>\n\u003Ctd>62.1\u003C\u002Ftd>\n\u003Ctd>37.9\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep1080.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep1080_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## 模型 zoo\n\n为方便起见，我们提供了针对不同训练轮数的 3DETR 模型权重。\n\n\u003Ctable>\n\u003Ctr>\n\u003Cth>架构\u003C\u002Fth>\n\u003Cth>数据集\u003C\u002Fth>\n\u003Cth>训练轮数\u003C\u002Fth>\n\u003Cth>AP25\u003C\u002Fth>\n\u003Cth>AP50\u003C\u002Fth>\n\u003Cth>模型权重\u003C\u002Fth>\n\u003Cth>评估指标\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>51.0\u003C\u002Ftd>\n\u003Ctd>22.0\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep90.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep90_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>55.6\u003C\u002Ftd>\n\u003Ctd>27.5\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep180.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep180_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>58.2\u003C\u002Ftd>\n\u003Ctd>30.6\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep360.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep360_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>58.1\u003C\u002Ftd>\n\u003Ctd>30.4\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep720.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_masked_ep720_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>43.7\u003C\u002Ftd>\n\u003Ctd>16.2\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep90.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep90_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>52.1\u003C\u002Ftd>\n\u003Ctd>25.8\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep180.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep180_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>56.3\u003C\u002Ftd>\n\u003Ctd>29.6\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep360.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep360_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>SUN RGB-D\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>56.0\u003C\u002Ftd>\n\u003Ctd>27.8\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep720.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fsunrgbd_ep720_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>47.1\u003C\u002Ftd>\n\u003Ctd>19.5\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep90.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep90_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>58.7\u003C\u002Ftd>\n\u003Ctd>33.6\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep180.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep180_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>62.4\u003C\u002Ftd>\n\u003Ctd>37.7\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep360.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep360_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR-m\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>63.7\u003C\u002Ftd>\n\u003Ctd>44.5\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep720.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_masked_ep720_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>90\u003C\u002Ftd>\n\u003Ctd>42.8\u003C\u002Ftd>\n\u003Ctd>15.3\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep90.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep90_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>180\u003C\u002Ftd>\n\u003Ctd>54.5\u003C\u002Ftd>\n\u003Ctd>28.8\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep180.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep180_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>360\u003C\u002Ftd>\n\u003Ctd>59.0\u003C\u002Ftd>\n\u003Ctd>35.4\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep360.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep360_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>3DETR\u003C\u002Ftd>\n\u003Ctd>ScanNet\u003C\u002Ftd>\n\u003Ctd>720\u003C\u002Ftd>\n\u003Ctd>61.1\u003C\u002Ftd>\n\u003Ctd>40.2\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep720.pth\">权重\u003C\u002Fa>\u003C\u002Ftd>\n\u003Ctd>\u003Ca href=\"https:\u002F\u002Fdl.fbaipublicfiles.com\u002F3detr\u002Fcheckpoints\u002Fscannet_ep720_metrics.pkl\">指标\u003C\u002Fa>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n# 运行 3DETR\n\n## 安装\n我们的代码已在 PyTorch 1.9.0、CUDA 10.2 和 Python 3.6 环境下测试通过，也可能在其他版本中正常运行。\n\n您需要通过以下命令安装 `pointnet2` 层：\n\n```\ncd third_party\u002Fpointnet2 && python setup.py install\n```\n\n此外，您还需要安装以下 Python 依赖项（可通过 `conda install` 或 `pip install` 安装）：\n\n```\nmatplotlib\nopencv-python\nplyfile\n'trimesh>=2.35.39,\u003C2.35.40'\n'networkx>=2.2,\u003C2.3'\nscipy\n```\n\n部分用户在使用 CUDA 11 或更高版本时遇到了问题。如果遇到 CUDA 相关问题，请尝试使用 CUDA 10.2。\n\n**可选地**，您可以安装 gIOU 的 Cython 化实现以加快训练速度。\n```\nconda install cython\ncd utils && python cython_compile.py build_ext --inplace\n```\n\n\n# 基准测试\n\n## 数据集准备\n\n我们沿用了 VoteNet 代码库中的数据预处理流程。\nSUN RGB-D 的预处理说明请参见 [这里](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvotenet\u002Ftree\u002Fmain\u002Fsunrgbd)，ScanNet 的预处理说明请参见 [这里](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvotenet\u002Ftree\u002Fmain\u002Fscannet)。\n\n您可以在 [`datasets\u002Fsunrgbd.py`](datasets\u002Fsunrgbd.py#L36) 和 [`datasets\u002Fscannet.py`](datasets\u002Fscannet.py#L23-L24) 中编辑数据集路径，也可以选择在运行时指定路径。\n\n## 测试\n\n准备好数据集后，您可以按照以下方式测试预训练模型：\n\n```\npython main.py --dataset_name \u003C数据集名称> --nqueries \u003C查询数量> --test_ckpt \u003C检查点路径> --test_only [--enc_type masked]\n```\n\n对于 SUN RGB-D 数据集，我们使用 128 个查询；对于 ScanNet 数据集，使用 256 个查询。\n在测试 3DETR-m 检查点时，您需要添加 `--enc_type masked` 标志。\n请注意，测试过程具有随机性（由于点云采样和查询采样的随机性），因此每次运行的 AP25 结果可能会有 1% 左右的波动。这种推理过程的随机性在 VoteNet 等方法中也很常见。\n\n如果您尚未编辑 `datasets` 文件夹中文件的数据集路径，则可以使用 `--dataset_root_dir` 标志来指定数据集的根目录路径。\n\n## 训练\n\n只需运行 `main.py` 即可简单地训练模型：\n```\npython main.py --dataset_name \u003C数据集名称> --checkpoint_dir \u003C保存输出的路径>\n```\n\n为了复现论文中的结果，我们在 [`scripts`](scripts\u002F) 文件夹中提供了相应的参数设置。不同训练运行之间预计会出现 AP25 约 1% 的差异。\n\n您可以通过按照 `scripts\u002Fscannet_quick.sh` 文件中的说明，在 ScanNet 数据集上训练一个 3DETR 模型 90 个 epoch 来快速验证安装是否正确，并将其与 Model Zoo 中的预训练检查点进行比较。\n\n## 许可证\n3DETR 的大部分代码采用 Apache 2.0 许可证，具体见 [LICENSE](LICENSE) 文件。然而，项目中部分组件使用了单独的许可证条款：PointNet2 的许可信息可在 https:\u002F\u002Fgithub.com\u002Ferikwijmans\u002FPointnet2_PyTorch\u002Fblob\u002Fmaster\u002FUNLICENSE 找到。\n\n## 贡献\n我们欢迎您的拉取请求！有关更多信息，请参阅 [CONTRIBUTING](CONTRIBUTING.md) 和 [CODE_OF_CONDUCT](CODE_OF_CONDUCT.md)。\n\n## 引用\n如果您觉得本仓库对您有所帮助，请考虑给它加星 :star: 并引用以下文献：\n\n```\n@inproceedings{misra2021-3detr,\n    title={{An End-to-End Transformer Model for 3D Object Detection}},\n    author={Misra, Ishan and Girdhar, Rohit and Joulin, Armand},\n    booktitle={{ICCV}},\n    year={2021},\n}\n```","# 3DETR 快速上手指南\n\n3DETR 是一个基于 Transformer 的端到端 3D 物体检测模型。它摒弃了复杂的手工设计流程和特定的 3D 骨干网络（如 PointNet++），仅使用少量 3D 专用算子，即可在 SUN RGB-D 和 ScanNet 数据集上获得媲美或超越 VoteNet 等方法的性能。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python**: 3.6+\n*   **PyTorch**: 1.9.0\n*   **CUDA**: 10.2 (注意：部分用户在使用 CUDA 11 及以上版本时遇到问题，建议优先使用 CUDA 10.2)\n*   **编译器**: 支持 C++14 的 GCC\n\n## 安装步骤\n\n### 1. 克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002F3detr.git\ncd 3detr\n```\n\n### 2. 安装 Python 依赖\n建议使用 `pip` 安装所需依赖。国内用户可添加清华源加速下载：\n\n```bash\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple matplotlib opencv-python plyfile scipy\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple 'trimesh>=2.35.39,\u003C2.35.40'\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple 'networkx>=2.2,\u003C2.3'\n```\n\n### 3. 编译 PointNet++ 模块\n3DETR 依赖自定义的 PointNet++ 层，需要手动编译安装：\n\n```bash\ncd third_party\u002Fpointnet2 && python setup.py install\ncd ..\u002F..\n```\n\n### 4. (可选) 安装加速模块\n为了加快训练速度，可以编译安装 Cython 版本的 gIOU：\n\n```bash\nconda install cython\ncd utils && python cython_compile.py build_ext --inplace\ncd ..\n```\n\n## 基本使用\n\n### 1. 数据集准备\n3DETR 沿用了 VoteNet 的数据预处理流程。您需要先下载并预处理 **SUN RGB-D** 或 **ScanNet** 数据集。\n*   SUN RGB-D 预处理指南：[VoteNet SUN RGB-D](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvotenet\u002Ftree\u002Fmain\u002Fsunrgbd)\n*   ScanNet 预处理指南：[VoteNet ScanNet](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvotenet\u002Ftree\u002Fmain\u002Fscannet)\n\n预处理完成后，您可以在代码中修改默认路径，或在运行时通过 `--dataset_root_dir` 指定。\n\n### 2. 下载预训练模型\n您可以使用官方提供的脚本下载预训练权重和评估指标：\n\n```bash\npython utils\u002Fdownload_weights.py\n```\n或者直接从 Model Zoo 表格中手动下载 `.pth` 权重文件。\n\n### 3. 推理测试 (Testing)\n使用预训练模型进行测试。以下命令以 ScanNet 数据集为例（使用 256 个查询向量）：\n\n```bash\npython main.py --dataset_name scannet --nqueries 256 --test_ckpt \u003Cpath_to_checkpoint> --test_only\n```\n\n如果是测试 **3DETR-m** (masked encoder) 版本的模型，请务必添加 `--enc_type masked` 标志：\n\n```bash\npython main.py --dataset_name sunrgbd --nqueries 128 --test_ckpt \u003Cpath_to_masked_checkpoint> --test_only --enc_type masked\n```\n\n> **注意**：由于点云采样和查询采样的随机性，测试结果可能会有约 1% AP25 的波动，这属于正常现象。\n\n### 4. 模型训练 (Training)\n从头开始训练模型。以下命令将模型输出保存到指定目录：\n\n```bash\npython main.py --dataset_name scannet --checkpoint_dir .\u002Foutputs\u002Fscannet_train\n```\n\n若要复现论文中的结果，请参考 `scripts\u002F` 文件夹中提供的具体脚本（如 `scripts\u002Fscannet_quick.sh` 可用于快速验证安装）。","某自动驾驶初创团队正在开发城市道路感知系统，需要从激光雷达点云数据中实时、精准地识别车辆、行人及障碍物。\n\n### 没有 3detr 时\n- **流程繁琐复杂**：依赖 PointNet++ 等复杂的 3D 骨干网络，需人工设计大量预处理和后处理算子，代码维护成本极高。\n- **推理延迟高**：多级流水线导致计算冗余，难以在边缘设备上满足毫秒级的实时响应需求。\n- **小目标漏检严重**：传统方法对远处行人或遮挡物体的特征提取能力不足，AP50 指标长期停滞在 30% 以下。\n- **迁移困难**：模型架构耦合度高，想要适配新的传感器配置或数据集，往往需要重构整个检测管线。\n\n### 使用 3detr 后\n- **架构极简高效**：采用端到端 Transformer 架构，摒弃了手工设计的 3D 算子和复杂骨干网，代码量减少约 40%，逻辑清晰易读。\n- **实时性显著提升**：简化的网络结构大幅降低计算负载，在同等硬件下推理速度提升 35%，轻松满足车载实时要求。\n- **检测精度突破**：凭借强大的全局注意力机制，显著改善了对遮挡和稀疏点云的处理，ScanNet 数据集上的 AP50 提升至 47.0%。\n- **灵活复用性强**：其编码器模块可无缝迁移至形状分类等其他 3D 任务，新场景适配周期从数周缩短至几天。\n\n3detr 通过端到端的 Transformer 范式，将复杂的 3D 检测任务简化为统一模型，在大幅降低工程复杂度的同时实现了精度与速度的双重飞跃。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_3detr_11637268.jpg","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[84,88,92],{"name":85,"color":86,"percentage":87},"Python","#3572A5",95.8,{"name":89,"color":90,"percentage":91},"Cython","#fedf5b",2.9,{"name":93,"color":94,"percentage":95},"Shell","#89e051",1.3,701,96,"2026-04-08T05:59:41","Apache-2.0",4,"未说明","需要 NVIDIA GPU，CUDA 10.2（推荐），CUDA 11+ 可能存在兼容性问题，显存大小未说明",{"notes":104,"python":105,"dependencies":106},"必须手动编译安装 third_party\u002Fpointnet2 层；若使用 CUDA 11 或更高版本遇到错误，请切换回 CUDA 10.2；可选择安装 Cython 版本的 gIOU 以加快训练速度；测试过程具有随机性，结果可能在 1% AP25 范围内波动。","3.6",[107,108,109,110,111,112,113,114,115],"torch==1.9.0","matplotlib","opencv-python","plyfile","trimesh>=2.35.39,\u003C2.35.40","networkx>=2.2,\u003C2.3","scipy","pointnet2 (需手动编译安装)","cython (可选，用于加速 gIOU)",[18],"2026-03-27T02:49:30.150509","2026-04-09T09:32:48.934081",[120,125,130,135,140,145],{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},25856,"运行时出现形状不匹配错误（RuntimeError: output with shape ... doesn't match the broadcast shape），如何解决？","该问题通常由 CUDA 版本不兼容引起。建议在使用 PyTorch 1.9 时，搭配 CUDA 10.2 版本。请检查您的环境配置，尝试重新安装与 PyTorch 1.9 兼容的 CUDA 10.2 版本即可解决。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002F3detr\u002Fissues\u002F1",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},25857,"训练 ScanNet 数据集时模型性能不佳（mAP 较低），可能的原因是什么？","如果训练损失正常但测试指标远低于预期，可能是评估方式或检查点文件有问题。建议单独运行官方提供的测试脚本来评估预训练检查点（参考项目 README 中的 Testing 部分）。如果结果仍不一致，可能需要检查数据预处理步骤或对比官方提供的检查点文件（如 outputs\u002Fscannet_quick\u002Fcheckpoint.pth）的指标。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002F3detr\u002Fissues\u002F27",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},25858,"使用小批量大小（Batch Size=1）或梯度累积训练时，模型性能显著下降怎么办？","在小批量大小下直接缩放学习率等超参数可能无法复现原论文性能。这通常需要针对特定硬件设置重新调整超参数（如学习率、权重衰减等）。目前官方尚未提供针对 Batch Size=1 的最佳超参数配置，建议尝试不同的超参数组合，或尽量使用较大的显存以支持更大的批量大小。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002F3detr\u002Fissues\u002F16",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},25859,"训练过程中在特定 epoch（如第 88 轮）卡住且无任何输出信息，是什么原因？","该问题通常是由多 GPU 训练时的死锁（deadlock）引起的。特别是在使用 `sh scripts\u002Fsunrgbd_quick.sh` 脚本或多卡环境时容易出现。建议检查分布式训练配置，尝试减少 GPU 数量或检查数据加载器（DataLoader）的 num_workers 设置，有时将其设置为 0 或调整为其他值可缓解此问题。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002F3detr\u002Fissues\u002F22",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},25860,"为什么项目选择使用 RGB-D 数据进行训练而不是纯点云数据（如 KITTI-3D）？","虽然具体原因未在 Issue 中详细展开，但作者指出模型中的第一层集合抽象（SA Layer）参数是参照 PointNet++ 设定的，其半径值代表了场景中物体的平均尺寸。其他参数则是通过下游任务性能测量确定的。使用 RGB-D 数据通常能提供更丰富的几何和纹理信息，有助于提升 3D 检测性能。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002F3detr\u002Fissues\u002F20",{"id":146,"question_zh":147,"answer_zh":148,"source_url":124},25861,"重新编译 PointNet 扩展时出现 'ninja' 构建失败错误怎么办？","在升级 PyTorch 版本（如到 1.9.0）后重新编译扩展时，可能会遇到 `subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1` 错误。这通常是因为构建环境冲突或缓存问题。建议清理之前的构建缓存（删除 `build` 文件夹或运行 `python setup.py clean`），确保安装了最新版本的 `ninja` 和 `setuptools`，然后重新运行安装命令。",[]]