[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-pengzhiliang--Conformer":3,"tool-pengzhiliang--Conformer":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160784,2,"2026-04-19T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":76,"owner_twitter":76,"owner_website":79,"owner_url":80,"languages":81,"stars":103,"forks":104,"last_commit_at":105,"license":106,"difficulty_score":10,"env_os":107,"env_gpu":108,"env_ram":109,"env_deps":110,"category_tags":118,"github_topics":119,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":124,"updated_at":125,"faqs":126,"releases":167},9739,"pengzhiliang\u002FConformer","Conformer","Official code for Conformer: Local Features Coupling Global Representations for Visual Recognition","Conformer 是一款专为视觉识别任务设计的开源混合神经网络架构，旨在融合卷积神经网络（CNN）与视觉 Transformer（ViT）的优势。传统 CNN 擅长提取局部细节却难以捕捉全局上下文，而 Transformer 虽能建立长距离依赖关系，却往往丢失精细的局部特征。Conformer 通过独特的“特征耦合单元”（FCU）和并行结构设计，在不同分辨率下交互式地融合局部特征与全局表示，从而在保留两者优点的同时实现更强大的表征学习。\n\n实验数据显示，在参数量相当的情况下，Conformer 在 ImageNet 图像分类任务上比纯 Transformer 模型（DeiT-B）精度提升 2.3%；在 MSCOCO 目标检测与实例分割任务中，其表现也显著优于经典的 ResNet-101。该工具基于 PyTorch 构建，兼容 DeiT、timm 及 MMDetection 等主流框架，提供了完整的训练与测试代码。\n\nConformer 非常适合从事计算机视觉研究的科研人员、算法工程师以及希望探索高性能骨干网络的开发者使用。对于需要兼顾局部细节完整性与全局语义理解的应用场景，如高精度图","Conformer 是一款专为视觉识别任务设计的开源混合神经网络架构，旨在融合卷积神经网络（CNN）与视觉 Transformer（ViT）的优势。传统 CNN 擅长提取局部细节却难以捕捉全局上下文，而 Transformer 虽能建立长距离依赖关系，却往往丢失精细的局部特征。Conformer 通过独特的“特征耦合单元”（FCU）和并行结构设计，在不同分辨率下交互式地融合局部特征与全局表示，从而在保留两者优点的同时实现更强大的表征学习。\n\n实验数据显示，在参数量相当的情况下，Conformer 在 ImageNet 图像分类任务上比纯 Transformer 模型（DeiT-B）精度提升 2.3%；在 MSCOCO 目标检测与实例分割任务中，其表现也显著优于经典的 ResNet-101。该工具基于 PyTorch 构建，兼容 DeiT、timm 及 MMDetection 等主流框架，提供了完整的训练与测试代码。\n\nConformer 非常适合从事计算机视觉研究的科研人员、算法工程师以及希望探索高性能骨干网络的开发者使用。对于需要兼顾局部细节完整性与全局语义理解的应用场景，如高精度图像分类、复杂场景下的物体检测等，Conformer 提供了一个极具潜力的技术解决方案。","# Conformer: Local Features Coupling Global Representations for Visual Recognition\n**Accpeted to ICCV21!**\n\nThis repository is built upon [DeiT](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdeit), [timm](https:\u002F\u002Fgithub.com\u002Frwightman\u002Fpytorch-image-models), and [mmdetction](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmdetection).\n# Introduction\nWithin Convolutional Neural Network (CNN), the convolution operations are good at extracting local features but experience difficulty to capture global representations.\nWithin visual transformer, the cascaded self-attention modules can capture long-distance feature dependencies but unfortunately deteriorate local feature details. \nIn this paper, we propose a hybrid network structure, termed Conformer, to take advantage of convolutional operations and self-attention mechanisms for enhanced representation learning. \nConformer roots in the Feature Coupling Unit (FCU), which fuses local features and global representations under different resolutions in an interactive fashion.\nConformer adopts a concurrent structure so that local features and global representations are retained to the maximum extent.\nExperiments show that Conformer, under the comparable parameter complexity, outperforms the visual transformer (DeiT-B) by 2.3\\% on ImageNet.\nOn MSCOCO, it outperforms ResNet-101 by 3.7\\% and 3.6\\% mAPs for object detection and instance segmentation, respectively, demonstrating the great potential to be a general backbone network. \n\nThe basic architecture of the Conformer is shown as following:\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fpengzhiliang_Conformer_readme_d5ae365bedc0.png)\n\nWe also show the comparison of feature maps of CNN (ResNet-101), Visual Transformer (DeiT-S), and the proposed Conformer as following. \nThe patch embeddings in transformer are reshaped to feature maps for visualization. While CNN activates discriminative local regions ($e.g.$, the peacock's head in (a) and tail in (e)), \nthe CNN branch of Conformer takes advantage of global cues from the visual transformer and thereby activates complete object ($e.g.$, full extent of the peacock in (b) and (f)). \nCompared with CNN, local feature details of the visual transformer are deteriorated ($e.g.$, (c) and (g)). In contrast, \nthe transformer branch of Conformer retains the local feature details from CNN while depressing the background ($e.g.$, \nthe peacock contours in (d) and (h) are more complete than those in(c) and (g).\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fpengzhiliang_Conformer_readme_571663363baf.png)\n\n# Getting started\n\n## Install\n\nFirst, install PyTorch 1.7.0+ and torchvision 0.8.1+ and [pytorch-image-models 0.3.2](https:\u002F\u002Fgithub.com\u002Frwightman\u002Fpytorch-image-models):\n\n```\nconda install -c pytorch pytorch torchvision\npip install timm==0.3.2\n```\n\n## Data preparation\n\nDownload and extract ImageNet train and val images from http:\u002F\u002Fimage-net.org\u002F.\nThe directory structure is the standard layout for the torchvision [`datasets.ImageFolder`](https:\u002F\u002Fpytorch.org\u002Fdocs\u002Fstable\u002Ftorchvision\u002Fdatasets.html#imagefolder), and the training and validation data is expected to be in the `train\u002F` folder and `val` folder respectively:\n\n```\n\u002Fpath\u002Fto\u002Fimagenet\u002F\n  train\u002F\n    class1\u002F\n      img1.jpeg\n    class2\u002F\n      img2.jpeg\n  val\u002F\n    class1\u002F\n      img3.jpeg\n    class\u002F2\n      img4.jpeg\n```\n\n## Training and test\n### Training\nTo train Conformer-S on ImageNet on a single node with 8 gpus for 300 epochs run:\n\n```\nexport CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7\nOUTPUT='.\u002Foutput\u002FConformer_small_patch16_batch_1024_lr1e-3_300epochs'\n\npython -m torch.distributed.launch --master_port 50130 --nproc_per_node=8 --use_env main.py \\\n                                   --model Conformer_small_patch16 \\\n                                   --data-set IMNET \\\n                                   --batch-size 128 \\\n                                   --lr 0.001 \\\n                                   --num_workers 4 \\\n                                   --data-path \u002Fdata\u002Fuser\u002FDataset\u002FImageNet_ILSVRC2012\u002F \\\n                                   --output_dir ${OUTPUT} \\\n                                   --epochs 300\n```\n### Test\nTo test Conformer-S on ImageNet on a single gpu run:\n```\nCUDA_VISIBLE_DEVICES=0, python main.py  --model Conformer_small_patch16 --eval --batch-size 64 \\\n                --input-size 224 \\\n                --data-set IMNET \\\n                --num_workers 4 \\\n                --data-path \u002Fdata\u002Fuser\u002FDataset\u002FImageNet_ILSVRC2012\u002F \\\n                --epochs 100 \\\n                --resume ..\u002FConformer_small_patch16.pth\n```\n\n\n# Model zoo\n| Model        | Parameters | MACs   | Top-1 Acc | Link |\n| ------------ | ---------- | ------ | --------- | ---- |\n| Conformer-Ti | 23.5 M     | 5.2 G  | 81.3 %    | [baidu](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12AblBmhUu5gnYsPjnDE_Jg)(code: hzhm) [google](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F19SxGhKcWOR5oQSxNUWUM2MGYiaWMrF1z\u002Fview?usp=sharing) |\n| Conformer-S  | 37.7 M     | 10.6 G | 83.4 %    | [baidu](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1kYOZ9mRP5fvujH6snsOjew)(code: qvu8) [google](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1mpOlbLaVxOfEwV4-ha78j_1Ebqzj2B83\u002Fview?usp=sharing) |\n| Conformer-B  | 83.3 M     | 23.3 G | 84.1 %    | [baidu](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1FL5XDAqHoimpUxNSunKq0w)(code: b4z9) [google](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1oeQ9LSOGKEUaYGu7WTlUGl3KDsQIi0MA\u002Fview?usp=sharing) |\n\n# Citation\n```\n@article{peng2021conformer,\n      title={Conformer: Local Features Coupling Global Representations for Visual Recognition}, \n      author={Zhiliang Peng and Wei Huang and Shanzhi Gu and Lingxi Xie and Yaowei Wang and Jianbin Jiao and Qixiang Ye},\n      journal={arXiv preprint arXiv:2105.03889},\n      year={2021},\n}\n```\n","# Conformer：局部特征与全局表征耦合的视觉识别网络\n**已被 ICCV21 接收！**\n\n本仓库基于 [DeiT](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdeit)、[timm](https:\u002F\u002Fgithub.com\u002Frwightman\u002Fpytorch-image-models) 和 [mmdetection](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmdetection) 构建。\n\n# 引言\n在卷积神经网络（CNN）中，卷积操作擅长提取局部特征，但难以捕捉全局表征。而在视觉 Transformer 中，级联的自注意力模块能够捕获长距离的特征依赖关系，却往往导致局部特征细节的丢失。\n\n本文提出了一种混合网络结构——Conformer，旨在结合卷积操作与自注意力机制的优势，以提升表征学习能力。Conformer 的核心是特征耦合单元（FCU），它以交互式的方式在不同分辨率下融合局部特征与全局表征。Conformer 采用并行结构，从而最大程度地保留了局部特征和全局表征。\n\n实验表明，在参数量相当的情况下，Conformer 在 ImageNet 数据集上的性能比视觉 Transformer（DeiT-B）高出 2.3%。在 MSCOCO 数据集上，Conformer 分别在目标检测和实例分割任务中较 ResNet-101 提升了 3.7% 和 3.6% 的 mAP，展现了其作为通用骨干网络的巨大潜力。\n\nConformer 的基本架构如下所示：\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fpengzhiliang_Conformer_readme_d5ae365bedc0.png)\n\n我们还对比了 CNN（ResNet-101）、视觉 Transformer（DeiT-S）以及所提出的 Conformer 的特征图，如下所示。其中，Transformer 中的 patch embeddings 被重新调整为特征图以便可视化。CNN 会激活具有判别性的局部区域（例如，(a) 中的孔雀头部和 (e) 中的尾部），而 Conformer 的 CNN 分支则利用来自视觉 Transformer 的全局线索，从而激活完整的物体（例如，(b) 和 (f) 中的整只孔雀）。相比之下，视觉 Transformer 的局部特征细节有所损失（例如，(c) 和 (g)）。与此形成鲜明对比的是，Conformer 的 Transformer 分支在抑制背景的同时，保留了 CNN 中的局部特征细节（例如，(d) 和 (h) 中的孔雀轮廓比 (c) 和 (g) 更加完整）。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fpengzhiliang_Conformer_readme_571663363baf.png)\n\n# 快速入门\n\n## 安装\n\n首先，安装 PyTorch 1.7.0+ 和 torchvision 0.8.1+，以及 [pytorch-image-models 0.3.2](https:\u002F\u002Fgithub.com\u002Frwightman\u002Fpytorch-image-models)：\n\n```\nconda install -c pytorch pytorch torchvision\npip install timm==0.3.2\n```\n\n## 数据准备\n\n从 http:\u002F\u002Fimage-net.org\u002F 下载并解压 ImageNet 的训练和验证图像。目录结构应符合 torchvision [`datasets.ImageFolder`](https:\u002F\u002Fpytorch.org\u002Fdocs\u002Fstable\u002Ftorchvision\u002Fdatasets.html#imagefolder) 的标准布局，即训练数据位于 `train\u002F` 文件夹，验证数据位于 `val\u002F` 文件夹：\n\n```\n\u002Fpath\u002Fto\u002Fimagenet\u002F\n  train\u002F\n    class1\u002F\n      img1.jpeg\n    class2\u002F\n      img2.jpeg\n  val\u002F\n    class1\u002F\n      img3.jpeg\n    class\u002F2\n      img4.jpeg\n```\n\n## 训练与测试\n### 训练\n要在单节点 8 张 GPU 上对 Conformer-S 进行 300 个 epoch 的训练，运行以下命令：\n\n```\nexport CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7\nOUTPUT='.\u002Foutput\u002FConformer_small_patch16_batch_1024_lr1e-3_300epochs'\n\npython -m torch.distributed.launch --master_port 50130 --nproc_per_node=8 --use_env main.py \\\n                                   --model Conformer_small_patch16 \\\n                                   --data-set IMNET \\\n                                   --batch-size 128 \\\n                                   --lr 0.001 \\\n                                   --num_workers 4 \\\n                                   --data-path \u002Fdata\u002Fuser\u002FDataset\u002FImageNet_ILSVRC2012\u002F \\\n                                   --output_dir ${OUTPUT} \\\n                                   --epochs 300\n```\n\n### 测试\n要在单张 GPU 上对 Conformer-S 进行 ImageNet 测试，运行以下命令：\n\n```\nCUDA_VISIBLE_DEVICES=0, python main.py  --model Conformer_small_patch16 --eval --batch-size 64 \\\n                --input-size 224 \\\n                --data-set IMNET \\\n                --num_workers 4 \\\n                --data-path \u002Fdata\u002Fuser\u002FDataset\u002FImageNet_ILSVRC2012\u002F \\\n                --epochs 100 \\\n                --resume ..\u002FConformer_small_patch16.pth\n```\n\n\n# 模型库\n| 模型        | 参数量 | MACs   | Top-1 准确率 | 链接 |\n| ------------ | ---------- | ------ | --------- | ---- |\n| Conformer-Ti | 23.5 M     | 5.2 G  | 81.3 %    | [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12AblBmhUu5gnYsPjnDE_Jg)(提取码: hzhm) [谷歌云盘](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F19SxGhKcWOR5oQSxNUWUM2MGYiaWMrF1z\u002Fview?usp=sharing) |\n| Conformer-S  | 37.7 M     | 10.6 G | 83.4 %    | [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1kYOZ9mRP5fvujH6snsOjew)(提取码: qvu8) [谷歌云盘](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1mpOlbLaVxOfEwV4-ha78j_1Ebqzj2B83\u002Fview?usp=sharing) |\n| Conformer-B  | 83.3 M     | 23.3 G | 84.1 %    | [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1FL5XDAqHoimpUxNSunKq0w)(提取码: b4z9) [谷歌云盘](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1oeQ9LSOGKEUaYGu7WTlUGl3KDsQIi0MA\u002Fview?usp=sharing) |\n\n# 引用\n```\n@article{peng2021conformer,\n      title={Conformer: Local Features Coupling Global Representations for Visual Recognition}, \n      author={Zhiliang Peng and Wei Huang and Shanzhi Gu and Lingxi Xie and Yaowei Wang and Jianbin Jiao and Qixiang Ye},\n      journal={arXiv preprint arXiv:2105.03889},\n      year={2021},\n}\n```","# Conformer 快速上手指南\n\nConformer 是一种混合网络结构，旨在结合卷积神经网络（CNN）提取局部特征的优势与视觉 Transformer（ViT）捕捉全局依赖的能力。该模型在 ImageNet 分类、物体检测及实例分割任务中均表现出卓越性能。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python**: 3.6+\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡\n*   **核心依赖**:\n    *   PyTorch >= 1.7.0\n    *   torchvision >= 0.8.1\n    *   timm == 0.3.2\n\n> **注意**：本项目基于 DeiT, timm 和 mmdetection 构建，请确保安装指定版本的 `timm` 以避免兼容性问题。\n\n## 安装步骤\n\n### 1. 安装基础深度学习框架\n推荐使用 Conda 进行环境管理。执行以下命令安装 PyTorch 和 torchvision：\n\n```bash\nconda install -c pytorch pytorch torchvision\n```\n\n### 2. 安装特定版本 timm\nConformer 依赖特定版本的 `pytorch-image-models` (timm)，请通过 pip 安装：\n\n```bash\npip install timm==0.3.2\n```\n\n### 3. 获取代码\n克隆本仓库到本地（假设您已获取源码仓库）：\n```bash\ngit clone \u003Crepository_url>\ncd \u003Crepository_directory>\n```\n\n## 基本使用\n\n### 1. 数据准备\n下载 ImageNet 数据集（训练集和验证集），并按照 `torchvision.datasets.ImageFolder` 的标准格式整理目录结构：\n\n```text\n\u002Fpath\u002Fto\u002Fimagenet\u002F\n  train\u002F\n    class1\u002F\n      img1.jpeg\n    class2\u002F\n      img2.jpeg\n  val\u002F\n    class1\u002F\n      img3.jpeg\n    class2\u002F\n      img4.jpeg\n```\n\n### 2. 模型训练\n以下是在单节点、8 张 GPU 上训练 **Conformer-S** 模型的示例命令（训练 300 epochs）：\n\n```bash\nexport CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7\nOUTPUT='.\u002Foutput\u002FConformer_small_patch16_batch_1024_lr1e-3_300epochs'\n\npython -m torch.distributed.launch --master_port 50130 --nproc_per_node=8 --use_env main.py \\\n                                   --model Conformer_small_patch16 \\\n                                   --data-set IMNET \\\n                                   --batch-size 128 \\\n                                   --lr 0.001 \\\n                                   --num_workers 4 \\\n                                   --data-path \u002Fdata\u002Fuser\u002FDataset\u002FImageNet_ILSVRC2012\u002F \\\n                                   --output_dir ${OUTPUT} \\\n                                   --epochs 300\n```\n*请根据实际路径修改 `--data-path` 参数。*\n\n### 3. 模型测试\u002F评估\n使用预训练权重在单张 GPU 上评估 **Conformer-S** 模型：\n\n```bash\nCUDA_VISIBLE_DEVICES=0, python main.py  --model Conformer_small_patch16 --eval --batch-size 64 \\\n                --input-size 224 \\\n                --data-set IMNET \\\n                --num_workers 4 \\\n                --data-path \u002Fdata\u002Fuser\u002FDataset\u002FImageNet_ILSVRC2012\u002F \\\n                --epochs 100 \\\n                --resume ..\u002FConformer_small_patch16.pth\n```\n*请将 `--resume` 后的路径替换为您下载的预训练模型文件路径。*\n\n### 4. 预训练模型下载\n您可以从以下地址下载不同规模的预训练模型：\n\n| 模型 | 参数量 | Top-1 准确率 | 下载链接 (国内推荐) |\n| :--- | :--- | :--- | :--- |\n| **Conformer-Ti** | 23.5 M | 81.3% | [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12AblBmhUu5gnYsPjnDE_Jg) (提取码: hzhm) |\n| **Conformer-S** | 37.7 M | 83.4% | [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1kYOZ9mRP5fvujH6snsOjew) (提取码: qvu8) |\n| **Conformer-B** | 83.3 M | 84.1% | [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1FL5XDAqHoimpUxNSunKq0w) (提取码: b4z9) |","某自动驾驶团队正在开发城市道路感知系统，需利用视觉模型精准识别复杂路况下的车辆与行人。\n\n### 没有 Conformer 时\n- **局部细节丢失**：纯 Transformer 架构（如 DeiT）在处理小目标时，因过度关注全局依赖而模糊了车轮、人脸等关键局部特征，导致漏检。\n- **全局上下文缺失**：传统 CNN（如 ResNet）虽能提取清晰纹理，却难以捕捉长距离依赖，无法理解被遮挡车辆的整体轮廓或判断交通流趋势。\n- **精度瓶颈明显**：在拥挤场景下，单一架构模型的对象检测 mAP 值难以突破现有上限，频繁出现将背景误判为障碍物或将完整物体割裂识别的情况。\n- **算力与性能失衡**：为了弥补架构缺陷，团队被迫堆叠更多层数或增大输入分辨率，导致推理延迟增加，无法满足车载实时性要求。\n\n### 使用 Conformer 后\n- **特征互补增强**：Conformer 通过特征耦合单元（FCU）并行保留 CNN 的局部细节与 Transformer 的全局表征，既看清了行人的五官，又掌握了其全身姿态。\n- **完整对象激活**：借助全局线索引导，模型能激活完整的物体区域，有效解决了以往只检测到“车头”而忽略“车尾”的碎片化识别问题。\n- **检测精度跃升**：在同等参数量下，Conformer 在类似 COCO 的数据集上比 ResNet-101 提升了 3.7% 的检测精度，显著降低了复杂路口的误报率。\n- **高效通用骨干**：无需额外增加计算负担，Conformer 直接作为通用骨干网络，在保持实时推理速度的同时，大幅提升了对遮挡和多变光照的鲁棒性。\n\nConformer 通过巧妙融合卷积与注意力机制，打破了局部细节与全局感知的互斥魔咒，为高精度视觉识别提供了兼具速度与准确性的最优解。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fpengzhiliang_Conformer_57166336.png","pengzhiliang","Zhiliang Peng","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fpengzhiliang_b046fe3e.jpg",null,"Microsoft Research","Beijing,China","https:\u002F\u002Fpengzhiliang.github.io","https:\u002F\u002Fgithub.com\u002Fpengzhiliang",[82,86,90,94,97,100],{"name":83,"color":84,"percentage":85},"Jupyter Notebook","#DA5B0B",61.9,{"name":87,"color":88,"percentage":89},"Python","#3572A5",38.1,{"name":91,"color":92,"percentage":93},"Shell","#89e051",0,{"name":95,"color":96,"percentage":93},"Dockerfile","#384d54",{"name":98,"color":99,"percentage":93},"Batchfile","#C1F12E",{"name":101,"color":102,"percentage":93},"Makefile","#427819",596,90,"2026-04-13T12:02:50","Apache-2.0","Linux","必需 NVIDIA GPU。训练示例使用 8 张 GPU (CUDA_VISIBLE_DEVICES=0-7)，单卡测试可行。具体显存大小未说明，但需支持 PyTorch 1.7.0+ 及对应的 CUDA 版本。","未说明",{"notes":111,"python":112,"dependencies":113},"该工具基于 DeiT、timm 和 mmdetection 构建。训练示例命令中使用了 torch.distributed.launch，表明主要支持 Linux 环境下的多卡分布式训练。数据需按照 torchvision ImageFolder 标准格式整理。模型权重可通过百度网盘或 Google Drive 下载。","未说明 (需兼容 PyTorch 1.7.0+)",[114,115,116,117],"torch>=1.7.0","torchvision>=0.8.1","timm==0.3.2","mmdetection",[35,15],[120,121,122,123],"transformer","cnn","classification","object-detection","2026-03-27T02:49:30.150509","2026-04-20T04:05:09.056336",[127,132,137,142,147,152,157,162],{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},43740,"如何在自定义数据集上训练 Conformer？需要如何配置代码？","如果你的数据集格式如下：\n\u002Fpath\u002Fto\u002Fyour dataset\u002F\n  train\u002F\n    class1\u002F\n      img1.jpeg\n    class2\u002F\n      img2.jpeg\n  val\u002F\n    class1\u002F\n      img3.jpeg\n    class2\u002F\n      img4.jpeg\n\n你只需要在 `dataset.py` 的 `build_dataset()` 函数中添加以下代码：\n```python\nelif args.data_set == 'YOUR DATASET NAME':\n    root = os.path.join(args.data_path, 'train' if is_train else 'val')\n    dataset = datasets.ImageFolder(root, transform=transform)\n    nb_classes = XXXX  # 替换为你的类别数量\n```\n然后运行训练脚本时指定 `--data-set YOUR DATASET NAME` 即可。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F14",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},43741,"为什么在下采样 FCU 中使用 LayerNorm (LN)，而在上采样 FCU 中使用 BatchNorm (BN)？","CNN 分支使用 BN，Transformer 分支使用 LN，因为它们在完全不同的维度上进行归一化。如果在融合特征时不使用任何归一化，会导致特征不对齐，进而导致训练崩溃（出现 NaN）。\n对于 FCU（特征耦合单元），使用 LN 主要是为了对齐两个分支的特征。如果两边都使用 BN，无法实现对齐目标并可能导致数值不稳定（NaN）。此外，保留 ViT 原始的 LN 结构也是为了确保其有效性。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F4",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},43742,"如何解决 'KeyError: Conformer is not in the models registry' 错误？","这个错误通常是因为没有正确安装或注册 MMDetection 模块。请尝试以下步骤解决：\n1. 进入 mmdetection 目录：`cd mmdetection`\n2. 以开发模式安装：`pip install -e .` 或者运行 `python setup.py develop`\n确保安装完成后再次运行代码。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F17",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},43743,"是否支持 VOC 格式的数据集进行目标检测训练？","支持的。你可以将 Conformer 作为骨干网络集成到常见的检测框架中（如 MMDetection）。作者已开源了基于 MMDetection 的检测代码，可以参考：https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Ftree\u002Fmain\u002Fmmdetection。只需将 Conformer  backbone 放入检测框架配置中即可训练 VOC 数据集。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F3",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},43744,"推理时模型加载权重失败或不生效怎么办？","如果在推理时发现模型没有正确加载权重（即未执行 `load_state_dict`），请检查以下几点：\n1. 确认模型权重文件的路径是否正确。\n2. 确认命令行参数 `--resume` 是否正确传递给了 `args`。\n3. 检查代码中 `torch.load` 后是否调用了 `model.load_state_dict()`。\n建议先使用官方提供的 ImageNet2012 数据集和预训练模型测试流程，排除环境或数据问题。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F19",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},43745,"MMDetection 的配置能否正确加载 ImageNet 预训练模型？","可以。作者确认可以将 ImageNet 预训练模型作为 MMDetection 配置的预训练权重加载。如果你在分割或检测任务中效果不佳，可能是由于任务差异或超参数设置问题，建议先在标准检测任务（如 COCO 或 VOC）上验证预训练模型的有效性。目前作者主要专注于分类和检测，暂未提供专门的分割配置。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F12",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},43746,"绘制论文中的特征图（Feature Maps）使用了什么工具？","作者确认使用了 pytorch-cnn-visualizations 工具来绘制特征图，该工具地址为：https:\u002F\u002Fgithub.com\u002Futkuozbulak\u002Fpytorch-cnn-visualizations。这是一个非常优秀的可视化项目，可用于复现论文中的特征图效果。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F10",{"id":163,"question_zh":164,"answer_zh":165,"source_url":166},43747,"Transformer 分支是否需要单独的 Loss 监督？只监督 Conv 分支效果如何？","从模型结构来看，Conv 层的特征已经融合了 Transformer 的特征。虽然理论上可以尝试只监督 Conv 分支，但消融实验表明，如果不给 Transformer 分支施加 Loss 监督，整体性能可能会下降。作者在回复中暗示这种设计是经过验证的，建议保持原有的双分支监督策略以获得最佳效果。","https:\u002F\u002Fgithub.com\u002Fpengzhiliang\u002FConformer\u002Fissues\u002F8",[]]