1. 从 OpenDataLab 或 COCO 下载 COCO2017 数据集。

2. 修改 coco_detection.yml 中的路径：

   train_dataloader:
       img_folder: /data/COCO2017/train2017/
       ann_file: /data/COCO2017/annotations/instances_train2017.json
   val_dataloader:
       img_folder: /data/COCO2017/val2017/
       ann_file: /data/COCO2017/annotations/instances_val2017.json
   

要在你的自定义数据集上进行训练，你需要将其组织成 COCO 格式。请按照以下步骤准备你的数据集：

1. 将 remap_mscoco_category 设置为 False:

   这可以防止类别 ID 自动重新映射以匹配 MSCOCO 类别。

   remap_mscoco_category: False
   

2. 组织图像:

   按照以下目录结构组织你的数据集：

   dataset/
   ├── images/
   │   ├── train/
   │   │   ├── image1.jpg
   │   │   ├── image2.jpg
   │   │   └── ...
   │   ├── val/
   │   │   ├── image1.jpg
   │   │   ├── image2.jpg
   │   │   └── ...
   └── annotations/
       ├── instances_train.json
       ├── instances_val.json
       └── ...
   

   • images/train/: 包含所有训练图像。
   • images/val/: 包含所有验证图像。
   • annotations/: 包含 COCO 格式的标注文件。

3. 将标注转换为 COCO 格式:

   如果你的标注还不是 COCO 格式，你需要将其转换。你可以使用以下 Python 脚本作为参考，或者利用现有的工具：

   import json
   
   def convert_to_coco(input_annotations, output_annotations):
       # 在这里实现转换逻辑
       pass
   
   if __name__ == "__main__":
       convert_to_coco('path/to/your_annotations.json', 'dataset/annotations/instances_train.json')
   

4. 更新配置文件:

   修改你的 custom_detection.yml。

   task: detection
   
   evaluator:
     type: CocoEvaluator
     iou_types: ['bbox', ]
   
   num_classes: 777 # 你的数据集类别数
   remap_mscoco_category: False
   
   train_dataloader:
     type: DataLoader
     dataset:
       type: CocoDetection
       img_folder: /data/yourdataset/train
       ann_file: /data/yourdataset/train/train.json
       return_masks: False
       transforms:
         type: Compose
         ops: ~
     shuffle: True
     num_workers: 4
     drop_last: True
     collate_fn:
       type: BatchImageCollateFunction
   
   val_dataloader:
     type: DataLoader
     dataset:
       type: CocoDetection
       img_folder: /data/yourdataset/val
       ann_file: /data/yourdataset/val/ann.json
       return_masks: False
       transforms:
         type: Compose
         ops: ~
     shuffle: False
     num_workers: 4
     drop_last: False
     collate_fn:
       type: BatchImageCollateFunction
   

1. 训练

CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --master_port=7777 --nproc_per_node=4 train.py -c configs/deim_dfine/deim_hgnetv2_${model}_coco.yml --use-amp --seed=0

2. 测试

CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --master_port=7777 --nproc_per_node=4 train.py -c configs/deim_dfine/deim_hgnetv2_${model}_coco.yml --test-only -r model.pth

3. 调参

CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --master_port=7777 --nproc_per_node=4 train.py -c configs/deim_dfine/deim_hgnetv2_${model}_coco.yml --use-amp --seed=0 -t model.pth

例如，如果您希望在 COCO2017 数据集上训练 D-FINE-L 时将总批量大小增加一倍，可以按照以下步骤操作：

1. 修改 dataloader.yml，将 total_batch_size 增大：

   train_dataloader:
       total_batch_size: 64  # 原本是 32，现在加倍
   

2. 修改 deim_hgnetv2_l_coco.yml。以下是关键参数的调整方式：

   optimizer:
   type: AdamW
   params:
       -
       params: '^(?=.*backbone)(?!.*norm|bn).*$'
       lr: 0.000025  # 加倍，遵循线性缩放法则
       -
       params: '^(?=.*(?:encoder|decoder))(?=.*(?:norm|bn)).*$'
       weight_decay: 0.
   
   lr: 0.0005  # 加倍，遵循线性缩放法则
   betas: [0.9, 0.999]
   weight_decay: 0.0001  # 需要进行网格搜索
   
   ema:  # 添加 EMA 设置
       decay: 0.9998  # 根据公式 1 - (1 - decay) * 2 进行调整
       warmups: 500  # 减半
   
   lr_warmup_scheduler:
       warmup_duration: 250  # 减半
   

如果您希望在 COCO2017 数据集上以 320x320 的输入尺寸训练 DEIM，请按照以下步骤操作：

1. 修改 dataloader.yml：

   
   train_dataloader:
   dataset:
       transforms:
           ops:
               - {type: Resize, size: [320, 320], }
   collate_fn:
       base_size: 320
   dataset:
       transforms:
           ops:
               - {type: Resize, size: [320, 320], }
   

2. 修改 dfine_hgnetv2.yml：

   eval_spatial_size: [320, 320]
   

1. 环境准备

pip install onnx onnxsim

2. 导出 onnx

python tools/deployment/export_onnx.py --check -c configs/deim_dfine/deim_hgnetv2_${model}_coco.yml -r model.pth

3. 导出 tensorrt

trtexec --onnx="model.onnx" --saveEngine="model.engine" --fp16

1. 环境准备

pip install -r tools/inference/requirements.txt

2. 推理（onnxruntime / tensorrt / torch）

现已支持对图像和视频进行推理。

python tools/inference/onnx_inf.py --onnx model.onnx --input image.jpg  # video.mp4
python tools/inference/trt_inf.py --trt model.engine --input image.jpg
python tools/inference/torch_inf.py -c configs/deim_dfine/deim_hgnetv2_${model}_coco.yml -r model.pth --input image.jpg --device cuda:0

1. 环境准备

pip install -r tools/benchmark/requirements.txt

2. 模型 FLOPs、MACs 和参数量

python tools/benchmark/get_info.py -c configs/deim_dfine/deim_hgnetv2_${model}_coco.yml

2. TensorRT 延迟

python tools/benchmark/trt_benchmark.py --COCO_dir path/to/COCO2017 --engine_dir model.engine

1. 环境准备

pip install fiftyone

4. Voxel51 Fiftyone 可视化（fiftyone）

python tools/visualization/fiftyone_vis.py -c configs/deim_dfine/deim_hgnetv2_${model}_coco.yml -r model.pth

1. 自动恢复训练

bash reference/safe_training.sh

2. 模型权重转换

python reference/convert_weight.py model.pth

@misc{huang2024deim,
      title={DEIM: DETR with Improved Matching for Fast Convergence},
      author={Shihua, Huang and Zhichao, Lu and Xiaodong, Cun and Yongjun, Yu and Xiao, Zhou and Xi, Shen},
      booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
      year={2025},
}