University1652-基准

卫星、无人机、地面

[论文] [幻灯片] [探索无人机视角数据] [探索卫星视角数据] [探索街景视角数据] [视频样本] [中文介绍] [建筑物名称列表] [经纬度] [飞行路径]

⭐ 觉得有用吗？请给我们点个赞！ 帮助我们触达更多从事基于无人机地理定位研究的学者。🚀

按需下载[University-1652]（通常我会在5分钟内回复您）。您可以使用请求模板。

本仓库包含我们论文《University-1652：用于无人机地理定位的多视角多源基准》（https://arxiv.org/abs/2002.12186，ACM多媒体2020）的数据集链接和代码。官方论文链接为https://dl.acm.org/doi/10.1145/3394171.3413896。我们收集了全球72所大学的1652栋建筑物。感谢您的关注。

任务1：无人机视角目标定位。 （无人机→卫星）给定一张无人机视角图像或视频，任务旨在找到最相似的卫星视角图像，以在卫星视图中定位目标建筑物。

任务2：无人机导航。 （卫星→无人机）给定一张卫星视角图像，无人机需要找到它曾经飞过的最相关位置（无人机视角图像）。根据其飞行历史，无人机可以导航回目标位置。

研讨会与挑战赛

2026研讨会和特别会议

• ACM MM UAVM 2026：加入我们的第4次研讨会！详情。

• 挑战赛：https://www.codabench.org/competitions/15251/

2025研讨会和特别会议

- **ACM MM UAVM 2025**：加入我们的第3次研讨会！[详情](https://www.zdzheng.xyz/ACMMM2025Workshop-UAV/)。 - **挑战赛流程**： 1. 在University-1652上训练（无人机+卫星+街景）。 2. 从[OneDrive](https://www.zdzheng.xyz/ACMMM2025Workshop-UAV/)下载姓名已脱敏的测试集。 3. 使用您的模型提取特征。 4. 修改`demo.py`或`evaluate_gpu.py`以保存前10名画廊图像的名称（按查询顺序排列）。

2024研讨会和特别会议

• ACM MM UAVM研讨会2024 我们将在ACM MM 2024上举办第2次研讨会！请参阅https://www.zdzheng.xyz/ACMMM2024Workshop-UAV/以获取参考信息。

• ACM ICMR研讨会2024 我们将在ACM ICMR 2024上举办关于多媒体对象再识别的研讨会。欢迎您分享您的见解。我们在泰国普吉岛见！😃 研讨会链接是https://www.zdzheng.xyz/MORE2024/ 。投稿截止日期为2024年4月15日。

• ACM WWW研讨会2024 我们将在ACM WWW 2025上举办关于多媒体对象再识别的研讨会。欢迎您分享您的见解。我们在悉尼见！😃 研讨会链接是https://www.zdzheng.xyz/MORE2025/ 。投稿截止日期为2025年1月1日。

2023研讨会和特别会议

• IEEE ITSC特别会议2023 我们将在IEEE智能交通系统大会（ITSC）上举办一场特别会议，主题涵盖对象再识别和点云技术。论文提交截止日期为2023年5月15日，结果通知将于2023年6月30日发布。请在提交时选择会议代码``w7r4a''。更多详情请参见特别会议网站。

• 遥感特别期号2023 我们自即日起至~~2023年6月16日~~2023年12月16日发起遥感特别期号（IF=5.3）。欢迎各位提交稿件至(https://www.mdpi.com/journal/remotesensing/special_issues/EMPK490239)，但请注意开源费用问题。

• ACM多媒体研讨会2023 我们在ACM多媒体2023上举办了关于航拍成像的研讨会。征稿通知 中文介绍

目录

• 关于数据集
• 新闻
• 代码特性
• 先决条件
• 开始使用
  • 安装
  • 数据集准备
  • 训练与评估
  • 训练好的模型
  • University-16k
• 引用

关于数据集

数据集的划分如下：

划分	#图片	#建筑物	#大学
训练集	50,218	701	33
无人机查询集	37,855	701	39
卫星查询集	701	701	39
地面查询集	2,579	701	39
无人机图库集	51,355	951	39
卫星图库集	951	951	39
地面图库集	2,921	793	39

更详细的文件结构：

├── University-1652/
│   ├── readme.txt
│   ├── train/
│       ├── drone/                   /* 无人机视角训练图像 
│           ├── 0001
|           ├── 0002
|           ...
│       ├── street/                  /* 街景视角训练图像 
│       ├── satellite/               /* 卫星视角训练图像       
│       ├── google/                  /* 来自Google Image的噪声街景训练图像
│   ├── test/
│       ├── query_drone/  
│       ├── gallery_drone/  
│       ├── query_street/  
│       ├── gallery_street/ 
│       ├── query_satellite/  
│       ├── gallery_satellite/ 
│       ├── 4K_drone/

我们注意到，训练集中的33所大学与测试集中的39所大学之间没有重叠。 下载：请在此处申请数据集链接（5分钟内回复）。

新闻

2025年5月2日 我用PyTorch中合并的支持替换了apex，用于fp16和bf16。

2024年11月26日 无人机到BEV？您可以查看我们的新论文“Video2BEV: 将无人机视频转换为BEV以进行基于视频的地理定位”，网址为https://arxiv.org/abs/2411.13610。

2024年7月2日 文本引导的地理定位已被ECCV 2024接受。代码现已可用。

2023年1月26日 1652栋建筑名称列表可在这里找到。

2022年7月10日 雨天？夜晚？雾天？雪天？您可以查看我们的新论文“用于航拍地理定位的多环境自适应网络”，网址为https://github.com/wtyhub/MuseNet（已被Pattern Recognition'24接受）。

2021年12月1日 修复了由于最新版torchvision导致的问题，该版本不允许空子文件夹。请注意，部分建筑物没有Google图像。

2021年3月3日 添加了GeM池化。您可以通过--pool gem来使用它。

2021年1月21日 基于GNN的实时后处理代码GPU-Re-Ranking已在这里提供。

2020年8月21日 用于牛津和巴黎的迁移学习代码已在这里提供。

2020年7月27日 1652栋建筑的元数据，如经纬度，现已在Google Drive上可用。（您可以使用Google Earth Pro打开kml文件或使用vim查看数值）。我们还提供了螺旋飞行游览文件，可在Google Drive上找到。（您可以通过Google Earth Pro打开kml文件以启用飞行相机）。

2020年7月26日 论文已被ACM Multimedia 2020接受。

2020年7月12日 我将University-1652上的三元组损失（带软边界）基准公开在这里。

2020年3月12日 我添加了关于地理定位的最先进方法页面以及教程，这些内容将很快更新。

代码特性

目前我们支持：

• 使用原生PyTorch支持的Float16和BFloat16（替换apex）
• 多查询评估
• 重排序
• 随机擦除
• ResNet/VGG-16
• 可视化训练曲线
• 可视化排名结果
• 线性预热

先决条件

• Python 3.6+
• GPU内存 >= 8G
• Numpy > 1.12.1
• PyTorch 0.3+

开始使用

安装

• 从http://pytorch.org/安装PyTorch
• 安装所需包

pip install -r requirement.txt

• [可选] 通常PyTorch自带。从源码安装Torchvision（请查看README。或者直接通过anaconda安装即可）。

git clone https://github.com/pytorch/vision # 请检查版本以匹配PyTorch。
cd vision
python setup.py install

数据集与准备

按需下载[University-1652]。您可以使用申请模板。

或者下载CVUSA / CVACT。

对于CVUSA，我遵循(Liumouliu/OriCNN)中的训练/测试划分。

训练与评估

训练与评估University-1652

python train.py --name three_view_long_share_d0.75_256_s1_google  --extra --views 3  --droprate 0.75  --share  --stride 1 --h 256  --w 256 --fp16; 
python test.py --name three_view_long_share_d0.75_256_s1_google

默认设置：无人机 -> 卫星 如果您想尝试其他评估设置，可以修改以下代码行：https://github.com/layumi/University1652-Baseline/blob/master/test.py#L217-L225

仅卫星与无人机的消融研究

python train_no_street.py --name two_view_long_no_street_share_d0.75_256_s1  --share --views 3  --droprate 0.75  --stride 1 --h 256  --w 256  --fp16; 
python test.py --name two_view_long_no_street_share_d0.75_256_s1

设置三个视图，但将街景图像的损失权重设为零。

训练与评估CVUSA

python prepare_cvusa.py
python train_cvusa.py --name usa_vgg_noshare_warm5_lr2 --warm 5 --lr 0.02 --use_vgg16 --h 256 --w 256  --fp16 --batchsize 16;
python test_cvusa.py  --name usa_vgg_noshare_warm5_lr2 

展示检索到的前10名结果

python test.py --name three_view_long_share_d0.75_256_s1_google # 测试完成后
python demo.py --query_index 0 # 您想在查询集中查询哪张图片

系统会保存一张名为show.png的图片，其中包含前10名检索结果，存放在相应文件夹中。

训练好的模型

您可以在GoogleDrive或OneDrive下载训练好的模型。下载后，请将模型文件夹放入./model/目录下。

🌍 University-160k 测试——永久开放！

随时测试 —— 我们的评测服务器 永不结束！
University160k 是一个具有挑战性的跨视角地理定位测试集，模拟了真实世界的大规模场景。
它在 University-1652 的基础上扩展了 +167,486 张卫星视图干扰图像。 加入并提交 →

引用

以下论文使用并报告了基线模型的结果。您可以在自己的论文中引用它们。

@article{zheng2020university,
  title={University-1652：基于无人机的多视角、多源地理定位基准数据集},
  author={Zheng, Zhedong and Wei, Yunchao and Yang, Yi},
  journal={ACM Multimedia},
  year={2020}
}
@inproceedings{zheng2023uavm,
  title={UAVM'23：2023年多媒体中的无人机研讨会——以全新视角捕捉世界},
  author={Zheng, Zhedong and Shi, Yujiao and Wang, Tingyu and Liu, Jun and Fang, Jianwu and Wei, Yunchao and Chua, Tat-seng},
  booktitle={第31届ACM国际多媒体会议论文集},
  pages={9715--9717},
  year={2023}
}

实例损失的定义见：

@article{zheng2017dual,
  title={带有实例损失的双路径卷积图像-文本嵌入},
  author={Zheng, Zhedong and Zheng, Liang and Garrett, Michael and Yang, Yi and Xu, Mingliang and Shen, Yi-Dong},
  journal={ACM多媒体计算、通信与应用期刊（TOMM）},
  doi={10.1145/3383184},
  volume={16},
  number={2},
  pages={1--23},
  year={2020},
  publisher={ACM 纽约，纽约州，美国}
}

相关工作

• 实例损失 代码
• 不同视角下的行人再识别 代码
• 为神经网络赋予方向性以实现跨视角地理定位 代码
• 从航空影像预测地面场景布局 代码

University1652-Baseline 快速上手指南

University1652-Baseline 是一个用于无人机地理定位（Drone-based Geo-localization）的多视角多源基准项目。它支持卫星、无人机和地面街景三种视角的图像匹配与定位任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python: 3.6 及以上版本
• GPU: 显存 >= 8GB
• 核心依赖:
  • PyTorch 0.3+ (建议使用较新版本以兼容 fp16/bf16)
  • NumPy > 1.12.1
  • Torchvision (需与 PyTorch 版本匹配)

安装步骤

1. 安装 PyTorch

请访问 PyTorch 官网 根据您的 CUDA 版本安装合适的 PyTorch。 (国内用户推荐使用清华或阿里镜像源加速安装)

# 示例：使用 pip 安装 (请根据实际 CUDA 版本调整)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

2. 安装项目依赖

克隆本仓库并安装所需的 Python 包：

git clone https://github.com/layumi/University1652-Baseline.git
cd University1652-Baseline
pip install -r requirement.txt

3. (可选) 源码安装 Torchvision

如果通过 pip 安装的 Torchvision 版本与您的 PyTorch 不匹配，可以从源码安装：

git clone https://github.com/pytorch/vision
cd vision
# 请检查分支版本以匹配您的 PyTorch 版本
python setup.py install
cd ..

基本使用

1. 数据集准备

本项目使用的 University-1652 数据集需要申请下载。

• 申请方式: 填写 Request.md 中的模板发送给作者（通常 5 分钟内回复）。
• 目录结构: 下载后解压，确保目录结构如下：

  ├── University-1652/
  │   ├── train/          # 训练集 (drone, street, satellite, google)
  │   └── test/           # 测试集 (query_*, gallery_*)
  

• 替代方案: 您也可以使用 CVUSA 或 CVACT 数据集进行实验。

2. 模型训练与评估

以下命令演示了默认的“无人机视角 -> 卫星视角” (Drone -> Satellite) 任务的训练与测试流程。

步骤 A: 训练模型 使用多视角（无人机、卫星、街景）数据进行训练，开启混合精度训练 (--fp16) 以节省显存。

python train.py --name three_view_long_share_d0.75_256_s1_google --extra --views 3 --droprate 0.75 --share --stride 1 --h 256 --w 256 --fp16

步骤 B: 评估模型 使用训练好的模型进行测试评估。

python test.py --name three_view_long_share_d0.75_256_s1_google

3. 其他配置说明

• 仅使用卫星与无人机视角: 如果您想排除街景数据进行消融实验，请使用以下命令：

  python train_no_street.py --name two_view_long_no_street_share_d0.75_256_s1 --share --views 3 --droprate 0.75 --stride 1 --h 256 --w 256 --fp16
  python test.py --name two_view_long_no_street_share_d0.75_256_s1
  

• 切换任务模式: 默认设置为 Drone -> Satellite。若需测试 Satellite -> Drone 或其他模式，请修改 test.py 文件中第 217-225 行的相关配置。

4. 特性支持

当前代码库已原生支持以下特性，可通过命令行参数启用：

• 精度优化: Float16 (--fp16) 和 BFloat16
• 重排序: GPU-Re-Ranking (基于 GNN 的后处理)
• 数据增强: Random Erasing, Linear Warm-up
• 骨干网络: ResNet, VGG-16, GeM Pooling (--pool gem)