English | 简体中文

AutoDL Challenge@NeurIPS 冠军方案，竞赛细节参见 AutoDL Competition。

1. AutoDL是什么？

AutoDL聚焦于自动进行任意模态（图像、视频、语音、文本、表格数据）多标签分类的通用算法，可以用一套标准算法流解决现实世界的复杂分类问题，解决调数据、特征、模型、超参等烦恼，最短10秒就可以做出性能优异的分类器。本工程在不同领域的24个离线数据集、15个线上数据集都获得了极为优异的成绩。AutoDL拥有以下特性：

☕ 全自动：全自动深度学习/机器学习框架，全流程无需人工干预。数据、特征、模型的所有细节都已调节至最佳，统一解决了资源受限、数据倾斜、小数据、特征工程、模型选型、网络结构优化、超参搜索等问题。只需要准备数据，开始AutoDL，然后喝一杯咖啡。

🌌 通用性：支持任意模态，包括图像、视频、音频、文本和结构化表格数据，支持任意多标签分类问题，包括二分类、多分类、多标签分类。它在不同领域都获得了极其优异的成绩，如行人识别、行人动作识别、人脸识别、声纹识别、音乐分类、口音分类、语言分类、情感分类、邮件分类、新闻分类、广告优化、推荐系统、搜索引擎、精准营销等等。

👍 效果出色：AutoDL竞赛获得压倒性优势的冠军方案，包含对传统机器学习模型和最新深度学习模型支持。模型库包括从LR/SVM/LGB/CGB/XGB到ResNet*/MC3/DNN/ThinResnet*/TextCNN/RCNN/GRU/BERT等优选出的冠军模型。

⚡ 极速/实时：最快只需十秒即可获得极具竞争力的模型性能。结果实时刷新（秒级），无需等待即可获得模型实时效果反馈。

2. 目录

• 1. AutoDL是什么？
• 2. 目录
• 3. 效果
• 4. AutoDL竞赛使用说明
  • 4.1. 使用效果示例（横轴为对数时间轴，纵轴为AUC）
• 5. 安装
  • 5.1. pip 安装
• 6. 快速上手
  • 6.1. 快速上手之AutoDL本地效果测试
  • 6.2. 快速上手之图像分类
  • 6.3. 快速上手之视频分类
  • 6.4. 快速上手之音频分类
  • 6.5. 快速上手之文本分类
  • 6.6. 快速上手之表格分类
• 7. 可用数据集
  • 7.1. (可选) 下载数据集
  • 7.2. 公共数据集信息
• 8. 贡献代码
• 9. 加入社区
• 10. 开源协议

3. 效果

• 预赛榜单（DeepWisdom总分第一，平均排名1.2，在5个数据集中取得了4项第一）

• 决赛榜单（DeepWisdom总分第一，平均排名1.8，在10个数据集中取得了7项第一）

4. AutoDL竞赛使用说明

1. 基础环境

   python>=3.5
   CUDA 10
   cuDNN 7.5
   

2. clone仓库

   cd <path_to_your_directory>
   git clone https://github.com/DeepWisdom/AutoDL.git
   

3. 预训练模型准备 下载模型 speech_model.h5 放至 AutoDL_sample_code_submission/at_speech/pretrained_models/ 目录。

4. 可选：使用与竞赛同步的docker环境

   • CPU

   cd path/to/autodl/
   docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
   

   • GPU

   nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
   

5. 数据集准备：使用 AutoDL_sample_data 中样例数据集，或批量下载竞赛公开数据集。

6. 进行本地测试

   python run_local_test.py
   

本地测试完整使用。 python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission' 您可在 AutoDL_scoring_output/ 目录中查看实时学习曲线反馈的HTML页面。

细节可参考 AutoDL Challenge official starting_kit.

4.1. 使用效果示例（横轴为对数时间轴，纵轴为AUC）

可以看出，在五个不同模态的数据集下，AutoDL算法流都获得了极为出色的全时期效果，可以在极短的时间内达到极高的精度。

5. 安装

本仓库在 Python 3.6+, PyTorch 1.3.1 和 TensorFlow 1.15上测试.

你应该在虚拟环境 中安装autodl。 如果对虚拟环境不熟悉，请看 用户指导.

用合适的Python版本创建虚拟环境，然后激活它。

5.1 windows10 安装过程

5.1.1 安装 cuda 10.0 和 cudnn v7.6.2.24

• CUDA 10.0下载
• cuDNN下载
• 百度云 提取码：xb9x

5.1.2 安装 Miniconda3-4.5.4-Windows-x86_64.exe

• Miniconda3-4.5.4-Windows-x86_64.exe
• 百度云 提取码：xb9x

5.1.3 安装 visualcppbuildtools_full.exe

• visualcppbuildtools_full.exe
• 百度云 提取码：xb9x

5.1.4 创建 start_env.bat 文件

• 将其移动到安装的 Miniconda3 同级目录下

cmd.exe "/K" .\Miniconda3\Scripts\activate.bat .\Miniconda3

5.1.5 双击 start_env.bat 安装 autodl-gpu

conda install pytorch==1.3.1
conda install torchvision -c pytorch
pip install autodl-gpu

5.2 Linux安装

pip install autodl-gpu

6. 快速上手

6.1. 快速上手之AutoDL本地效果测试

指导参见 快速上手之AutoDL本地效果测试，样例代码参见 examples/run_local_test.py

6.2. 快速上手之图像分类

参见 快速上手之图像分类，样例代码参见 examples/run_image_classification_example.py

6.3. 快速上手之视频分类

指导参见 快速上手之视频分类，样例代码参见examples/run_video_classification_example.py

6.4. 快速上手之音频分类

指导参见 快速上手之音频分类，样例代码参见examples/run_speech_classification_example.py

6.5. 快速上手之文本分类

指导参见 快速上手之文本分类，样例代码参见examples/run_text_classification_example.py。

6.6. 快速上手之表格分类

指导参见 快速上手之表格分类，样例代码参见examples/run_tabular_classification_example.py.

7. 可用数据集

7.1. (可选) 下载数据集

python download_public_datasets.py

7.2. 公共数据集信息

#	名称	类型	领域	大小	来源	数据（不含测试标签）	测试标签
1	Munster	图像	手写字符识别	18 MB	MNIST	munster.data	munster.solution
2	City	图像	物体识别	128 MB	Cifar-10	city.data	city.solution
3	Chucky	图像	物体识别	128 MB	Cifar-100	chucky.data	chucky.solution
4	Pedro	图像	人物识别	377 MB	PA-100K	pedro.data	pedro.solution
5	Decal	图像	航拍图像	73 MB	NWPU VHR-10	decal.data	decal.solution
6	Hammer	图像	医疗图像	111 MB	Ham10000	hammer.data	hammer.solution
7	Kreatur	视频	动作识别	469 MB	KTH	kreatur.data	kreatur.solution
8	Kreatur3	视频	动作识别	588 MB	KTH	kreatur3.data	kreatur3.solution
9	Kraut	视频	动作识别	1.9 GB	KTH	kraut.data	kraut.solution
10	Katze	视频	动作识别	1.9 GB	KTH	katze.data	katze.solution
11	data01	语音	发言人识别	1.8 GB	--	data01.data	data01.solution
12	data02	语音	情感识别	53 MB	--	data02.data	data02.solution
13	data03	语音	口音识别	1.8 GB	--	data03.data	data03.solution
14	data04	语音	语种识别	469 MB	--	data04.data	data04.solution
15	data05	语音	语言识别	208 MB	--	data05.data	data05.solution
16	O1	文本	评论	828 KB	--	O1.data	O1.solution
17	O2	文本	情感分析	25 MB	--	O2.data	O2.solution
18	O3	文本	新闻	88 MB	--	O3.data	O3.solution
19	O4	文本	垃圾邮件过滤	87 MB	--	O4.data	O4.solution
20	O5	文本	新闻	14 MB	--	O5.data	O5.solution
21	Adult	表格	人口普查	2 MB	Adult	adult.data	adult.solution
22	Dilbert	表格	--	162 MB	--	dilbert.data	dilbert.solution
23	Digits	表格	手写字符识别	137 MB	MNIST	digits.data	digits.solution
24	Madeline	表格	--	2.6 MB	--	madeline.data	madeline.solution

8. 贡献代码

❤️ 请毫不犹豫参加贡献 Open an issue 或提交 PRs。

9. 加入社区

10. 开源协议

Apache License 2.0

AutoDL 快速上手指南

AutoDL 是一个全自动深度学习框架，支持图像、视频、音频、文本及表格数据的多标签分类。无需人工干预特征工程或模型选型，最短 10 秒即可构建高性能分类器。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 Windows 10
• Python 版本: >= 3.5 (推荐 3.6+)
• GPU 环境 (可选但推荐):
  • CUDA 10.0
  • cuDNN 7.5+
• 深度学习框架: 已在 PyTorch 1.3.1 和 TensorFlow 1.15 上测试通过。

注意：建议在虚拟环境（venv 或 conda）中安装以避免依赖冲突。

2. 安装步骤

方式一：Linux / macOS 直接安装

如果您已配置好 Python 环境，可直接通过 pip 安装：

pip install autodl-gpu

方式二：Windows 10 完整安装流程

Windows 用户建议按以下步骤配置环境：

1. 安装基础依赖：

   • 下载并安装 CUDA 10.0 和 cuDNN v7.6.2.24。
   • 安装 Miniconda3。
   • 安装 Visual C++ Build Tools。

2. 创建并激活环境： 在 Miniconda 同级目录下创建 start_env.bat 文件，内容如下：

   cmd.exe "/K" .\Miniconda3\Scripts\activate.bat .\Miniconda3
   

   双击运行该脚本激活环境。

3. 安装 AutoDL： 在激活的命令行中依次执行：

   conda install pytorch==1.3.1
   conda install torchvision -c pytorch
   pip install autodl-gpu
   

方式三：使用 Docker (推荐竞赛复现)

若希望环境与 NeurIPS AutoDL 竞赛完全一致，可使用官方 Docker 镜像：

• CPU 版本:

  docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
  

• GPU 版本:

  nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
  

3. 基本使用

AutoDL 的核心优势在于“一键自动训练”。以下以最通用的本地测试流程为例，展示如何对任意模态数据进行分类。

第一步：准备数据

您可以使用官方提供的样例数据集，或准备自己的数据文件夹。 若需下载公共数据集：

python download_public_datasets.py

第二步：运行自动训练

使用 run_local_test.py 脚本启动训练。该脚本会自动识别数据模态（图像/文本/表格等），进行特征工程、模型搜索和超参优化。

python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission'

• -dataset_dir: 指向包含 .data 和 .solution 文件的数据集目录。
• -code_dir: 指向提交代码的目录（通常使用默认示例代码即可）。

第三步：查看结果

运行过程中，您可以在 AutoDL_scoring_output/ 目录下找到生成的 HTML 文件。打开该文件即可查看实时的学习曲线（AUC 随时间变化），无需等待训练结束即可获得性能反馈。

---

更多特定模态示例： 针对具体任务（如纯图像分类、语音分类等），项目提供了更精简的示例脚本，可参考 examples/ 目录下的 run_image_classification_example.py 或 run_text_classification_example.py 等文件。