中文 | English

PaddlePaddle 视觉 Transformer

面向 PaddlePaddle 的最先进视觉 Transformer 和 MLP 模型

:robot: PaddlePaddle 视觉 Transformer（PaddleViT 或 PPViT）是一系列超越卷积的视觉模型集合。大多数模型基于视觉 Transformer、视觉注意力机制和 MLP 等技术。PaddleViT 还集成了流行的层、工具、优化器、学习率调度器、数据增强方法以及适用于 PaddlePaddle 2.1+ 的训练和验证脚本。我们的目标是复现各种最先进的 ViT 和 MLP 模型，并提供完整的训练和验证流程。我们致力于让前沿的计算机视觉技术更加易于使用，惠及每一位开发者。

:robot: PaddleViT 提供适用于多种视觉任务的模型和工具，例如图像分类、目标检测、语义分割、GAN 等。每个模型架构都定义在独立的 Python 模块中，可以方便地进行修改以支持快速的研究实验。同时，用户也可以下载预训练权重，并在自己的数据集上进行微调。此外，PaddleViT 还集成了用于自定义数据集、数据预处理、性能指标计算、分布式数据并行训练等的常用工具和模块。

:robot: PaddleViT 基于流行的深度学习框架 PaddlePaddle 构建，我们还在 Paddle AI Studio 上提供了教程和项目。对于新用户来说，入门非常直观且简单易懂。

快速链接

PaddleViT 实现了多种视觉任务的模型架构和工具，详情请访问以下链接：

• PaddleViT-Cls：用于图像分类
• PaddleViT-Det：用于目标检测
• PaddleViT-Seg：用于语义分割
• PaddleViT-GAN：用于生成对抗网络
• Docs：教程和文档
• docs-export：将 PaddleViT 模型导出为推理模型，便于生产部署

我们还提供以下教程：

• 在线课程：在 Paddle AIStudio 上（中文版）

特点

1. 最先进

   • 适用于多种计算机视觉任务的最先进 Transformer 模型
   • 最先进的数据处理和训练方法
   • 我们将持续推动技术进步。

2. 易于使用的工具

   • 模型变体配置简单
   • 工具函数和模块化设计
   • 对教育工作者和从业者友好，门槛低
   • 所有模型采用统一框架

3. 可根据需求轻松定制

   • 每个模型都提供示例，便于复现实验结果
   • 模型实现公开，方便用户自定义
   • 模型文件可独立使用，适合快速实验

4. 高性能

   • 支持分布式数据并行训练和验证（每个进程运行在单个 GPU 上）
   • 支持混合精度训练（AMP）

模型架构

图像分类（Transformer）

1. ViT（来自谷歌），随论文《一张图胜过16×16个词：大规模图像识别中的Transformer》（arXiv:2010.11929）发布，作者为Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit、Neil Houlsby。

2. DeiT（来自Facebook和索邦大学），随论文《数据高效训练的图像Transformer及基于注意力的蒸馏》（arXiv:2012.12877）发布，作者为Hugo Touvron、Matthieu Cord、Matthijs Douze、Francisco Massa、Alexandre Sablayrolles、Hervé Jégou。

3. Swin Transformer（来自微软），随论文《Swin Transformer：使用移位窗口的层次化视觉Transformer》（arXiv:2103.14030）发布，作者为Ze Liu、Yutong Lin、Yue Cao、Han Hu、Yixuan Wei、Zheng Zhang、Stephen Lin、Baining Guo。

4. VOLO（来自Sea AI Lab和新加坡国立大学），随论文《VOLO：用于视觉识别的Vision Outlooker》（arXiv:2106.13112）发布，作者为Li Yuan、Qibin Hou、Zihang Jiang、Jiashi Feng、Shuicheng Yan。

5. CSwin Transformer（来自中国科学技术大学和微软），随论文《CSWin Transformer：一种具有十字形窗口的通用视觉Transformer骨干网络》（arXiv:2107.00652）发布，作者为Xiaoyi Dong、Jianmin Bao、Dongdong Chen、Weiming Zhang、Nenghai Yu、Lu Yuan、Dong Chen、Baining Guo。

6. CaiT（来自Facebook和索邦大学），随论文《深入探索图像Transformer》（arXiv:2103.17239）发布，作者为Hugo Touvron、Matthieu Cord、Alexandre Sablayrolles、Gabriel Synnaeve、Hervé Jégou。

7. PVTv2（来自南京大学、香港大学、北京理工大学、IIAI和商汤科技），随论文《PVTv2：基于金字塔视觉Transformer的改进基线》（arXiv:2106.13797）发布，作者为Wenhai Wang、Enze Xie、Xiang Li、Deng-Ping Fan、Kaitao Song、Ding Liang、Tong Lu、Ping Luo、Ling Shao。

8. Shuffle Transformer（来自腾讯），随论文《Shuffle Transformer：重新思考视觉Transformer中的空间洗牌操作》（arXiv:2106.03650）发布，作者为Zilong Huang、Youcheng Ben、Guozhong Luo、Pei Cheng、Gang Yu、Bin Fu。

9. T2T-ViT（来自新加坡国立大学和依图科技），随论文《Tokens-to-Token ViT：从头开始在ImageNet上训练视觉Transformer》（arXiv:2101.11986）发布，作者为Li Yuan、Yunpeng Chen、Tao Wang、Weihao Yu、Yujun Shi、Zihang Jiang、Francis EH Tay、Jiashi Feng、Shuicheng Yan。

10. CrossViT（来自IBM），随论文《CrossViT：用于图像分类的跨注意力多尺度视觉Transformer》（arXiv:2103.14899）发布，作者为Chun-Fu Chen、Quanfu Fan、Rameswar Panda。

11. BEiT（来自微软研究院），随论文《BEiT：图像Transformer的BERT预训练》（arXiv:2106.08254）发布，作者为Hangbo Bao、Li Dong、Furu Wei。

12. Focal Transformer（来自微软），随论文《视觉Transformer中用于局部-全局交互的焦点自注意力》（arXiv:2107.00641）发布，作者为Jianwei Yang、Chunyuan Li、Pengchuan Zhang、Xiyang Dai、Bin Xiao、Lu Yuan和Jianfeng Gao。

13. Mobile-ViT（来自苹果公司），随论文《MobileViT：轻量级、通用且适用于移动设备的视觉Transformer》（arXiv:2110.02178）发布，作者为Sachin Mehta、Mohammad Rastegari。

14. ViP（来自新加坡国立大学），随论文《Vision Permutator：一种用于视觉识别的可置换MLP-like架构》（arXiv:2106.12368）发布，作者为Qibin Hou、Zihang Jiang、Li Yuan、Ming-Ming Cheng、Shuicheng Yan、Jiashi Feng。

15. XCiT（来自Facebook、Inria和索邦大学），随论文《XCiT：交叉协方差图像Transformer》（arXiv:2106.09681）发布，作者为Alaaeldin El-Nouby、Hugo Touvron、Mathilde Caron、Piotr Bojanowski、Matthijs Douze、Armand Joulin、Ivan Laptev、Natalia Neverova、Gabriel Synnaeve、Jakob Verbeek、Hervé Jegou。

16. PiT（来自NAVER和Sogan大学），随论文《重新思考视觉Transformer的空间维度》（arXiv:2103.16302）发布，作者为Byeongho Heo、Sangdoo Yun、Dongyoon Han、Sanghyuk Chun、Junsuk Choe、Seong Joon Oh。

17. HaloNet（来自谷歌），随论文《扩展局部自注意力以构建参数高效的视觉骨干网络》（arXiv:2103.12731）发布，作者为Ashish Vaswani、Prajit Ramachandran、Aravind Srinivas、Niki Parmar、Blake Hechtman、Jonathon Shlens。

18. PoolFormer（来自Sea AI Lab和新加坡国立大学），随论文《MetaFormer才是你真正需要的视觉模型》（arXiv:2111.11418）发布，作者为Weihao Yu、Mi Luo、Pan Zhou、Chenyang Si、Yichen Zhou、Xinchao Wang、Jiashi Feng、Shuicheng Yan。

19. BoTNet（来自加州大学伯克利分校和谷歌），随论文《瓶颈Transformer用于视觉识别》（arXiv:2101.11605）发布，作者为Aravind Srinivas、Tsung-Yi Lin、Niki Parmar、Jonathon Shlens、Pieter Abbeel、Ashish Vaswani。

20. CvT（来自麦吉尔大学和微软），随论文《CvT：将卷积引入视觉Transformer》（arXiv:2103.15808）发布，作者为Haiping Wu、Bin Xiao、Noel Codella、Mengchen Liu、Xiyang Dai、Lu Yuan、Lei Zhang。

21. HvT（来自莫纳什大学），随论文《具有层次化池化的可扩展视觉Transformer》（arXiv:2103.10619）发布，作者为Zizheng Pan、Bohan Zhuang、Jing Liu、Haoyu He、Jianfei Cai。

22. TopFormer（来自华中科技大学、腾讯、复旦大学和浙江大学），随论文《TopFormer：用于移动端语义分割的Token Pyramid Transformer》（arXiv:2204.05525）发布，作者为Wenqiang Zhang、Zilong Huang、Guozhong Luo、Tao Chen、Xinggang Wang、Wenyu Liu、Gang Yu、Chunhua Shen。

23. ConvNeXt（来自 FAIR/UCBerkeley），随论文《面向2020年代的卷积神经网络》（A ConvNet for the 2020s，arXiv:2201.03545）发布，作者为 Zhuang Liu、Hanzi Mao、Chao-Yuan Wu、Christoph Feichtenhofer、Trevor Darrell 和 Saining Xie。

24. CoaT（来自 UCSD），随论文《协同尺度的卷积-注意力图像Transformer》（Co-Scale Conv-Attentional Image Transformers，arXiv:2104.06399）发布，作者为 Weijian Xu、Yifan Xu、Tyler Chang 和 Zhuowen Tu。

25. ResT（来自 NJU），随论文《ResT：一种用于视觉识别的高效Transformer》（ResT: An Efficient Transformer for Visual Recognition，arXiv:2105.13677）发布，作者为 Qinglong Zhang 和 Yubin Yang。

26. ResTV2（来自 NJU），随论文《ResT V2：更简单、更快、更强》（ResT V2: Simpler, Faster and Stronger，arXiv:2204.07366）发布，作者为 Qinglong Zhang 和 Yubin Yang。

图像分类（MLP及其他）

1. MLP-Mixer（来自 Google），随论文《MLP-Mixer：一种全MLP的视觉架构》（MLP-Mixer: An all-MLP Architecture for Vision，arXiv:2105.01601）发布，作者为 Ilya Tolstikhin、Neil Houlsby、Alexander Kolesnikov、Lucas Beyer、Xiaohua Zhai、Thomas Unterthiner、Jessica Yung、Andreas Steiner、Daniel Keysers、Jakob Uszkoreit、Mario Lucic 和 Alexey Dosovitskiy。
2. ResMLP（来自 Facebook/Sorbonne/Inria/Valeo），随论文《ResMLP：用于图像分类且数据高效训练的前馈网络》（ResMLP: Feedforward networks for image classification with data-efficient training，arXiv:2105.03404）发布，作者为 Hugo Touvron、Piotr Bojanowski、Mathilde Caron、Matthieu Cord、Alaaeldin El-Nouby、Edouard Grave、Gautier Izacard、Armand Joulin、Gabriel Synnaeve、Jakob Verbeek 和 Hervé Jégou。
3. gMLP（来自 Google），随论文《关注MLP吧》（Pay Attention to MLPs，arXiv:2105.08050）发布，作者为 Hanxiao Liu、Zihang Dai、David R. So 和 Quoc V. Le。
4. FF Only（来自 Oxford），随论文《你真的需要注意力机制吗？一叠前馈层在ImageNet上表现惊人》（Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet，arXiv:2105.02723）发布，作者为 Luke Melas-Kyriazi。
5. RepMLP（来自 BNRist/Tsinghua/MEGVII/Aberystwyth），随论文《RepMLP：将卷积重新参数化为全连接层用于图像识别》（RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition，arXiv:2105.01883）发布，作者为 Xiaohan Ding、Chunlong Xia、Xiangyu Zhang、Xiaojie Chu、Jungong Han 和 Guiguang Ding。
6. CycleMLP（来自 HKU/SenseTime），随论文《CycleMLP：一种类似MLP的密集预测架构》（CycleMLP: A MLP-like Architecture for Dense Prediction，arXiv:2107.10224）发布，作者为 Shoufa Chen、Enze Xie、Chongjian Ge、Ding Liang 和 Ping Luo。
7. ConvMixer（来自 Anonymous），随论文《只需补丁就够了吗？》（Patches Are All You Need?，openreview.net/forum?id=TVHS5Y4dNvM）发布，作者为 Anonymous。
8. ConvMLP（来自 UO/UIUC/PAIR），随论文《ConvMLP：用于视觉任务的分层卷积MLP》（ConvMLP: Hierarchical Convolutional MLPs for Vision，arXiv:2109.04454）发布，作者为 Jiachen Li、Ali Hassani、Steven Walton 和 Humphrey Shi。
9. RepLKNet（来自 Tsinghua/MEGVII/Aberystwyth），随论文《将卷积核扩大到31×31：重访CNN中的大卷积核设计》（Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs，arXiv:2203.06717）发布，作者为 Xiaohan Ding、Xiangyu Zhang、Yizhuang Zhou、Jungong Han、Guiguang Ding 和 Jian Sun。
10. MobileOne（来自 Apple），随论文《改进的毫秒级移动端骨干网络》（An Improved One millisecond Mobile Backbone，arXiv:2206.04040）发布，作者为 Pavan Kumar Anasosalu Vasu、James Gabriel、Jeff Zhu、Oncel Tuzel 和 Anurag Ranjan。

目标检测

1. DETR（来自 Facebook），随论文《基于Transformer的端到端目标检测》（End-to-End Object Detection with Transformers，arXiv:2005.12872）发布，作者为 Nicolas Carion、Francisco Massa、Gabriel Synnaeve、Nicolas Usunier、Alexander Kirillov 和 Sergey Zagoruyko。
2. Swin Transformer（来自 Microsoft），随论文《Swin Transformer：使用移位窗口的分层视觉Transformer》（Swin Transformer: Hierarchical Vision Transformer using Shifted Windows，arXiv:2103.14030）发布，作者为 Ze Liu、Yutong Lin、Yue Cao、Han Hu、Yixuan Wei、Zheng Zhang、Stephen Lin 和 Baining Guo。
3. PVTv2（来自 NJU/HKU/NJUST/IIAI/SenseTime），随论文《PVTv2：基于金字塔视觉Transformer的改进基线》（PVTv2: Improved Baselines with Pyramid Vision Transformer，arXiv:2106.13797）发布，作者为 Wenhai Wang、Enze Xie、Xiang Li、Deng-Ping Fan、Kaitao Song、Ding Liang、Tong Lu、Ping Luo 和 Ling Shao。

即将推出：

1. Focal Transformer（来自 Microsoft），随论文《视觉Transformer中用于局部-全局交互的焦点自注意力机制》（Focal Self-attention for Local-Global Interactions in Vision Transformers，arXiv:2107.00641）发布，作者为 Jianwei Yang、Chunyuan Li、Pengchuan Zhang、Xiyang Dai、Bin Xiao、Lu Yuan 和 Jianfeng Gao。
2. UP-DETR（来自 Tencent），随论文《UP-DETR：基于Transformer的目标检测无监督预训练》（UP-DETR: Unsupervised Pre-training for Object Detection with Transformers，arXiv:2011.09094）发布，作者为 Zhigang Dai、Bolun Cai、Yugeng Lin 和 Junying Chen。

语义分割

现在：

1. SETR（来自复旦大学/牛津大学/萨里大学/腾讯/Facebook），随论文《从序列到序列的角度重新思考基于Transformer的语义分割》（Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers）发布，作者为Sixiao Zheng、Jiachen Lu、Hengshuang Zhao、Xiatian Zhu、Zekun Luo、Yabiao Wang、Yanwei Fu、Jianfeng Feng、Tao Xiang、Philip H.S. Torr和Li Zhang。
2. DPT（来自英特尔），随论文《用于密集预测的视觉Transformer》（Vision Transformers for Dense Prediction）发布，作者为René Ranftl、Alexey Bochkovskiy和Vladlen Koltun。
3. Swin Transformer（来自微软），随论文《Swin Transformer：使用移位窗口的层次化视觉Transformer》（Swin Transformer: Hierarchical Vision Transformer using Shifted Windows）发布，作者为Ze Liu、Yutong Lin、Yue Cao、Han Hu、Yixuan Wei、Zheng Zhang、Stephen Lin和Baining Guo。
4. Segmenter（来自Inria），随论文《Segmenter：用于语义分割的Transformer》（Segmenter: Transformer for Semantic Segmentation）发布，作者为Robin Strudel、Ricardo Garcia、Ivan Laptev和Cordelia Schmid。
5. Trans2seg（来自香港大学/商汤科技/南京大学），随论文《利用Transformer在野外分割透明物体》（Segmenting Transparent Object in the Wild with Transformer）发布，作者为Enze Xie、Wenjia Wang、Wenhai Wang、Peize Sun、Hang Xu、Ding Liang和Ping Luo。
6. SegFormer（来自香港大学/南京大学/NVIDIA/加州理工学院），随论文《SegFormer：一种简单高效的基于Transformer的语义分割设计》（SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers）发布，作者为Enze Xie、Wenhai Wang、Zhiding Yu、Anima Anandkumar、Jose M. Alvarez和Ping Luo。
7. CSwin Transformer（来自中国科学技术大学和微软），随论文《CSWin Transformer：一种具有十字形窗口的通用视觉Transformer骨干网络》（CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows）发布。
8. TopFormer（来自华中科技大学/腾讯/复旦大学/浙江大学），随论文《TopFormer：用于移动端语义分割的Token金字塔Transformer》（TopFormer: Token Pyramid Transformer for Mobile Semantic Segmentation）发布。

即将推出：

1. FTN（来自百度），随论文《用于图像语义分割的全Transformer网络》（Fully Transformer Networks for Semantic Image Segmentation）发布，作者为Sitong Wu、Tianyi Wu、Fangjian Lin、Shengwei Tian和Guodong Guo。
2. Shuffle Transformer（来自腾讯），随论文《Shuffle Transformer：重新思考视觉Transformer中的空间洗牌》（Shuffle Transformer: Rethinking Spatial Shuffle for Vision Transformer）发布，作者为Zilong Huang、Youcheng Ben、Guozhong Luo、Pei Cheng、Gang Yu和Bin Fu。
3. Focal Transformer（来自微软），随论文《视觉Transformer中用于局部-全局交互的焦点自注意力机制》（Focal Self-attention for Local-Global Interactions in Vision Transformers）发布，作者为Jianwei Yang、Chunyuan Li、Pengchuan Zhang、Xiyang Dai、Bin Xiao、Lu Yuan和Jianfeng Gao。

GAN

1. TransGAN（来自首尔国立大学和NUAA），随论文《TransGAN：两个纯Transformer可以组成一个强大的GAN，而且还能扩展规模》（TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up）发布，作者为Yifan Jiang、Shiyu Chang和Zhangyang Wang。
2. Styleformer（来自Facebook和索邦大学），随论文《Styleformer：基于Transformer并带有风格向量的生成对抗网络》（Styleformer: Transformer based Generative Adversarial Networks with Style Vector）发布，作者为Jeeseung Park和Younggeun Kim。

即将推出：

1. ViTGAN（来自UCSD/谷歌），随论文《ViTGAN：使用视觉Transformer训练GAN》（ViTGAN: Training GANs with Vision Transformers）发布，作者为Kwonjoon Lee、Huiwen Chang、Lu Jiang、Han Zhang、Zhuowen Tu和Ce Liu。

安装

先决条件

• Linux/MacOS/Windows
• Python 3.6/3.7
• PaddlePaddle 2.1.0+
• CUDA10.2+

注意：建议安装最新版本的PaddlePaddle，以避免PaddleViT训练时出现某些CUDA错误。关于PaddlePaddle的安装，请参考此链接（https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html）获取稳定版安装方法，以及此链接（https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/develop/install/pip/linux-pip.html#gpu）获取开发版安装方法。

安装

1. 创建并激活一个conda虚拟环境。

   conda create -n paddlevit python=3.7 -y
   conda activate paddlevit
   

2. 按照官方说明安装PaddlePaddle，例如：

   conda install paddlepaddle-gpu==2.1.2 cudatoolkit=10.2 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/
   

   注意：请根据您的环境相应地调整PaddlePaddle和CUDA的版本。

3. 安装依赖包

   • 一般依赖：

     pip install yacs pyyaml
     

   • 用于分割的包：

     pip install cityscapesScripts
     

     安装detail包：

     git clone https://github.com/ccvl/detail-api
     cd detail-api/PythonAPI
     make
     make install
     

   • 用于GAN的包：

     pip install lmdb
     

4. 从GitHub克隆项目

   git clone https://github.com/BR-IDL/PaddleViT.git 
   

结果（模型库）

Image Classification

目标检测

语义分割

Pascal Context

城市景观

ADE20K

Trans10kV2

GAN

*结果是在Cifar10、STL10、Celeba和LSUNchurch数据集上使用fid50k_full指标评估的。

图像分类快速演示

要使用预训练权重的模型，请进入特定子文件夹，例如/image_classification/ViT/，然后下载.pdparam权重文件，并在以下Python脚本中更改相关文件路径。模型配置文件位于./configs目录下。

假设下载的权重文件存储在./vit_base_patch16_224.pdparams中，要在Python中使用vit_base_patch16_224模型：

from config import get_config
from visual_transformer import build_vit as build_model
# 配置文件位于./configs/
config = get_config('./configs/vit_base_patch16_224.yaml')
# 构建模型
model = build_model(config)
# 加载预训练权重
model_state_dict = paddle.load('./vit_base_patch16_224.pdparams')
model.set_dict(model_state_dict)

:robot: 请参阅每个模型文件夹中的README文件以获取详细用法。

评估

要在单个GPU上评估ViT模型在ImageNet2012上的性能，请使用命令行运行以下脚本：

sh run_eval.sh

或者

CUDA_VISIBLE_DEVICES=0 \
python main_single_gpu.py \
    -cfg=./configs/vit_base_patch16_224.yaml \
    -dataset=imagenet2012 \
    -batch_size=16 \
    -data_path=/path/to/dataset/imagenet/val \
    -eval \
    -pretrained=/path/to/pretrained/model/vit_base_patch16_224  # 不需要.pdparams文件

sh run_eval_multi.sh

CUDA_VISIBLE_DEVICES=0,1,2,3 \
python main_multi_gpu.py \
    -cfg=./configs/vit_base_patch16_224.yaml \
    -dataset=imagenet2012 \
    -batch_size=16 \
    -data_path=/path/to/dataset/imagenet/val \
    -eval \
    -pretrained=/path/to/pretrained/model/vit_base_patch16_224   # 不需要.pdparams文件

训练

要在单个GPU上训练ViT模型于ImageNet2012数据集，请使用命令行运行以下脚本：

sh run_train.sh

或者

CUDA_VISIBLE_DEVICES=0 \
python main_single_gpu.py \
  -cfg=./configs/vit_base_patch16_224.yaml \
  -dataset=imagenet2012 \
  -batch_size=32 \
  -data_path=/path/to/dataset/imagenet/train

sh run_train_multi.sh

CUDA_VISIBLE_DEVICES=0,1,2,3 \
python main_multi_gpu.py \
    -cfg=./configs/vit_base_patch16_224.yaml \
    -dataset=imagenet2012 \
    -batch_size=16 \
    -data_path=/path/to/dataset/imagenet/train

贡献

• 我们鼓励并感谢您对PaddleViT项目的贡献，请参考我们的工作流程和工作方式，详见CONTRIBUTING.md

许可证

• 本仓库采用Apache-2.0许可证。

联系方式

• 请在GitHub上提交问题。

PaddleViT 快速上手指南

PaddleViT 是基于百度飞桨（PaddlePaddle）框架的视觉 Transformer 及 MLP 模型集合，涵盖了图像分类、目标检测、语义分割等任务。本指南将帮助您快速搭建环境并运行首个模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：>= 3.7
• 深度学习框架：PaddlePaddle >= 2.1
• 硬件要求：支持 CUDA 的 NVIDIA GPU（推荐）或 CPU 环境

安装 PaddlePaddle

建议优先使用国内镜像源加速安装。根据您的 CUDA 版本选择对应的命令（以下为 CUDA 11.2 示例，其他版本请参考 PaddlePaddle 官网）：

# 使用国内镜像源安装 PaddlePaddle GPU 版本
python -m pip install paddlepaddle-gpu==2.4.0 -i https://mirror.baidu.com/pypi/simple

# 如果仅使用 CPU 版本
python -m pip install paddlepaddle==2.4.0 -i https://mirror.baidu.com/pypi/simple

2. 安装步骤

克隆 PaddleViT 代码库并安装必要的依赖项：

# 克隆仓库
git clone https://github.com/BR-IDL/PaddleViT.git
cd PaddleViT

# 安装项目依赖
pip install -r requirements.txt

提示：如果 requirements.txt 下载较慢，可手动编辑该文件，将源替换为国内镜像（如 https://pypi.tuna.tsinghua.edu.cn/simple）后再执行安装。

3. 基本使用

PaddleViT 采用模块化设计，以图像分类任务为例，您可以直接调用预定义模型进行推理或微调。

示例：加载预训练模型进行推理

以下代码演示了如何加载一个预训练的 ViT 模型并对单张图片进行预测：

import paddle
from paddlevit.models import vit_base_patch16_224
from paddlevit.utils import load_pretrained_weights
from PIL import Image
import numpy as np

# 1. 构建模型
model = vit_base_patch16_224(pretrained=False)

# 2. 加载预训练权重 (自动下载或使用本地路径)
# 这里以 ImageNet-1k 预训练权重为例
load_pretrained_weights(model, 'vit_base_patch16_224')

# 3. 设置为评估模式
model.eval()

# 4. 准备输入数据 (假设已预处理为 224x224 的 tensor)
# 实际使用中请配合 transforms 进行归一化等操作
dummy_input = paddle.rand([1, 3, 224, 224])

# 5. 执行推理
with paddle.no_grad():
    output = model(dummy_input)
    probabilities = paddle.nn.functional.softmax(output, axis=1)

print("预测结果形状:", output.shape)
print("最大概率类别:", paddle.argmax(probabilities, axis=1).numpy())

训练与微调

对于自定义数据集的训练，PaddleViT 提供了统一的配置文件接口。您只需修改配置文件中的数据路径和模型参数，即可启动训练：

# 使用默认配置启动图像分类训练 (示例)
python tools/train.py -c configs/vit/vit_base_patch16_224.yaml

更多针对目标检测（PaddleViT-Det）、语义分割（PaddleViT-Seg）等任务的详细用法，请参阅项目根目录下的 docs 文档或对应子文件夹中的说明。