• 深度压缩自编码器的使用方法
• DC-AE-扩散的使用方法
• 评估深度压缩自编码器
• DC-AE-扩散模型的演示
• DC-AE-扩散模型的评估
• 训练 DC-AE-扩散模型
• 参考文献

[CVPR 2024 eLVM 研讨会] EfficientViT-SAM：无精度损失的加速 Segment Anything 模型 [论文] [在线演示] [说明]

EfficientViT-SAM 是一类新的加速 Segment Anything 模型，通过用 EfficientViT 替代 SAM 中的重型图像编码器来实现。它在 A100 GPU 上相比 SAM-ViT-H 实现了 48.9 倍的 TensorRT 加速，且未牺牲精度。

• 预训练的 EfficientViT-SAM 模型
• EfficientViT-SAM 的使用方法
• 评估 EfficientViT-SAM
• 可视化 EfficientViT-SAM
• 部署 EfficientViT-SAM
• 训练 EfficientViT-SAM
• 参考文献

[ICCV 2023] EfficientViT-分类 [论文] [README]

基于EfficientViT骨干网络的高效图像分类模型。

• 预训练的EfficientViT分类模型
• EfficientViT分类模型的使用方法
• 评估EfficientViT分类模型
• 导出EfficientViT分类模型
• 训练EfficientViT分类模型
• 参考文献

[ICCV 2023] EfficientViT-分割 [论文] [README]

基于EfficientViT骨干网络的高效语义分割模型。

• 预训练的EfficientViT分割模型
• EfficientViT分割模型的使用方法
• 评估EfficientViT分割模型
• 可视化EfficientViT分割模型
• 导出EfficientViT分割模型
• 参考文献

EfficientViT-GazeSAM [README]

基于视线提示的图像分割模型，可在NVIDIA RTX 4070上使用TensorRT实现实时运行。

快速入门

conda create -n efficientvit python=3.10
conda activate efficientvit
pip install -U -r requirements.txt

第三方实现/集成

• NVIDIA Jetson生成式AI实验室
• timm: 链接
• X-AnyLabeling: 链接
• Grounding DINO 1.5 Edge: 链接

联系方式

Han Cai

参考文献

若EfficientViT、EfficientViT-SAM或DC-AE对您的研究有所帮助或相关，请您在引用时注明我们的工作：

@inproceedings{cai2023efficientvit,
  title={Efficientvit: 面向高分辨率密集预测的轻量级多尺度注意力},
  author={Cai, Han and Li, Junyan and Hu, Muyan and Gan, Chuang and Han, Song},
  booktitle={IEEE/CVF国际计算机视觉会议论文集},
  pages={17302--17313},
  year={2023}
}

@article{zhang2024efficientvit,
  title={EfficientViT-SAM：在不损失性能的情况下加速Segment Anything Model},
  author={Zhang, Zhuoyang and Cai, Han and Han, Song},
  journal={arXiv预印本 arXiv:2402.05008},
  year={2024}
}

@article{chen2024deep,
  title={用于高效高分辨率扩散模型的深度压缩自编码器},
  author={Chen, Junyu and Cai, Han and Chen, Junsong and Xie, Enze and Yang, Shang and Tang, Haotian and Li, Muyang and Lu, Yao and Han, Song},
  journal={arXiv预印本 arXiv:2410.10733},
  year={2024}
}

EfficientViT 是麻省理工学院（MIT）韩松团队开发的一系列高效视觉基础模型，涵盖图像分类、语义分割、加速版 SAM（Segment Anything）以及用于高分辨率生成的深度压缩自编码器（DC-AE）。本指南将帮助您快速搭建环境并运行核心功能。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.10 (官方推荐版本)。
• 硬件要求:
  • 推理: 支持 CUDA 的 NVIDIA GPU（推荐显存 >= 8GB 以运行大模型或高分辨率生成任务）。
  • 训练: 需要多卡 GPU 环境。
• 前置依赖: 已安装 conda 或 mamba 包管理器。

国内开发者提示：建议配置清华或中科大镜像源以加速依赖下载。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

推荐使用 Conda 创建独立的虚拟环境以避免依赖冲突。

第一步：创建并激活环境

conda create -n efficientvit python=3.10
conda activate efficientvit

第二步：安装依赖库

克隆仓库并安装核心依赖：

git clone https://github.com/mit-han-lab/efficientvit.git
cd efficientvit
pip install -U -r requirements.txt

第三步：安装特定应用模块（可选）

根据您的需求，可能需要安装额外的组件：

• 如需使用 DC-AE (扩散模型/图像生成):

  pip install diffusers transformers accelerate
  

• 如需部署加速 (TensorRT): 请参考 applications/efficientvit_sam/README.md 中的 TensorRT 特定安装指引。

3. 基本使用

EfficientViT 包含多个子项目，以下是两个最常用场景的快速示例。

场景一：使用 DC-AE 进行图像重建与生成

DC-AE 支持通过 Hugging Face diffusers 库直接加载，适合快速体验高分辨率图像生成。

import torch
from diffusers import AutoencoderKL

# 加载预训练的 DC-AE 模型 (例如 f64c128 版本)
model_id = "mit-han-lab/dc-ae-f64c128-in-1.0"
vae = AutoencoderKL.from_pretrained(model_id, trust_remote_code=True).to("cuda")

# 准备输入图像 (假设已加载为 tensor 形状 [B, C, H, W])
# input_image = ... 

# 编码 (压缩)
with torch.no_grad():
    latent = vae.encode(input_image).latent_dist.sample()

# 解码 (重建)
with torch.no_grad():
    reconstructed_image = vae.decode(latent).sample

print(f"原始形状：{input_image.shape}, 潜空间形状：{latent.shape}")

注意：完整的文生图流程（Text-to-Image）需结合 SANA 或 USiT 模型，详细脚本请参阅 applications/dc_ae/README.md。

场景二：使用 EfficientViT-SAM 进行图像分割

EfficientViT-SAM 是加速版的 Segment Anything 模型，可在保持精度的同时显著提升推理速度。

import torch
from efficientvit.sam_model_zoo import create_sam_model
from efficientvit.apps.utils import export_onnx

# 1. 加载预训练模型 (例如 efficientvit_sam_l0)
model_name = "efficientvit_sam_l0"
model = create_sam_model(model_name, True).to("cuda").eval()

# 2. 准备图像数据
# image = ... (加载图像并预处理为模型需要的格式)

# 3. 执行推理
with torch.no_grad():
    # 设置图像嵌入
    model.set_image(image)
    
    # 定义提示点 (例如：坐标 [x, y], 标签 1 表示前景)
    point_coords = torch.tensor([[500, 500]]).float().to("cuda")
    point_labels = torch.tensor([1]).int().to("cuda")
    
    # 获取掩码
    masks, _, _ = model.predict(
        point_coords=point_coords,
        point_labels=point_labels,
        multimask_output=False,
    )

print(f"生成分割掩码形状：{masks.shape}")

模型下载提示

首次运行时，模型权重会自动从 Hugging Face 下载。如果下载缓慢，可手动下载权重文件后放置于本地缓存目录，或设置环境变量：

export HF_ENDPOINT=https://hf-mirror.com