Transformer-in-Vision

1.3k 142 困难 1 次阅读 1周前开发框架图像语言模型

AI 解读由 AI 自动生成，仅供参考

Transformer-in-Vision 是一个专注于计算机视觉领域的开源资源库，旨在系统梳理和追踪基于 Transformer 架构的最新研究成果与应用案例。随着 Transformer 从自然语言处理领域成功跨界至视觉任务，成为现代 AI 模型的核心组件，该仓库通过汇集论文、代码链接及项目主页，帮助从业者快速掌握技术前沿动态。

它主要解决了视觉领域研究者面对海量新兴文献时难以高效筛选和跟进的痛点。仓库内容覆盖广泛，不仅包含经典的图像生成模型（如 DALL·E 2、Stable Diffusion、Imagen），还涉及视频理解、多模态学习（如 CLIP、LAVIS）以及机器人交互等前沿方向，并特别提供了关于自动驾驶传感器融合等细分领域的综述文章。此外，它还整理了从基础理论"Attention is All You Need"到各类框架实现的实用教程链接。

Transformer-in-Vision 非常适合人工智能研究人员、算法工程师以及对深度学习感兴趣的学生使用。无论是希望寻找灵感的研究者，还是需要复现最新模型的开发者，都能在此找到宝贵的参考资料。其独特的价值在于将分散的高质量资源进行了结构化整理，并持续更新包括大语言模型与视觉结合（LLM-in-Vision）在内的新趋势，是探索视觉 Transformer 技术版图的高效入口。

使用场景

某自动驾驶初创团队正在研发新一代感知系统，急需整合摄像头、激光雷达等多源传感器数据以提升复杂路况下的识别准确率。

没有 Transformer-in-Vision 时

技术选型迷茫：面对海量分散的论文与代码库，工程师难以快速定位如 CLIP、DALL·E 2 或专用传感器融合（Sensor Fusion）等前沿模型的最新实现。
多模态融合困难：传统 CNN 架构在处理视觉与文本联合学习（如路标识别结合导航指令）时效果受限，缺乏成熟的 Vision-Language 预训练方案参考。
复现成本高昂：从零复现 Imagen Video 或 Phenaki 等视频生成模型需耗费数周调试环境，且容易因版本过时而失败。
创新方向模糊：团队难以洞察从纯视觉 Transformer 向“大语言模型 + 视觉”（LLM-in-Vision）演进的技术趋势，导致产品规划滞后。

使用 Transformer-in-Vision 后

资源一站获取：直接利用整理好的清单，快速访问 LAVIS、Stable Diffusion 及自动驾驶传感器融合的官方代码与论文，将调研时间从数天缩短至几小时。
架构升级顺畅：参考列表中成熟的 V-L 联合学习研究（如 METER、Kaleido-BERT），迅速构建出能理解自然语言指令的高精度感知模块。
开发效率倍增：基于提供的 Hugging Face 及 PyTorch 教程链接，团队快速搭建了视频预测原型，避免了重复造轮子的底层陷阱。
紧跟技术前沿：通过追踪列表中新增的 LLM-in-Vision 方向，及时调整技术路线，确保系统具备接入通用大模型能力的扩展性。

Transformer-in-Vision 通过聚合全球最前沿的视觉 Transformer 资源，帮助研发团队打破信息壁垒，大幅加速了从理论验证到落地部署的全过程。

运行环境要求

GPU

未说明

内存

未说明

依赖

notes该仓库并非一个具体的可运行软件工具，而是一个关于视觉领域 Transformer 相关论文、代码库和资源的文章列表（Awesome List）。README 中列出的项目（如 CLIP, DALL-E, Stable Diffusion 等）各自拥有独立的代码仓库和环境需求。用户若需运行其中提到的具体模型，请访问 README 中提供的对应链接以获取详细的安装和运行说明。

python未说明

快速开始

视觉中的Transformer

近期基于Transformer的计算机视觉及相关工作。欢迎评论/贡献！

Transformer如今已成为基础组件，几乎被所有AI模型所采用。保持更新 --> 更新不规律。

新希望：LLM-in-Vision

资源

ChatGPT 用于 机器人技术：设计原则与模型能力，[论文]，[代码]
DIFFUSIONDB [页面]，[论文]
LAION-5B [页面]，[论文]
LAVIS [页面]，[论文]
Imagen Video [页面]，[论文]
Phenaki [页面]，[论文]
DREAMFUSION [页面]，[论文]
MAKE-A-VIDEO [页面]，[论文]
Stable Diffusion [页面]，[论文]
NUWA-Infinity [页面]，[论文]
Parti [页面]，[代码]
Imagen [页面]，[论文]
Gato：一种通用智能体，[论文]
PaLM：通过Pathways扩展语言建模，[论文]
DALL·E 2 [页面]，[论文]
SCENIC：一款用于计算机视觉研究及其他领域的JAX库，[代码]
V-L联合学习研究（附有优秀表格）：[METER]，[Kaleido-BERT]
“Attention is all you need”，[论文]
CLIP [页面]，[论文]，[代码]，[arXiv]
DALL·E [页面]，[代码]，[论文]
huggingface/transformers
Kyubyong/transformer，TF
jadore801120/attention-is-all-you-need-pytorch，Torch
krasserm/fairseq-image-captioning
PyTorch Transformers 教程
ictnlp/awesome-transformer
basicv8vc/awesome-transformer
dk-liang/Awesome-Visual-Transformer
yuewang-cuhk/awesome-vision-language-pretraining-papers

调查报告

(arXiv 2023.2) 基于 Transformer 的 传感器融合 在 自动驾驶 中的应用：综述，[论文]，[页面]
(arXiv 2023.2) 深度学习在 视频-文本检索 中的应用：综述，[论文]
(arXiv 2023.2) 大规模 多模态预训练模型：全面综述，[论文]
(arXiv 2023.2) 计算机视觉中基于 Transformer 的 生成对抗网络：全面综述，[论文]
(arXiv 2023.2) 视觉 Transformer 中的 知识蒸馏：批判性评论，[论文]
(arXiv 2023.2) Transformer 高效训练方法综述，[论文]
(arXiv 2023.1) ChatGPT 并非万能。关于 大型生成式 AI 模型 的最新进展综述，[论文]
(arXiv 2022.12) Transformer 在 动作识别 中的应用：时间建模综述，[论文]
(arXiv 2022.11) 视觉 Transformer 在 医学影像 中的应用：综述，[论文]
(arXiv 2022.11) 关于知识增强的 多模态 学习综述，[论文]
(arXiv 2022.10) 视觉-语言预训练：基础、最新进展及未来趋势，[论文]
(arXiv 2022.10) 计算机视觉中图神经网络与图 Transformer 的综述：任务导向视角，[论文]
(arXiv 2022.09) 视觉 Transformer 在 动作识别 中的应用：综述，[论文]
(arXiv 2022.09) Transformer 在遥感中的应用：综述，[论文]，[代码]
(arXiv 2022.08) 使用 Transformer 进行 3D 视觉：综述，[论文]，[代码]
(arXiv 2022.08) 自监督学习中用于视觉及其他领域的 掩码自编码器 综述，[论文]
(arXiv 2022.07) 视觉 Transformer：现状与研究挑战，[论文]
(arXiv 2022.07) 自监督 学习在视频中的应用：综述，[论文]
(arXiv 2022.06) Transformer 在 多模态 学习中的应用：综述，[论文]
(arXiv 2022.05) 视觉 Transformer：ViT 及其 衍生模型，[论文]
(arXiv 2022.05) Transformer 在 3D 点云数据中的应用：综述，[论文]
(arXiv 2022.04) 深度学习中 视觉注意力 方法的深入综述，[论文]
(arXiv 2022.04) 视觉-语言 预训练模型综述，[论文]
(arXiv 2022.03) 大模型 发展路线图，[论文]
(arXiv 2022.03) Transformer 与视觉学习理解的结合：全面回顾，[[论文]](https://arxiv.org/pdf/2203.12944.pdf）
(arXiv 2022.03) 视觉 Transformer 的最新进展：综述及未来展望，[论文]，[项目]
(arXiv 2022.02) 视觉-语言 预训练模型综述，[论文]
(arXiv 2022.02) VLP：视觉-语言 预训练综述，[论文]
(arXiv 2022.02) 图形 Transformer：从架构角度概述，[论文]
(arXiv 2022.01) 视频 Transformer：综述，[论文]
(arXiv 2021.11) 我们是否已准备好迎接新的范式转变？关于视觉深度 MLP 的综述，[论文]
(arXiv 2021.11) 视觉 Transformer 综述，[论文]
(arXiv 2021.09) 基于 Transformer 的 视频-语言 预训练综述，[论文]
(arXiv 2021.06) Transformer 综述，[论文]
(arXiv 2021.06) 机器视觉中的 注意力 机制与深度学习：现状综述，[论文]
(arXiv 2021.06) 预训练模型：过去、现在与未来，[论文]
(arXiv 2021.05) 注意力机制能否使 MLP 追赶上 CNN？[论文]
(arXiv 2021.03) 关于更快速更轻量的 Transformer 的实用综述，[论文]
(arXiv 2021.03) 跨模态任务中 语言与视觉 的 Transformer 架构视角与前景，[论文]
(arXiv 2021.01) 视觉 Transformer 综述，[论文]
(arXiv 2020.9) 高效 Transformer：综述，[论文]
(arXiv 2020.1) Transformer 在视觉领域 的应用：综述，[论文]

Transformer-in-Vision 快速上手指南

工具简介： Transformer-in-Vision 并非一个单一的代码库或可安装软件包，而是一个** curated（精选）的资源列表**。它汇集了基于 Transformer 架构的计算机视觉（CV）前沿论文、开源代码库、数据集以及综述文章。本指南将指导开发者如何利用该列表快速定位所需资源，并搭建基础的 Vision Transformer (ViT) 开发环境。

1. 环境准备

由于该列表涵盖的项目多基于 PyTorch 或 TensorFlow/JAX，建议准备以下基础环境：

操作系统：Linux (Ubuntu 20.04+) 或 macOS (M1/M2/Intel)。Windows 用户建议使用 WSL2。
Python 版本：3.8 - 3.10 (推荐 3.9，兼容性最佳)。
硬件要求：
- 训练/微调：推荐 NVIDIA GPU (显存 ≥ 8GB)，支持 CUDA 11.7+。
- 推理/学习：CPU 即可运行部分轻量级示例，但建议使用 GPU 以获得流畅体验。
前置依赖：
- Git (用于克隆代码库)
- pip 或 conda (包管理工具)

2. 安装步骤

由于 Transformer-in-Vision 是资源索引，无需安装该列表本身。你需要根据列表中感兴趣的具体项目（如 ViT, CLIP, DETR 等）进行安装。

以下是搭建通用 Vision Transformer 开发环境的标准步骤，以目前最主流的 Hugging Face Transformers 库为例（列表中强烈推荐）：

步骤 2.1: 创建虚拟环境

conda create -n vit-env python=3.9
conda activate vit-env

步骤 2.2: 安装深度学习框架 (推荐使用国内镜像源加速)

使用清华源 (Tsinghua Mirror) 安装 PyTorch 和 torchvision：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 若无需 GPU 支持，可使用 CPU 版本:
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

步骤 2.3: 安装核心 Transformer 库

同样使用国内镜像源安装 transformers 及相关视觉处理库：

pip install transformers accelerate timm pillow -i https://pypi.tuna.tsinghua.edu.cn/simple

注：timm (PyTorch Image Models) 是列表中多次提及的重要库，包含大量预训练的 ViT 模型。

步骤 2.4: 获取特定项目代码

从列表中选择一个具体项目（例如 CLIP 或 DETR），直接克隆其官方仓库。例如克隆 OpenAI 的 CLIP：

git clone https://github.com/openai/CLIP.git
cd CLIP
pip install -e .

3. 基本使用

以下示例展示如何使用已安装的 transformers 和 timm 库，加载一个预训练的 Vision Transformer 模型进行图像分类。这是理解列表中大多数 CV 模型的基础用法。

3.1 最简单的使用示例 (图像分类)

创建一个名为 quick_start.py 的文件，写入以下代码：

import torch
from PIL import Image
import requests
from transformers import ViTImageProcessor, ViTForImageClassification

# 1. 加载预处理器和模型 (自动下载权重，首次运行需联网)
# 这里使用的是 google/vit-base-patch16-224，源自列表中提到的 ViT 系列
model_name = "google/vit-base-patch16-224"
processor = ViTImageProcessor.from_pretrained(model_name)
model = ViTForImageClassification.from_pretrained(model_name)

# 2. 准备输入图像 (从网络加载示例图片)
url = "http://images.cocodataset.org/val2017/000000000039.jpg"
image = Image.open(requests.get(url, stream=True).raw)

# 3. 预处理图像
inputs = processor(images=image, return_tensors="pt")

# 4. 推理 (Inference)
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# 5. 获取预测结果
predicted_class_idx = logits.argmax(-1).item()
class_label = model.config.id2label[predicted_class_idx]

print(f"预测类别: {class_label}")
print(f"置信度得分: {logits[0][predicted_class_idx].item():.4f}")

3.2 运行示例

在终端执行：

python quick_start.py

3.3 进阶探索

根据 Transformer-in-Vision 列表中的 Recent Papers 或 Resource 部分：

多模态任务：参考 CLIP 或 LAVIS 章节，尝试图文检索。
目标检测：参考 KS-DETR 或 Detection Transformer 相关论文，克隆对应 GitHub 仓库运行检测 demo。
视频理解：参考 Video Transformers 综述，寻找对应的视频动作识别代码库。

通过此流程，你已成功利用该资源列表构建了基础环境并运行了第一个 Vision Transformer 模型。后续可根据列表中的论文链接深入研读算法细节。

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|5天前

Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|6天前

开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 150.7k|★★☆☆☆|今天

开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 108.3k|★★☆☆☆|昨天

开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。

★ 100.8k|★★☆☆☆|2天前

插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器

★ 93.4k|★★☆☆☆|5天前

插件开发框架

使用场景

没有 Transformer-in-Vision 时

使用 Transformer-in-Vision 后

运行环境要求

快速开始

视觉中的Transformer

资源

调查报告

最新论文

2023.8

2023.5

2023.3

2023.2

2023.1

2022年11月

2022年10月

2022年9月

2022年8月

2022年7月

2022年6月

2022年5月

2022年4月

2022年3月

2022年2月

2022年1月

2021年12月

2021年11月

2021年10月

2021年9月

2021年8月