Vision Transformer PyTorch实现 `vit-pytorch`

⭐⭐⭐☆☆ (3/5) 🧩 软硬件结合已发布

lucidrains 13968 Stars 未知 BOM 完整度: /5 教程完整度: /5

项目简介

Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification with only a single transform

Vision Transformer (ViT) 的 PyTorch 实现，是一个将 Transformer 架构成功应用于计算机视觉领域的开源项目。该项目由开发者 Phil Wang 维护，核心功能是提供简洁、模块化的代码，让用户能够轻松构建和实验各种基于 Vision Transformer 的图像分类模型。

项目特点

提供完整的 Vision Transformer 基础实现，代码简洁易用

包含大量 ViT 变体实现，如 SimpleViT、NaViT、CaiT、DeepViT、CCT、MobileViT 等

支持知识蒸馏功能，可从卷积网络向 ViT 蒸馏知识

提供掩码自编码器（MAE）等自监督学习实现

支持多种注意力机制改进，如 Re-attention、Talking Heads 等

兼容不同分辨率的图像输入（NaViT）

提供嵌套张量（Nested Tensor）支持，优化序列处理

技术规格

image_size
patch_size
num_classes
dim
depth
heads
mlp_dim
channels
dropout
emb_dropout
pool

项目资源

lucidrains/vit-pytorch openreview.net/pdf?id=YicbFdNTTy www.youtube.com/watch?v=TrdevFK_am4 rwightman/pytorch-image-models google-research/vision_transformer taki0112/vit-tensorflow conceptofmind/vit-flax

搜索资源

B站 YouTube Google GitHub 知乎 Hackster Hackaday Printables Instructables

物料清单 (BOM)

物料名称	数量	参考价格	备注
Python	1	—	编程语言
PyTorch	1	—	深度学习框架
vit-pytorch	1	—	通过 pip 安装

所需工具

工具	用途	是否必需
Python 环境	运行代码	✅ 是
PyTorch	深度学习框架	✅ 是
GPU（推荐）	加速模型训练	▢ 推荐

能力画像

记忆与知识检索

1/5

逻辑推演

3/5

表达与交流

1/5

感知与观察

1/5

数理与计算

4/5

动手与操作

2/5

狂热与坚持

2/5

创造与创新

3/5

项目图库

所需技能

🔧 **动手能力**：需要能够配置 Python 和 PyTorch 环境，安装依赖包 💻 **编程能力**：需要 Python 编程基础，理解 PyTorch 框架使用，了解 Transformer 架构原理 ⚡ **电子电路**：不涉及

适用场景

图像分类任务的研究与实验

计算机视觉领域的 Transformer 架构探索

自监督学习（掩码自编码器）研究

知识蒸馏实验，从卷积网络向 Transformer 迁移知识

多分辨率图像处理研究

Vision Transformer PyTorch实现 vit-pytorch