pytorch-transformer

Attention is all you need implementation

YouTube video with full step-by-step implementation: https://www.youtube.com/watch?v=ISNdQcPhsts

pytorch-transformer 快速上手指南

本指南帮助中国开发者快速部署并运行基于 PyTorch 的 Transformer 模型（"Attention Is All You Need"论文实现）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.6 或更高版本
• 核心依赖：
  • pytorch (建议 1.0+)
  • numpy
  • matplotlib (用于可视化注意力权重)

国内加速建议：推荐使用清华源或阿里源安装 Python 依赖，以提升下载速度。

安装步骤

1. 克隆项目代码

从 GitHub 获取源代码：

git clone https://github.com/hyunwoongko/pytorch-transformer.git
cd pytorch-transformer

2. 安装依赖库

使用 pip 安装所需库。强烈建议使用国内镜像源以加快安装速度：

# 使用清华大学镜像源
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果项目中未包含 requirements.txt，请直接安装核心依赖：

pip install torch numpy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

该项目主要作为学习和复现参考，最直接的用法是运行提供的训练脚本来观察模型收敛过程及注意力机制可视化。

运行示例任务

执行以下命令启动一个简单的序列到序列（Seq2Seq）训练任务（通常用于机器翻译演示）：

python train.py

代码调用示例

如果您希望在自定义脚本中导入并使用该 Transformer 模型：

import torch
from models.transformer import Transformer

# 定义超参数
src_vocab_size = 10000
tgt_vocab_size = 10000
d_model = 512
n_layers = 6
n_heads = 8
d_ff = 2048
max_seq_len = 100

# 初始化模型
model = Transformer(
    src_vocab_size=src_vocab_size,
    tgt_vocab_size=tgt_vocab_size,
    d_model=d_model,
    n_layers=n_layers,
    n_heads=n_heads,
    d_ff=d_ff,
    max_seq_len=max_seq_len
)

# 准备假数据 (batch_size, seq_len)
src_inputs = torch.randint(0, src_vocab_size, (32, max_seq_len))
tgt_inputs = torch.randint(0, tgt_vocab_size, (32, max_seq_len))

# 前向传播
outputs = model(src_inputs, tgt_inputs)
print(outputs.shape)

运行结束后，您可以在输出目录中找到训练日志和注意力权重的可视化图表。详细的教学视频可参考项目 README 中的 YouTube 链接。