---

title: TorchCode emoji: 🔥 colorFrom: red colorTo: yellow sdk: docker app_port: 7860 pinned: false

---

🎯 为什么选择 TorchCode？

顶级公司（Meta、Google DeepMind、OpenAI 等）都期望机器学习工程师能够在白板上凭记忆实现核心操作。光看论文是不够的——你需要手写 softmax、LayerNorm、MultiHeadAttention，以及完整的 Transformer 块代码。

TorchCode 提供了一个结构化的练习环境，具备以下特点：

	特性
🧩	40 道精选题目	最常出现在 PyTorch 面试中的主题
⚖️	自动评测系统	正确性检查、梯度验证和运行时间测量
🎨	即时反馈	按测试用例显示通过或失败的颜色标记，如同竞赛编程一样
💡	遇到困难时的提示	在不剧透完整答案的情况下给予引导
📖	参考解答	在尝试后可学习最优实现方式
📊	进度追踪	已完成的题目、最佳用时及尝试次数
🔄	一键重置	工具栏按钮可将任意笔记本恢复到空白模板——让你反复练习同一道题
	在 Colab 中打开	每个笔记本都配有“在 Colab 中打开”徽章及工具栏按钮——无需任何配置即可在 Google Colab 中运行题目

无需云端服务、无需注册、也不需要 GPU。只需执行 make run——或者直接在 Hugging Face 上立即体验。

---

🚀 快速入门

选项 0 — 在线体验（无需安装）

在 Hugging Face Spaces 上启动——会在你的浏览器中打开一个完整的 JupyterLab 环境。完全无需安装任何东西。

你也可以直接在 Google Colab 中打开任意一道题目——每个笔记本都带有 的徽章。

选项 0b — 在 Colab 中使用评测系统（通过 pip）

在 Google Colab 中，你可以从 PyPI 安装评测工具，这样就不必克隆仓库也能调用 check(...)：

!pip install torch-judge

然后在笔记本的一个单元格中：

from torch_judge import check, status, hint, reset_progress
status()           # 列出所有题目及你的进度
check("relu")      # 运行 "relu" 任务的测试
hint("relu")       # 显示提示

选项 1 — 拉取预构建镜像（最快）

docker run -p 8888:8888 -e PORT=8888 ghcr.io/duoan/torchcode:latest

如果该镜像对你的平台不可用，请改用选项 2。这是在 Apple Silicon / arm64 上的常用方法。

选项 2 — 本地构建

make run

make run 会优先尝试预构建的镜像，并在必要时自动回退到本地构建。

打开 http://localhost:8888——就完成了。同时支持 Docker 和 Podman（自动检测）。

---

📋 题目集

频率：🔥 = 面试中极有可能出现，⭐ = 常见考点，💡 = 新兴方向 / 区别化能力

🧱 基础知识 — “从零实现 X”

这是机器学习编码面试的核心内容。面试中通常会要求你不用 torch.nn 来编写这些代码。

序号	问题	你将实现的内容	难度	频率	关键概念
1	ReLU	relu(x)		🔥	激活函数，逐元素操作
2	Softmax	my_softmax(x, dim)		🔥	数值稳定性，exp/log技巧
16	交叉熵损失	cross_entropy_loss(logits, targets)		🔥	Log-softmax，logsumexp技巧
17	Dropout	MyDropout (nn.Module)		🔥	训练/评估模式，反向缩放
18	Embedding	MyEmbedding (nn.Module)		🔥	查找表，weight[indices]
19	GELU	my_gelu(x)		⭐	高斯误差线性单元，torch.erf
20	Kaiming初始化	kaiming_init(weight)		⭐	std = sqrt(2/fan_in)，方差缩放
21	梯度裁剪	clip_grad_norm(params, max_norm)		⭐	基于范数的裁剪，保持方向
31	梯度累积	accumulated_step(model, opt, ...)		💡	微批次处理，损失缩放
40	线性回归	LinearRegression (3种方法)		🔥	正规方程，从头开始的梯度下降，nn.Linear
3	线性层	SimpleLinear (nn.Module)		🔥	y = xW^T + b，Kaiming初始化，nn.Parameter
4	LayerNorm	my_layer_norm(x, γ, β)		🔥	归一化，运行统计量，仿射变换
7	BatchNorm	my_batch_norm(x, γ, β)		⭐	批次与层统计量的区别，训练/评估行为
8	RMSNorm	rms_norm(x, weight)		⭐	LLaMA风格的归一化，比LayerNorm更简单
15	SwiGLU MLP	SwiGLUMLP (nn.Module)		⭐	门控前馈网络，SiLU(gate) * up，LLaMA/Mistral风格
22	Conv2d	my_conv2d(x, weight, ...)		🔥	卷积，展开，步幅/填充

🧠 注意力机制 — 现代机器学习面试的核心

如果你正在应聘与大语言模型或 Transformer 相关的职位，至少会遇到一道关于注意力机制的题目。

序号	问题	你需要实现的内容	难度	出现频率	关键概念
23	交叉注意力	MultiHeadCrossAttention (nn.Module)		⭐	编码器-解码器架构，解码器提供 Q，编码器提供 K/V
5	缩放点积注意力	scaled_dot_product_attention(Q, K, V)		🔥	softmax(QK^T/√d_k)V，一切的基础
6	多头注意力	MultiHeadAttention (nn.Module)		🔥	并行的多个注意力头，拆分与拼接，投影矩阵
9	因果自注意力	causal_attention(Q, K, V)		🔥	使用 -inf 进行自回归掩码，GPT 风格
10	分组查询注意力	GroupQueryAttention (nn.Module)		⭐	GQA（LLaMA 2），多个头共享 K 和 V
11	滑动窗口注意力	sliding_window_attention(Q, K, V, w)		⭐	Mistral 风格的局部注意力，复杂度为 O(n·w)
12	线性注意力	linear_attention(Q, K, V)		💡	核技巧，φ(Q)(φ(K)^TV)，复杂度为 O(n·d²)
14	KV 缓存注意力	KVCacheAttention (nn.Module)		🔥	增量解码，缓存 K/V，预填充与解码的区别
24	RoPE	apply_rope(q, k)		🔥	旋转位置编码，通过旋转实现相对位置信息
25	Flash Attention	flash_attention(Q, K, V, block_size)		💡	分块注意力，在线 softmax，内存高效

🏗️ 架构与适配 — 将一切整合起来

序号	问题	你将实现的内容	难度	频率	关键概念
26	LoRA	LoRALinear (nn.Module)		⭐	低秩适配，冻结基础模型 + BA 更新
27	ViT Patch Embedding	PatchEmbedding (nn.Module)		💡	图像 → 片段 → 线性投影
13	GPT-2 块	GPT2Block (nn.Module)		⭐	预归一化、因果自注意力机制 + MLP（4倍、GELU）、残差连接
28	专家混合模型	MixtureOfExperts (nn.Module)		⭐	Mixtral 风格、top-k 路由、专家 MLP

⚙️ 训练与优化

序号	问题	你将实现的内容	难度	频率	关键概念
29	Adam 优化器	MyAdam		⭐	动量 + RMSProp，偏差校正
30	余弦学习率调度器	cosine_lr_schedule(step, ...)		⭐	线性预热 + 余弦退火

🎯 推理与解码

序号	问题	你将实现的内容	难度	频率	关键概念
32	Top-k / Top-p 采样	sample_top_k_top_p(logits, ...)		🔥	核心采样、温度缩放
33	束搜索	beam_search(log_prob_fn, ...)		🔥	假设扩展、剪枝、EOS 处理
34	推测解码	speculative_decode(target, draft, ...)		💡	接受/拒绝、草稿模型加速

🔬 进阶 — 区分点

序号	问题	你将实现的内容	难度	频率	关键概念
35	BPE 分词器	SimpleBPE		💡	字节对编码、合并规则、子词分割
36	INT8 量化	Int8Linear (nn.Module)		💡	按通道量化、缩放因子/零点、缓冲区与参数的区别
37	DPO 损失函数	dpo_loss(chosen, rejected, ...)		💡	直接偏好优化、对齐训练
38	GRPO 损失函数	grpo_loss(logps, rewards, group_ids, eps)		💡	分组相对策略优化、RLAIF、组内归一化优势
39	PPO 损失函数	ppo_loss(new_logps, old_logps, advantages, clip_ratio)		💡	PPO 截断代理损失、策略梯度、信任区域

---

⚙️ 工作原理

每个问题包含 两个 笔记本：

文件	用途
01_relu.ipynb	✏️ 空白模板 — 在这里编写你的代码
01_relu_solution.ipynb	📖 参考解答 — 遇到困难时可查看

工作流程

1. 打开空白笔记本           →  阅读题目描述
2. 实现你的解决方案         →  仅使用基础 PyTorch 操作
3. 自由调试                    →  打印(x.shape)，检查梯度等
4. 运行评判单元              →  check("relu")
5. 查看即时彩色反馈            →  ✅ 通过 / ❌ 失败，按测试用例显示
6. 卡住了？获取提示          →  hint("relu")
7. 查看参考解答              →  01_relu_solution.ipynb
8. 点击工具栏中的 🔄 重置  →  清空所有内容 — 再次练习！

笔记本内 API

from torch_judge import check, hint, status

check("relu")               # 评判你的实现
hint("causal_attention")    # 获取提示，不完全剧透
status()                    # 进度仪表板 — 已解决 / 已尝试 / 待完成

---

📅 建议学习计划

总计：约 12–16 小时，分散在 3–4 周内。非常适合临近面试的备考。

周	重点	问题	时间
1	🧱 基础知识	ReLU → Softmax → 交叉熵损失 → Dropout → Embedding → GELU → Linear → LayerNorm → BatchNorm → RMSNorm → SwiGLU MLP → Conv2d	2–3 小时
2	🧠 注意力机制深入	SDPA → MHA → Cross-Attn → Causal → GQA → KV Cache → 滑动窗口 → RoPE → Linear Attn → Flash Attn	3–4 小时
3	🏗️ 架构 + 训练	GPT-2 块 → LoRA → MoE → ViT Patch → Adam → Cosine LR → 梯度裁剪 → 梯度累积 → Kaiming 初始化	3–4 小时
4	🎯 推理 + 进阶	Top-k/p 采样 → 束搜索 → 推测解码 → BPE → INT8 量化 → DPO 损失 → GRPO 损失 → PPO 损失 + 快速通关	3–4 小时

---

🏛️ 架构

┌──────────────────────────────────────────┐
│           Docker / Podman 容器      │
│                                          │
│  JupyterLab (:8888)                      │
│    ├── templates/  (每次运行后重置)   │
│    ├── solutions/  (参考实现)      │
│    ├── torch_judge/ (自动评分)       │
│    ├── torchcode-labext (JLab 插件)    │
│    │     🔄 重置 — 恢复模板     │
│    │     🔗 Colab — 在 Colab 中打开        │
│    └── PyTorch (CPU), NumPy              │
│                                          │
│  评判标准：                           │
│    ✓ 输出正确性 (allclose)       │
│    ✓ 梯度流动 (autograd)            │
│    ✓ 形状一致性                   │
│    ✓ 边界情况及数值稳定性    │
└──────────────────────────────────────────┘

单容器。单端口。无数据库。无前端框架。无 GPU。

🛠️ 命令

make run    # 构建并启动 (http://localhost:8888)
make stop   # 停止容器
make clean  # 停止 + 移除卷 + 重置所有进度

🧩 添加你自己的问题

TorchCode 使用自动发现功能 — 只需将新文件放入 torch_judge/tasks/：

TASK = {
    "id": "my_task",
    "title": "我的自定义问题",
    "difficulty": "medium",
    "function_name": "my_function",
    "hint": "想想广播...",
    "tests": [ ... ],
}

无需注册。评判系统会自动识别。

---

📦 将 torch-judge 发布到 PyPI（维护者）

评判系统被单独打包发布，以便 Colab 用户可以 pip install torch-judge，而无需克隆整个仓库。

自动化（GitHub Action）

在更改包版本后推送到 master 分支会触发 .github/workflows/pypi-publish.yml，该工作流会构建并上传到 PyPI。无需创建 Git 标签。

1. 在 torch_judge/_version.py 中增加版本号（例如：__version__ = "0.1.1"）。
2. 配置 PyPI 可信发布者（仅需一次）：
   • 进入 PyPI → 您的项目 torch-judge → 发布 → 添加新的待定发布者
   • 所有者：duoan，仓库：TorchCode，工作流：pypi-publish.yml，环境：留空
   • 运行一次该工作流（将版本号更新推送到 master 分支，或通过 Actions → Publish torch-judge to PyPI → 运行工作流）；PyPI 会随后关联该发布者。
3. 发布：提交版本号更新，并执行 git push origin master。

或者，您也可以使用 API 令牌：添加仓库密钥 PYPI_API_TOKEN（值为从 PyPI 获取的 pypi-...），并在工作流中设置 TWINE_USERNAME=__token__ 和 TWINE_PASSWORD 为该密钥中的值，以替代使用可信发布者的方式。

手动

pip install build twine
python -m build
twine upload dist/*

版本号位于 torch_judge/_version.py 中；每次发布前请先更新版本号。

---

❓ 常见问题解答

我需要 GPU 吗？

不需要。所有操作都在 CPU 上运行。这些题目测试的是正确性和理解力，而非计算吞吐量。

我可以在不同运行之间保留我的解答吗？

每次执行 `make run` 时，空白模板都会重置，以便您从头开始练习。如果您想保留自己的工作，请将其保存为不同的文件名。此外，您也可以随时点击笔记本工具栏中的 🔄 重置 按钮，在不重启的情况下恢复空白模板。

我可以使用 Google Colab 吗？

可以！每个笔记本顶部都有一个 在 Colab 中打开 的标签。点击它即可直接在 Google Colab 中打开题目——无需 Docker 或本地环境设置。您也可以在 JupyterLab 内部使用 Colab 工具栏按钮。

答案是如何评分的？

评测系统会使用您的函数对多个测试用例进行验证，通过 `torch.allclose` 确保数值上的正确性，同时利用自动微分机制检查梯度是否正确传播，并针对每种操作的具体边界情况进行检查。

这个项目适合哪些人？

适用于准备顶尖科技公司机器学习/人工智能工程师面试的人士，以及任何希望深入理解 PyTorch 底层运作机制的人。

---

🤝 贡献者

感谢所有为 TorchCode 作出贡献的人。

duoan

Ando233

ThierryHJ

自动生成自 GitHub 贡献者图，包含头像和 GitHub 用户名。

---

TorchCode 快速上手指南

TorchCode 是一个专为 PyTorch 开发者设计的面试刷题平台，被誉为“张量版的 LeetCode"。它提供了 40+ 个精选问题，帮助你从零实现核心算子（如 Softmax、LayerNorm、Transformer 等），并配备自动判题系统，即时反馈代码的正确性、梯度验证及运行效率。

环境准备

本项目基于 Docker 和 JupyterLab 构建，无需配置复杂的本地 Python 环境，也不需要 GPU。

• 操作系统：Linux / macOS / Windows (需安装 Docker Desktop)
• 前置依赖：
  • Docker 或 Podman
  • 或者：Google Colab 账号（在线免安装方案）
• 网络要求：能够访问 GitHub Container Registry (ghcr.io) 或 Hugging Face。国内用户若拉取镜像缓慢，建议使用“在线体验”方案或配置 Docker 镜像加速。

安装步骤

你可以选择以下任意一种方式开始：

方案一：在线体验（零安装，推荐国内用户首选）

无需本地部署，直接在浏览器中运行完整环境。

1. 访问 Hugging Face Spaces 启动实例： 🔥 点击启动 TorchCode (Hugging Face)
2. 或在 Google Colab 中直接打开单个题目笔记本（每个题目页面均有 Open In Colab 按钮）。

方案二：使用 Docker 运行（本地部署，最快）

如果你已安装 Docker，只需一条命令即可拉取预构建镜像并启动服务：

docker run -p 8888:8888 -e PORT=8888 ghcr.io/duoan/torchcode:latest

注意：如果因网络原因无法拉取 ghcr.io 镜像，请尝试方案三进行本地构建，或配置 Docker 代理。

方案三：本地源码构建

如果预构建镜像不可用（例如在 Apple Silicon M1/M2/M3 芯片上遇到架构兼容问题），可以使用 make 命令自动回退到本地构建：

git clone https://github.com/duoan/TorchCode.git
cd TorchCode
make run

该命令会自动检测并使用 Docker 或 Podman 构建镜像。

基本使用

启动成功后，在浏览器中访问：

http://localhost:8888

你将进入 JupyterLab 界面，左侧文件栏中包含了所有练习题模板（templates/ 目录）。

核心功能演示

1. 选择题目：打开任意 .ipynb 文件（例如 01_relu.ipynb）。
2. 编写代码：在单元格中根据提示从头实现算子（不使用 torch.nn 中的现成模块）。
3. 自动判题：运行包含 check() 函数的单元格，系统将立即输出测试结果：
   • ✅ Pass：通过正确性、梯度检查及性能测试。
   • ❌ Fail：显示具体失败的测试用例。
   • 💡 Hint：如果卡住，可调用 hint() 获取思路提示（不会直接给出答案）。

进阶用法：在 Colab 中使用判题器

如果你想在本地笔记本或 Colab 中独立使用判题逻辑，无需克隆整个仓库，可直接安装 Python 包：

!pip install torch-judge

在代码单元格中调用：

from torch_judge import check, status, hint, reset_progress

# 查看所有题目及当前进度
status()           

# 运行 "relu" 题目的测试
check("relu")      

# 获取 "relu" 题目的提示
hint("relu")       

重置练习

想要重新练习同一道题？点击工具栏上的 "One-click reset" 按钮，即可将笔记本恢复至初始空白模板状态，无限次重复练习。