---

search: exclude: true

深度学习工程师生存指南

在线阅读：https://dl.ypw.io
在线阅读：https://ypwhs.github.io/dl-engineer-guidebook/
项目地址：https://github.com/ypwhs/dl-engineer-guidebook

• 持续关注请点 Watch
• 收藏项目请点 Star
• 贡献内容请点 Fork
• 提问或建议请点 Issue

本书会讲述一个深度学习工程师所需的所有东西：

• 如何配置一台深度学习工作站?
  • CPU
  • 主板
  • 显卡
  • 硬盘
  • 内存
  • 电源
  • 网卡
  • 机箱
  • 显示器
  • 键盘鼠标
• 本地设备
  • Windows、Linux 还是 macOS？
  • Mac 对比
  • 其他
    • 触控板
    • 机械键盘
    • iPad Pro
    • 路由器
    • NAS
    • 移动硬盘
    • U盘
• macOS 软件
  • 终端
  • 编辑器
  • 浏览器
  • 开发软件
  • 实用工具
  • 虚拟机
• macOS 环境
  • Homebrew
  • oh my zsh
  • 必备软件
    • 终端
    • 编辑器
    • 浏览器
    • 开发软件
    • 实用工具
    • 日常应用
  • 必备命令
• Python 环境
  • Anaconda
  • Python 库
• Ubuntu 装机步骤
  • 安装 Ubuntu
  • 配置 ssh
  • 配置 sudo 免密码 和 apt 源（推荐）
  • 安装 oh my zsh 以及常用命令（推荐）
  • 安装 NVIDIA 驱动、CUDA 和 cuDNN（分为 apt 和 run 两种安装方式）
  • 安装 Anaconda 和 Python 库
• Ubuntu 环境
  • CUDA
  • cuDNN
  • TensorFlow
  • PyTorch
  • 必备命令
    • curl
    • tmux 与 iTerm2 结合使用
    • screen 后台运行命令
• 常用 Linux 命令
  • 文件查看
  • 文件读写
  • 打包压缩
  • 权限管理
  • 进程管理
  • 磁盘管理
  • 系统管理
  • 系统监测
  • 网络通信
• CV 学习资源
  • 公开课
  • 网站
  • 书籍
• 常用 CV 数据集
  • 数据集使用方法
  • MNIST
  • CIFAR
  • ImageNet
  • VOC
  • COCO
  • CelebA
• 在 ImageNet 上表现出色的经典模型
  • 预训练模型使用方法
    • TensorFlow
    • PyTorch
  • 模型论文
• 如何使用 TensorBoard
  • 安装
  • 使用
    • 创建文件对象（writer）
    • 打开 TensorBoard 服务
    • 可视化模型结构
    • 记录标量（scalar）
    • 记录多个标量（scalars）
    • 记录图像（images）
    • 完整代码
  • 总结
• 离线 Python 环境

dl-engineer-guidebook 快速上手指南

本指南基于《深度学习工程师生存指南》项目整理，旨在帮助开发者快速搭建深度学习开发环境并掌握核心工作流。

环境准备

在开始之前，请确保你的硬件和操作系统满足以下基本要求：

• 硬件配置：
  • 显卡 (GPU)：推荐 NVIDIA 显卡（支持 CUDA），显存建议 8GB 以上。
  • 内存：建议 16GB 或以上。
  • 存储：建议配备 SSD 以加快数据读取和系统响应。
• 操作系统：
  • 首选：Ubuntu Linux（生产环境和服务器部署推荐）。
  • 开发/日常：macOS 或 Windows（Windows 用户建议使用 WSL2 或虚拟机运行 Linux）。
• 前置依赖：
  • 稳定的网络连接（配置国内镜像源可显著提升下载速度）。
  • 基础命令行操作知识。

安装步骤

以下以 Ubuntu 系统为例，展示从零搭建深度学习环境的核心步骤。macOS 用户可参考类似逻辑使用 Homebrew 进行安装。

1. 系统初始化与基础工具

更新软件源并安装必要的基础工具（推荐使用国内镜像源，如阿里云或清华源替换默认源）：

sudo apt update
sudo apt upgrade -y
sudo apt install -y git curl wget vim build-essential

配置 oh my zsh 以提升终端体验（可选但推荐）：

sh -c "$(curl -fsSL https://raw.githubusercontent.com/ohmyzsh/ohmyzsh/master/tools/install.sh)"

2. 安装 NVIDIA 驱动与 CUDA 环境

根据显卡型号安装对应的驱动、CUDA Toolkit 和 cuDNN。推荐使用 apt 方式安装以保持系统稳定性：

# 添加 NVIDIA 包仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-driver-535 nvidia-cuda-toolkit

注：具体驱动版本号（如 535）请根据官网最新推荐调整。

验证安装：

nvidia-smi
nvcc --version

3. 配置 Python 环境与深度学习框架

推荐使用 Anaconda 或 Miniconda 管理 Python 环境，避免污染系统自带 Python。

# 下载 Miniconda 安装包 (建议使用清华镜像加速)
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

# 初始化完成后重新打开终端，创建虚拟环境
conda create -n dl-env python=3.9
conda activate dl-env

# 配置 pip 国内镜像 (清华源)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 PyTorch (示例，具体版本请参考 pytorch.org)
pip install torch torchvision torchaudio
# 或安装 TensorFlow
pip install tensorflow

基本使用

环境搭建完成后，即可开始深度学习开发任务。以下是两个最典型的使用场景。

1. 验证 GPU 加速

创建一个简单的 Python 脚本测试 PyTorch 是否成功调用 GPU：

import torch

print(f"PyTorch version: {torch.__version__}")
print(f"CUDA available: {torch.cuda.is_available()}")
if torch.cuda.is_available():
    print(f"GPU Device: {torch.cuda.get_device_name(0)}")
    
    # 简单张量运算测试
    x = torch.rand(5, 3).cuda()
    y = torch.rand(5, 3).cuda()
    z = torch.matmul(x, y.T)
    print("GPU Matrix Multiplication Successful:", z.shape)

运行脚本：

python test_gpu.py

2. 使用 TensorBoard 可视化训练过程

在训练代码中集成 TensorBoard 以监控损失和准确率。

代码示例：

from torch.utils.tensorboard import SummaryWriter

# 创建日志写入对象
writer = SummaryWriter('runs/experiment_1')

for i in range(100):
    # 模拟训练损失下降
    loss = 1.0 / (i + 1)
    writer.add_scalar('Loss/train', loss, i)
    
    # 模拟准确率上升
    acc = 1.0 - loss
    writer.add_scalar('Accuracy/train', acc, i)

writer.close()
print("Logs written to runs/experiment_1")

启动 TensorBoard 服务：

tensorboard --logdir=runs

在浏览器中访问 http://localhost:6006 即可查看可视化图表。

3. 常用后台运行命令

在服务器上进行长时间训练时，建议使用 tmux 或 screen 防止会话断开导致任务终止：

# 创建名为 train_job 的 tmux 会话
tmux new -s train_job

# 在会话中运行训练脚本
python train.py

# 按 Ctrl+B 然后按 D 退出会话（任务仍在后台运行）

# 重新连接会话
tmux attach -t train_job