深度学习课程 · SKC5053 · MaxKB FDE 教学

📚 9 章深度学习笔记

每章核心要点 + 关键公式 + 学习路径

第 1 章 · AI 概述与数学基础

核心要点：AI 四大浪潮（符号主义→统计学习→深度学习→大模型时代）；数学三大基石（线性代数、微积分、概率论）。

关键公式：矩阵乘法 $A \cdot B$、梯度 $ abla f$、贝叶斯 $P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

学习路径：吴恩达 ML 课程 → 周志华《机器学习》→ 复现经典算法

图 1-1 · AI 发展四大浪潮时间线

📝 PyTorch 矩阵运算与自动微分最小示例
import torch

x = torch.tensor([[1.0, 2.0], [3.0, 4.0]], requires_grad=True)

y = (x ** 2).sum() # y = x1² + x2² + x3² + x4²

y.backward() # 自动求导：∂y/∂x = 2x
print(x.grad) # tensor([[2., 4.], [6., 8.]])

📅 学习节奏 · 第 1 周 6 学时（理论 4 + 习题 2）→ 第 2 周提交 R1 数学基础作业

第 2 章 · 全连接神经网络（MLP）

核心要点：感知机→MLP→反向传播算法（链式法则）；激活函数对比（Sigmoid/ReLU/Tanh）；优化器演进（SGD→Adam）。

关键公式：前向 $y = \sigma(Wx + b)$；反向 $\frac{\partial L}{\partial W} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial W}$

学习路径：手写 MLP → 调参对比 → MNIST 98%

图 2-1 · MLP 架构（784→128→64→10）+ 双向数据流

📝 MLP 手写实现（PyTorch nn.Module）
classMLP(torch.nn.Module):
def__init__(self):

        super().__init__()

        self.net = torch.nn.Sequential(

            torch.nn.Linear(784, 128), torch.nn.ReLU(),

            torch.nn.Linear(128, 64), torch.nn.ReLU(),

            torch.nn.Linear(64, 10)

        )
defforward(self, x):
return self.net(x.view(-1, 784))
      

📅 学习节奏 · 第 3-4 周 12 学时 → 第 4 周末完成 实验 2 MNIST ≥ 97%

第 3 章 · CNN 卷积神经网络

核心要点：卷积操作（局部连接+权值共享）；池化层（最大/平均）；经典架构演进（LeNet→AlexNet→VGG→GoogLeNet→ResNet）。

关键公式：卷积 $(f * g)[i,j] = \sum_{m,n} f[m,n] g[i-m, j-n]$；感受野

学习路径：CS231n → 复现 ResNet → 迁移学习

图 3-1 · 卷积运算示意（局部连接 + 权值共享两个核心特性）

📝 CNN 最小实现（CIFAR-10 分类）
classCNN(torch.nn.Module):
def__init__(self):

        super().__init__()

        self.conv1 = torch.nn.Conv2d(3, 32, 3, padding=1) # 32×32×32

        self.pool = torch.nn.MaxPool2d(2, 2)         # 32→16→8→4

        self.conv2 = torch.nn.Conv2d(32, 64, 3, padding=1)

        self.fc = torch.nn.Linear(64 * 8 * 8, 10)

📅 学习节奏 · 第 5-6 周 12 学时 → 实验 3 CIFAR-10 ≥ 93%

第 4 章 · ResNet 与现代 CNN

核心要点：残差连接 $F(x) + x$ 解决梯度消失；BatchNorm 加速收敛；ResNet-18/50/101 对比；EfficientNet 复合缩放。

关键公式：$y = F(x, \{W_i\}) + x$；梯度 $\frac{\partial}{\partial x} = 1 + \frac{\partial F}{\partial x}$

学习路径：阅读 ResNet 论文 → 实现 50 层 → 迁移到 CIFAR-10

图 4-1 · 残差块结构（红色虚线 = 跳跃连接 · 解决深度网络梯度消失）

📝 ResNet 残差块实现
classResidualBlock(torch.nn.Module):
def__init__(self, in_c, out_c, stride=1):

        super().__init__()

        self.conv = torch.nn.Sequential(

            torch.nn.Conv2d(in_c, out_c, 3, stride, 1),

            torch.nn.BatchNorm2d(out_c), torch.nn.ReLU(),

            torch.nn.Conv2d(out_c, out_c, 3, 1, 1),

            torch.nn.BatchNorm2d(out_c)

        )

        self.shortcut = torch.nn.Sequential() # x 恒等映射
defforward(self, x):
return torch.nn.functional.relu(self.conv(x) + self.shortcut(x))
      

📅 学习节奏 · 第 7 周 6 学时 → 复现 ResNet-18/50 → ImageNet 子集 ≥ 85%

第 5 章 · RNN / LSTM 时序建模

核心要点：循环神经网络（序列建模）；LSTM 三门控（遗忘/输入/输出）解决长期依赖；GRU 简化版；双向 RNN。

关键公式：$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$

学习路径：手写 RNN → LSTM → 情感分析

图 5-1 · LSTM 时间展开图 · 三门控 × 水平细胞状态（长记忆通道）

📝 LSTM 情感分类器（IMDB）
classLSTMClassifier(torch.nn.Module):
def__init__(self, vocab_size, embed_dim=128, hidden=128):

        super().__init__()

        self.embed = torch.nn.Embedding(vocab_size, embed_dim)

        self.lstm = torch.nn.LSTM(embed_dim, hidden, batch_first=True)

        self.fc = torch.nn.Linear(hidden, 2)
defforward(self, x):

        _, (h, _) = self.lstm(self.embed(x))
return self.fc(h.squeeze(0))
      

📅 学习节奏 · 第 8-9 周 12 学时 → 实验 5 IMDB ≥ 89%

第 6 章 · Transformer 注意力机制

核心要点：Self-Attention（QKV 三矩阵）；Multi-Head（多视角并行）；Positional Encoding（位置信息）；LayerNorm。

关键公式：$\text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V$

学习路径：Attention Is All You Need 精读 → 实现 Self-Attention → 多头

图 6-1 · Self-Attention 计算图（Q/K/V 三矩阵 → 相似度 → 权重 → 加权求和）

📝 Multi-Head Attention 核心
classMultiHeadAttention(torch.nn.Module):
def__init__(self, d_model, n_head=8):

        super().__init__()

        self.n_head = n_head

        self.qkv = torch.nn.Linear(d_model, d_model * 3)

        self.proj = torch.nn.Linear(d_model, d_model)
defforward(self, x):

        B, N, C = x.shape

        qkv = self.qkv(x).reshape(B, N, 3, self.n_head, C // self.n_head)

        q, k, v = qkv.permute(2, 0, 3, 1, 4)

        attn = (q @ k.transpose(-2, -1)) * (C ** -0.5)

        attn = attn.softmax(dim=-1) @ v
return self.proj(attn.transpose(1, 2).reshape(B, N, C))

📅 学习节奏 · 第 10-11 周 12 学时 → 精读论文 + 手写 Self-Attention → R5 复现报告

第 7 章 · BERT / GPT 预训练大模型

核心要点：BERT 双向 MLM（掩码语言模型）；GPT 单向自回归；下游任务微调；HuggingFace Transformers 实战。

关键公式：$L_{MLM} = -\sum_{masked} \log P(x_i | x_{\text{context}})$

学习路径：BERT 论文 → HuggingFace 微调 → IMDB 92%

图 7-1 · BERT vs GPT 对比（黄色 = 待预测 · 双向 vs 单向注意力方向）

📝 HuggingFace BERT 微调（10 行搞定）
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tok = AutoTokenizer.from_pretrained("bert-base-uncased")

model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)
# Trainer API 一键微调
from transformers import Trainer, TrainingArguments

trainer = Trainer(model=model, args=TrainingArguments(

    output_dir="./out", num_train_epochs=3, per_device_train_batch_size=16

), train_dataset=train_ds, eval_dataset=eval_ds)

trainer.train() # IMDB ≥ 92%

📅 学习节奏 · 第 12-13 周 12 学时 → 实验 6 IMDB ≥ 92%

第 8 章 · 生成模型（GAN / VAE / 扩散）

核心要点：GAN 对抗训练（生成器 vs 判别器）；VAE 变分自编码器（隐空间）；Stable Diffusion 潜在扩散模型。

关键公式：$\min_G \max_D V(D,G) = \mathbb{E}[\log D(x)] + \mathbb{E}[\log(1-D(G(z)))]$

学习路径：手写 DCGAN → 调参生成人脸 → 扩散模型

图 8-1 · 三大生成模型架构对比（GAN 对抗 / VAE 变分推断 / Diffusion 扩散去噪）

📝 DCGAN 最小实现（生成手写数字）
classGenerator(torch.nn.Module):
def__init__(self, z_dim=100):

        super().__init__()

        self.net = torch.nn.Sequential(

            torch.nn.ConvTranspose2d(z_dim, 128, 4, 1, 0), torch.nn.BatchNorm2d(128), torch.nn.ReLU(),

            torch.nn.ConvTranspose2d(128, 64, 4, 2, 1), torch.nn.BatchNorm2d(64), torch.nn.ReLU(),

            torch.nn.ConvTranspose2d(64, 1, 4, 2, 1), torch.nn.Tanh()

        )

📅 学习节奏 · 第 14-15 周 12 学时 → 实验 7 DCGAN FID ≤ 50

第 9 章 · 迁移学习与工程化部署

核心要点：预训练 + 微调范式；边缘部署（Jetson Nano / 树莓派）；模型压缩（量化/剪枝/蒸馏）；ONNX + TensorRT 加速。

关键公式：$\text{size}_{INT8} = \frac{\text{size}_{FP32}}{4}$

学习路径：预训练模型 → 微调 → ONNX 导出 → 树莓派部署

图 9-1 · 工业级部署 5 步流水线（训练→压缩→转换→加速→边缘落地）

📝 ONNX 导出 + INT8 量化（YOLOv8 工业部署）
from ultralytics import YOLO

model = YOLO("yolov8s.pt")

model.export(format="onnx", imgsz=640, half=True)   # FP16 · 87MB
# TensorRT 加速（NVIDIA GPU）

model.export(format="engine", imgsz=640, int8=True) # INT8 · 22MB
# 树莓派 OpenVINO

mo --input_model yolov8s.onnx --data_type FP16
      

📅 学习节奏 · 第 16 周 6 学时 → 预训练 YOLOv8 → 树莓派 5 部署 → R10 毕设

📖 推荐学习书籍（10 本经典）

教学使用 · 可商用 · 保留原作者署名

📘

Deep Learning

深度学习（花书）

Ian Goodfellow 等

AI 圣经 · 数学严谨 · 理论首选

⭐⭐⭐⭐⭐ 经典必读

📗

机器学习

机器学习（西瓜书）

周志华

南瓜书配套 · 公式推导必备

⭐⭐⭐⭐⭐ 国内经典

📙

统计学习

统计学习方法

李航

清华出版社 · 严谨精炼

⭐⭐⭐⭐⭐ 理论基础

📕

D2L

动手学深度学习

李沐（d2l）

可运行代码 · 配套视频

⭐⭐⭐⭐⭐ 实战入门

📓

PyTorch

PyTorch 深度学习实战

Eli Stevens

工业部署向 · 模型上线

⭐⭐⭐⭐ 工业实战

📔

鱼书

深度学习入门：基于 Python 的实现

斋藤康毅（鱼书）

从零手写 · 不跳步骤

⭐⭐⭐⭐ 零基础友好

📒

Computer Vision

计算机视觉：算法与应用

Richard Szeliski

CV 全景 · 1000+ 页

⭐⭐⭐⭐ 视觉圣经

📚

NLP

自然语言处理综论

Daniel Jurafsky

NLP 全栈 · 理论与实战

⭐⭐⭐⭐ NLP 经典

📕

Hands-On ML

Hands-On ML（Scikit-Learn + TF）

Aurélien Géron

项目驱动 · 全栈式案例

⭐⭐⭐⭐ 工业实战

📙

Reinforcement Learning

强化学习（第 2 版）

Sutton & Barto

RL 经典 · 必读教材

⭐⭐⭐⭐⭐ RL 圣经

💼 7 大实验详细卡片

每个实验配数据集 + 评估指标 + 部署建议

实验 1 · PyTorch 张量与自动微分

⭐ 入门

📊 数据集
内置 torch.randn 演示

📈 指标
GPU 加速比 ≥ 50x

💻 代码
PyTorch + autograd

🚀 部署
本地 Jupyter 即可

图 E1-1 · GPU 加速实测：4096×4094 矩阵乘法 CPU 32s → GPU 0.62s（51x 加速）

实验 2 · MLP 手写数字识别

⭐ 入门

📊 数据集
MNIST 7 万张

📈 指标
准确率 ≥ 97%

💻 代码
手写反向传播

🚀 部署
CPU/GPU 通用

图 E2-1 · MLP 训练收敛曲线（Loss ↓ / Acc ↑ · 10 epochs 达到 98.3%）

实验 3 · CNN 图像分类

⭐⭐ 综合

📊 数据集
CIFAR-10 6 万张

📈 指标
准确率 ≥ 93%

💻 代码
ResNet-18/50

🚀 部署
RTX 3060+

图 E3-1 · CIFAR-10 混淆矩阵（猫/狗类最难区分 · 绿色对角线 = 正确率）

实验 4 · YOLOv8 + U-Net 检测

⭐⭐ 综合

📊 数据集
自采葡萄叶片 1 万张

📈 指标
mAP@0.5 ≥ 76%

💻 代码
Ultralytics + OpenCV

🚀 部署
树莓派 + RTX 4090

图 E4-1 · YOLOv8 葡萄叶片病害检测（3 类：黑腐病/白粉病/健康 · mAP@0.5=76.2%）

实验 5 · LSTM 情感分析

⭐⭐ 综合

📊 数据集
IMDB 5 万条

📈 指标
准确率 ≥ 89%

💻 代码
PyTorch LSTM

🚀 部署
CPU 可跑

图 E5-1 · LSTM 与 BERT 情感分析对比（精度 vs 速度权衡）

实验 6 · BERT 微调

⭐⭐⭐ 设计

📊 数据集
IMDB 5 万条

📈 指标
准确率 ≥ 92%

💻 代码
HuggingFace Trainer

🚀 部署
A10 24GB

图 E6-1 · BERT 微调三阶段流程（预训练 → 任务微调 → 部署推理）

实验 7 · DCGAN + 迁移学习（毕设）

⭐⭐⭐⭐ 毕设

📊 数据集
CelebA + 自采

📈 指标
FID ≤ 50 + 论文

💻 代码
PyTorch DCGAN

🚀 部署
A10 24GB · 12 学时

图 E7-1 · DCGAN 生成质量随训练 epoch 演化（FID 320 → 48 · 已达毕设目标）

深度学习 · 从原理到工业级实战

📚 9 大章节

🧪 7 大实验（验证性 → 综合性 → 设计性）

🔌 配套 API 接口（Vercel Serverless）

📚 教学资源下载

完整课件 PPT

实验代码库

核心论文清单

工具栈文档

数据集清单

4 大实战项目

🛤️ 推荐学习路径

第 1 阶段（1-2 周）

第 2 阶段（2-3 周）

第 3 阶段（3-4 周）

第 4 阶段（4-6 周）

🎓 与国际课程对标

📘 Coursera · 吴恩达 Deep Learning

📗 fast.ai · Practical DL

📙 CS231n · 李飞飞

📚 9 章深度学习笔记

第 1 章 · AI 概述与数学基础

第 2 章 · 全连接神经网络（MLP）

第 3 章 · CNN 卷积神经网络

第 4 章 · ResNet 与现代 CNN

第 5 章 · RNN / LSTM 时序建模

第 6 章 · Transformer 注意力机制

第 7 章 · BERT / GPT 预训练大模型

第 8 章 · 生成模型（GAN / VAE / 扩散）

第 9 章 · 迁移学习与工程化部署

📖 推荐学习书籍（10 本经典）

深度学习（花书）

机器学习（西瓜书）

统计学习方法

动手学深度学习

PyTorch 深度学习实战

深度学习入门：基于 Python 的实现

计算机视觉：算法与应用

自然语言处理综论

Hands-On ML（Scikit-Learn + TF）

强化学习（第 2 版）

🎬 配套短视频（3 集 · 60s）

EP1 · 选课前必看

EP2 · 难度地图

EP3 · 工业项目

💼 7 大实验详细卡片

实验 1 · PyTorch 张量与自动微分

实验 2 · MLP 手写数字识别

实验 3 · CNN 图像分类

实验 4 · YOLOv8 + U-Net 检测

实验 5 · LSTM 情感分析

实验 6 · BERT 微调

实验 7 · DCGAN + 迁移学习（毕设）

🚀 立刻开始 SKC5053 学习