视频封面

视频元信息

  • 课程来源：吴恩达深度学习专项课程（Deep Learning Specialization）
  • 所属模块：卷积神经网络（CNN）——经典网络
  • 视频时长：约 15 分钟
  • 本讲主题：LeNet-5、AlexNet、VGG-16 三大经典卷积神经网络架构

内容摘要（TL;DR）

本视频系统讲解了三种经典卷积神经网络架构：LeNet-5（1998年，约6万参数，用于手写数字识别）、AlexNet（约6000万参数，首次大规模使用ReLU，引爆深度学习在计算机视觉领域的应用）和 VGG-16（约1.38亿参数，架构简洁统一，全部使用3×3卷积和2×2池化）。核心规律是：随着网络加深，特征图的高宽逐渐缩小，通道数逐渐增加。

一、课程引入 [00:00]

本视频将介绍几种经典的神经网络架构，依次为：

  1. LeNet-5（视频中发音类似 "Net5"）
  2. AlexNet
  3. VGGNet（视频中发音类似 "DGGNet"，实为 VGGNet）

理解：这三种网络是卷积神经网络发展史上的里程碑，理解它们的结构演变有助于掌握 CNN 设计的核心思想。

二、LeNet-5 架构详解 [00:10]

2.1 基本背景

  • 输入：32×32×1 的灰度图像
  • 任务：识别手写数字（0-9）
  • 训练数据：灰度图像，因此通道数为 1
  • 提出时间：1998 年
  • 论文作者：Yann LeCun 等人

背景补充：LeNet-5 最初用于美国邮政系统和银行支票上的手写数字识别，是卷积神经网络的奠基性工作之一。

2.2 逐层结构分析

第一层：卷积层 C1

  • 使用 6 个 5×5 的滤波器
  • 步幅（stride）= 1
  • 不使用 padding（valid convolution）
  • 输出维度：从 32×32 缩小到 28×28×6
  • 推导：(32 - 5) / 1 + 1 = 28

第二层：池化层 S2

  • 使用平均池化（average pooling）
  • 滤波器宽度 = 2，步幅 = 2
  • 输出维度：高宽各缩小一半，变为 14×14×6

易错点： 当年论文中使用的是平均池化，而现代实践中更常用最大池化（max pooling）。吴恩达建议：如果你现在构建模型，应该使用最大池化。

第三层：卷积层 C3

  • 使用 16 个 5×5 的滤波器
  • 步幅 = 1，不使用 padding
  • 输出维度：从 14×14 缩小到 10×10×16
  • 推导：(14 - 5) / 1 + 1 = 10

考点： 1998 年时人们不使用 padding，总是使用 valid convolution，因此每次卷积后高宽都会缩小。

第四层：池化层 S4

  • 平均池化，滤波器宽度 = 2，步幅 = 2
  • 输出维度：缩小为 5×5×16
  • 展平后：5×5×16 = 400 个节点

第五层：全连接层 C5

  • 400 个节点全连接到 120 个神经元

第六层：全连接层 F6

  • 120 个神经元全连接到 84 个神经元

输出层

  • 84 个特征 → 最终输出
  • 现代版本会使用 Softmax 层，输出 10 个类别（对应数字 0-9）
  • 原始 LeNet-5 使用了不同的分类器（如 RBF 网络），这在今天已不再使用

2.3 关键特征总结

特征 说明
参数量 约 60,000 个参数
现代对比 今天常见网络有 1000 万到 1 亿个参数
规模对比 现代网络可能是 LeNet-5 的 约 1000 倍
通道变化 1 → 6 → 16（逐渐增加）
高宽变化 32 → 28 → 14 → 10 → 5（逐渐减小）

2.4 经典模式（至今仍常用）

重点： LeNet-5 确立了一种经典的网络结构模式： 一个或多个卷积层 → 池化层 → 一个或多个卷积层 → 池化层 → 全连接层 → 输出

这种排列方式在现代网络中仍然非常常见。

2.5 历史细节（进阶阅读） [04:34]

以下内容为论文阅读参考，不影响核心理解：

  • 当时使用 Sigmoid 和 Tanh 激活函数，尚未使用 ReLU
  • 原始 LeNet-5 的滤波器连接方式很复杂：不同滤波器查看输入块的不同通道（为了节省计算量和参数），现代实现不会这样做
  • 原始 LeNet-5 在池化层后也使用了非线性激活函数（Sigmoid）
  • 论文中大部分核心思想在第 2 节和第 3 节，建议重点阅读
  • 论文后续章节提到 "图变换网络"（Graph Transformer Network），但并未广泛使用

提醒： LeNet-5 论文是较难读的一篇，建议先读 AlexNet 论文，再读 VGG 论文。

三、AlexNet 架构详解 [07:01]

3.1 基本背景

  • 命名来源：以第一作者 Alex Krizhevsky 命名
  • 其他作者：Ilya Sutskever、Geoffrey Hinton
  • 历史意义：这篇论文说服了大量计算机视觉研究者认真对待深度学习，证明了深度学习在计算机视觉中确实有效，并产生了超越计算机视觉领域的巨大影响

背景补充：AlexNet 在 2012 年 ImageNet 竞赛中以巨大优势夺冠（top-5 错误率从 26% 降至 15%），标志着深度学习时代的正式开启。

3.2 逐层结构分析

输入层

  • 输入图像：227×227×3
  • 易错点： 论文中写的是 224×224×3，但根据后续计算，实际应为 227×227×3

第一层：卷积层

  • 使用 96 个 11×11 的滤波器
  • 步幅 = 4（较大的步幅）
  • 输出维度：缩小到 55×55×96
  • 推导：(227 - 11) / 4 + 1 = 55

第二层：最大池化层

  • 滤波器大小 = 3×3，步幅 = 2
  • 输出维度：缩小到 27×27×96
  • 推导：(55 - 3) / 2 + 1 = 27

第三层：卷积层

  • 使用 256 个 5×5 的滤波器
  • Same convolution（使用 padding）
  • 输出维度：27×27×256

第四层：最大池化层

  • 滤波器大小 = 3×3，步幅 = 2
  • 输出维度：缩小到 13×13×256

第五层：卷积层

  • Same convolution，使用 384 个滤波器
  • 输出维度：13×13×384

第六层：卷积层

  • 3×3 same convolution
  • 输出维度：13×13×384

第七层：卷积层

  • 3×3 same convolution
  • 输出维度：13×13×256

第八层：最大池化层

  • 输出维度：缩小到 6×6×256
  • 展平后：6×6×256 = 9,216 个节点

第九层及之后：全连接层

  • 展平为 9,216 个节点
  • 几个全连接层
  • 最终通过 Softmax 输出 1000 个类别

3.3 与 LeNet-5 的对比

对比项 LeNet-5 AlexNet
参数量 约 6 万 约 6000 万
激活函数 Sigmoid/Tanh ReLU
输入尺寸 32×32×1 227×227×3
输出类别 10 1000
训练数据 较小 大规模数据集

重点： AlexNet 使用了与 LeNet-5 相似的基本构建块，但拥有更多的隐藏单元，并在更多数据上训练，从而获得了卓越的性能。

3.4 关键改进

  1. 使用 ReLU 激活函数：这是 AlexNet 比 LeNet-5 表现更好的重要原因之一
  2. 更大的网络规模：6000 万参数 vs 6 万参数

3.5 历史细节（进阶阅读） [10:01]

以下为论文中的高级细节，不影响核心理解：

  • 双 GPU 训练：当时 GPU 较慢，网络被拆分到两个 GPU 上训练，两个 GPU 之间有特定的通信方式
  • 局部响应归一化（Local Response Normalization, LRN） ：
    • 原理：对某个位置的所有通道值进行归一化
    • 例如：对 13×13×256 的特征图，在每个位置上看 256 个通道值并归一化
    • 动机：不希望某个位置有太多神经元具有非常高的激活值
    • 现状：后续研究发现 LRN 帮助不大，现代网络中几乎不再使用

易错点： LRN 是 AlexNet 论文中的内容，但在实践中不需要使用。吴恩达明确表示他在训练网络时不会使用 LRN。

四、VGG-16 架构详解 [12:35]

4.1 设计理念

VGG-16 的核心设计思想是简化网络架构：

  • 所有卷积层统一使用 3×3 滤波器，步幅 = 1，Same padding
  • 所有最大池化层统一使用 2×2 滤波器，步幅 = 2
  • 避免了 AlexNet 中大量超参数需要调优的问题

理解：VGG 的设计哲学是"用简单统一的规则替代复杂的超参数搜索"，这使得网络架构更加规整、易于理解和实现。

4.2 逐层结构分析

输入：224×224×3 的图像

第一组：2 个卷积层

  • 使用 64 个 3×3 滤波器（两次）
  • Same convolution
  • 输出维度：224×224×64

第一个池化层

  • 2×2 最大池化，步幅 = 2
  • 输出维度：112×112×64

第二组：2 个卷积层

  • 使用 128 个 3×3 滤波器（两次）
  • 输出维度：112×112×128

第二个池化层

  • 输出维度：56×56×128

第三组：3 个卷积层

  • 使用 256 个 3×3 滤波器（三次）
  • 输出维度：56×56×256

第三个池化层

  • 输出维度：28×28×256

第四组：3 个卷积层

  • 使用 512 个 3×3 滤波器（三次）
  • 输出维度：28×28×512

第四个池化层

  • 输出维度：14×14×512

第五组：3 个卷积层

  • 使用 512 个 3×3 滤波器（三次）
  • 输出维度：14×14×512

第五个池化层

  • 输出维度：7×7×512

全连接层

  • 展平：7×7×512 = 25,088 个节点
  • 全连接到 4096 个单元
  • 再全连接到 4096 个单元
  • Softmax 输出 1000 个类别

4.3 关键特征

特征 说明
网络深度 16 层（有权重的层）
参数量 约 1.38 亿 个参数
滤波器大小 统一 3×3
池化大小 统一 2×2
通道数变化 64 → 128 → 256 → 512 → 512（每经过一组卷积翻倍）
高宽变化 224 → 112 → 56 → 28 → 14 → 7（每次池化减半）

4.4 设计规律

重点： VGG-16 体现了两条清晰的设计规律：

  1. 每次池化后，高宽减半（除以 2）
  2. 每组卷积后，通道数翻倍（乘以 2）

这种系统化的设计使得网络结构非常规整，对研究者非常有吸引力。

4.5 VGG-19 与 VGG-16 的对比

  • VGG-19 是更大的版本，有 19 层
  • VGG-16 的性能与 VGG-19 几乎相当
  • 因此更多人选择使用 VGG-16

易错点： 名称中的 "16" 指的是有权重的层数（卷积层 + 全连接层），不包括池化层。

4.6 优缺点

优点：

  • 架构简洁统一，易于理解和实现
  • 设计规律清晰（高宽减半、通道翻倍）

缺点：

  • 参数量非常大（1.38 亿），训练成本高
  • 网络较大，计算资源需求高

五、三种经典网络对比总结

对比项 LeNet-5 AlexNet VGG-16
提出时间 1998 2012 2014
参数量 ~6万 ~6000万 ~1.38亿
输入尺寸 32×32×1 227×227×3 224×224×3
激活函数 Sigmoid/Tanh ReLU ReLU
滤波器 5×5 11×11, 5×5, 3×3 统一 3×3
池化方式 平均池化 最大池化 最大池化
输出类别 10 1000 1000
核心贡献 CNN 奠基 引爆深度学习 架构简化统一

核心设计规律（贯穿三种网络）

考点： 随着网络加深（从左到右）：

  • 高宽逐渐减小：32 → 28 → 14 → 10 → 5（LeNet-5）
  • 通道数逐渐增加：1 → 6 → 16（LeNet-5）
  • 这一规律在所有经典网络中都有体现

六、论文阅读建议 [14:42]

吴恩达给出的论文阅读顺序建议：

  1. 首选：AlexNet 论文——相对容易阅读，是了解深度学习的良好起点
  2. 其次：VGG 论文——结构清晰，易于理解
  3. 最后：LeNet-5 论文——较难阅读，建议重点关注第 2 节（架构）和第 3 节（实验结果）

思考：从论文阅读难度来看，AlexNet 论文写于 2012 年，正值深度学习复兴时期，作者对背景和动机的阐述更加充分，因此更适合入门阅读。

七、关键标签/关键词

LeNet-5 AlexNet VGG-16 卷积神经网络 CNN 经典网络架构 深度学习 吴恩达 计算机视觉 ReLU 最大池化 平均池化 Same Convolution Valid Convolution 局部响应归一化 LRN Softmax 全连接层 特征图 通道数 参数量 ImageNet

生成时间：2026-10-10 22:58:28 生成平台：VideoNote www.xygy.top