吴恩达深度学习第4课 1.11：为什么用卷积

视频封面

视频元信息

课程：吴恩达深度学习专项课程 · 卷积神经网络（CNN）第一周
本讲主题：为什么使用卷积（Why Convolutions?）——卷积的两大优势与完整训练流程
时长：约 10 分钟

内容摘要（TL;DR）

本讲总结卷积神经网络相比全连接网络的两大核心优势：参数共享（parameter sharing） 与 稀疏连接（sparsity of connections） ，二者共同大幅减少参数数量、降低过拟合风险，并赋予网络平移不变性（translation invariance） 。最后串联完整流程：输入图像 → 卷积层与池化层 → 全连接层 → Softmax 输出，用梯度下降等算法优化代价函数 J 完成训练。

一、回顾：从输入到输出的维度变化 [00:36]

以之前视频中的例子为起点：

输入是一张 32×32×3 的 RGB 图像（3 为通道数）。
使用 5×5 的过滤器（filter）共 6 个，步长为 1、无填充。
输出维度为 28×28×6。

推导：32 − 5 + 1 = 28，即每个过滤器在图像上滑动产生 28×28 的特征图；6 个过滤器堆叠成 6 个通道，因此输出为 28×28×6。

易错点：输出通道数等于过滤器个数（此处 6），而非输入通道数（3）。输入通道数必须与每个过滤器的深度一致。

二、卷积的两大机制：为什么参数更少 [00:30] [04:27]

本讲的核心问题：为什么卷积网络比全连接网络参数少得多？ 吴恩达给出两个关键机制。

同一个过滤器（如 3×3 的权重矩阵）在图像的所有位置重复使用。
无论特征出现在图像的左上角还是右下角，检测它的都是同一组权重。

理解：全连接网络中，输入每个像素到输出每个神经元都有一条独立权重；而卷积中一个 3×3 过滤器只有 9 个参数，却作用于整张图的所有位置。这就是"共享"的含义。

2.2 稀疏连接（Sparsity of Connections） [04:27]

输出中的每个单元只与输入的一个局部区域相连。
举例：一个由 3×3 卷积计算出的输出单元，只依赖于输入的 3×3 共 9 个格子。
若输入是 6×6 的特征图（共 36 个像素），该输出单元只与其中 9 个相连，其余像素对它的输出没有任何影响。

理解：这就是"稀疏"——连接不是稠密的。对比全连接层，每个输出神经元与上一层的所有输入都相连。

考点：两大机制带来的好处

参数数量大幅减少 → 可以用更小的训练集训练；

更不容易过拟合（less prone to overfitting）。

这两点是卷积网络在计算机视觉中表现优异的根本原因之一。

三、平移不变性（Translation Invariance） [05:35]

卷积网络还擅长捕捉平移不变性。

观察：一张猫的图片向右平移几个像素，它仍然清楚地是一只猫。
卷积结构帮助网络编码这一事实：图像平移几个像素后，应产生相似的特征，并应被赋予相同的分类标签。
实现方式：在图像的所有位置（包括浅层和深层）应用同一个过滤器，使网络自动获得对平移的鲁棒性。

思考：平移不变性并非绝对完美，但卷积的权重共享机制天然地让网络对小幅位移不敏感。这也是数据增强（如随机平移）常与 CNN 搭配使用的原因。

易错点：平移不变性 ≠ 旋转不变性。标准 CNN 对旋转、缩放并不天然鲁棒，通常需要数据增强或特殊结构。

四、完整训练流程：以猫检测器为例 [06:37]

4.1 网络结构

假设要构建一个猫检测器（cat detector） ，训练集：

X：图像
Y：K 个类别之一的标签

典型 CNN 结构：

输入图像
若干卷积层（CONV） 与池化层（POOL）
若干全连接层（FC）
Softmax 输出层 → 输出 ŷ

4.2 参数与代价函数

卷积层和全连接层都含有参数 W 和偏置 b。
随机初始化 W 和 b。
代价函数 J = 整个训练集上网络预测损失之和 ÷ M（M 为样本数），与之前课程一致。

4.3 优化

使用梯度下降或 Momentum、RMSProp、Adam 等优化算法。
目标：优化网络中所有参数，最小化代价 J。
结果：可构建一个非常有效的检测器。

考点：训练三要素

定义网络结构与参数（W, b）；

定义代价函数 J；

用优化算法（梯度下降族）最小化 J。

五、本讲小结与下节预告 [08:19]

本讲小结 [08:19]

已学完卷积神经网络的所有基本构建模块，以及如何将它们组合成有效的图像识别系统。
本周编程作业将让这些概念更具体，可亲手实现并验证效果。

下节预告 [08:40]

卷积网络超参数众多，下周将展示若干最有效的 CNN 具体架构实例。
学会识别哪些网络架构有效的模式。
常见做法：直接采用他人已发表论文中的架构用于自己的应用，下周实例将帮助更好地做到这一点。
后续课程还将涉及：目标检测（object detection） 、神经风格迁移（neural style transfer） 等计算机视觉应用。

六、核心概念速查表

概念	含义	作用
参数共享	同一过滤器在所有位置复用	减少参数、抗过拟合
稀疏连接	输出单元只连局部输入	减少参数、抗过拟合
平移不变性	小幅平移后特征/标签相似	提升鲁棒性
过滤器数量	决定输出通道数	控制特征图数量
代价函数 J	训练集损失之和 ÷ M	优化目标