吴恩达深度学习第2课 1.6：正规化抛弃

视频封面

视频元信息

所属课程：吴恩达深度学习专项课程 - 改善深层神经网络（Improving Deep Neural Networks）
章节主题：1.6 Dropout 正则化（正规化抛弃）的实现细节
视频时长：约 9 分 24 秒（564 秒）
语言：中文（官方中英字幕，含英文原声讲解）

内容摘要（TL;DR）

本视频讲解了 Dropout（随机失活）正则化在神经网络中的具体实现方法，重点介绍目前最主流的 Inverted Dropout（反向随机失活） 技术。核心步骤包括：生成随机掩码矩阵 d、按 keep_prob 概率置零、对激活值做元素级乘法、最后除以 keep_prob 进行缩放补偿。视频强调测试阶段不使用 Dropout，且 Inverted Dropout 让测试阶段无需额外缩放，实现更简洁。

一、背景与引入：为什么要看这段视频 [00:00]

本视频承接上一节关于 Dropout 原理的讲解，进入代码实现层面。视频开头字幕较混乱（疑似语音识别噪声），但核心信息在 [01:39] 后转为清晰的英文原声讲解。

本视频的核心目标：展示 Dropout 最常见的实现方式 —— Inverted Dropout（反向随机失活），并解释为什么它能让测试阶段变得简单。

理解：Dropout 是深度学习中最重要的正则化手段之一，理解其"训练时随机丢弃 + 测试时完整使用"的机制，是避免过拟合的关键。

二、Dropout 的直觉：为什么小网络能起正则化作用 [01:28]

视频引用了关键的一句英文原声：

"Maybe giving the sense of why you end up able to regularize network, because these smaller networks are being trained."

理解：Dropout 每次迭代随机"关闭"一部分神经元，相当于每次都在训练一个更小的子网络。由于每个子网络都必须在信息不完整的情况下完成任务，神经元不能过度依赖某个特定同伴，从而学到更鲁棒（robust）的特征。这类似于机器学习中的模型集成（Ensemble）思想 —— 多个子网络"投票"降低方差。

考点：Dropout 之所以能正则化，核心原因不是"减少参数"，而是"迫使网络不依赖单一神经元"，从而抑制过拟合。

三、Inverted Dropout 的实现（以第 3 层为例）[01:39]

视频以第 3 层为例，展示单层 Dropout 的实现代码逻辑。

3.1 第一步：生成随机掩码向量 d3 [02:18]

d3 = np.random.rand(a3.shape[0], a3.shape[1]) < keep_prob

np.random.rand 生成与 a3 同形状的随机矩阵，取值在 [0,1) 之间。
与 keep_prob 比较后，得到一个布尔矩阵 d3。
每个元素有 keep_prob 的概率为 1（True），有 1 - keep_prob 的概率为 0（False）。

易错点：keep_prob 是"保留概率"，不是"丢弃概率"。 若 keep_prob = 0.8，则丢弃概率为 0.2。视频中特别指出上一张幻灯片用的是 0.5，本例改为 0.8。

理解：布尔数组在 Python 中参与乘法运算时，True 会被自动解释为 1，False 被解释为 0，因此可以直接做元素级乘法。

3.2 第二步：元素级乘法置零 [03:33]

a3 = a3 * d3          # 或写作 a3 *= d3

对 d3 中等于 0 的位置，a3 对应元素被置零。
这就是"随机失活"的字面含义 —— 部分激活值被丢弃。

考点：这一步在正向传播（forward prop）和反向传播（back prop）中都要用到同一个 d3 向量，保证被置零的神经元在梯度更新时也不参与。

3.3 第三步：除以 keep_prob 缩放（Inverted Dropout 核心）[04:16]

a3 = a3 / keep_prob

这一行是 Inverted Dropout 的灵魂所在，视频用大段篇幅解释其原理。

四、为什么必须除以 keep_prob？—— 期望值补偿原理 [04:32]

视频用一个具体例子说明：

4.1 场景设定

假设第 3 层有 50 个神经元，a3 是 50×1（或 50×m）维度。
keep_prob = 0.8，即 80% 保留、20% 丢弃。
平均而言，会有 10 个单元被置零。

4.2 问题所在

下一层的输入 z4 计算为：

z4 = w4 · a3 + b4

由于 a3 中 20% 的元素被置零，z4 的期望值会降低约 20%。这会导致训练和推理时的数值分布不一致。

4.3 解决方案：除以 keep_prob

a3 = a3 / 0.8

推导：置零后 a3 的期望变成了原来的 0.8 倍，除以 0.8 后，期望恢复到原来的水平。即 E[a3 / keep_prob] = E[a3]，保证下一层接收到的输入期望值不变。

考点：Inverted Dropout 通过"训练时缩放"来保证期望值一致，从而使测试阶段无需任何额外操作。

易错点：早期 Dropout 版本没有"除以 keep_prob"这一步，导致测试阶段需要额外乘以 keep_prob 来补偿，实现更复杂。现代实现一律推荐 Inverted Dropout。

五、Inverted Dropout 的边界情况 [05:43]

视频提到：

keep_prob = 0.8 → 有 Dropout
keep_prob = 0.9 → 有 Dropout
keep_prob = 1 → 没有 Dropout（保留所有神经元，相当于不丢弃）

理解：keep_prob = 1 时，随机矩阵全部为 True，a3 不变，再除以 1 也不变，等价于关闭 Dropout。这为调试提供了便利 —— 可以先设 keep_prob=1 验证网络正常，再逐步降低观察正则化效果。

六、不同训练样本丢弃不同的神经元 [06:36]

视频强调 Dropout 的随机性特征：

不同的训练样本，被置零的隐藏单元不同。
同一训练集多次遍历（multiple passes），每次遍历随机置零的模式也不同。
第 1 次梯度下降迭代可能置零某些单元，第 2 次迭代可能置零另一批单元。

易错点：不是"对某个样本固定置零同一批神经元"，而是每次迭代都重新随机。 这正是 Dropout 能起到正则化作用的关键 —— 神经元无法预测自己下次是否被保留，因此不能依赖任何特定同伴。

理解：这种随机性类似于 Bagging 集成方法中的随机采样，通过引入噪声增强泛化能力。

七、测试阶段（Test Time）的处理 [07:23]

这是本视频的另一重点。

7.1 测试阶段不使用 Dropout

视频明确说明：

"At test time, you're not using dropout explicitly... you're not flipping coins to decide which hidden units to eliminate."

测试时的前向传播就是标准的：

z1 = w1 · a0 + b1
a1 = g1(z1)
z2 = w2 · a1 + b2
a2 = g2(z2)
...
ŷ = 最终输出

其中 a0 表示测试样本 x。

7.2 为什么测试时不用 Dropout？

测试时我们希望输出确定（deterministic）的预测结果。
如果在测试时也随机丢弃神经元，会给预测引入噪声，输出变得随机不稳定。
理论上可以对同一测试样本运行多次（每次随机丢弃不同神经元）再取平均，但计算效率极低，且结果与 Inverted Dropout 几乎相同。

考点：测试阶段直接使用完整网络做前向传播，不做任何随机丢弃，也不需要额外缩放 —— 这正是 Inverted Dropout 除以 keep_prob 带来的便利。

易错点：Inverted Dropout 的精髓在于"训练时补偿"，使得训练和测试的期望值一致，测试时无需任何调整。如果用了非 Inverted 版本，测试时必须手动乘以 keep_prob，容易出错。

八、总结与下节预告 [09:08]

视频结尾总结：

本视频讲解了 Dropout 的具体实现（Inverted Dropout）。
建议在编程练习中亲手实现，获得第一手经验。
下一视频将深入讲解"为什么 Dropout 真的有效"的直觉解释。

思考：Dropout 虽然强大，但并非万能。它主要用于全连接层，对卷积层通常使用较少（因为卷积层参数共享本身就有正则效果）。此外，Dropout 会减慢训练收敛速度，需要更多迭代次数。

拓展补充【拓展】

【拓展1】Dropout 与其他正则化方法的对比

方法	原理	适用场景
L2 正则化	惩罚大权重	通用，计算简单
Dropout	随机失活神经元	全连接层、过拟合严重时
数据增强	扩充训练数据	图像、语音
早停（Early Stopping）	验证集误差上升即停	通用，无需改结构