吴恩达深度学习第2课 3.4：网络中的正常化激活

视频封面

视频元信息

课程：吴恩达深度学习专项课程 - 改善深层神经网络：超参数调试、正则化以及优化（第二课第三周）
本集主题：Batch Normalization（批归一化）在神经网络单层中的实现机制
时长：约 9 分钟

内容摘要（TL;DR）

本视频讲解 Batch Normalization（批归一化）的核心原理。借鉴输入特征归一化加速学习的思路，Batch Norm 将归一化应用到隐藏层的 Z 值上，使其均值方差标准化，再通过可学习参数 γ 和 β 恢复表达能力。这使超参数搜索更容易、网络对超参数更鲁棒，并能训练更深的网络。

一、Batch Norm 的引入与价值 [00:00]

要点总结：

Batch Normalization 是深度学习崛起中最重要的思想之一
由 Sergey Ioffe 和 Christian Szegedy 提出
核心价值：让超参数搜索更容易、网络对超参数选择更鲁棒、更容易训练极深的网络

详细说明：

在深度学习的发展历程中，Batch Normalization（批归一化）是最重要的算法思想之一。该算法由 Sergey Ioffe 和 Christian Szegedy 提出。

Batch Norm 的三大核心价值：

使超参数搜索问题大大简化

使神经网络对超参数的选择更加鲁棒——有更大范围的超参数都能良好工作

使得训练非常深的网络变得更加容易

理解：这里提到的"鲁棒性"指的是，即使学习率、初始化方式等超参数设置不是最优，网络依然能够有效训练。这极大降低了调参的难度。

二、回顾：输入特征归一化加速学习 [00:27]

要点总结：

归一化输入特征可以加速学习
步骤：计算均值 → 减去均值 → 计算方差 → 除以方差
效果：将细长的代价函数等高线变为更圆的形状，使梯度下降更易优化

详细说明：

在训练逻辑回归等模型时，归一化输入特征可以显著加速学习。具体步骤：

计算训练集的均值 μ
从训练集中减去均值（零均值化）
计算方差 σ²（即 Σ(xi)² 的元素平方和）
根据方差对数据集进行归一化

理解：归一化后，代价函数的等高线从细长的椭圆形变成更接近圆形的形状，使得梯度下降等优化算法能够更直接、更快速地收敛到最小值。这是因为不同特征的尺度统一后，梯度在各方向上的下降速度更均衡。

易错点：注意归一化时方差的计算使用的是训练集的统计量，测试集应使用训练集计算得到的均值和方差进行相同的归一化。

三、从输入层推广到隐藏层 [01:12]

要点总结：

深层网络中不仅有输入 X，还有各隐藏层的激活值 A1、A2 等
核心问题：能否对隐藏层的值进行归一化，以加速后续层参数的训练？
关键洞察：A2 是下一层的输入，影响 W3、B3 的训练

详细说明：

对于深层模型，不仅有输入特征 X，还有：

第一层的激活值 A1
第二层的激活值 A2
以此类推……

如果要训练第 3 层的参数 W3、B3，那么如果能归一化 A2 的均值和方差，就能使 W3、B3 的训练更高效。这与归一化输入 X 来帮助训练 W、B 是同样的道理。

核心问题：对于任意隐藏层，能否归一化其激活值 A，以加速下一层参数的训练？因为 A2 是下一层的输入，因此会影响 W3 和 B3 的训练。

这就是 Batch Normalization（简称 Batch Norm）所做的事情。

四、归一化 Z 还是 A？ [02:26]

要点总结：

技术上实际归一化的是 Z 而非 A
学术界对此有争论：激活函数前 vs 激活函数后
实践中归一化 Z 更常见，是推荐默认选择

详细说明：

虽然直觉上我们想归一化 A2，但技术上实际归一化的是 Z2（激活函数前的线性变换输出）。

考点：归一化位置的选择

深度学习文献中对归一化位置存在争论：

激活函数前归一化（Z2）—— 实践中更常用，推荐作为默认选择

激活函数后归一化（A2）

吴恩达推荐：默认归一化 Z2

思考：为什么归一化 Z 更常见？一种理解是，Z 是线性变换的直接输出，归一化后分布更规整，再经过激活函数能得到更稳定的非线性输出。而归一化 A 则受激活函数特性影响，分布可能已经受到压缩（如 sigmoid 输出在 0-1 之间）。

五、Batch Norm 的具体实现 [03:00]

要点总结：

对某一层的 Z 值计算均值和方差
归一化：减去均值，除以标准差（加 ε 保证数值稳定性）
得到均值为 0、方差为 1 的标准化值

详细说明：

给定神经网络中某个隐藏层的中间值 Z1 到 Zm（更准确地写为第 L 层的 Z^[L]_i，i 从 1 到 m）：

步骤 1：计算均值 μ = (1/m) Σ Zi

步骤 2：计算方差 σ² = (1/m) Σ (Zi - μ)²

步骤 3：归一化 Zi_norm = (Zi - μ) / √(σ² + ε)

易错点：为什么要加 ε（epsilon）？ 加 ε 是为了数值稳定性。当 σ² 恰好为 0（或估计值极小）时，分母不为零，避免除零错误。通常 ε 取 10⁻⁸ 左右。

经过这一步，每个 Z 分量都被归一化为均值 0、方差 1 的分布。

六、可学习参数 γ 和 β [04:35]

要点总结：

不希望隐藏单元总是均值 0、方差 1
引入可学习参数 γ（gamma）和 β（beta）
Z̃i = γ · Zi_norm + β
γ 和 β 通过梯度下降等算法更新，与网络权重一样

详细说明：

虽然归一化到均值 0、方差 1 看似合理，但我们不一定希望隐藏单元总是这样的分布。因此引入两个可学习参数：

Z̃i = γ · Zi_norm + β

其中：

γ（gamma）：缩放参数
β（beta）：平移参数
两者都是模型的可学习参数

理解：γ 控制方差（缩放），β 控制均值（平移）。通过调整这两个参数，网络可以学习到最适合当前任务的隐藏单元分布，而不必强制为标准正态分布。

七、γ 和 β 的恒等变换特性 [05:13]

要点总结：

当 γ = √(σ² + ε) 且 β = μ 时，Z̃i = Zi
即归一化过程变成恒等函数
通过选择不同 γ、β，可以让隐藏单元有任意均值和方差

详细说明：

重点：γ 和 β 的恒等变换性质

如果 γ = √(σ² + ε)（即分母项）

且 β = μ（即均值）

那么 γ · Zi_norm + β = Zi

这意味着归一化过程完全还原为原始值，相当于恒等函数

这个性质说明：Batch Norm 的归一化操作不会永久性地破坏网络的表达能力。网络可以通过学习适当的 γ 和 β，恢复到任何它需要的分布。

推导验证： Z̃i = γ · (Zi - μ)/√(σ² + ε) + β 代入 γ = √(σ² + ε)，β = μ： Z̃i = √(σ² + ε) · (Zi - μ)/√(σ² + ε) + μ = (Zi - μ) + μ = Zi ✓

通过选择不同的 γ 和 β 值，可以让隐藏单元具有其他均值和方差。

八、融入神经网络的计算流程 [06:23]

要点总结：

原先使用 Z1, Z2, ... 进行后续计算
现在改用 Z̃1, Z̃2, ... 替代
需标注层号：Z̃^[L]_i

详细说明：

在神经网络中融入 Batch Norm 的方式：

之前：使用 Z1, Z2, ... 进行后续层的计算
现在：使用 Z̃1, Z̃2, ... 替代 Zi 进行后续计算

同时需要把层号标注回来，明确表示为 Z̃^[L]_i，以区分不同层。

理解：这意味着 Batch Norm 是插入在每层线性计算和激活函数之间的一个操作。完整的流程变为：Z^[L] = W^[L]A^[L-1] + b^[L] → Z̃^[L] = BatchNorm(Z^[L]) → A^[L] = g(Z̃^[L])。

九、核心直觉与总结 [06:49]

要点总结：

Batch Norm 将输入归一化的思想推广到隐藏层
与输入归一化的区别：不强制隐藏单元均值为 0、方差为 1
通过 γ 和 β 让网络自行决定合适的均值和方差
目的：更好地利用激活函数的非线性特性

详细说明：

核心直觉：

之前我们看到归一化输入特征 X 可以帮助学习神经网络。Batch Norm 所做的就是将这个归一化过程不仅应用到输入层，还应用到神经网络深层隐藏层的值上——归一化某些隐藏单元值 Z 的均值和方差。

重点：Batch Norm 与输入归一化的关键区别

输入归一化：强制输入特征均值为 0、方差为 1

Batch Norm：不强制隐藏单元均值为 0、方差为 1

原因：以 sigmoid 激活函数为例，我们不希望所有值都集中在 0 附近（线性区域），而可能希望有更大的方差或不同的均值，以更好地利用 sigmoid 的非线性特性

理解：sigmoid 函数在 0 附近近似线性，梯度虽大但失去了非线性表达能力。如果所有隐藏单元值都集中在 0 附近，网络就退化为近似线性模型。通过 γ 和 β 调整分布，可以让值落在 sigmoid 的饱和区或过渡区，充分发挥非线性。

总结：

Batch Norm 确保隐藏单元具有标准化的均值和方差
均值和方差由两个显式参数 γ 和 β 控制
学习算法可以按需调整这两个参数
均值和方差可以是 0 和 1，也可以是其他值

十、下集预告 [08:33]

要点总结：

下一视频：如何将 Batch Norm 融入深层神经网络的多个层
再下一个视频：更多关于 Batch Norm 为何有效的直觉解释

详细说明：

本视频讲解了单层 Batch Norm 的实现机制。接下来的内容：

如何将 Batch Norm 融入神经网络（甚至是深层网络），使其在多个不同层中工作
给出更多关于为什么 Batch Norm 能帮助训练神经网络的直觉解释

拓展补充

【拓展】Batch Norm 的提出背景：

Batch Normalization 由 Google 的 Sergey Ioffe 和 Christian Szegedy 于 2015 年在论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》中提出。原始动机是解决"内部协变量偏移"（Internal Covariate Shift）问题——即随着前层参数更新，后层输入的分布不断变化，导致训练困难。后续研究（如 MIT 的 Santurkar 等人 2018 年论文）对此解释提出了质疑，认为 Batch Norm 的有效性更多来自它使优化地形更平滑，而非减少协变量偏移。

【拓展】Batch Norm 在实践中的注意事项：

训练 vs 推理：训练时使用当前 mini-batch 的均值和方差；推理时使用训练阶段累积的移动平均均值和方差。
Batch Size 敏感性：当 batch size 很小时（如 1 或 2），均值和方差估计不准确，Batch Norm 效果变差。此时可考虑 Layer Norm、Group Norm 等替代方案。
与 Dropout 的配合：两者同时使用时需注意，有研究指出可能存在方差偏移问题。
偏置项 b 的作用：使用 Batch Norm 后，线性层的偏置 b 实际上变得多余（因为会被均值减法抵消），可设为 0 或去掉。

【拓展】相关归一化技术对比：

方法	归一化维度	适用场景
Batch Norm	跨样本（batch 维度）	大 batch、CNN
Layer Norm	跨特征（单样本内）	RNN、Transformer
Instance Norm	单样本单通道	风格迁移
Group Norm	分组特征	小 batch 场景

关键标签/关键词

Batch Normalization 批归一化 吴恩达 深度学习 超参数 隐藏层 归一化 γ和β 可学习参数 数值稳定性 epsilon 激活函数 梯度下降 深层网络 内部协变量偏移 Z值归一化 恒等变换 sigmoid 非线性