视频元信息
- 课程：吴恩达深度学习专项课程 · 改善深层神经网络（Professionalization of Deep Learning）
- 章节：1.5 为什么正则化可以减少过拟合
- 时长：约 7 分钟（视频结束于 [07:07] 左右）
内容摘要（TL;DR）
本节从两个直觉角度解释 L2 正则化为什么能缓解过拟合：一是 λ 很大时权重 W 被压到接近 0，等效于削弱甚至"关闭"大量隐藏单元，网络退化为更简单的小网络；二是 W 变小导致 Z=WX+b 变小，tanh 激活函数工作在线性区，整个网络近似线性模型，无法拟合复杂非线性边界。最后给出一个实现提醒：调试梯度下降时，绘制代价函数 J 必须使用包含正则项的新定义。
一、引入：从高偏差/高方差说起 [00:00]
视频开头回顾了此前讲过的偏差-方差示意图：
- 高偏差（欠拟合）：模型太简单，无法捕捉数据规律；
- 高方差（过拟合）：模型太复杂，把训练集噪声也学了进去；
- "刚刚好"：介于两者之间的理想状态。
现在假设我们有一个又大又深的神经网络，并且它当前正处于过拟合（高方差）状态。其代价函数定义为：
J(w, b) = (1/m) Σ L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾)
正则化所做的就是在这个代价函数后面额外加一项，惩罚权重矩阵过大：
J(w, b) = (1/m) Σ L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾) + (λ/2m) Σ ||w⁽ˡ⁾||²
核心问题：为什么压缩参数的 L2 范数（Frobenius 范数）就能减少过拟合？这正是本节要回答的问题。
二、直觉一：λ 很大时，网络被"简化" [01:12]
2.1 基本推理
如果把正则化参数 λ 调得非常非常大，那么优化过程会被强烈激励去把权重矩阵 W 设置得接近 0。
理解：因为代价函数中 λ 越大，权重越大带来的惩罚越重，梯度下降会优先把 W 压小以降低总代价。
2.2 一种（近似）的直觉：隐藏单元被"清零"
一种直觉是：W 被压到接近 0 后，很多隐藏单元的影响被基本消除（zeroing out），于是这个原本复杂的网络就变成了一个小得多的网络。
- 极端情况下，它几乎就像一个逻辑回归单元，只不过堆叠了多层；
- 这样就把模型从过拟合（右侧高方差）拉向高偏差（左侧）；
- 我们希望存在一个中间值的 λ，让结果落在"刚刚好"的中间区域。
2.3 重要修正：实际并非"完全清零"
易错点：吴恩达特别强调——"完全把一堆隐藏单元清零"这个直觉并不完全正确。
实际发生的情况是：
- 网络仍然使用所有隐藏单元；
- 但每个隐藏单元的影响都变小了；
- 最终你确实得到一个更简单的网络，就好像是一个更小的网络，因此更不容易过拟合。
思考：这里的关键不是"删掉神经元"，而是"削弱每个神经元的贡献"，从函数复杂度的角度降低模型容量。
三、直觉二：tanh 的线性区与"网络退化为线性" [02:55]
3.1 前提：使用 tanh 激活函数
假设激活函数为 tanh：g(z) = tanh(z)
tanh 的形状特点：
- 当 z 很小（在 0 附近的小范围内）时，曲线近似线性；
- 当 z 取值很大或很小（远离 0）时，曲线才明显非线性（饱和区）。
3.2 推导链条
推导：
- 若 λ 很大 → 参数 W 被惩罚得很小；
- 因为 z = Wx + b（视频中简化为 z = Wx），W 很小 → z 也相对较小；
- z 落在 tanh 的小范围内 → g(z) 近似线性；
- 于是每一层都近似线性；
- 在第一门课中已学过：如果每层都是线性的，整个网络就只是一个线性网络；
- 即使网络很深，使用线性激活函数最终也只能计算线性函数；
- 因此它无法拟合非常复杂的非线性决策边界，也就无法严重过拟合训练集。
3.3 小结
考点总结：λ 很大 → W 很小 → z 很小（暂时忽略 b 的影响）→ tanh 处于线性区 → 网络近似线性 → 只能表达简单函数 → 不易过拟合。
理解：这从"函数表达能力"的角度解释了正则化的作用——它并非直接删减参数，而是把网络推向"接近线性"的简单函数空间。
四、实现提醒：调试梯度下降时 J 的定义 [05:41]
在结束 L2 正则化讨论前，吴恩达给出一个实现技巧：
4.1 背景
实现梯度下降时，一个常用的调试手段是：绘制代价函数 J 随迭代次数的变化曲线，并期望看到 J 单调递减。
4.2 关键提醒
易错点：实现正则化后，J 已经是新的定义（包含正则化项）。如果你绘制的是旧定义（只有第一项损失），就可能看不到 J 单调递减。
- 调试梯度下降时，务必绘制包含第二项（正则项）的新 J；
- 否则你可能误以为梯度下降出了问题，实际上只是画错了曲线。
思考：这是一个非常实用的工程细节，很多初学者在实现正则化作业时会踩这个坑，误判梯度下降失效。
五、结尾与预告 [07:00]
- L2 正则化是吴恩达在深度学习模型中使用最多的正则化技术；
- 深度学习中还有另一种常用的正则化技术：Dropout 正则化，将在下一节视频中介绍。
关键标签 / 关键词
吴恩达深度学习 #正则化 #L2正则化 #过拟合 #高方差 #偏差方差 #tanh激活函数 #线性区 #梯度下降调试 #代价函数 #Frobenius范数 #Dropout #改善深层神经网络
生成时间：2026-10-10 22:00:51 生成平台：VideoNote www.xygy.top
