吴恩达深度学习第3课 1.12：提高您的模型性能

视频封面

视频元信息

课程来源：吴恩达深度学习专项课程（Deep Learning Specialization）第三门课《结构化机器学习项目》（Structuring Machine Learning Projects）
章节：1.12 提高您的模型性能（Improving Your Model Performance）
语言：官方中英双语字幕
时长：约 4 分 33 秒（273 秒）

内容摘要（TL;DR）

本节是第三周内容的收尾课程，吴恩达系统总结了如何根据可避免偏差（Avoidable Bias）和方差（Variance）的诊断结果，有针对性地选择优化策略。核心思想是：先通过训练误差与人类水平误差（或贝叶斯误差）的差距判断可避免偏差，再通过训练误差与开发集误差的差距判断方差，然后分别采取对应策略——减少偏差用更大模型/更好优化算法/更好架构，减少方差用更多数据/正则化/架构搜索。掌握这套系统化方法论，能让机器学习团队比大多数人更高效地提升模型性能。

一、课程回顾与本节定位 [00:00]

本节是第三周课程的最后一节，承接前面对偏差（Bias）和方差（Variance）的讨论，重点讲解如何系统化地利用这些诊断概念来提升模型性能。

吴恩达强调：偏差/可避免偏差与方差的概念"易学难精"（easy to learn but hard to master），但一旦能系统化应用，就能比很多机器学习团队更高效、更有策略地改进系统。

理解：这一节本质上是前面所有诊断方法的"行动指南"——诊断只是第一步，关键是根据诊断结果采取正确的行动。

二、核心假设回顾：两个基本判断 [00:30]

吴恩达用英文原文总结了两个核心判断：

"You can think of this as roughly saying that you can achieve low avoidable bias." "The second thing you are assuming you can do well is that doing well in the training set generally rises pretty well to the dev set on the test set. It is saying that variance is not too bad."

翻译理解：

第一个假设：你能够实现较低的可避免偏差——即你的模型在训练集上能做到接近人类水平（或贝叶斯最优误差）。
第二个假设：你在训练集上表现好，通常也能在开发集/测试集上表现好——即方差不太糟糕。

推导：这两个假设对应了机器学习模型性能的两个核心瓶颈——偏差和方差。只有同时控制好两者，模型才能真正表现优秀。

三、可避免偏差的诊断方法 [01:25]

3.1 什么是可避免偏差

可避免偏差 = 训练误差 − 人类水平误差（或贝叶斯误差）

人类水平误差（Human-level error）或贝叶斯误差（Bayes error）是代理基准（proxy for base error）。
它给你一个感觉：在训练集上，你最多能做到多好？

3.2 如何估计方差问题

"And then look at the difference between your dev error and your training error as an estimate of how much of a variance problem you have."

方差问题估计 = 开发集误差 − 训练误差

这个差值反映了：模型从训练集泛化到未见过的开发集数据时，性能下降了多少。

易错点：可避免偏差看的是"训练误差 vs 人类水平"，方差看的是"开发集误差 vs 训练误差"。两者的比较基准不同，不要混淆。

思考：人类水平误差在这里相当于一个"锚点"，帮助我们判断训练误差还有多少下降空间。如果训练误差已经接近人类水平，继续优化训练集意义不大，应该转向解决方差问题。

四、减少可避免偏差的策略 [02:03]

当你发现可避免偏差是主要问题时（即训练误差远高于人类水平误差），可以尝试以下策略：

4.1 训练更大的模型

"Training a bigger model. So you can just do better on your training sets."

增加网络层数、隐藏单元数
让模型有更强的拟合能力

4.2 训练更长时间

"Or training longer."

增加训练轮数（epochs）
让模型充分收敛

4.3 使用更好的优化算法

"Use the better optimization algorithm, such as add momentum, or RMS prop, or use a better algorithm like Adam."

Momentum（动量法）：加速梯度下降，减少震荡
RMSprop：自适应学习率，适合非平稳目标
Adam：结合 Momentum 和 RMSprop 的优点，是目前最常用的优化器之一

理解：这些优化算法能帮助模型更快、更稳定地收敛到更优的解，从而降低训练误差。

4.4 尝试更好的神经网络架构或超参数

"Find a better neural network architecture or better set of hyperparameters. And this could include everything from changing the activation function to changing the number of layers or hidden units."

改变激活函数（如 ReLU、Leaky ReLU、ELU 等）
改变层数或隐藏单元数
尝试不同的模型架构，如：
- RNN（循环神经网络） ：适合序列数据
- CNN（卷积神经网络） ：适合图像数据

吴恩达提醒：新架构是否能更好地拟合训练集，有时很难提前判断，但有时更好的架构能带来显著提升。

拓展：在实际应用中，架构搜索（Architecture Search）和超参数调优（Hyperparameter Tuning）往往是提升偏差性能的关键手段。现代 AutoML 技术正是自动化这一过程。

五、减少方差的策略 [03:11]

当你发现方差是主要问题时（即开发集误差远高于训练误差），可以尝试以下策略：

5.1 获取更多数据

"You can try to get more data because you're getting more data to the trainer and you could help you generalize better to dev set data that you're out from didn't see."

更多训练数据能帮助模型更好地泛化到未见过的数据
这是解决方差问题最直接、最有效的方法之一

5.2 正则化（Regularization）

"You could try regularization. So this includes things like L2 regularization or dropout or data augmentation."

L2 正则化：在损失函数中加入权重平方和惩罚项，限制权重大小
Dropout：训练时随机丢弃部分神经元，防止过拟合
数据增强（Data Augmentation） ：通过对训练数据做变换（如旋转、翻转、裁剪）来扩充数据集

理解：正则化的本质是限制模型复杂度，让模型不要过度拟合训练集中的噪声，从而提升泛化能力。

5.3 神经网络架构搜索或超参数搜索

"You can also try various neural network architecture or hyperparameters search to see if that can help you find a neural network architecture that is meant to suit it for your problem."

尝试不同的网络架构
进行超参数搜索，找到最适合当前问题的配置

六、总结与行动指南 [03:56]

6.1 核心方法论

吴恩达总结道：偏差/可避免偏差与方差的概念易学难精，但如果你能系统化地应用本周视频中的概念，你将比很多机器学习团队更高效、更系统、更有策略地提升机器学习系统的性能。

6.2 决策流程图（文字版）

1. 计算训练误差与人类水平误差的差距 → 判断可避免偏差
      - 差距大 → 可避免偏差是主要问题
     → 策略：更大模型、训练更久、更好优化算法、更好架构/超参数

2. 计算开发集误差与训练误差的差距 → 判断方差
      - 差距大 → 方差是主要问题
     → 策略：更多数据、正则化（L2/Dropout/数据增强）、架构/超参数搜索

6.3 本周作业

"This week's homework will allow you to practice and exercise more your understanding of these concepts."

通过作业练习，加深对偏差/方差概念的理解
吴恩达期待在下一周的视频中再见

七、关键概念补充与背景知识【拓展】

7.1 人类水平误差 vs 贝叶斯误差

贝叶斯误差（Bayes Error） ：理论上任何模型都无法低于的最小误差，由数据本身的噪声决定。
人类水平误差（Human-level Error） ：人类在该任务上能达到的误差水平，通常作为贝叶斯误差的近似代理。
在实际应用中，人类水平误差更容易估计，因此常被用作基准。

7.2 可避免偏差 vs 偏差

偏差（Bias） ：模型预测值与真实值之间的系统性偏差。
可避免偏差（Avoidable Bias） ：训练误差与人类水平误差之间的差距，是"可以通过改进模型来消除的偏差"。
可避免偏差越大，说明模型在训练集上还有很大提升空间。

7.3 方差与过拟合

方差（Variance） ：模型对训练数据微小变化的敏感程度。
高方差通常表现为过拟合：训练集表现好，但开发集/测试集表现差。
解决方差问题的核心是提升泛化能力。

7.4 常见优化算法对比

算法	特点	适用场景
Momentum	加速收敛，减少震荡	一般梯度下降
RMSprop	自适应学习率	非平稳目标
Adam	结合 Momentum + RMSprop	大多数场景首选

7.5 正则化方法对比

方法	原理	注意事项
L2 正则化	惩罚权重大小	需要调正则化系数 λ
Dropout	随机丢弃神经元	训练和测试时行为不同
数据增强	扩充训练数据	变换需保持标签不变