吴恩达深度学习第2课 1.3：机器学习的基本配方

视频封面

视频元信息

视频标题：(官方中英!) 2026公认最好的【吴恩达深度学习】教程！附课件、代码及实战项目 Professionalization of Deep Learning p49 1.3机器学习的基本配方
所属课程：吴恩达深度学习专项课程 - 改善深层神经网络：超参数调试、正则化以及优化（第一周 1.3）
视频时长：约 6 分 20 秒（约 380 秒）
本讲主题：机器学习的基本配方（Basic Recipe for Machine Learning）

内容摘要（TL;DR）

本讲介绍吴恩达提出的「机器学习基本配方」：先看训练集误差判断是否存在高偏差（欠拟合），用更大网络、更长训练、高级优化算法等手段消除偏差；再看验证集误差判断是否存在高方差（过拟合），用更多数据、正则化、更合适网络架构来消除方差。并指出深度学习时代偏差与方差的「权衡」已大为减弱，二者可相对独立地分别降低。

一、从诊断到行动：基本配方的引入 [00:00]

在前面视频中，我们已经学会通过观察训练误差（training error） 和验证集误差（dev error） 来判断算法是否存在偏差问题、方差问题，或两者兼有。

本讲的核心：把这些诊断信息转化为一套系统化的改进流程——即所谓的「机器学习基本配方（basic recipe for machine learning）」，让你更有条理地提升算法性能。

理解：诊断是「看病」，配方是「开药」。先判断病因（偏差 or 方差），再对症下药，避免盲目尝试。

二、第一步：判断并消除高偏差（Bias）[00:21]

2.1 如何判断高偏差

训练完初始模型后，第一个问题是：算法是否存在高偏差？

判断依据：查看训练集（training set）/ 训练数据上的表现。
如果存在高偏差，说明模型连训练集都拟合得不够好（欠拟合）。

易错点：判断偏差看的是训练集误差，不是验证集误差。很多人会混淆，请务必记牢。

2.2 消除高偏差可尝试的手段

使用更大的网络：增加层数（more layers）或增加隐藏单元（more hidden units）。
训练更久：延长训练时间（train longer），多跑几轮梯度下降。
尝试更高级的优化算法：课程后续会讲（如 Momentum、RMSprop、Adam 等）。
尝试不同的网络架构：寻找更适合该问题的神经网络结构。

2.3 各手段的有效性对比（重点）

手段	有效性	备注
更大的网络	几乎总是有帮助	最可靠的手段
训练更久	不保证一定有用，但几乎从不会有坏处	相对安全
更换网络架构	「可能有用，也可能没用」	需要不断尝试，难以系统化

理解：吴恩达用「in parenthesis（括号里的话）」强调，换架构是那种「只能试了才知道」的手段，而加大网络和延长训练则更稳妥。

2.4 迭代直到拟合训练集

反复尝试上述手段，直到能比较好地拟合训练集（get rid of the bias problem）。
通常只要网络足够大，就能很好地拟合训练数据——前提是这个任务本身是「可做的」。

关键前提：任务必须是「人类可完成的」。例如一张非常模糊的图片，可能根本无法拟合。但如果人类能做好该任务（即贝叶斯误差 base error 不太高），那么通过训练更大的网络，至少能在训练集上表现良好。

推导：若 base error（理论最优误差）本身就很高，说明该任务存在大量不可约误差，那么「拟合训练集」这件事本身就无意义。所以先判断任务是否可解，再谈降偏差。

三、第二步：判断并消除高方差（Variance）[02:09]

3.1 如何判断高方差

当偏差已降到可接受程度后，第二个问题是：是否存在方差问题？

判断依据：查看验证集（dev set）表现。
核心问题：能否从「很好的训练集表现」泛化到「很好的验证集表现」？
如果训练集表现好、验证集表现差，即为高方差（过拟合）。

3.2 消除高方差可尝试的手段

获取更多数据：这是解决高方差最好的办法（most helpful），但现实中常常拿不到更多数据。
正则化（Regularization）：下一讲会详细展开，用于减少过拟合。
寻找更合适的网络架构：有时能同时降低方差和偏差，但难以完全系统化。

思考：注意第 3 点——更合适的架构可能同时缓解偏差和方差，这打破了传统「此消彼长」的直觉，是深度学习时代的一个特点。

3.3 迭代直到低偏差 + 低方差

反复尝试，不断回到前面的步骤，直到找到一个同时具有低偏差和低方差的方案，此时即大功告成。

四、两个关键要点 [03:14]

4.1 要点一：偏差与方差对应的「药方」完全不同

取决于你是高偏差还是高方差，该尝试的手段集合可能截然不同。
做法：用训练集 + 验证集诊断是偏差还是方差问题，再据此选择对应的手段子集。

易错点：如果你实际是高偏差问题，那么「获取更多训练数据」根本不会有用（或至少不是最有效的事）。很多人一遇到效果不好就盲目加数据，这是典型误区。

理解：先诊断、再开药。诊断不清，努力白费。这正是「基本配方」的价值所在——让你把精力集中在最有用的手段上。

4.2 要点二：偏差-方差权衡（Bias-Variance Tradeoff）在深度学习时代已弱化 [03:53]

早期机器学习时代：

大量讨论「偏差-方差权衡」。
原因：当时可用的手段有限，很多操作是「按下葫芦浮起瓢」——增大偏差就减小方差，减小偏差就增大方差。
那时缺乏能只降偏差或只降方差而不伤害另一方的工具。

现代深度学习 / 大数据时代：

只要能持续训练更大的网络、持续获取更多数据（虽然这两点并非总能做到），那么：
- 更大的网络：几乎总是只降低偏差，只要适当正则化，就不会伤害方差。
- 更多数据：几乎总是只降低方差，且不会明显伤害偏差。

理解：这就是深度学习对监督学习如此有效的重要原因之一——「权衡」大大减弱，你可以更独立地分别压低偏差和方差，而不必小心翼翼地平衡两者。

重要结论：只要网络经过良好正则化，训练更大的网络几乎从不会有坏处。唯一的代价是计算时间（computational time）——网络太大、训练太慢。所以「大网络 + 适当正则化」是安全且有效的手段。

五、承上启下：正则化预告 [05:57]

本讲多次提到正则化（regularization），它是降低方差非常有用的技术。
代价提醒：使用正则化会带来一点「偏差上的代价」——它可能会略微增大偏差，但如果网络足够大，通常增大的幅度不大。

思考：正则化的本质是给模型加约束、抑制过拟合，因此可能牺牲一点拟合能力（偏差上升）。但大网络有足够的容量，这点牺牲通常可以忽略。

下一讲将深入正则化的更多细节，帮助你理解如何把它应用到神经网络中。

六、本讲知识框架总结

机器学习基本配方
│
├── 第1步：诊断偏差（看训练集误差）
│   └── 若高偏差 → 更大网络 / 训练更久 / 高级优化算法 / 换架构
│       └── 迭代直到能较好拟合训练集
│
├── 第2步：诊断方差（看验证集误差）
│   └── 若高方差 → 更多数据 / 正则化 / 换架构
│       └── 迭代直到低偏差 + 低方差
│
├── 要点1：偏差与方差对应的手段不同，先诊断再开药
│
└── 要点2：深度学习时代，偏差-方差权衡已弱化
    ├── 大网络（+正则化）→ 主要降偏差
    └── 更多数据 → 主要降方差

关键标签 / 关键词

机器学习基本配方 偏差 Bias 方差 Variance 欠拟合 Underfitting 过拟合 Overfitting 训练集误差 验证集误差 正则化 Regularization 偏差-方差权衡 Bias-Variance Tradeoff 更大网络 更多数据 贝叶斯误差 Base Error 深度学习 吴恩达 改善深层神经网络 超参数调试 优化算法 泛化