吴恩达深度学习第1课 2.4：梯度下降

视频封面

视频元信息

视频标题：(官方中英!) 2026公认最好的【吴恩达深度学习】教程！附课件、代码及实战项目 Professionalization of Deep Learning p11 11 - 2.4梯度下降
所属课程：吴恩达深度学习专项课程 —— 神经网络与深度学习（第一门课）
章节：2.4 梯度下降（Gradient Descent）
时长：约 11 分 20 秒
授课人：吴恩达（Andrew Ng）

内容摘要（TL;DR）

本节从逻辑回归的代价函数出发，讲解如何用梯度下降法最小化代价函数 J(w, b)，从而学习参数 w 和 b。核心是理解梯度下降的迭代更新公式、学习率 α 的作用、导数（斜率）的几何含义、凸函数保证全局最优，以及偏导数符号的记法约定。最后给出代码实现中 dw、db 变量命名的约定。

一、回顾：从逻辑回归到代价函数 [00:00]

要点总结：

已学过逻辑回归模型、损失函数（单样本）、代价函数（整个训练集）。
本节目标：用梯度下降训练/学习参数 w 和 b。

详细说明：

逻辑回归模型（Logistic Regression）：
- 输出 ŷ⁽ⁱ⁾ = σ(wᵀx⁽ⁱ⁾ + b)，用于二分类预测。
损失函数（Loss Function）：
- 衡量在单个训练样本上，算法输出 ŷ⁽ⁱ⁾ 与真实标签 y⁽ⁱ⁾ 的差距。
代价函数（Cost Function）J(w, b)：
- 定义为所有训练样本损失函数的平均值： J(w, b) = (1/m) Σᵢ L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾)
- 衡量参数 w 和 b 在整个训练集上的表现。

易错点：损失函数针对单个样本，代价函数针对整个训练集（是损失的平均）。两者不要混淆，这是后续求导的基础。

理解：代价函数是"最终要优化的目标"，损失函数是"构成目标的积木"。梯度下降优化的对象始终是代价函数 J，而不是单个样本的损失。

二、梯度下降的直观图示 [01:17]

要点总结：

用三维曲面图直观展示梯度下降：横轴为 w 和 b，纵轴为 J(w, b)。
目标：找到使 J(w, b) 最小的 w 和 b。

详细说明：

图示说明：
- 水平轴表示参数空间（w 和 b）。
- 实际中 w 可能是高维向量，但为便于可视化，图示中把 w 和 b 都当作单个实数。
- 曲面高度表示某点处 J(w, b) 的值。
优化目标：
- 找到对应代价函数 J 最小值的 w 和 b。

思考：把高维参数空间"降维"到二维来画图，是教学中常见的可视化手段。实际神经网络中参数可能有百万级，但梯度下降的原理不变——只是无法直接画出来。

三、凸函数：为什么逻辑回归的代价函数好优化 [01:59]

要点总结：

逻辑回归的代价函数 J 是凸函数（Convex Function），形状像"单个大碗"。
凸函数只有一个全局最优，不存在多个局部最优。
这是选用该代价函数形式的重要原因。

详细说明：

凸函数特征：
- 形状类似一个"大碗"（single big bowl）。
- 只有一个全局最小值点。
非凸函数对比：
- 非凸函数有多个局部最优（local optimal），容易陷入局部最优而找不到全局最优。
关键结论：
- 正因为 J(w, b) 是凸函数，无论从哪里初始化，理论上都能到达（大致）同一个最优点。

考点：凸性（Convexity） 是逻辑回归能用梯度下降稳定收敛的根本保证。这也是为什么逻辑回归的代价函数采用对数损失形式，而不是直接用平方误差（平方误差在逻辑回归中会导致非凸）。

拓展【拓展】：在深度学习中，神经网络的代价函数通常是非凸的，存在大量局部最优和鞍点。但实践中梯度下降仍能取得好效果，原因包括：高维空间中鞍点比局部最优更常见、随机性有助于逃离坏点、过参数化带来良好损失曲面等。这是深度学习"理论难解释但实践有效"的典型例子。

四、梯度下降的迭代过程 [02:29]

要点总结：

初始化参数 w 和 b。
沿最陡下降方向（steepest downhill direction）反复迭代。
逐步逼近全局最优。

详细说明：

初始化：
- 将 w 和 b 初始化为某个初值（图中用一个小点表示）。
- 对逻辑回归而言，几乎任何初始化方法都可行，通常初始化为 0，随机初始化也可以。
- 因为函数是凸的，无论从哪初始化，结果都大致相同。
迭代过程：
- 从初始点出发，迈出一步，走向最陡的下坡方向。
- 第 1 次迭代 → 到达第一个点。
- 第 2 次迭代 → 继续下降。
- 第 3 次迭代 → 继续下降……
- 最终收敛到全局最优（或接近全局最优）。

理解："最陡下降方向"就是梯度的反方向。梯度指向函数上升最快的方向，所以沿负梯度方向走能最快下降。

易错点：虽然逻辑回归对初始化不敏感，但神经网络对初始化非常敏感，不能随意初始化为 0（会导致对称性问题，所有神经元学出相同参数）。这里说的"初始化随意"仅限于逻辑回归这种凸优化场景。

五、梯度下降的数学表达（单参数情形）[03:44]

要点总结：

为简化，先忽略 b，只看单参数 w 的更新。
核心更新公式：w := w − α · (dJ(w)/dw)。
α 是学习率，控制每步的步长。

详细说明：

更新规则：
- w := w − α · (dJ(w)/dw)
- 反复执行，直到算法收敛。
符号说明：
- := 表示赋值/更新操作。
- α（alpha）：学习率（Learning Rate），控制每次迭代的步长大小。
- dJ(w)/dw：导数，即函数在当前点的斜率，代表想要对参数 w 做出的改变量。
代码约定：
- 代码中用变量名 dw 表示导数项 dJ(w)/dw。
- 代码写作：w := w - alpha * dw

考点：学习率 α 是深度学习中最重要的超参数之一。α 太小 → 收敛慢；α 太大 → 可能震荡甚至发散。后续课程会专门讲如何选择 α。

六、为什么更新公式有效：导数的几何直觉 [05:14]

要点总结：

导数 = 函数在某点的斜率。
导数为正 → 减去正值 → w 减小（向左走）。
导数为负 → 减去负值 → w 增大（向右走）。
无论初始在左侧还是右侧，都会朝全局最小值移动。

详细说明：

导数的定义：
- 导数就是函数在某点的斜率。
- 几何上等于该点切线上"高度 ÷ 宽度"（直角三角形的高宽比）。
情况一：w 在右侧（导数为正）
- 该点斜率为正。
- 更新：w := w − α · (正数) → w 减小。
- 效果：向左移动，靠近最小值。
情况二：w 在左侧（导数为负）
- 该点斜率为负。
- 更新：w := w − α · (负数) = w + α · |负数| → w 增大。
- 效果：向右移动，靠近最小值。
结论：
- 无论初始化在左边还是右边，梯度下降都会把参数推向全局最小值。

推导：以导数为正为例，dJ/dw > 0 表示"w 增大时 J 增大"，所以要让 J 减小，就要让 w 减小，即 w 减去一个正数。这正好与更新公式一致。

易错点：更新公式中是减去学习率乘以导数（w := w − α·dw），不是加上。如果写成加号，就会变成梯度上升，把参数推向最大值而非最小值。

拓展【拓展】：如果对微积分不熟悉也不用担心。吴恩达强调，即使没有深厚的微积分功底，只要理解"导数 = 斜率 = 下降方向"这一直觉，就足以有效使用神经网络。后续视频会补充导数直觉。

七、扩展到双参数（w 和 b）[07:36]

要点总结：

逻辑回归的代价函数是 J(w, b)，含两个参数。
需要对每个参数分别求偏导并更新。
更新公式：
- w := w − α · ∂J(w,b)/∂w
- b := b − α · ∂J(w,b)/∂b

详细说明：

梯度下降内层循环（对逻辑回归）：
- w := w − α · ∂J(w,b)/∂w
- b := b − α · ∂J(w,b)/∂b
这两个方程就是实际实现时要写的核心更新步骤。
代码约定：
- dw 表示 ∂J(w,b)/∂w（对 w 的更新量）。
- db 表示 ∂J(w,b)/∂b（对 b 的更新量）。
- 代码写作：
  - w := w - alpha * dw
  - b := b - alpha * db

考点：参数同步更新。在实现时，w 和 b 应当同时更新（用更新前的值计算两者的梯度），而不是先更新 w 再用新 w 去算 b 的梯度。这是梯度下降实现中的经典易错点。

思考：为什么用"偏导数"而不是"导数"？因为 J 现在是两个变量的函数，需要分别考察它沿 w 方向和 b 方向的斜率，这就是偏导数的含义。

八、偏导数符号的记法约定 [08:17]

要点总结：

微积分中偏导数符号 ∂ 只是"花体的小写 d"。
规则：J 是两个或更多变量的函数 → 用 ∂（偏导符号）；J 只是一个变量的函数 → 用 d（普通导数符号）。
本质含义相同：都是衡量函数沿某个变量方向的斜率。

详细说明：

符号外观：
- ∂ 这个"奇怪的波浪符号"其实就是小写字母 d 的花体/艺术字体。
数学记法规则：
- 若 J 是两个或更多变量的函数 → 用 ∂（partial derivative symbol，偏导数符号）。
- 若 J 只是一个变量的函数 → 用 d（普通导数符号）。
本质含义：
- 无论用 ∂ 还是 d，含义都是"衡量函数关于某个变量的斜率"。
- 在 ∂J(w,b)/∂w 中，表示"J(w,b) 沿 w 方向的斜率"。
吴恩达的观点：
- 他认为这条记法规则"把简单的事情搞复杂了"，但了解它有助于看懂文献和公式。

理解：偏导数符号 ∂ 的存在只是数学上为了区分"多元函数对某一变量的导数"和"一元函数的导数"。对工程实践没有影响，理解含义即可。

易错点：不要被 ∂ 符号吓到。它和 d 在计算上几乎是一回事——只要记住"对哪个变量求导，就把其他变量当常数"即可。

九、代码实现约定与总结 [10:28]

要点总结：

代码中用 dw 表示对 w 的更新量，db 表示对 b 的更新量。
这就是梯度下降的实现方式。
对微积分不熟悉不必焦虑，后续视频会补充直觉。

详细说明：

代码变量命名约定：
- dw：对 w 的更新量（∂J(w,b)/∂w）。
- db：对 b 的更新量（∂J(w,b)/∂b）。
完整实现骨架（伪代码）：
- 重复：
  - dw = ∂J(w,b)/∂w
  - db = ∂J(w,b)/∂b
  - w := w - alpha * dw
  - b := b - alpha * db
吴恩达的鼓励：
- 如果多年没接触微积分，觉得导数内容多，不用担心。
- 下一节视频会给出更好的导数直觉。
- 即使只有对微积分的直觉理解（而非深厚数学功底），也能让神经网络有效工作。

思考：本节是"从数学公式到代码实现"的桥梁。理解梯度下降的更新逻辑，是后续实现逻辑回归、神经网络反向传播的基础。下一节讲导数，是为计算 dw、db 做铺垫。

关键标签 / 关键词

梯度下降 Gradient Descent 逻辑回归 Logistic Regression 代价函数 Cost Function 损失函数 Loss Function 凸函数 Convex Function 学习率 Learning Rate Alpha 导数 Derivative 偏导数 Partial Derivative 斜率 Slope 参数更新 dw db 全局最优 Global Optimum 局部最优 Local Optimum 初始化 Initialization 吴恩达 深度学习 神经网络

本节核心公式速查

概念	公式
代价函数	J(w, b) = (1/m) Σᵢ L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾)
单参数更新	w := w − α · dJ(w)/dw
双参数更新（w）	w := w − α · ∂J(w,b)/∂w
双参数更新（b）	b := b − α · ∂J(w,b)/∂b
代码实现	`w := w - alpha * dw`，`b := b - alpha * db`