吴恩达深度学习第2课 1.12：梯度的数值近似

视频封面

视频元信息

课程：吴恩达深度学习专项课程 · 改善深层神经网络（Professionalization of Deep Learning）
章节：1.12 梯度的数值近似（Numerical Approximation of Gradients）
时长：约 6 分 31 秒
主题：用双侧差分法（two-sided difference）替代单侧差分，实现更精确的梯度数值近似，为梯度检验打基础

本视频转录文本前段（约 0:00–0:56）为语音识别乱码，无法还原内容，笔记以 0:56 之后可辨识的英文技术内容为准，不编造前段信息。

内容摘要（TL;DR）

本视频讲解如何用数值方法近似计算梯度。核心结论：用双侧差分（θ+ε 与 θ−ε 两点连线斜率）替代单侧差分（θ 与 θ+ε），近似误差从 O(ε) 降到 O(ε²)。以 f(θ)=θ³ 为例，单侧差分误差 0.03，双侧差分误差仅 0.001。代价是计算量翻倍，但精度提升显著，值得采用，为下一节梯度检验做准备。

一、问题背景：为什么要数值近似梯度 [00:56]

在实现反向传播时，我们需要验证自己计算的梯度 g(θ) 是否正确。数值近似提供了一种"用定义直接算导数"的校验手段。

给定函数 f(θ) 和某人提供的导数实现 g(θ)，我们希望数值验证 g(θ) 是否真的是 f 的导数。
传统做法是取一个小量 ε，用差商近似导数。
本视频对比两种差商方式：单侧差分与双侧差分。

理解：这本质上是"用数值方法当裁判"，去检查解析求导（反向传播）的实现有没有 bug。

二、单侧差分 vs 双侧差分 [01:06]

2.1 单侧差分（one-sided difference）

取 θ 和 θ+ε 两点，计算它们连线的高度/宽度比。
对应图中右上角的小三角形。
公式近似为：(f(θ+ε) − f(θ)) / ε
易错点：只利用了 θ 一侧的信息，误差较大。

2.2 双侧差分（two-sided difference）

同时取 θ+ε 和 θ−ε 两点，计算它们连线的高度/宽度比。
对应图中更大的绿色三角形，它同时"吸收"了右上和左下两个小三角形。
公式为：(f(θ+ε) − f(θ−ε)) / (2ε)
考点：分母是 2ε，不是 ε。

理解：双侧差分相当于把 θ 左右两侧的斜率信息平均起来，抵消了单侧差分中的一阶误差项，因此精度更高。

常见错误：把双侧差分公式的分母写成 ε。正确分母是 2ε，因为两个采样点间距是 2ε。

三、数学推导与数值验证 [01:57]

3.1 公式构建

高度 = f(θ+ε) − f(θ−ε)
宽度 = (θ+ε) − (θ−ε) = 2ε
差商 = 高度 / 宽度 = (f(θ+ε) − f(θ−ε)) / (2ε)
该值应接近真实导数 g(θ)。

3.2 具体算例（f(θ)=θ³，θ=1，ε=0.01）

θ+ε = 1.01，θ−ε = 0.99
双侧差分：(1.01³ − 0.99³) / (2 × 0.01) = 3.001
真实导数：g(θ) = 3θ²，θ=1 时为 3
双侧近似误差 = 0.001

对比单侧差分（上一节结果）：

单侧差分结果 = 3.0301
单侧近似误差 = 0.03

关键对比：双侧差分误差 0.001，单侧差分误差 0.03，精度相差约 30 倍。这就是梯度检验必须用双侧差分的原因。

思考：误差从 0.03 到 0.001，正好对应 ε 从 0.01 到 ε²=0.0001 的量级关系，验证了下面的理论分析。

四、理论分析：为什么双侧差分更准 [04:12]

4.1 导数的形式定义

导数的正式定义：当 ε→0 时，(f(θ+ε) − f(θ−ε)) / (2ε) 的极限。
这正是双侧差分公式，说明它天然贴近导数的定义。

4.2 误差阶数（Big-O 记号）

双侧差分：误差为 O(ε²)，即误差 ≈ 常数 × ε²。
- 本例中 ε=0.01，ε²=0.0001，Big-O 常数为 1，实际误差正好是 0.001（与 ε² 同量级）。
单侧差分：误差为 O(ε)，即误差 ≈ 常数 × ε。
当 ε<1 时，ε² 远小于 ε，所以双侧差分精度高得多。

推导：单侧差分的一阶泰勒展开会残留 ε 量级的误差项；双侧差分中 θ+ε 与 θ−ε 的一阶项相互抵消，只剩 ε² 量级误差。