吴恩达深度学习第2课 2.3：指数加权平均

视频封面

视频元信息

课程系列：吴恩达深度学习专项课程 - 改善深层神经网络（Professionalization of Deep Learning）
章节：2.3 指数加权平均（Exponentially Weighted Averages）
语言：中英双语字幕

内容摘要（TL;DR）

本节以伦敦一年气温数据为例，引入指数加权平均（Exponentially Weighted Average）的概念。核心公式为 V_t = β·V_{t-1} + (1-β)·θ_t，其中 β 是超参数。β 越大，平均窗口越大（约 1/(1-β) 天），曲线越平滑但滞后越严重；β 越小，曲线越嘈杂但对变化响应越快。该方法是后续理解动量梯度下降、RMSProp、Adam 等优化算法的基础。

一、问题引入：气温数据的噪声 [00:27]

吴恩达以伦敦去年的每日气温数据为例：

1月1日气温约为 40°F（约 4.4°C）
1月2日气温约为 90°F（此处口误，实际应为约 40°F 左右，视频中表述有误）
一年有 365 天，第 180 天左右（5月底）气温约为 60°F
1月较冷，年中（接近夏天）较暖，年末（12月底）又变冷

将每日气温画成散点图后，数据呈现明显的噪声（noisy）特征——每天的温度波动很大，但整体有季节性趋势。

理解：这里的"噪声"指的是日间随机波动，而"趋势"是季节性的整体走向。我们希望找到一条平滑曲线来反映真实趋势，滤除短期波动。

核心需求：计算温度的局部平均值或移动平均（moving average） ，以观察趋势。

二、指数加权平均的计算方法 [01:37]

2.1 递推公式

初始化 V₀ = 0，然后对每一天递推计算：

第 1 天：V₁ = 0.9 × V₀ + 0.1 × θ₁
第 2 天：V₂ = 0.9 × V₁ + 0.1 × θ₂
第 3 天：V₃ = 0.9 × V₂ + 0.1 × θ₃
……

通用公式：

$$V_t = \beta \cdot V_{t-1} + (1 - \beta) \cdot \theta_t$$

其中：

V_t：第 t 天的指数加权平均值
V_{t-1}：前一天的平均值
θ_t：第 t 天的原始观测值（如当天温度）
β：权重参数（超参数），本例中为 0.9

考点：指数加权平均的递推公式 V_t = β·V_{t-1} + (1-β)·θ_t 是本节最核心的公式，必须牢记。

2.2 为什么叫"指数"加权？

推导：将递推公式展开，V_t 实际上是过去所有观测值的加权和，权重随时间指数衰减。

V_t = (1-β)·θ_t + (1-β)·β·θ_{t-1} + (1-β)·β²·θ_{t-2} + ...

可以看到，距离当前越远的数据，其权重以 β 的幂次衰减——这就是"指数加权"名称的由来。

易错点：V₀ 初始化为 0 会导致前几天的估计值偏小（偏向 0），这就是所谓的"冷启动偏差"。吴恩达在本节未展开，但在后续课程中会介绍偏差修正（bias correction）。

三、β 参数的含义与影响 [02:39]

3.1 β 与平均窗口的关系

当 β = 0.9 时，可以认为 V_t 大约是对过去 1/(1-β) = 10 天 温度的平均。

一般规律：

$$ \text{有效平均天数} \approx \frac{1}{1 - \beta} $$

理解：为什么是 1/(1-β)？因为权重衰减到 1/e ≈ 0.35 所需的天数约为 1/(1-β)。例如 β=0.9 时，0.9^10 ≈ 0.35，即 10 天前的数据权重降到了约 1/e。

3.2 不同 β 值的对比

β 值	有效窗口	曲线特征	对应颜色
0.98	约 50 天	更平滑，但向右偏移（滞后大）	绿色
0.9	约 10 天	平滑度与响应速度的较好折中	红色
0.5	约 2 天	噪声大，易受异常值影响，但响应快	黄色

3.3 β = 0.98 的效果（绿色曲线）[03:37]

优点：曲线更加平滑（smoother），因为平均了更多天的温度
缺点：曲线向右偏移（shifted to the right），即存在滞后（latency）
原因：β=0.98 时，对前一天的值赋予很大权重（0.98），对当天新观测只赋予 0.02 的权重，因此当温度变化时，指数加权平均适应得更慢

考点：β 越大 → 平均窗口越大 → 曲线越平滑 → 但滞后越严重。这是一个典型的偏差-方差权衡（bias-variance tradeoff）。

3.4 β = 0.5 的效果（黄色曲线）[04:51]

优点：对温度变化适应更快（adapts more quickly）
缺点：噪声更大（more noisy），更容易受异常值（outliers）影响
原因：只平均了约 2 天的温度，窗口太短

3.5 最佳选择

吴恩达指出，通常存在一个中间值效果最好（如红色曲线 β=0.9），它在平滑度和响应速度之间取得了较好的平衡。

四、关键要点总结 [05:19]

指数加权平均公式：V_t = β·V_{t-1} + (1-β)·θ_t
β 是超参数：在后续学习算法中，β 是需要调节的超参数
有效窗口 ≈ 1/(1-β)：β=0.9 → 10天；β=0.98 → 50天；β=0.5 → 2天
权衡关系：
- β 大 → 平滑但滞后
- β 小 → 灵敏但嘈杂
别名：指数加权移动平均（Exponentially Weighted Moving Average）
后续应用：该方法将在下一节进一步讨论直觉，并用于动量梯度下降等优化算法

易错点：不要混淆 β 与学习率 α。β 控制的是历史信息的记忆长度，不是步长。

五、拓展与背景补充【拓展】

5.1 在深度学习中的核心应用

指数加权平均是以下优化算法的数学基础：

动量梯度下降（Momentum） ：对梯度做指数加权平均，平滑更新方向
RMSProp：对梯度平方做指数加权平均，自适应调整学习率
Adam：结合 Momentum 和 RMSProp，对一阶矩和二阶矩都做指数加权平均

5.2 与滑动平均的对比

方法	计算方式	内存需求	特点
简单滑动平均	取最近 k 天的算术平均	需存储 k 个值	窗口固定
指数加权平均	递推计算	只需存储 1 个值	权重指数衰减，内存高效