吴恩达深度学习第1课 2.18：逻辑回归损失函数的解释（选修）

视频封面

视频元信息

所属课程：吴恩达深度学习专项课程（Deep Learning Specialization）—— 第一门课《神经网络和深度学习》
章节：2.18 逻辑回归损失函数的解释（选修课）
性质：选修（Optional）内容，用于从数学原理上解释为什么逻辑回归使用该损失函数
视频时长：约 7 分钟

内容摘要（TL;DR）

本视频从概率论与最大似然估计的角度，推导了逻辑回归损失函数的来源。核心逻辑是：将预测输出 ŷ 解释为 P(y=1|x)，用一条公式统一表示两种情况，取对数后得到单样本损失函数，再假设样本独立同分布（IID），把最大似然估计转化为最小化代价函数，从而证明了逻辑回归代价函数的合理性。

一、回顾：逻辑回归的预测与概率解释 [00:13]

要点：

逻辑回归的预测公式为 ŷ = σ(wᵀx + b)，其中 σ 是熟悉的 Sigmoid 函数。
我们将 ŷ 解释为：在给定输入特征 x 的条件下，y = 1 的概率，即 ŷ = P(y=1 | x)。

详细说明：

理解：Sigmoid 函数把线性组合 wᵀx + b 映射到 (0,1) 区间，因此其输出天然可以当作概率值来解读。这是逻辑回归能够做二分类的概率基础。

若 y = 1，则 P(y | x) = ŷ；
若 y = 0，则 P(y | x) = 1 − ŷ。

也就是说，ŷ 是 y=1 的概率，而 1−ŷ 是 y=0 的概率。这两个式子分别定义了 y 取两种取值时 P(y|x) 的值。

二、用一条公式统一两种情况 [01:18]

要点：

由于是二分类问题，y 只能是 0 或 1。
可以把上面两个式子合并成一条公式：

P(y | x) = ŷ^y · (1 − ŷ)^(1 − y)

详细说明（推导验证）：

推导：为什么这条公式能同时覆盖两种情况？

情况一：y = 1

ŷ^y = ŷ^1 = ŷ
(1−ŷ)^(1−y) = (1−ŷ)^0 = 1（任何数的 0 次方都等于 1）
结果：P(y|x) = ŷ ✓

情况二：y = 0

ŷ^y = ŷ^0 = 1
(1−ŷ)^(1−y) = (1−ŷ)^1 = 1−ŷ
结果：P(y|x) = 1 − ŷ ✓

易错点：指数中的 y 和 1−y 起到了"开关"作用——当 y=1 时打开第一项、关闭第二项；当 y=0 时反之。这是机器学习中非常常用的"用指数做条件选择"的技巧，务必理解。

思考：这种写法本质上是一个"伯努利分布的紧凑表达"。伯努利分布的概率质量函数就是 p^y(1−p)^(1−y)，这里 p 被 ŷ 替代。

三、取对数得到单样本损失函数 [03:29]

要点：

对数是严格单调递增函数，因此最大化 log P(y|x) 与最大化 P(y|x) 得到的结果一致。
对 P(y|x) = ŷ^y · (1−ŷ)^(1−y) 取对数：

log P(y|x) = y·log ŷ + (1−y)·log(1−ŷ)

这个结果恰好是之前定义的损失函数的相反数（即 −L(ŷ, y)）。

详细说明：

推导：利用对数性质 log(ab) = log a + log b 和 log(a^n) = n·log a，把乘方和乘积拆解为加法和系数，得到上式。

为什么会有负号？

训练学习算法时，我们希望概率尽可能大（让模型对正确标签给出高概率）；
而在逻辑回归中，我们习惯最小化损失函数；
因此：最小化损失 ⟺ 最大化对数概率。

考点：核心等价关系 最小化损失函数 = 最大化对数似然概率这就是负号存在的根本原因，也是理解整个推导的关键。

理解：单样本损失函数 L(ŷ, y) = −[y·log ŷ + (1−y)·log(1−ŷ)]，这正是我们熟悉的二元交叉熵损失（Binary Cross-Entropy）。视频实际上是在证明：交叉熵损失 = 负对数似然。

四、从单样本扩展到整个训练集 [04:34]

要点：

假设训练样本是独立同分布（IID, Identically Independently Distributed） 抽取的；
那么整个训练集所有标签的联合概率 = 各样本概率的乘积：

P(所有标签) = ∏_{i=1}^{m} P(y⁽ⁱ⁾ | x⁽ⁱ⁾)

做最大似然估计（Maximum Likelihood Estimation），就是要最大化这个联合概率。

详细说明：

理解：IID 假设是这里的关键前提。只有当样本相互独立时，联合概率才能写成各概率的乘积；只有同分布时，才能用同一个模型参数来描述所有样本。

取对数把乘积变求和：

log(∏ Pᵢ) = ∑ log Pᵢ
因此：log P(所有标签) = ∑_{i=1}^{m} log P(y⁽ⁱ⁾ | x⁽ⁱ⁾)
由上一节可知，log P(y⁽ⁱ⁾|x⁽ⁱ⁾) = −L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾)

五、最大似然估计推导出代价函数 J(w,b) [05:48]

要点：

统计学中的最大似然估计原则：选择能最大化观测数据出现概率的参数。
即最大化：−∑_{i=1}^{m} L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾)（把负号提到求和符号外）
由于我们要最小化代价（等价于最大化似然），去掉负号后得到：

J(w,b) = ∑_{i=1}^{m} L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾)

最后为了数值缩放方便，额外加上 1/m 的缩放因子：

J(w,b) = (1/m) ∑_{i=1}^{m} L(ŷ⁽ⁱ⁾, y⁽ⁱ⁾)

详细说明：

理解：1/m 只是让代价函数在样本量变化时保持量级稳定，方便设置学习率、比较不同模型，不影响最优参数的位置。

总结性结论（视频核心）：

通过最小化代价函数 J(w,b)，我们实际上是在对逻辑回归模型进行最大似然估计，前提假设是训练样本独立同分布（IID）。

六、完整推导链条回顾（结构化梳理）

推导：把视频的完整逻辑串起来，方便记忆。

概率假设：ŷ = P(y=1|x)，1−ŷ = P(y=0|x)
统一表达：P(y|x) = ŷ^y(1−ŷ)^(1−y)（伯努利形式）
取对数：log P(y|x) = y log ŷ + (1−y) log(1−ŷ)
引入负号：损失 L = −log P(y|x)（最大化概率 = 最小化损失）
扩展到数据集：联合概率 = 乘积 → 取对数 = 求和
最大似然估计：最大化 ∑ log P → 最小化 ∑ L
加缩放因子：J(w,b) = (1/m) ∑ L，得到最终代价函数

七、拓展与背景补充【拓展】

【拓展】最大似然估计（MLE）的直觉

MLE 的思想：既然观测到的数据已经发生了，那"最可能产生这组数据的参数"就是好参数。
举例：抛一枚硬币 10 次出现 7 次正面。MLE 会估计正面概率为 0.7，因为该参数下观测到这组结果的概率最大。
在逻辑回归中，参数就是 w 和 b，数据就是 (x⁽ⁱ⁾, y⁽ⁱ⁾)。

【拓展】交叉熵与信息论视角

单样本损失 L = −[y log ŷ + (1−y) log(1−ŷ)] 就是二元交叉熵。
从信息论看，它衡量的是"用预测分布 ŷ 去编码真实标签 y 所需的额外信息量"（KL 散度的一部分）。
因此最小化交叉熵 = 让预测分布尽量接近真实分布。

【拓展】为什么不用平方误差（MSE）？

若用 MSE 作为逻辑回归损失，代价函数会变成非凸函数，存在多个局部极小值，梯度下降容易陷入局部最优。
而交叉熵损失配合 Sigmoid 是凸函数，能保证梯度下降收敛到全局最优。
这也是本推导存在的实际意义：交叉熵不只是"看起来合理"，而是有坚实的概率论基础。

【拓展】IID 假设的现实意义

现实中样本往往不完全独立（如时间序列、用户行为有相关性），此时 MLE 的乘积形式只是近似。
但只要相关性不强，实践中的效果通常依然良好。

常见踩坑点汇总

忘记 y 只能取 0/1，误把公式用于多分类（多分类需用 Softmax + 多类交叉熵）。

混淆"最大化似然"和"最小化损失"的方向，导致符号搞错。

忽略 IID 假设，直接套用乘积形式。

把 1/m 缩放因子误认为会影响最优解——它只影响数值尺度，不影响 argmin。