吴恩达深度学习第5课 2.10：词嵌入除偏

视频封面

视频元信息

课程来源：吴恩达深度学习专项课程（Deep Learning Specialization）
所属模块：序列模型 → 自然语言处理与词嵌入
本节主题：词嵌入除偏（Debiasing Word Embeddings）
授课语言：英文（官方中英字幕）

内容摘要（TL;DR）

本节讲解词嵌入中存在的性别、种族等社会偏见问题，以及如何通过识别偏见方向 → 中性化 → 均衡化三步法来消除或减弱这些偏见。核心论文来自 Bolukbasi 等人的研究，方法基于线性代数投影和 SVD 分解，是 AI 公平性领域的重要基础内容。

一、问题背景：为什么需要词嵌入除偏 [00:00]

机器学习与 AI 算法正越来越多地被信任用于做出极其重要的决策，因此我们需要尽可能确保它们不带有不良形式的偏见，如性别偏见、种族偏见等。

注意：本节所说的 "bias" 不是机器学习技术讨论中常见的"偏差-方差"里的偏差（bias-variance tradeoff），而是指社会偏见——性别、种族、性取向等方面的歧视性倾向。

词嵌入可能学到的类比关系：

正常类比：man → woman，king → queen（这是合理的）
问题类比：man → computer programmer，woman → ?（模型可能输出 homemaker）
问题类比：father → doctor，mother → ?（模型可能输出 nurse）

易错点：词嵌入本身没有"对错"意识，它只是忠实地反映了训练语料中的统计规律。如果训练文本中存在"女性更多从事家务"的表述，嵌入就会学到这种关联。

理解：这本质上是一个"垃圾进，垃圾出"的问题——人类历史上积累的文本本身就包含了大量偏见，模型只是把它们编码进了向量空间。

二、偏见的来源与影响 [01:34]

词嵌入会反映训练模型所用文本中的性别、种族、年龄、性取向等偏见。

关键观点：

偏见来源于人类书写的文本本身，反映了人类社会长期存在的偏见
机器学习算法正在影响大学录取、求职、贷款审批、刑事司法量刑等重大决策
人类在减少偏见方面已经取得了进步，但 AI 领域有更好的工具可以更快地减少偏见

思考：吴恩达在这里表达了一个重要观点——AI 偏见治理可能比人类社会偏见治理更容易推进，因为我们可以直接修改算法参数，而改变社会观念需要几代人的努力。

应用场景举例：

大学录取决策
求职匹配系统
贷款审批
刑事司法量刑建议

三、除偏三步法总览 [03:28]

核心论文：Bolukbasi, Chang, Zou, Saligrama, Kalai 等人关于减少词嵌入偏见的研究。

三步法框架：

识别偏见方向（Identify bias direction）
中性化（Neutralize）
均衡化（Equalize）

理解：这三步的逻辑是——先找到"偏见在向量空间中的方向"，然后把不该有偏见的词投影掉这个方向的分量，最后让本该成对的词在除偏见方向外完全对称。

四、第一步：识别偏见方向 [04:02]

方法

以性别偏见为例：

取一对性别对立词（如 he 和 she），计算差值向量：e_he - e_she
取多对这样的词（如 male-female、boy-girl 等），分别计算差值
对这些差值向量取平均，得到偏见方向

向量空间的理解

偏见方向：1 维子空间（1D subspace）
非偏见方向：299 维子空间（假设词向量为 300 维）

考点：偏见方向不一定恰好是 1 维的。原始论文中使用的是 SVD（奇异值分解） 来找到偏见方向，而不是简单的差值平均。SVD 与主成分分析（PCA）密切相关。

推导：如果词向量维度为 300，偏见方向占 1 维，则非偏见方向占 299 维。中性化就是将词向量投影到这 299 维子空间上。

【拓展】SVD（奇异值分解）：将矩阵分解为 UΣV^T 的形式，可以用于降维、去噪、找主方向。在除偏中，SVD 帮助找到方差最大的几个方向作为"偏见方向"，因为偏见往往体现在最大的几个主成分上。

五、第二步：中性化（Neutralization） [05:53]

核心思想

对于非定义性（non-definitional）的词，消除其在偏见方向上的分量。

两类词的区分

类型	示例	处理方式
定义性词（本身含性别）	grandmother, grandfather, girl, boy, she, he	不中性化
非定义性词（应性别中立）	doctor, babysitter	中性化

操作方法

将非定义性词的嵌入向量投影到非偏见方向上（即消除偏见方向的分量）。

易错点：不是所有词都需要中性化。grandmother 和 grandfather 本身定义中就包含性别信息，强行中性化反而会丢失语义。

理解：中性化的本质是"减去在偏见方向上的投影分量"，用公式表示就是：e_debiased = e - (e · b)b，其中 b 是单位偏见方向向量。

【拓展】更一般地，除了性别偏见，还可以对种族偏见、性取向偏见等做类似处理。只需将"性别方向"替换为对应的"种族方向"或"性取向方向"即可。

六、第三步：均衡化（Equalization） [07:08]

为什么需要均衡化

问题案例：

babysitter 与 grandmother 的距离 < babysitter 与 grandfather 的距离
这暗示"祖母比祖父更适合做保姆"，强化了不良性别刻板印象

均衡化的目标

让 grandmother 和 grandfather 到 babysitter（或 doctor 等中性词）的距离完全相等。

操作方法

通过线性代数步骤，将 grandmother 和 grandfather 移动到距中间轴等距的一对点上。

效果： 中性词（如 babysitter）到这对词的距离完全相同。

需要均衡化的词对举例

grandmother / grandfather
girl / boy
sister / brother
niece / nephew
daughter / son
girlhood / boyhood
fraternity / sorority

思考：均衡化保证了"性别是这对词唯一的区别"，而不是让性别差异影响其他语义关系。

七、如何决定哪些词需要中性化 [08:49]

判断标准

应中性化：doctor（不应有性别倾向）
不应中性化：grandmother、grandfather（定义中含性别）
特殊情况：beard（胡须）——事实上男性更可能有胡须，所以 beard 可以更接近 male

自动化方法

论文作者训练了一个线性分类器来判断哪些词是定义性别的（definitional），哪些不是。

关键发现：

英语中绝大多数词的性别不是定义性的
只有很小一部分词（如 grandmother, grandfather, boy, girl, fraternity, sorority 等）不应被中性化
线性分类器可以识别出哪些词需要通过中性化步骤处理

考点：整个除偏流程的顺序是——先用分类器判断哪些词需要中性化 → 对需要中性化的词执行投影 → 对需要均衡化的词对执行均衡化。

【拓展】这种方法也有局限性：(1) 偏见方向可能不止一维；(2) 某些偏见是隐性的，难以用线性方向捕捉；(3) 除偏后可能损失部分语义信息。后续研究提出了更复杂的方法，如对抗训练、条件生成等。

八、知识框架总结

词嵌入除偏
├── 问题：词嵌入反映训练语料中的社会偏见
│   ├── 性别偏见
│   ├── 种族偏见
│   ├── 年龄偏见
│   └── 性取向偏见
├── 影响：AI 决策（录取/求职/贷款/司法）
└── 解决方案（Bolukbasi et al.）
    ├── Step 1: 识别偏见方向
    │   ├── 差值平均法（简化版）
    │   └── SVD 分解（原始论文）
    ├── Step 2: 中性化
    │   ├── 区分定义性词 vs 非定义性词
    │   ├── 线性分类器自动判断
    │   └── 投影到非偏见子空间
    └── Step 3: 均衡化
        ├── 使词对到中性词等距
        └── 消除间接偏见关联