吴恩达深度学习第5课 2.1：词表示

视频封面

视频元信息

所属课程：吴恩达深度学习专项课程 —— 序列模型（Sequence Models）第二周
本集主题：词表示（Word Representation）/ 词嵌入（Word Embeddings）入门
时长：约 10 分钟（视频结束于约 600 秒处）
课程定位：NLP（自然语言处理）序列模型模块的开篇内容

内容摘要（TL;DR）

本视频是 NLP 词表示的开篇。核心讲清一件事：one-hot 向量无法表达词与词之间的相似性，而词嵌入（word embeddings）通过为每个词学习一个低维稠密特征向量，让算法能自动泛化到语义相近的词上。视频用 orange/apple、king/queen 等例子展示了特征化表示的优势，并介绍了 t-SNE 可视化与"嵌入"一词的由来。

一、本周课程导览与 NLP 背景 [00:01]

本视频是序列模型第二周的开场，吴恩达介绍了本周的整体内容安排。

要点：

本周将把 RNN、GRU、LSTM 等序列模型的思想应用到 NLP（自然语言处理） 上，NLP 是当前被深度学习深刻变革的 AI 领域之一。
本周的核心概念之一是 词嵌入（word embeddings），它是一种词的表示方式，能让算法自动理解类比关系，例如"男人之于女人，正如国王之于王后"。
借助词嵌入，即使标注训练集规模较小（modest labeled training set） ，也能构建有效的 NLP 应用。
本周末尾会讲到 去偏见（debiasing）词嵌入，即减少学习算法可能习得的性别、种族等不良偏见。

考点： 词嵌入的两大价值 —— ① 让小数据集也能训练 NLP 应用；② 支持类比推理（analogy）。这两个点是后续课程的逻辑起点。

理解：这里"even with relatively small label training sets"是词嵌入最实用的意义之一。传统 one-hot 表示下，模型无法从"orange juice"泛化到"apple juice"，需要大量标注数据；而词嵌入让语义相近的词共享特征，从而降低对标注量的依赖。

二、回顾：One-hot 词表示及其缺陷 [00:57]

2.1 One-hot 表示回顾

基础事实：

假设词表（vocabulary）大小为 10,000 词（上一周课程中的设定）。
之前一直用 one-hot 向量表示词：若 "man" 是词典中第 5391 个词，则用 $O_{5391}$ 表示，该向量在第 5391 位为 1，其余全为 0。
同理，"woman" 是第 9853 个词，用 $O_{9853}$ 表示；king、queen、apple、orange 等词也各自用 one-hot 向量表示。
记号说明：$O$ 代表 one-hot，下标是词在词典中的索引。

2.2 One-hot 的核心缺陷 [02:00]

要点：

每个词被当作孤立个体（a thing unto itself） ，算法无法跨词泛化（generalize across words）。
举例：语言模型学会 "I want a glass of orange juice" 是高频句子后，当看到 "I want a glass of apple ____" 时，它并不知道 apple 和 orange 的关系比其他任何词更近。
因此模型难以从"orange juice 是常见搭配"泛化到"apple juice 也是常见搭配"。

数学原因（易错点）：

任意两个不同 one-hot 向量的内积为 0。例如 king 与 queen 的内积为 0，apple 与 orange 的内积也为 0。
任意一对 one-hot 向量之间的索引差（indices 间距）也完全相同。
所以模型完全无法知道"apple 和 orange 比 king 和 orange 更相似"。

易错点： one-hot 向量是正交的（orthogonal） —— 两两内积为 0，任意两词距离相等。这意味着 one-hot 表示中所有词之间没有任何语义相似度信息。这是理解词嵌入必要性的关键。

推导：设 $O_i$ 与 $O_j$（$i \neq j$）为 one-hot 向量，则 $O_i \cdot O_j = \sum_k O_i[k] \cdot O_j[k]$。由于二者非零位置不同，乘积恒为 0，故内积为 0。同时欧氏距离 $|O_i - O_j| = \sqrt{2}$ 对所有 $i \neq j$ 都相同，即所有词两两等距。

三、特征化表示（Featurized Representation）[03:23]

3.1 核心思想

要点：

与其用 one-hot，不如为每个词学习一组特征及其取值，构成一个特征化表示。
以 man、woman、king、queen、apple、orange 为例，可以设想若干语义特征维度。

3.2 特征示例（讲解中的具体取值）

特征	man	woman	king	queen	apple	orange
性别（Gender，-1 男 → +1 女）	-1	+1	-0.95	+0.97	~0（无性别）	~0（无性别）
皇室程度（Royal）	~0	~0	高	高	~0	~0
年龄（Age）	~0（成年人）	~0（成年人）	成年人	成年人	中性	中性
是否食物（Food）	否	否	否	否	是	是

其他可设想的特征：

尺寸（size）、价格/成本（cost）
是否有生命（alive）
是动作还是名词、动词或其他词性

注意： 表中 king 的性别值 -0.95、queen 的 +0.97 是视频中的示意取值，用于说明"实际学习到的值不会那么规整"。

3.3 从特征到向量表示

要点：

把上述特征组合成一个列表，例如 300 个特征，就得到每个词的 300 维向量。
记号：用 $E_{5391}$ 表示 man 的这种表示（对应 one-hot 中的索引 5391），用 $E_{9853}$ 表示 woman 的 300 维向量。
同理表示 king、queen、apple、orange 等。

3.4 特征化表示带来的泛化能力 [06:10]

要点：

用这种表示后，orange 和 apple 的向量非常相似（颜色、味道等少数特征不同，但大部分特征取值相近或相同）。
因此，已经学会"orange juice 是一个搭配"的算法，能快速推断出"apple juice"也是一个搭配。
这使算法能更好地跨词泛化。

理解：这就是词嵌入的本质优势 —— 语义相近的词在向量空间中距离更近，模型学到的模式可以"迁移"到相似词上。

四、学习词嵌入与特征的可解释性 [06:51]

要点：

接下来几周将学习如何自动学习词嵌入，即学习这种低维特征向量，比 one-hot 更适合表示词。
重要提醒： 实际学到的特征不会像"第 1 维是性别、第 2 维是皇室、第 3 维是年龄"那样容易解释。
具体每一维代表什么会比较难说清，但学到的特征化表示依然能让算法快速判断"apple 与 orange 比 king 与 orange 更相似"。

易错点： 不要以为词嵌入的每一维都有明确的语义标签。真实训练出的 embedding 各维度通常是不可直接解释的，但其向量间的相对关系（相似度、方向）是有意义的。这是初学者常见的误解。

五、t-SNE 可视化与"嵌入"的含义 [07:32]

5.1 t-SNE 可视化

要点：

学到 300 维词向量后，常见的做法是把它降维嵌入到 2 维空间以便可视化。
常用算法是 t-SNE，由 Laurens van der Maaten、Geoffrey Hinton 等人提出。
可视化效果：man 与 woman 聚在一起，king 与 queen 聚在一起，人物类词聚在一起，动物类词聚在一起，水果类词彼此靠近，数字 1、2、3、4 彼此靠近，整体上有生命物体也会聚在一起。
这类图在网上常被用来可视化 300 维或更高维的嵌入。

思考：t-SNE 图让人直观感受到"语义相似的词被映射到相近的特征向量"，但要注意 t-SNE 只保留局部结构，簇间距离和整体形状不宜过度解读。

5.2 "嵌入（Embedding）"一词的由来 [09:10]

要点：

可以想象一个 300 维空间（类比 3 维空间）。
每个词（如 orange）有一个 300 维特征向量，于是这个词被"嵌入"到该 300 维空间中的一个点；apple 被嵌入到另一个点。
可视化算法把高维空间映射到低得多的维度（如 2D），便于绘图观察。
这就是"embedding"这个术语的来源 —— 把词映射/嵌入到向量空间中的某个点。

术语总结： Word Embedding = 把离散的词映射为连续向量空间中的稠密点。

六、总结与展望 [09:50]

要点：

词嵌入是 NLP 中最重要的思想之一。
本视频回答了"为什么要学习或使用词嵌入"这一问题。
下一视频将深入讲解如何用这些算法构建 NLP 应用。

关键概念速查

概念	说明
One-hot 向量	词表大小的稀疏向量，仅一位为 1；两两正交，无法表达相似度
特征化表示	为每个词学习一组语义特征值，构成稠密向量
词嵌入（Word Embedding）	把词映射为低维稠密向量，语义相近则向量相近
泛化（Generalization）	从 orange juice 推广到 apple juice 的能力
t-SNE	高维嵌入降维到 2D 的可视化算法
去偏见（Debiasing）	减少词嵌入中的性别、种族等偏见