LLM TRAINING FIELD GUIDE · 第 3 章

第 3 章|注意力机制:模型如何挑上下文

不背公式,用“查资料”的比喻理解 Query、Key、Value,以及因果遮罩。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

先用一个例子

句子:“小王把雨伞放进包里,因为雨伞已经湿了。”读到“湿了”附近时,模型可能会利用前面提到“雨伞”的信息。注意力机制让当前位置计算与上下文各位置的匹配,再汇总信息。这里的“查询资料”只是帮助理解的比喻:模型不是先用人类语义理解句子,再显式搜索一个数据库。

Query(查询)

“我现在需要找什么信息?”

Key(索引)

“我这里有什么线索,可供匹配?”

Value(内容)

“如果你关注我,就把这部分信息带走。”

当前词:它(Query)要找指代线索小王Key / Value雨伞Key / Value下雨Key / Value按相关程度加权汇总 Value → 更新当前位置表示

这一步在做什么

  1. 把每个 token 转成向量表示。
  2. 当前位置生成 Query;所有可见位置有 Key 和 Value。
  3. Query 与各 Key 做匹配,得到“该看谁”的权重。
  4. 把 Value 按权重混合,形成当前词新的上下文表示。

注意力不是人类意识,也不保证“权重最大处就是人类可解释的理由”。这里说的匹配,是 Query/Key 经可训练投影后形成的数值计算,还会经过缩放、因果遮罩和 softmax 等处理;注意力权重是网络内部的中间量,不能单独当成模型解释或人类语义判断。

Q、K、V:把注意力讲得更具体

每个 token 的隐藏向量会经过不同的可训练投影,产生 Query、Key、Value。当前 token 的 Query 与上下文各位置的 Key 比较,产生匹配权重;再用这些权重对 Value 做加权汇总。Q/K/V 不是三份外部数据库,而是同一隐藏状态经过不同线性变换得到的内部表示。

因果注意力:为什么不能偷看答案

在下一个 token 预测训练中,模型训练时要模拟“逐字续写”。预测第 5 个 token 时,不允许访问第 6 个及之后的 token。因果遮罩就像只允许看左边已经出现的文字,避免训练时作弊。

类比考试:给模型一句话的前半段,让它猜下一个词。不能把整句答案摊在桌上。

训练时并行,生成时逐步:为什么推理慢?

训练时整段 token 都已知,因此可以一次并行计算所有位置(遮罩仍限制可见范围);生成时下一个 token 尚未产生,只能先生成一个,再把它追加到上下文继续算。KV cache 保存过去 token 的 Key/Value,避免重复计算历史部分,但每步仍需走模型层并采样新 token。

注意力复杂度和长上下文

标准全注意力每个位置要与很多其它位置交互,序列长度翻倍时,注意力交互相关成本大致会按平方增长(具体还受内核、稀疏化和实现影响)。FlashAttention 通过更高效的分块计算减少显存读写与中间矩阵保存,不是简单把注意力变成线性,也不改变模型学习到的目标。滑窗/稀疏注意力等会改变可见范围,需要训练和推理实现匹配。

注意力与 FFN(前馈网络)分工

每个 Transformer block 通常会先做注意力的信息混合,再做前馈网络(FFN/MLP)的非线性变换。粗略类比:注意力负责“从哪些上下文取信息”,FFN 负责“对当前位置的信息再加工”。层与层重复这类操作,逐渐形成更丰富的表示。

自测:注意力机制最接近“资料检索”还是“整本书永久存储”?
看答案更接近根据当前查询,从上下文线索中选择并混合信息。模型长期学到的知识主要体现在参数中,但这不是像数据库那样可逐条精确检索。

参考:Attention Is All You Need;Transformers Model Outputs:attention 张量与层输出说明。