不背公式,用“查资料”的比喻理解 Query、Key、Value,以及因果遮罩。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
句子:“小王把雨伞放进包里,因为雨伞已经湿了。”读到“湿了”附近时,模型可能会利用前面提到“雨伞”的信息。注意力机制让当前位置计算与上下文各位置的匹配,再汇总信息。这里的“查询资料”只是帮助理解的比喻:模型不是先用人类语义理解句子,再显式搜索一个数据库。
“我现在需要找什么信息?”
“我这里有什么线索,可供匹配?”
“如果你关注我,就把这部分信息带走。”
注意力不是人类意识,也不保证“权重最大处就是人类可解释的理由”。这里说的匹配,是 Query/Key 经可训练投影后形成的数值计算,还会经过缩放、因果遮罩和 softmax 等处理;注意力权重是网络内部的中间量,不能单独当成模型解释或人类语义判断。
每个 token 的隐藏向量会经过不同的可训练投影,产生 Query、Key、Value。当前 token 的 Query 与上下文各位置的 Key 比较,产生匹配权重;再用这些权重对 Value 做加权汇总。Q/K/V 不是三份外部数据库,而是同一隐藏状态经过不同线性变换得到的内部表示。
在下一个 token 预测训练中,模型训练时要模拟“逐字续写”。预测第 5 个 token 时,不允许访问第 6 个及之后的 token。因果遮罩就像只允许看左边已经出现的文字,避免训练时作弊。
训练时整段 token 都已知,因此可以一次并行计算所有位置(遮罩仍限制可见范围);生成时下一个 token 尚未产生,只能先生成一个,再把它追加到上下文继续算。KV cache 保存过去 token 的 Key/Value,避免重复计算历史部分,但每步仍需走模型层并采样新 token。
标准全注意力每个位置要与很多其它位置交互,序列长度翻倍时,注意力交互相关成本大致会按平方增长(具体还受内核、稀疏化和实现影响)。FlashAttention 通过更高效的分块计算减少显存读写与中间矩阵保存,不是简单把注意力变成线性,也不改变模型学习到的目标。滑窗/稀疏注意力等会改变可见范围,需要训练和推理实现匹配。
每个 Transformer block 通常会先做注意力的信息混合,再做前馈网络(FFN/MLP)的非线性变换。粗略类比:注意力负责“从哪些上下文取信息”,FFN 负责“对当前位置的信息再加工”。层与层重复这类操作,逐渐形成更丰富的表示。
参考:Attention Is All You Need;Transformers Model Outputs:attention 张量与层输出说明。