把模型看成多层处理器;头是并行的信息计算分支(“观察角度”仅是比喻),架构决定信息如何流动。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
| 术语 | 通俗说法 | 它回答的问题 |
|---|---|---|
| 注意力头(Head) | 同一层里的并行“观察角度/信息通道” | 一层里并行做多少组注意力计算? |
| 层(Layer) | 重复堆叠的处理步骤 / Transformer block 数 | 信息经过多少轮变换? |
| 架构(Architecture) | 组件、连接方式、注意力与前馈网络等设计 | 模型内部怎么搭建? |
| 模型类型 / 训练目标 | 模型要解决的任务范式 | 它被训练成补全、去噪、编码、对话,还是混合任务? |
双向读入文本,擅长理解/分类/检索表示。例:BERT 类。不会天然按 GPT 方式逐 token 生成长文本。
因果遮罩,只看左侧上下文,按 token 续写。现代聊天/代码 LM 常见路线。
编码输入,再由解码器生成输出,常用于翻译、摘要等输入到输出任务。
多个专家子网络由路由器选择激活部分;总参数可能很大,但每个 token 只走部分专家。不是“多个专家聊天”。
“层”不是单独某种神秘运算。Decoder-only Transformer 通常把一个 block 重复多次。一个常见的 Pre-Norm block 可粗略看成:
输入 hidden states → RMSNorm(整理数值尺度) → 因果自注意力(含 Q/K/V 投影、RoPE、GQA 等) → 残差相加(保留旧信息并加上新信息) → RMSNorm → SwiGLU 前馈网络(逐 token 加工特征) → 残差相加 输出给下一层
这是一个常见家族,不是所有架构都完全一样。论文或模型配置里出现的“层”一般指这样的完整 block,里面再包含多个子层和参数矩阵。
Tokenizer 先把字符串切成 token ID(整数)。Embedding 是一个查表矩阵:每个 ID 对应一行向量。比如 token “猫”不是直接以汉字送进神经网络,而是先映射成几千维的数值表示,模型后续才能计算。这里的“可训练”表示它是模型参数之一,不代表每种微调都会更新它。
注意力本身可以让位置之间互相读信息;因果遮罩(causal mask)额外规定当前位置只能读当前及左侧 token。训练下一 token 时,整段文本可以并行算,但遮罩让每个位置看不到未来答案。生成时则一步步把新 token 接到末尾。
注意力只比较 token 内容时,不天然知道谁在前谁在后、相隔多远。RoPE(旋转位置编码)在 Q 和 K 的通道上按位置做旋转,使 Q·K 的匹配能反映相对位移。它像把“第几号座位”编码进检索键,而不是另加一段普通词向量。
注意力头数表示并行注意力分支的结构配置,通常不是微调阶段的单独能力开关。“不同观察角度”只是便于想象:实际功能可能重叠、分散或难以用人类标签解释,不能断言某个头固定负责语法或指代。
每个注意力头会有 Query(Q)、Key(K)、Value(V)。生成时旧 token 的 K/V 会缓存,避免每次把整段历史重算。MHA 常见为每个 Q 头配一份 K/V;MQA 让多个 Q 头共享一份 K/V;GQA 则让一组 Q 头共享一个 KV 头,处于二者之间。
神经网络层层变换时,激活值的尺度可能变得不合适。归一化层会对一个 token 的特征做尺度整理,使优化更稳定。RMSNorm 用均方根尺度进行归一化,通常比 LayerNorm 少做中心化操作,计算更简洁。
注意力把上下文信息汇总后,MLP/FFN 对每个位置做非线性特征加工。传统 FFN 像“扩宽—激活—压回”;SwiGLU 使用门控结构,让一支信息通过 SiLU 激活形成门,控制另一支信息通过多少,再投影回隐藏维度。
最后一层输出每个位置的隐藏向量。LM Head 通常是一个线性映射,为词表里的每个 token 产生分数(logits);生成时再按采样/解码策略选下一个 token。有些模型会让输出头与输入 embedding 共享权重(weight tying),有些不会。
| 组件 | 职责 | 通常由谁决定 | 常规微调会改吗? |
|---|---|---|---|
| Embedding | token ID → 向量 | Tokenizer / 架构设计 | 一般不动;词表变化时才专门处理 |
| 因果注意力 mask | 阻止模型看未来 token | 模型类型与代码实现 | 不手动添加,沿用底模 |
| GQA / MHA / MQA | 分配 Q/K/V 头,影响 KV cache | 架构设计 | 不作为微调选项 |
| RoPE | 位置信息注入注意力 | 架构与预训练配方 | 通常沿用;扩窗需专门方案 |
| RMSNorm | 稳定各层特征尺度 | 架构设计 | 一般不改 |
| SwiGLU / FFN | 逐位置进行非线性特征变换 | 架构设计 | 一般不改 |
| LM Head | 隐藏向量 → 词表 logits | 模型结构与词表 | 常沿用/随全参更新,特定情况下调整 |
“Decoder-only”是整体信息流架构;“因果注意力”是它常用的可见范围规则;“GQA、RoPE、RMSNorm、SwiGLU”是 block 内的具体设计选择;“SFT、DPO、RL”则是训练阶段的方法。一个模型可以是 Decoder-only + GQA + RoPE + RMSNorm + SwiGLU,再经过 SFT 和 DPO。它们不是互相替代的按钮。
num_hidden_layers、num_attention_heads、num_key_value_heads、hidden_size、intermediate_size、max_position_embeddings 等字段常能帮你快速建立模型结构地图。命名会因模型实现而异,以模型代码和配置为准。