LLM TRAINING FIELD GUIDE · 第 4 章

第 4 章|头、层、架构、模型类型

把模型看成多层处理器;头是并行的信息计算分支(“观察角度”仅是比喻),架构决定信息如何流动。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

四个词分别回答什么问题?

术语通俗说法它回答的问题
注意力头(Head)同一层里的并行“观察角度/信息通道”一层里并行做多少组注意力计算?
层(Layer)重复堆叠的处理步骤 / Transformer block 数信息经过多少轮变换?
架构(Architecture)组件、连接方式、注意力与前馈网络等设计模型内部怎么搭建?
模型类型 / 训练目标模型要解决的任务范式它被训练成补全、去噪、编码、对话,还是混合任务?
信号逐层通过 Transformer BlocksBlock 1Head 1Head 2Head 3…→ FFN↓Block 2Head 1Head 2Head 3…→ FFN…重复若干层,再接输出头

常见架构路线

Encoder-only

双向读入文本,擅长理解/分类/检索表示。例:BERT 类。不会天然按 GPT 方式逐 token 生成长文本。

Decoder-only

因果遮罩,只看左侧上下文,按 token 续写。现代聊天/代码 LM 常见路线。

Encoder–decoder

编码输入,再由解码器生成输出,常用于翻译、摘要等输入到输出任务。

MoE(专家混合)

多个专家子网络由路由器选择激活部分;总参数可能很大,但每个 token 只走部分专家。不是“多个专家聊天”。

Transformer Decoder block:把层拆开看

“层”不是单独某种神秘运算。Decoder-only Transformer 通常把一个 block 重复多次。一个常见的 Pre-Norm block 可粗略看成:

输入 hidden states
  → RMSNorm(整理数值尺度)
  → 因果自注意力(含 Q/K/V 投影、RoPE、GQA 等)
  → 残差相加(保留旧信息并加上新信息)
  → RMSNorm
  → SwiGLU 前馈网络(逐 token 加工特征)
  → 残差相加
输出给下一层

这是一个常见家族,不是所有架构都完全一样。论文或模型配置里出现的“层”一般指这样的完整 block,里面再包含多个子层和参数矩阵。

Embedding:把离散 token 变成可计算的向量

Tokenizer 先把字符串切成 token ID(整数)。Embedding 是一个查表矩阵:每个 ID 对应一行向量。比如 token “猫”不是直接以汉字送进神经网络,而是先映射成几千维的数值表示,模型后续才能计算。这里的“可训练”表示它是模型参数之一,不代表每种微调都会更新它。

因果注意力:让生成顺序守规矩

注意力本身可以让位置之间互相读信息;因果遮罩(causal mask)额外规定当前位置只能读当前及左侧 token。训练下一 token 时,整段文本可以并行算,但遮罩让每个位置看不到未来答案。生成时则一步步把新 token 接到末尾。

RoPE:把相对位置的信息放进注意力

注意力只比较 token 内容时,不天然知道谁在前谁在后、相隔多远。RoPE(旋转位置编码)在 Q 和 K 的通道上按位置做旋转,使 Q·K 的匹配能反映相对位移。它像把“第几号座位”编码进检索键,而不是另加一段普通词向量。

头数是什么、不是什么

注意力头数表示并行注意力分支的结构配置,通常不是微调阶段的单独能力开关。“不同观察角度”只是便于想象:实际功能可能重叠、分散或难以用人类标签解释,不能断言某个头固定负责语法或指代。

GQA:减少生成时需要缓存的 Key/Value

每个注意力头会有 Query(Q)、Key(K)、Value(V)。生成时旧 token 的 K/V 会缓存,避免每次把整段历史重算。MHA 常见为每个 Q 头配一份 K/V;MQA 让多个 Q 头共享一份 K/V;GQA 则让一组 Q 头共享一个 KV 头,处于二者之间。

MiniCPM5-2B 例子:模型卡报告 42 层、16 个 Q heads、2 个 KV heads,是 GQA 的具体配置线索。部署时若 KV cache 是瓶颈,优先选择合适的现成架构和推理配置,而非改模型层结构。

RMSNorm:让每层数值更稳定

神经网络层层变换时,激活值的尺度可能变得不合适。归一化层会对一个 token 的特征做尺度整理,使优化更稳定。RMSNorm 用均方根尺度进行归一化,通常比 LayerNorm 少做中心化操作,计算更简洁。

SwiGLU:前馈网络里的特征加工器

注意力把上下文信息汇总后,MLP/FFN 对每个位置做非线性特征加工。传统 FFN 像“扩宽—激活—压回”;SwiGLU 使用门控结构,让一支信息通过 SiLU 激活形成门,控制另一支信息通过多少,再投影回隐藏维度。

输出层(LM Head):从内部表示回到词表

最后一层输出每个位置的隐藏向量。LM Head 通常是一个线性映射,为词表里的每个 token 产生分数(logits);生成时再按采样/解码策略选下一个 token。有些模型会让输出头与输入 embedding 共享权重(weight tying),有些不会。

一张表:哪些是训练阶段会选的?

组件职责通常由谁决定常规微调会改吗?
Embeddingtoken ID → 向量Tokenizer / 架构设计一般不动;词表变化时才专门处理
因果注意力 mask阻止模型看未来 token模型类型与代码实现不手动添加,沿用底模
GQA / MHA / MQA分配 Q/K/V 头,影响 KV cache架构设计不作为微调选项
RoPE位置信息注入注意力架构与预训练配方通常沿用;扩窗需专门方案
RMSNorm稳定各层特征尺度架构设计一般不改
SwiGLU / FFN逐位置进行非线性特征变换架构设计一般不改
LM Head隐藏向量 → 词表 logits模型结构与词表常沿用/随全参更新,特定情况下调整

模型类型不要和组件混为一谈

“Decoder-only”是整体信息流架构;“因果注意力”是它常用的可见范围规则;“GQA、RoPE、RMSNorm、SwiGLU”是 block 内的具体设计选择;“SFT、DPO、RL”则是训练阶段的方法。一个模型可以是 Decoder-only + GQA + RoPE + RMSNorm + SwiGLU,再经过 SFT 和 DPO。它们不是互相替代的按钮。

读配置时要留意

num_hidden_layers、num_attention_heads、num_key_value_heads、hidden_size、intermediate_size、max_position_embeddings 等字段常能帮你快速建立模型结构地图。命名会因模型实现而异,以模型代码和配置为准。

自测:“层数多”与“注意力头多”是一回事吗?
看答案不是。层数是前后堆叠的处理轮数;头数是同一注意力层中的并行通道数。

延伸:MiniCPM5-2B 模型卡;Transformers 输出字段说明。