LLM TRAINING FIELD GUIDE · 第 2 章

第 2 章|参数量、B 与读懂模型卡

参数是模型学到并存储在权重里的数值。B 是 billion(十亿),但参数量不是智商分数。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

“7B”究竟是什么意思?

模型参数是训练得到的数值,权重矩阵是其中最主要的一类;模型里也可能有归一化尺度、偏置等参数。可以把它们类比成大量可调旋钮,但不同结构的参数并非都长得像一张权重表。7B 通常表示约 70 亿个模型参数;具体统计可能受 embedding 是否计入、共享权重如何计数等影响。它不是数据量、显存大小,也不是模型能记住的精确事实条数。

训练样本
提供练习题
→
参数
许多可调旋钮
→
训练更新
逐步调旋钮
→
权重文件
学到的结果

参数量和显存的粗略关系

仅权重的理论存储空间,大致等于“参数个数 × 每个参数占用字节”。例如 BF16/FP16 通常每个数约 2 字节,7B 模型的权重原始体积粗略约 14GB(十进制);实际还要考虑框架、缓存、显存碎片及推理时 KV cache。训练还要存梯度、优化器状态和中间激活,通常远比只加载权重大。

量化可以用更少位数存权重,但会带来质量/速度/硬件兼容的取舍;QLoRA 常见做法是低比特加载底模、训练少量 LoRA 参数,并非“显存只剩权重那么多”。

读 MiniCPM5-2B 模型卡:一个练习

模型卡信息怎样理解
约 2.52B 总参数;非嵌入参数约 1.98B不同统计口径会有差异;报告参数时要注明口径,别只看名称里的“2B”。
42 层Transformer 计算块重复 42 次;不是 42 个独立模型。
16 个 Q heads、2 个 KV heads(GQA)查询头数量多于键/值头,共享 KV 可降低缓存开销;第 4 章会展开。
131,072 token 原生上下文模型配置支持的上下文长度线索;实际可用长度受推理框架、显存、提示内容和配置影响。
BF16、GGUF、MLX/4bit 等版本部署格式/精度/运行生态选择;不等于不同训练出的能力版本一定完全相同。
“基准平均分”与模型能力主张限定于模型卡列出的基准、提示、对照模型和评测条件;不能外推成“所有任务最强”。

参数量不能单独告诉你的事

数据

质量、覆盖、重复、污染、许可与配比都影响效果。

训练配方

目标函数、训练 token 数、优化器、阶段安排与稳定性。

结构

稠密 / MoE、层数、宽度、注意力形式、上下文设计。

评测

任务分布、基准污染、推理参数和统计方差。

权重文件大小不是参数量本身

同一个参数量用 BF16、FP16、FP32、INT8、4-bit 保存时,文件大小不同;分片、索引、量化元数据也会影响磁盘占用。反过来,一个 GGUF 文件较小,可能是量化后的版本,不代表模型参数个数变少。要分开看参数总数、非嵌入参数、权重精度和文件格式。

稠密模型 vs MoE:总参数与激活参数

稠密模型处理每个 token 时,大多数层里的参数都会参与计算;MoE 有多个专家子网络和路由器,每个 token 通常只路由到一部分专家。因此 MoE 常同时报告总参数和每 token 激活参数。它可以提高模型总容量而控制每 token 的计算量,但训练、路由负载均衡、显存放置和推理部署更复杂;不要单靠“激活参数更少”断言延迟一定更低。

长上下文的代价

支持更长上下文不仅是配置数字:注意力计算和 KV cache 都会随着序列长度产生显著成本。不同注意力实现、GQA、缓存精度和并发批次改变实际资源。训练长上下文还需要长样本、位置编码策略和对应评测;仅把最大长度改大不会自动教会模型可靠利用长文档。

从参数量推估资源:只能做下限

“参数数 × 每参数字节数”估算的是权重存储下限,不是完整 GPU 需求。训练还需梯度、优化器状态和激活;推理还需 KV cache、临时工作区、框架开销。做预算时至少拆成:权重、训练状态、激活、KV cache、通信/框架余量,并以目标序列长度和 batch 做实际峰值测试。

因此:不要只问“多少 B”,还要问“用什么数据、怎么训练、哪个版本、在什么评测下、目标任务是什么”。

自测:一个 7B 模型是否必然优于 3B 模型?
看答案不是。参数量只是容量的一个维度。数据、训练、结构、部署和任务匹配都可能让较小模型表现更好。

示例依据:MiniCPM5-2B 中文模型卡。具体仓库内容可能迭代,实践时请对照当前模型配置与版本。