参数是模型学到并存储在权重里的数值。B 是 billion(十亿),但参数量不是智商分数。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
模型参数是训练得到的数值,权重矩阵是其中最主要的一类;模型里也可能有归一化尺度、偏置等参数。可以把它们类比成大量可调旋钮,但不同结构的参数并非都长得像一张权重表。7B 通常表示约 70 亿个模型参数;具体统计可能受 embedding 是否计入、共享权重如何计数等影响。它不是数据量、显存大小,也不是模型能记住的精确事实条数。
仅权重的理论存储空间,大致等于“参数个数 × 每个参数占用字节”。例如 BF16/FP16 通常每个数约 2 字节,7B 模型的权重原始体积粗略约 14GB(十进制);实际还要考虑框架、缓存、显存碎片及推理时 KV cache。训练还要存梯度、优化器状态和中间激活,通常远比只加载权重大。
| 模型卡信息 | 怎样理解 |
|---|---|
| 约 2.52B 总参数;非嵌入参数约 1.98B | 不同统计口径会有差异;报告参数时要注明口径,别只看名称里的“2B”。 |
| 42 层 | Transformer 计算块重复 42 次;不是 42 个独立模型。 |
| 16 个 Q heads、2 个 KV heads(GQA) | 查询头数量多于键/值头,共享 KV 可降低缓存开销;第 4 章会展开。 |
| 131,072 token 原生上下文 | 模型配置支持的上下文长度线索;实际可用长度受推理框架、显存、提示内容和配置影响。 |
| BF16、GGUF、MLX/4bit 等版本 | 部署格式/精度/运行生态选择;不等于不同训练出的能力版本一定完全相同。 |
| “基准平均分”与模型能力主张 | 限定于模型卡列出的基准、提示、对照模型和评测条件;不能外推成“所有任务最强”。 |
质量、覆盖、重复、污染、许可与配比都影响效果。
目标函数、训练 token 数、优化器、阶段安排与稳定性。
稠密 / MoE、层数、宽度、注意力形式、上下文设计。
任务分布、基准污染、推理参数和统计方差。
同一个参数量用 BF16、FP16、FP32、INT8、4-bit 保存时,文件大小不同;分片、索引、量化元数据也会影响磁盘占用。反过来,一个 GGUF 文件较小,可能是量化后的版本,不代表模型参数个数变少。要分开看参数总数、非嵌入参数、权重精度和文件格式。
稠密模型处理每个 token 时,大多数层里的参数都会参与计算;MoE 有多个专家子网络和路由器,每个 token 通常只路由到一部分专家。因此 MoE 常同时报告总参数和每 token 激活参数。它可以提高模型总容量而控制每 token 的计算量,但训练、路由负载均衡、显存放置和推理部署更复杂;不要单靠“激活参数更少”断言延迟一定更低。
支持更长上下文不仅是配置数字:注意力计算和 KV cache 都会随着序列长度产生显著成本。不同注意力实现、GQA、缓存精度和并发批次改变实际资源。训练长上下文还需要长样本、位置编码策略和对应评测;仅把最大长度改大不会自动教会模型可靠利用长文档。
“参数数 × 每参数字节数”估算的是权重存储下限,不是完整 GPU 需求。训练还需梯度、优化器状态和激活;推理还需 KV cache、临时工作区、框架开销。做预算时至少拆成:权重、训练状态、激活、KV cache、通信/框架余量,并以目标序列长度和 batch 做实际峰值测试。
因此:不要只问“多少 B”,还要问“用什么数据、怎么训练、哪个版本、在什么评测下、目标任务是什么”。
示例依据:MiniCPM5-2B 中文模型卡。具体仓库内容可能迭代,实践时请对照当前模型配置与版本。