LLM TRAINING FIELD GUIDE · 第 11 章

第 11 章|推理、量化与模型交付

训练出来只是开始;还要证明它能正确加载、足够快,并在真实接口下保持质量。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

训练和推理是两种负载

训练需要前向、反向、梯度与优化器状态;推理主要是加载权重并逐步生成。推理时长上下文会消耗 KV cache,批量并发也会改变显存与吞吐。训练能放进某张卡,不代表同样配置能高并发服务。

常见交付形态

完整微调权重

底模的参数整体变化,部署时通常加载完整权重。

LoRA adapter

单独保存适配器,部署时与匹配底模组合;需记录底模 revision 和 adapter 配置。

量化版本

较低位宽表示权重/计算以减少资源占用。需测质量与硬件支持。

推理格式

Transformers、GGUF、MLX、GPTQ 等适配不同运行栈;转换后需重新评测。

量化是什么:把精度换成资源

浮点权重可用较低位宽表示,减少模型文件和内存带宽需求。量化可以是推理后量化(PTQ),也可以在训练/校准中感知量化误差(如 QAT)。GPTQ、AWQ、GGUF 等是不同生态/算法或格式家族,不是一个完全统一的“4bit开关”。

KV cache、并发和解码

Decoder-only 生成每步都需要历史 token 的 Key/Value,缓存能避免重复算历史。上下文越长,缓存越大;同时服务多个请求时,各请求缓存叠加。GQA、缓存量化、分页管理和连续批处理是减少成本/提升吞吐的工程选择,但要在目标硬件、上下文长度和请求分布下测试。

解码策略也会改变输出

Greedy 每步选分最高 token;temperature 调整分布随机性;top-p/top-k 限制候选集合;重复惩罚改变重复 token 的相对倾向。它们不更新模型权重,却会显著影响输出风格和评测结果。比较模型时必须固定 prompt template 和解码配置;温度高低不是“模型训练质量”的指标。

上线前核对清单

  1. 模型、tokenizer、模板、adapter 与 revision 是否相互匹配?
  2. 许可允许你的部署和使用方式吗?
  3. 输入长度、停止条件、采样设置与工具解析器是否正确?
  4. 目标并发下的延迟、显存、吞吐是否测过?
  5. 量化或格式转换后是否重新做质量测试?
  6. 有无监控、版本回滚、坏例收集和数据更新方案?
模型卡中的“支持 131k 上下文”不代表部署时默认启用 131k,也不代表每个请求都经济可行。上下文越长,缓存与计算成本越需单独测量。

错误排查顺序

先排查模板/分词/截断与停止 token,再检查 adapter 是否加载、精度与量化是否正确,然后比较底模和微调模型的固定测试集表现。不要一看到输出变差就立即重新训练。