LLM TRAINING FIELD GUIDE · 第 9 章

第 9 章|蒸馏:老师如何把能力教给小模型

蒸馏的重点不是“压缩文件”,而是让学生从教师提供的信号中学习。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

一句话理解蒸馏

蒸馏(Knowledge Distillation)让一个较强教师模型,以答案、概率分布、推理轨迹、偏好或在线示范等方式指导学生模型。它可能让学生更小、更快、更便宜,或更贴合目标任务;但不保证学生复制教师全部能力。

教师模型
生成示范/分布/评分
→
蒸馏数据与训练目标
筛选、校验、配权重
→
学生模型
学习目标行为
→
独立评测
检查迁移与回归

常见蒸馏信号与方式

方式教师给学生什么优点 / 代价
答案蒸馏(response / sequence)输入与教师生成答案,通常当 SFT 目标训练简单、兼容不同架构;教师幻觉也可能被学生学到。
Logits / soft-target 蒸馏教师对各候选 token 的软概率分布包含“次优候选”的信息;通常需要访问教师 logits,词表/接口对齐更复杂。
特征/中间层蒸馏隐藏状态、注意力图或层间表示可以提供内部学习信号;架构和维度通常需要匹配或做映射。
轨迹/过程蒸馏解题步骤、工具调用、代码执行轨迹等适合多步任务;必须验证过程与最终结果,避免伪造推理。
偏好/奖励蒸馏偏好对、奖励打分或排序信号传递选择偏好;受教师偏差与标注规则影响。
在线 / On-policy 蒸馏学生当前策略产生的输入/回答,再由教师指导学生能在自身分布上学习;教师调用成本高,需处理采样、延迟和训练稳定性。

Logits 蒸馏是什么?

教师模型对下一个 token 的完整词表打分。若只用教师最终选出的那个答案 token,学生只看到“标准答案”;若教师能提供 logits(经过 softmax 后可视作概率分布),学生还能看到“哪些备选也合理、哪些明显不合适”。温度参数可让分布更平滑,暴露次高概率选项的信息。

限制在于:教师和学生往往词表/tokenizer不同;教师 logits 可能无法通过普通 API 取得;保存分布成本巨大。若学生架构不同,hidden-state/attention 蒸馏还需层对齐、维度映射或投影头。工程上先做答案蒸馏往往更简单。

过程蒸馏和结果蒸馏

结果蒸馏:只看最终答案,数据便宜、训练稳定,但学生未必学到解决步骤。过程/轨迹蒸馏:提供中间推导、工具调用、代码执行轨迹或多轮修正,可能教会更可复用的策略,但轨迹里的错误、无关推理和隐私也会一并传播。训练前要验证关键步骤,尤其是数学、代码和工具结果。

On-policy 与 Off-policy 的大白话

Off-policy:先收集一批教师示范,之后学生反复学习这批固定材料。
On-policy:学生自己先尝试生成,教师再对学生遇到的情况提供示范/评分。像先让学徒做题,再针对学徒真实犯错的题讲解。

蒸馏不等于单一训练算法

“蒸馏”说的是知识/行为从教师向学生迁移的关系;学生端可以用普通 SFT 学教师答案,也可以匹配 logits、特征或结合偏好/RL。比如“在线策略蒸馏”会让学生自身采样暴露其当前分布,再让教师对这些上下文给出指导。要看清楚具体蒸馏目标、教师信号、学生采样方式和 loss,而不要只凭名称判断。

可落地的蒸馏项目流程

  1. 定义目标与学生资源预算:端侧延迟、内存、许可、目标成功率。
  2. 选教师与数据来源:确保教师使用权、生成数据许可与合规要求清晰。
  3. 规划提示覆盖与拒答边界;多次采样、规则校验或人工抽检控制答案质量。
  4. 按难度、主题、错误类型筛选数据,去重并保留来源记录。
  5. 选训练目标:答案蒸馏可先用 SFT;能取得 logits 才考虑软目标;在线蒸馏需要更复杂管线。
  6. 训练学生模型,保留底模对照、仅教师对照、学生微调对照。
  7. 用未见过的测试集测准确性、格式、幻觉、安全、速度和资源占用。
蒸馏 ≠ 量化。蒸馏改变学生通过什么信号学习;量化改变权重/计算的数值精度。可以先蒸馏再量化,也可以只量化一个模型。

MiniCPM5-2B 模型卡中的例子

模型卡描述了 SFT、RL 和 OPD(On-Policy Distillation)等后训练阶段,并报告将多个 RL 专家模型能力蒸馏到发布模型。把它当作一个具体模型的训练案例:数据规模、老师构成、流程效果等均为发布方陈述,不应未经复核推广为普遍规律。

参考:TRL 主线文档的 Distillation 部分 · MiniCPM5-2B 中文模型卡。