蒸馏的重点不是“压缩文件”,而是让学生从教师提供的信号中学习。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
蒸馏(Knowledge Distillation)让一个较强教师模型,以答案、概率分布、推理轨迹、偏好或在线示范等方式指导学生模型。它可能让学生更小、更快、更便宜,或更贴合目标任务;但不保证学生复制教师全部能力。
| 方式 | 教师给学生什么 | 优点 / 代价 |
|---|---|---|
| 答案蒸馏(response / sequence) | 输入与教师生成答案,通常当 SFT 目标训练 | 简单、兼容不同架构;教师幻觉也可能被学生学到。 |
| Logits / soft-target 蒸馏 | 教师对各候选 token 的软概率分布 | 包含“次优候选”的信息;通常需要访问教师 logits,词表/接口对齐更复杂。 |
| 特征/中间层蒸馏 | 隐藏状态、注意力图或层间表示 | 可以提供内部学习信号;架构和维度通常需要匹配或做映射。 |
| 轨迹/过程蒸馏 | 解题步骤、工具调用、代码执行轨迹等 | 适合多步任务;必须验证过程与最终结果,避免伪造推理。 |
| 偏好/奖励蒸馏 | 偏好对、奖励打分或排序信号 | 传递选择偏好;受教师偏差与标注规则影响。 |
| 在线 / On-policy 蒸馏 | 学生当前策略产生的输入/回答,再由教师指导 | 学生能在自身分布上学习;教师调用成本高,需处理采样、延迟和训练稳定性。 |
教师模型对下一个 token 的完整词表打分。若只用教师最终选出的那个答案 token,学生只看到“标准答案”;若教师能提供 logits(经过 softmax 后可视作概率分布),学生还能看到“哪些备选也合理、哪些明显不合适”。温度参数可让分布更平滑,暴露次高概率选项的信息。
限制在于:教师和学生往往词表/tokenizer不同;教师 logits 可能无法通过普通 API 取得;保存分布成本巨大。若学生架构不同,hidden-state/attention 蒸馏还需层对齐、维度映射或投影头。工程上先做答案蒸馏往往更简单。
结果蒸馏:只看最终答案,数据便宜、训练稳定,但学生未必学到解决步骤。过程/轨迹蒸馏:提供中间推导、工具调用、代码执行轨迹或多轮修正,可能教会更可复用的策略,但轨迹里的错误、无关推理和隐私也会一并传播。训练前要验证关键步骤,尤其是数学、代码和工具结果。
Off-policy:先收集一批教师示范,之后学生反复学习这批固定材料。
On-policy:学生自己先尝试生成,教师再对学生遇到的情况提供示范/评分。像先让学徒做题,再针对学徒真实犯错的题讲解。
“蒸馏”说的是知识/行为从教师向学生迁移的关系;学生端可以用普通 SFT 学教师答案,也可以匹配 logits、特征或结合偏好/RL。比如“在线策略蒸馏”会让学生自身采样暴露其当前分布,再让教师对这些上下文给出指导。要看清楚具体蒸馏目标、教师信号、学生采样方式和 loss,而不要只凭名称判断。
模型卡描述了 SFT、RL 和 OPD(On-Policy Distillation)等后训练阶段,并报告将多个 RL 专家模型能力蒸馏到发布模型。把它当作一个具体模型的训练案例:数据规模、老师构成、流程效果等均为发布方陈述,不应未经复核推广为普遍规律。