LLM TRAINING FIELD GUIDE · 第 6 章

第 6 章|训练机制总览:SFT、偏好、奖励与强化学习

先问训练信号是什么、是否需要采样、优化什么,再选方法。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

一张地图比较训练机制

方法训练材料/信号类比适合先解决什么
继续预训练(CPT)领域原始文本,通常继续做语言建模目标继续读专业书补充领域语言分布/知识;不保证变成听指令的助手
SFT提示/输入 → 理想回答看范例练答题格式、任务技能、指令遵循与行为示范
偏好优化(DPO/KTO等)偏好或好坏回答信号比较两份答卷,学更偏好哪份输出风格、质量偏好与排序
奖励模型 + RL(如 PPO/GRPO)奖励信号,训练期间生成候选并更新策略做题—打分—调整策略能自动打分或验证的目标;更复杂的行为优化
蒸馏教师输出、轨迹、概率分布或奖励等老师示范,学生模仿/吸收把较强教师能力迁移到更小或专用学生

把“监督信号”想清楚

不同训练算法的本质差异之一,是模型每一步根据什么反馈来改参数:

SFT 的内部闭环

对话样本
prompt + answer
→
chat template
角色与结束符
→
tokenize / labels
决定哪些 token 计分
→
loss + backprop
更新选定参数
→
验证集
对比底模

SFT 不是把一堆文本放进模型就结束。若 labels 错位、padding 未屏蔽、assistant/user 区域 mask 不对或结束 token 缺失,模型可能学会复述提示、输出停不下来或格式混乱。训练前应抽样打印“输入 token、标签 token、loss 覆盖区间”。

常见方法名称的差别与边界

方法关键直觉选用前要确认
DPO直接用偏好对优化策略,跳过显式 reward model + PPO 流程偏好对要同 prompt 可比较;chosen/rejected 数据要平衡、可靠
KTO可用单条样本的好/坏反馈构造偏好学习信号反馈定义、好坏比例、数据来源与实现版本
PPO用奖励信号更新策略,同时约束新策略别偏离参考策略过头采样、奖励模型、价值估计与稳定性成本较高
GRPO对同一提示采样一组回答,用组内相对奖励形成更新信号奖励要可验证/足够可靠;生成样本的算力和过滤成本不可忽略
RLOO 等用其他策略梯度估计方式减少或改变价值估计路径比较实际目标、实现、采样预算和训练稳定性,不能只看名字

先诊断问题,再决定要不要训练

你真正的问题优先考虑为什么 / 例子
模型不知道最新、内部、经常更新的事实RAG / 数据库 / 工具把事实放在外部可更新的数据源,减少反复训练和过期知识风险。
模型知道内容,但不会按固定格式或流程答SFT提供输入到理想输出的代表性示范,教会行为模式。
会答但总偏好冗长、语气不合、答案质量取舍不对偏好数据 + DPO/KTO 等给同题优劣比较,表达“哪种回答更符合偏好”。
需要在可验证目标上搜索更好策略奖励/验证器 + 在线 RL例如代码测试、数学答案校验;要求奖励可靠并能控制奖励投机。
能力强但部署太贵/太慢,或目标是专用小模型蒸馏、再评估量化把教师能力迁移至学生,并以部署任务验证。
领域术语/文本分布差异很大,语言建模退化评估是否做 CPT,再 SFT继续读领域语料可能有帮助;但新知识注入效果需验证,且不能替代行为示范。

怎样做选择?

有可靠的标准答案示例?
先 SFT
→
只有“哪个更好”的判断?
偏好优化
→
能自动验证结果、需要探索?
考虑 RL

分类维度提示:这些方法不是互斥按钮

CPT/SFT 常描述训练阶段或监督目标;DPO/PPO 是优化算法或流程;蒸馏描述教师向学生迁移知识的关系,可通过 SFT 学答案,也可匹配 logits。一个项目可以组合这些方式,例如领域 CPT → SFT → DPO,或教师答案蒸馏 → 学生 SFT。选择时要拆清:学什么信号、用什么优化目标、哪些参数更新、老师/数据从哪来。

RLHF 流程:策略模型、奖励模型、参考模型

  1. SFT 起点:先有一个能基本遵循指令的策略模型(policy)。
  2. 偏好采集:同一提示生成多个候选,由人或规则比较排序。
  3. 奖励模型:学习给回答打分/排序,近似偏好。
  4. 策略优化:PPO 等方法让策略获得更高奖励,同时用 KL 等约束防止它离参考模型太远。
  5. 评测与安全:检查是否真的有用,还是只学会迎合奖励模型。

RLHF 不是单一算法名,而是一类“用人类反馈构造优化信号”的流程。DPO 等偏好优化常可直接使用偏好对,而不显式训练 reward model 并运行 PPO;不代表完全没有优化目标或参考策略概念。

在线 RL 的工程闭环与难点

提示池抽样
→
当前策略生成 rollout
→
奖励模型/验证器打分
→
计算优势与更新策略
→
重复采样与评测

“在线”意味着训练数据会随着当前策略采样而来,不只是固定的旧答案集。需要控制 rollout 质量、采样温度、奖励尺度、策略更新幅度、参考模型偏离,以及训练和生成的吞吐协调。GRPO 一类方法减少某些价值估计需求,但仍要付出生成多条答案和可靠评分的成本。

稳定性、奖励投机与停止条件

如果只是要模型回答最新内部知识,先考虑 RAG/检索,不一定要改模型权重。训练并非解决所有问题的第一选择。

常见后训练阶段怎么衔接

Base / 预训练
学通用语言与模式
→
CPT(可选)
适配领域语料
→
SFT
示范目标行为
→
偏好优化 / RL(按需)
改进质量取舍
→
蒸馏 / 量化 / 部署
满足成本目标

这是一张决策地图,不是规定每个模型都必须走完的工序。比如简单分类任务可能只需 SFT;知识查询可能根本无需改权重;小模型也可能直接蒸馏高质量教师答案再 SFT。

TRL 文档里怎样定位方法

TRL(Transformers Reinforcement Learning)是 Hugging Face 的训练库,覆盖 SFT、奖励建模、偏好优化、在线策略优化和蒸馏。具体 Trainer、稳定性标签和参数会随版本变化。用户给的文档是 main 文档,不是固定版本快照,开课时应连到最新页面或固定使用的 TRL 版本。

离线方法

用已有数据训练,不要求每一步都现场从当前策略采样。例:SFT、DPO 类。

在线方法

训练中从当前/更新中的策略采样回答,再用奖励或相对分数更新。例:GRPO、RLOO 等路线。

奖励建模

先训练一个“偏好打分器”,然后供优化流程用;评分器本身不是最终助手。

蒸馏

让学生从教师的答案或行为中学习;它可与 SFT 或在线采样等方式结合。

重要边界

参考:TRL 主线文档。Trainer 的 Experimental / Stable 状态以当前文档页面为准。