先问训练信号是什么、是否需要采样、优化什么,再选方法。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
| 方法 | 训练材料/信号 | 类比 | 适合先解决什么 |
|---|---|---|---|
| 继续预训练(CPT) | 领域原始文本,通常继续做语言建模目标 | 继续读专业书 | 补充领域语言分布/知识;不保证变成听指令的助手 |
| SFT | 提示/输入 → 理想回答 | 看范例练答题 | 格式、任务技能、指令遵循与行为示范 |
| 偏好优化(DPO/KTO等) | 偏好或好坏回答信号 | 比较两份答卷,学更偏好哪份 | 输出风格、质量偏好与排序 |
| 奖励模型 + RL(如 PPO/GRPO) | 奖励信号,训练期间生成候选并更新策略 | 做题—打分—调整策略 | 能自动打分或验证的目标;更复杂的行为优化 |
| 蒸馏 | 教师输出、轨迹、概率分布或奖励等 | 老师示范,学生模仿/吸收 | 把较强教师能力迁移到更小或专用学生 |
不同训练算法的本质差异之一,是模型每一步根据什么反馈来改参数:
SFT 不是把一堆文本放进模型就结束。若 labels 错位、padding 未屏蔽、assistant/user 区域 mask 不对或结束 token 缺失,模型可能学会复述提示、输出停不下来或格式混乱。训练前应抽样打印“输入 token、标签 token、loss 覆盖区间”。
| 方法 | 关键直觉 | 选用前要确认 |
|---|---|---|
| DPO | 直接用偏好对优化策略,跳过显式 reward model + PPO 流程 | 偏好对要同 prompt 可比较;chosen/rejected 数据要平衡、可靠 |
| KTO | 可用单条样本的好/坏反馈构造偏好学习信号 | 反馈定义、好坏比例、数据来源与实现版本 |
| PPO | 用奖励信号更新策略,同时约束新策略别偏离参考策略过头 | 采样、奖励模型、价值估计与稳定性成本较高 |
| GRPO | 对同一提示采样一组回答,用组内相对奖励形成更新信号 | 奖励要可验证/足够可靠;生成样本的算力和过滤成本不可忽略 |
| RLOO 等 | 用其他策略梯度估计方式减少或改变价值估计路径 | 比较实际目标、实现、采样预算和训练稳定性,不能只看名字 |
| 你真正的问题 | 优先考虑 | 为什么 / 例子 |
|---|---|---|
| 模型不知道最新、内部、经常更新的事实 | RAG / 数据库 / 工具 | 把事实放在外部可更新的数据源,减少反复训练和过期知识风险。 |
| 模型知道内容,但不会按固定格式或流程答 | SFT | 提供输入到理想输出的代表性示范,教会行为模式。 |
| 会答但总偏好冗长、语气不合、答案质量取舍不对 | 偏好数据 + DPO/KTO 等 | 给同题优劣比较,表达“哪种回答更符合偏好”。 |
| 需要在可验证目标上搜索更好策略 | 奖励/验证器 + 在线 RL | 例如代码测试、数学答案校验;要求奖励可靠并能控制奖励投机。 |
| 能力强但部署太贵/太慢,或目标是专用小模型 | 蒸馏、再评估量化 | 把教师能力迁移至学生,并以部署任务验证。 |
| 领域术语/文本分布差异很大,语言建模退化 | 评估是否做 CPT,再 SFT | 继续读领域语料可能有帮助;但新知识注入效果需验证,且不能替代行为示范。 |
CPT/SFT 常描述训练阶段或监督目标;DPO/PPO 是优化算法或流程;蒸馏描述教师向学生迁移知识的关系,可通过 SFT 学答案,也可匹配 logits。一个项目可以组合这些方式,例如领域 CPT → SFT → DPO,或教师答案蒸馏 → 学生 SFT。选择时要拆清:学什么信号、用什么优化目标、哪些参数更新、老师/数据从哪来。
RLHF 不是单一算法名,而是一类“用人类反馈构造优化信号”的流程。DPO 等偏好优化常可直接使用偏好对,而不显式训练 reward model 并运行 PPO;不代表完全没有优化目标或参考策略概念。
“在线”意味着训练数据会随着当前策略采样而来,不只是固定的旧答案集。需要控制 rollout 质量、采样温度、奖励尺度、策略更新幅度、参考模型偏离,以及训练和生成的吞吐协调。GRPO 一类方法减少某些价值估计需求,但仍要付出生成多条答案和可靠评分的成本。
如果只是要模型回答最新内部知识,先考虑 RAG/检索,不一定要改模型权重。训练并非解决所有问题的第一选择。
这是一张决策地图,不是规定每个模型都必须走完的工序。比如简单分类任务可能只需 SFT;知识查询可能根本无需改权重;小模型也可能直接蒸馏高质量教师答案再 SFT。
TRL(Transformers Reinforcement Learning)是 Hugging Face 的训练库,覆盖 SFT、奖励建模、偏好优化、在线策略优化和蒸馏。具体 Trainer、稳定性标签和参数会随版本变化。用户给的文档是 main 文档,不是固定版本快照,开课时应连到最新页面或固定使用的 TRL 版本。
用已有数据训练,不要求每一步都现场从当前策略采样。例:SFT、DPO 类。
训练中从当前/更新中的策略采样回答,再用奖励或相对分数更新。例:GRPO、RLOO 等路线。
先训练一个“偏好打分器”,然后供优化流程用;评分器本身不是最终助手。
让学生从教师的答案或行为中学习;它可与 SFT 或在线采样等方式结合。
参考:TRL 主线文档。Trainer 的 Experimental / Stable 状态以当前文档页面为准。