LLM TRAINING FIELD GUIDE · 第 8 章

第 8 章|专家、偏好、奖励模型与思考模型

“专家”有两种常见含义;“思考模型”通常指训练目标或推理行为特征,不是独立神秘结构。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

“专家”先分清两种意思

MoE 专家网络

Mixture of Experts 内部的一组子网络。路由器按 token 选择部分专家计算;这是架构组件,不是人类专家,也不必然对应清晰学科分工。

领域专家模型 / 教师模型

为数学、代码、工具使用等任务专门训练的独立模型,可能在蒸馏或集成流程中提供信号。MiniCPM5-2B 模型卡使用的“RL experts”是发布方特定表述,应结合其原文定义理解;不能只凭 expert 一词推断它是 MoE 子网络或某种完整教师模型。

奖励模型是什么?

奖励模型(Reward Model, RM)像一个自动评分器:给定提示和回答,对回答质量打分或比较偏好。它的分数是学习出来的代理信号,不是绝对真理。若评分器有漏洞,策略可能学会“讨好评分器”而不是真正做好任务。

偏好优化:DPO 的直觉

给模型同一个问题的两份答案:人或标注规则选出更喜欢的一份。DPO 直接用“chosen / rejected”偏好对调整模型,让偏好答案相对更可能,而不用显式先训练奖励模型再跑传统 RL 流程。DPO 仍需高质量偏好数据,也需要控制模型偏离参考模型的程度。

同一提示
答案 A / 答案 B
→
标注更偏好
chosen / rejected
→
DPO 优化
让偏好排序更符合数据

RLHF 与在线 RL 的直觉

RLHF 通常指用人类反馈训练奖励信号,再通过强化学习优化策略的一类流程。不同系统细节不同,不要把所有后训练都叫 RLHF。PPO 是经典策略优化方法之一;GRPO 等路线通过一组采样结果的相对奖励来构造学习信号,适用于某些可验证任务。在线方法需要生成样本、奖励评估与训练循环,工程成本与稳定性要求更高。

策略模型生成回答
→
奖励模型/验证器给分
→
优化策略,同时限制偏离参考模型

哪些是微调者能选的,哪些一般不能改?

底模/架构
先选适合的现成模型
→
训练目标
SFT / 偏好 / RL / 蒸馏
→
更新范围
全参 / 部分解冻 / LoRA
→
实验配置
数据、mask、lr、batch等

层数、隐藏维度、头数、GQA、RoPE、RMSNorm、SwiGLU 通常已经写入底模结构与权重形状,不是常规微调时的选项。若改结构,往往会导致权重无法直接加载,需要专门的权重映射、继续预训练或从头训练。微调者通常选“哪个底模”,而不是任意拆换底模内部组件。

什么是“思考模型”?

通常是指经过训练或推理时被鼓励投入更多计算、生成中间推理过程或多步探索的模型/模式。它不是人人统一的架构定义,也不意味着模型像人类一样意识到自己在思考。可见的推理文本可能只是输出形式,内部推理质量要通过任务结果验证。

训练视角:先定义可检查的成功标准(例如代码测试通过、数学答案正确、工具调用参数有效),再用高质量轨迹、偏好信号或可验证奖励训练。只奖励“写得像思考”会鼓励冗长而不一定正确。

几种机制怎么连起来

SFT
教示范
→
偏好数据
教取舍
→
奖励/验证器
提供反馈
→
在线优化
探索改进

这不是唯一顺序,也不是所有模型都要走全套。MiniCPM5-2B 模型卡描述其后训练包括 SFT、RL 和 OPD,并称专家模型与蒸馏用于合并能力;这是该模型自己的发布方训练描述,不应当作所有模型的标准流程。

自测:“MoE 专家”一定是一个单独的、可以聊天的完整模型吗?
看答案不一定。MoE 的专家通常是模型内部的子网络模块。完整教师模型是另一种“专家”用法。

参考:DPO · InstructGPT / RLHF · MiniCPM5-2B 模型卡。