“专家”有两种常见含义;“思考模型”通常指训练目标或推理行为特征,不是独立神秘结构。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
Mixture of Experts 内部的一组子网络。路由器按 token 选择部分专家计算;这是架构组件,不是人类专家,也不必然对应清晰学科分工。
为数学、代码、工具使用等任务专门训练的独立模型,可能在蒸馏或集成流程中提供信号。MiniCPM5-2B 模型卡使用的“RL experts”是发布方特定表述,应结合其原文定义理解;不能只凭 expert 一词推断它是 MoE 子网络或某种完整教师模型。
奖励模型(Reward Model, RM)像一个自动评分器:给定提示和回答,对回答质量打分或比较偏好。它的分数是学习出来的代理信号,不是绝对真理。若评分器有漏洞,策略可能学会“讨好评分器”而不是真正做好任务。
给模型同一个问题的两份答案:人或标注规则选出更喜欢的一份。DPO 直接用“chosen / rejected”偏好对调整模型,让偏好答案相对更可能,而不用显式先训练奖励模型再跑传统 RL 流程。DPO 仍需高质量偏好数据,也需要控制模型偏离参考模型的程度。
RLHF 通常指用人类反馈训练奖励信号,再通过强化学习优化策略的一类流程。不同系统细节不同,不要把所有后训练都叫 RLHF。PPO 是经典策略优化方法之一;GRPO 等路线通过一组采样结果的相对奖励来构造学习信号,适用于某些可验证任务。在线方法需要生成样本、奖励评估与训练循环,工程成本与稳定性要求更高。
层数、隐藏维度、头数、GQA、RoPE、RMSNorm、SwiGLU 通常已经写入底模结构与权重形状,不是常规微调时的选项。若改结构,往往会导致权重无法直接加载,需要专门的权重映射、继续预训练或从头训练。微调者通常选“哪个底模”,而不是任意拆换底模内部组件。
通常是指经过训练或推理时被鼓励投入更多计算、生成中间推理过程或多步探索的模型/模式。它不是人人统一的架构定义,也不意味着模型像人类一样意识到自己在思考。可见的推理文本可能只是输出形式,内部推理质量要通过任务结果验证。
这不是唯一顺序,也不是所有模型都要走全套。MiniCPM5-2B 模型卡描述其后训练包括 SFT、RL 和 OPD,并称专家模型与蒸馏用于合并能力;这是该模型自己的发布方训练描述,不应当作所有模型的标准流程。
参考:DPO · InstructGPT / RLHF · MiniCPM5-2B 模型卡。