LLM TRAINING FIELD GUIDE · 第 7 章

第 7 章|二次训练:把底模变成你要的模型

目标先写清楚,再准备数据、选微调方式、训练、评测;别从堆数据开始。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

“我要自己的模型”先拆成可测目标

把“更懂我的业务”拆成一个具体任务,例如“按指定 JSON schema 抽取工单字段”“用团队语气回答 FAQ”“对代码仓库 API 生成单元测试”。每个目标都要有输入、合格输出、失败边界和独立测试集。

目标与基线
现在差在哪里?
→
数据
样本是否代表真实使用?
→
选择训练机制
CPT / SFT / 偏好 / RL
→
小实验
先做可重复基线
→
评测与部署

训练目标和更新参数是两件不同的事

SFT 表示用示范回答做监督训练目标;全参、部分解冻、LoRA/QLoRA 则决定哪些参数实际更新。同一份 SFT 数据可以用不同更新范围训练;反过来,LoRA 也可以用于 SFT、偏好优化或蒸馏目标。训练前要检查 loss mask 选了哪些 token,以及可训练参数清单。

SFT 是最好的第一站

监督微调(SFT)使用“输入 + 理想回答”示例,模型学习模仿回答。对聊天模型要沿用正确的 chat template(角色标记、结束 token、工具调用格式等),否则同一段文本会被切成不符合模型训练习惯的序列。

数据样例(概念)

{
  "messages": [
    {"role": "user", "content": "把工单摘要成一句话"},
    {"role": "assistant", "content": "用户报告登录页面持续报错,需排查认证服务。"}
  ]
}

训练格式要看具体模型和 Trainer;有些数据集使用 prompt/completion,另一些使用 messages。不要把上面的 JSON 当成所有框架都可直接读的固定 schema。

全参数微调 vs LoRA / QLoRA

方式更新什么优点注意
全参数微调底模全部或几乎全部权重设为可训练自由度大,适合有充足资源和数据的任务显存、算力、存储成本高;可能过拟合或遗忘
部分参数微调只解冻指定层或模块比全参成本低,可针对性适配不是 LoRA;要明确哪些参数实际可训练
LoRA通常冻结底模,在部分线性层旁训练低秩适配器;也可按配置额外训练指定模块训练参数和产物小,便于多任务切换目标模块选择会影响效果;能力上限不等于全参微调
QLoRA低比特加载冻结底模 + 训练 LoRA降低微调显存门槛仍需激活/优化器显存;量化设置、硬件、序列长度影响很大

LoRA 到底改了什么?

全连接层本来有一张很大的权重矩阵。LoRA 通常冻结原矩阵,只在旁边加入两个较小矩阵的乘积作为“可训练的增量”,让模型以较少参数学到任务适配。可以想成给现有机器加一组小型可拆换插件,而不是重造整台机器。常见 PEFT 实现也允许把 embedding、LM head 或其他模块列为额外可训练部分,所以不要仅凭“用了 LoRA”就猜所有参数都冻住了。

开跑前必查:统计可训练参数总数与比例,检查参数名/模块清单及 requires_grad 状态;确认目标模块匹配成功。配置文件写了 target modules,不代表它们一定按预期被挂载。

训练配置是什么、怎样影响结果?

配置通俗含义出问题时表现
学习率每一步改参数的步子大小过大可能 loss 抖动/能力崩;过小进展慢
有效 batch size每次更新综合多少样本;可由微批次 × 梯度累积 × GPU 数得到显存不够或梯度噪声大;改变 batch 常需重测学习率
sequence length每条样本最多处理多少 token越长显存/计算越高;截断会丢掉长回答关键部分
训练步数/epochs看训练数据多少轮、更新多少次太少欠拟合;太多记住训练集、通用能力退化
warmup / scheduler学习率起步升温和后续衰减节奏过猛容易不稳;衰减太快可能过早停滞
gradient checkpointing少存中间激活,反向时重算一部分以省显存节省显存但增加计算时间
bf16/fp16/量化数值精度与权重存储方案影响速度/显存/稳定性;硬件与算子兼容性要验证

训练者能做哪些选择?四层决策

  1. 是否训练:先试 prompt、RAG、数据库或工具;如果问题是事实更新,训练模型可能不是最合适的选择。
  2. 训练目标/监督信号:原始领域文本可考虑 CPT;标准答案示范用 SFT;好坏偏好用 DPO/KTO 等;可验证奖励任务再评估 RL;教师迁移可做蒸馏。
  3. 可训练参数范围:全参、部分解冻、LoRA/QLoRA;必要时指定 embedding/输出头等附加模块。检查参数是否实际参与训练。
  4. 样本与优化设置:chat template、tokenization、label mask、EOS、学习率、有效 batch、序列长度、精度与保存策略。
底模层数、宽度、注意力头数、GQA、RoPE 等属于架构,不是上述第 3/4 层的常规超参数。换结构可能让预训练权重形状不匹配;除非你在做架构研究或从头预训练,通常先选底模,不改它的层组件。

怎么判断是数据问题还是配置问题?

云端 GPU 实操的最小可行流程

  1. 固定底模仓库与 revision,检查许可、模型卡、chat template。
  2. 把数据拆为 train / validation / test;去除重复、隐私、越权资料和评测答案泄漏。
  3. 用 TRL 的 SFTTrainer 或相应工具跑小样本试验,先确认一批能完成前向、反向、保存与加载;打印模板化样本、labels/loss mask,并检查可训练参数名和数量。
  4. 逐步调 batch、梯度累积、序列长度、学习率、训练轮次;记录显存峰值、吞吐与 loss。
  5. 保存 adapter/checkpoint,独立加载验证;用固定评测集比较底模和微调后模型。
  6. 检查通用能力回归、安全边界、输出格式和真实推理成本,再决定是否扩大训练。
第一次训练的目标不是刷榜,而是让结果可重复:保存数据版本、代码 commit、配置、模型 revision、随机种子、日志与评测脚本。

最容易踩的坑

入口:TRL 文档;模型参考:MiniCPM5-2B 模型卡。