目标先写清楚,再准备数据、选微调方式、训练、评测;别从堆数据开始。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
把“更懂我的业务”拆成一个具体任务,例如“按指定 JSON schema 抽取工单字段”“用团队语气回答 FAQ”“对代码仓库 API 生成单元测试”。每个目标都要有输入、合格输出、失败边界和独立测试集。
SFT 表示用示范回答做监督训练目标;全参、部分解冻、LoRA/QLoRA 则决定哪些参数实际更新。同一份 SFT 数据可以用不同更新范围训练;反过来,LoRA 也可以用于 SFT、偏好优化或蒸馏目标。训练前要检查 loss mask 选了哪些 token,以及可训练参数清单。
监督微调(SFT)使用“输入 + 理想回答”示例,模型学习模仿回答。对聊天模型要沿用正确的 chat template(角色标记、结束 token、工具调用格式等),否则同一段文本会被切成不符合模型训练习惯的序列。
{
"messages": [
{"role": "user", "content": "把工单摘要成一句话"},
{"role": "assistant", "content": "用户报告登录页面持续报错,需排查认证服务。"}
]
}训练格式要看具体模型和 Trainer;有些数据集使用 prompt/completion,另一些使用 messages。不要把上面的 JSON 当成所有框架都可直接读的固定 schema。
| 方式 | 更新什么 | 优点 | 注意 |
|---|---|---|---|
| 全参数微调 | 底模全部或几乎全部权重设为可训练 | 自由度大,适合有充足资源和数据的任务 | 显存、算力、存储成本高;可能过拟合或遗忘 |
| 部分参数微调 | 只解冻指定层或模块 | 比全参成本低,可针对性适配 | 不是 LoRA;要明确哪些参数实际可训练 |
| LoRA | 通常冻结底模,在部分线性层旁训练低秩适配器;也可按配置额外训练指定模块 | 训练参数和产物小,便于多任务切换 | 目标模块选择会影响效果;能力上限不等于全参微调 |
| QLoRA | 低比特加载冻结底模 + 训练 LoRA | 降低微调显存门槛 | 仍需激活/优化器显存;量化设置、硬件、序列长度影响很大 |
全连接层本来有一张很大的权重矩阵。LoRA 通常冻结原矩阵,只在旁边加入两个较小矩阵的乘积作为“可训练的增量”,让模型以较少参数学到任务适配。可以想成给现有机器加一组小型可拆换插件,而不是重造整台机器。常见 PEFT 实现也允许把 embedding、LM head 或其他模块列为额外可训练部分,所以不要仅凭“用了 LoRA”就猜所有参数都冻住了。
requires_grad 状态;确认目标模块匹配成功。配置文件写了 target modules,不代表它们一定按预期被挂载。| 配置 | 通俗含义 | 出问题时表现 |
|---|---|---|
| 学习率 | 每一步改参数的步子大小 | 过大可能 loss 抖动/能力崩;过小进展慢 |
| 有效 batch size | 每次更新综合多少样本;可由微批次 × 梯度累积 × GPU 数得到 | 显存不够或梯度噪声大;改变 batch 常需重测学习率 |
| sequence length | 每条样本最多处理多少 token | 越长显存/计算越高;截断会丢掉长回答关键部分 |
| 训练步数/epochs | 看训练数据多少轮、更新多少次 | 太少欠拟合;太多记住训练集、通用能力退化 |
| warmup / scheduler | 学习率起步升温和后续衰减节奏 | 过猛容易不稳;衰减太快可能过早停滞 |
| gradient checkpointing | 少存中间激活,反向时重算一部分以省显存 | 节省显存但增加计算时间 |
| bf16/fp16/量化 | 数值精度与权重存储方案 | 影响速度/显存/稳定性;硬件与算子兼容性要验证 |
SFTTrainer 或相应工具跑小样本试验,先确认一批能完成前向、反向、保存与加载;打印模板化样本、labels/loss mask,并检查可训练参数名和数量。入口:TRL 文档;模型参考:MiniCPM5-2B 模型卡。