用一个可交付的微调项目,把机制、数据、训练、评测和部署串起来。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
选择一个你能获得合法数据、能定义正确答案、能做自动或人工评测的窄任务。示例:代码仓库 PR 摘要、日志归类、内部 FAQ 结构化回答、单元测试生成。第一版不要追求“通用智能”。
| 阶段 | 完成标志 | 你要留下的产物 |
|---|---|---|
| 第 1–2 周:问题定义 | 明确输入输出、错误定义、底模基线 | 任务说明、基线集、许可/数据说明 |
| 第 3–4 周:数据工程 | 训练/验证/测试可追溯,边界案例充分 | 版本化数据、清洗脚本、抽检报告 |
| 第 5–6 周:SFT 基线 | 小规模训练可复现,比较 LoRA/QLoRA | 配置、日志、adapter、评测表 |
| 第 7–8 周:偏好或蒸馏 | 确认错误需要“偏好/能力迁移”才增加机制 | 偏好对/教师输出、筛选规则、对照实验 |
| 第 9–10 周:评估与稳健性 | 盲测、失败分类、安全/回归测试通过 | 评测报告、错误案例库、模型卡草稿 |
| 第 11–12 周:部署与复盘 | 服务接口可用,成本、质量、回滚策略明确 | 推理配置、部署说明、实验总结 |
把成功写成可自动或人工复核的标准。
先做高质量的几百条级别试验,规模按任务与预算调整,不迷信固定条数。
留住未训练模型结果,做公平对照。
先学会完整闭环,再做机制扩展。
一次只改变一类关键变量,并保留对照:A 是底模;B 是底模 + SFT;C 是同数据不同 LoRA 配置;之后再比较偏好优化或蒸馏。使用固定训练/验证/测试版本、固定推理模板和解码参数。若同时换模型、数据、训练算法和提示词,结果变好也无法定位原因。
| 问题 | 对照实验 | 判读 |
|---|---|---|
| 微调是否有帮助? | 底模 vs 微调模型,同一盲测集 | 看目标任务收益和通用能力回归 |
| 数据质量是否关键? | 同底模同配置,比较筛选前后数据版本 | 看质量、成本、类别覆盖变化 |
| LoRA rank / target modules 是否值得扩大? | 其他配置不动,只比较一项 LoRA 变量 | 看收益是否稳定且值得增加可训练参数 |
| 要不要做 DPO/RL? | 先确认 SFT 的失败是偏好取舍还是能力/知识不足 | 无可靠偏好或验证奖励时,不以算法复杂度作理由 |