LLM TRAINING FIELD GUIDE · 第 12 章

第 12 章|从学习者到模型训练师:90 天项目路线

用一个可交付的微调项目,把机制、数据、训练、评测和部署串起来。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

建议项目:垂直任务助手

选择一个你能获得合法数据、能定义正确答案、能做自动或人工评测的窄任务。示例:代码仓库 PR 摘要、日志归类、内部 FAQ 结构化回答、单元测试生成。第一版不要追求“通用智能”。

阶段完成标志你要留下的产物
第 1–2 周:问题定义明确输入输出、错误定义、底模基线任务说明、基线集、许可/数据说明
第 3–4 周:数据工程训练/验证/测试可追溯,边界案例充分版本化数据、清洗脚本、抽检报告
第 5–6 周:SFT 基线小规模训练可复现,比较 LoRA/QLoRA配置、日志、adapter、评测表
第 7–8 周:偏好或蒸馏确认错误需要“偏好/能力迁移”才增加机制偏好对/教师输出、筛选规则、对照实验
第 9–10 周:评估与稳健性盲测、失败分类、安全/回归测试通过评测报告、错误案例库、模型卡草稿
第 11–12 周:部署与复盘服务接口可用,成本、质量、回滚策略明确推理配置、部署说明、实验总结

学完后你应该能做到

下一步行动清单

1. 选窄任务

把成功写成可自动或人工复核的标准。

2. 建小数据集

先做高质量的几百条级别试验,规模按任务与预算调整,不迷信固定条数。

3. 跑底模基线

留住未训练模型结果,做公平对照。

4. 跑 LoRA SFT

先学会完整闭环,再做机制扩展。

实验怎么设计才知道“提升来自哪里”?

一次只改变一类关键变量,并保留对照:A 是底模;B 是底模 + SFT;C 是同数据不同 LoRA 配置;之后再比较偏好优化或蒸馏。使用固定训练/验证/测试版本、固定推理模板和解码参数。若同时换模型、数据、训练算法和提示词,结果变好也无法定位原因。

问题对照实验判读
微调是否有帮助?底模 vs 微调模型,同一盲测集看目标任务收益和通用能力回归
数据质量是否关键?同底模同配置,比较筛选前后数据版本看质量、成本、类别覆盖变化
LoRA rank / target modules 是否值得扩大?其他配置不动,只比较一项 LoRA 变量看收益是否稳定且值得增加可训练参数
要不要做 DPO/RL?先确认 SFT 的失败是偏好取舍还是能力/知识不足无可靠偏好或验证奖励时,不以算法复杂度作理由

课程结束后的“训练师决策卡”

  1. 明确目标:要改变正确性、知识新鲜度、格式、语气、推理成功率还是部署成本?
  2. 跑底模基线,收集失败案例并分类,而不是先猜架构。
  3. 选择最小干预:检索/工具、数据清洗、SFT、偏好优化、RL、蒸馏或量化。
  4. 通常不动底模架构组件;先调数据、训练目标、参数更新范围和超参数。
  5. 用独立评测证明改动有效,再决定扩大训练或上线。
  6. 记录可复现信息、许可、安全边界和回滚方案。
建议作品集包含:问题定义、数据治理、训练配置、基线对照、评测集、失败分析、部署成本和可复现脚本。训练师的价值不只是“会跑 Trainer”,还要能证明改动真的带来目标收益。