LLM TRAINING FIELD GUIDE · 课程总览

大语言模型训练师入门|课程总纲

从“会用模型”走到“会训练、会评估、会交付”——一套循序渐进的通俗课程。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

这套课程如何使用

这是为“会编程、会用模型,但未做过大模型训练”的学习者设计的入门课程。建议按章节顺序阅读;每章有通俗比喻、图示、训练师视角和自测。先建立正确概念,再开始云端 GPU 的小规模实践。这个加深版会回答的不只是“它叫什么”,而是“内部怎么工作、解决什么问题、什么时候该用、微调时能不能改”。

目标

从理解模型基本机制,到能选择训练方法、微调模型、评估结果并交付实验。

学习风格

避免复杂公式,重点讲“在什么场景用、输入是什么、结果怎么验证”。

练习环境

以云端 GPU 为主;预算、显存和框架版本需要按你实际选的平台另行核算。

课程大纲

每章不只讲名词,还讲原理与选型

课程现已为 1–3、5–12 章补充相应主题的工作原理、训练信号、工程约束、方法边界和实践判断;第 4 章专门拆解模型层组件。比如扩散模型讲去噪与条件注入,预训练讲 tokenizer/标签/梯度闭环,微调讲配置作用与故障排查,RLHF 讲策略—奖励—参考模型闭环,蒸馏讲 logits/轨迹/在线方式,部署讲量化、KV cache 与解码策略。

新增的结构原理重点

第 4 章现在逐项解释 Embedding、因果注意力、GQA、RoPE、RMSNorm、SwiGLU、残差连接与输出层;并区分“架构阶段决定”与“后训练能调整”的内容。重点不是让你自行给底模添加层,而是让你能读懂配置、知道为何选这个底模、遇到目标问题该改训练数据/方法还是推理部署。

模型训练的决策框架

把决定分为四层:①要不要训练(prompt/RAG/工具/训练);②用什么学习信号(CPT/SFT/偏好/RL/蒸馏);③哪些参数可训练(全参/部分解冻/LoRA);④数据模板、loss mask、学习率、batch、序列长度等配置。架构组件和训练方法不能混作一组随手勾选的选项。

定义任务目标与失败案例
→
诊断知识/行为/偏好/成本问题
→
选择 RAG、SFT、偏好、RL 或蒸馏
→
先用现成架构底模做小实验
→
基线对照、评测、复盘

学习地图

认识模型
语言 / 扩散
→
理解结构
参数 / 注意力 / 层
→
理解训练
发展史 / 预训练
→
学会后训练
SFT / 偏好 / RL
→
构建能力迁移
蒸馏
→
做成项目
评测 / 部署

你会解决的核心问题

课程依据与时效说明

两份指定材料用于贯穿案例:TRL 文档(在线 main 文档,Trainer 状态可能变化);MiniCPM5-2B 中文模型卡(模型参数、架构与训练流程描述以发布方页面为准)。课程也链接了基础论文,方便追溯原始概念。

建议先读的原始资料

开始顺序建议:先读第 1–5 章建立心智模型;第 6–9 章比较训练机制;第 10–12 章形成工程化训练习惯。最先动手应是“底模评测 + 小规模 SFT”,不要一开始就预训练大模型或跑复杂 RL。