LLM TRAINING FIELD GUIDE · 课程总览
大语言模型训练师入门|课程总纲
从“会用模型”走到“会训练、会评估、会交付”——一套循序渐进的通俗课程。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
这套课程如何使用
这是为“会编程、会用模型,但未做过大模型训练”的学习者设计的入门课程。建议按章节顺序阅读;每章有通俗比喻、图示、训练师视角和自测。先建立正确概念,再开始云端 GPU 的小规模实践。这个加深版会回答的不只是“它叫什么”,而是“内部怎么工作、解决什么问题、什么时候该用、微调时能不能改”。
目标从理解模型基本机制,到能选择训练方法、微调模型、评估结果并交付实验。
学习风格避免复杂公式,重点讲“在什么场景用、输入是什么、结果怎么验证”。
练习环境以云端 GPU 为主;预算、显存和框架版本需要按你实际选的平台另行核算。
课程大纲
- 第 1 章|先认清模型地图
扩散模型、语言模型与多模态模型:它们解决的问题不同,不能只按“会生成”归为一类。 - 第 2 章|参数量、B 与读懂模型卡
参数是模型学到并存储在权重里的数值。B 是 billion(十亿),但参数量不是智商分数。 - 第 3 章|注意力机制:模型如何挑上下文
不背公式,用“查资料”的比喻理解 Query、Key、Value,以及因果遮罩。 - 第 4 章|头、层、架构、模型类型
把模型看成多层处理器;头是并行的信息计算分支(“观察角度”仅是比喻),架构决定信息如何流动。 - 第 5 章|从 0 到 1:大语言模型发展史与预训练
先看技术路线怎样一步步变成今天的基础模型,再理解训练到底在做什么。 - 第 6 章|训练机制总览:SFT、偏好、奖励与强化学习
先问训练信号是什么、是否需要采样、优化什么,再选方法。 - 第 7 章|二次训练:把底模变成你要的模型
目标先写清楚,再准备数据、选微调方式、训练、评测;别从堆数据开始。 - 第 8 章|专家、偏好、奖励模型与思考模型
“专家”有两种常见含义;“思考模型”通常指训练目标或推理行为特征,不是独立神秘结构。 - 第 9 章|蒸馏:老师如何把能力教给小模型
蒸馏的重点不是“压缩文件”,而是让学生从教师提供的信号中学习。 - 第 10 章|数据、评测与安全:训练师的基本功
模型训练师的日常不是只调参数;数据质量、评测可信度和实验记录决定结论是否站得住。 - 第 11 章|推理、量化与模型交付
训练出来只是开始;还要证明它能正确加载、足够快,并在真实接口下保持质量。 - 第 12 章|从学习者到模型训练师:90 天项目路线
用一个可交付的微调项目,把机制、数据、训练、评测和部署串起来。
每章不只讲名词,还讲原理与选型
课程现已为 1–3、5–12 章补充相应主题的工作原理、训练信号、工程约束、方法边界和实践判断;第 4 章专门拆解模型层组件。比如扩散模型讲去噪与条件注入,预训练讲 tokenizer/标签/梯度闭环,微调讲配置作用与故障排查,RLHF 讲策略—奖励—参考模型闭环,蒸馏讲 logits/轨迹/在线方式,部署讲量化、KV cache 与解码策略。
新增的结构原理重点
第 4 章现在逐项解释 Embedding、因果注意力、GQA、RoPE、RMSNorm、SwiGLU、残差连接与输出层;并区分“架构阶段决定”与“后训练能调整”的内容。重点不是让你自行给底模添加层,而是让你能读懂配置、知道为何选这个底模、遇到目标问题该改训练数据/方法还是推理部署。
模型训练的决策框架
把决定分为四层:①要不要训练(prompt/RAG/工具/训练);②用什么学习信号(CPT/SFT/偏好/RL/蒸馏);③哪些参数可训练(全参/部分解冻/LoRA);④数据模板、loss mask、学习率、batch、序列长度等配置。架构组件和训练方法不能混作一组随手勾选的选项。
定义任务目标与失败案例
→
诊断知识/行为/偏好/成本问题
→
选择 RAG、SFT、偏好、RL 或蒸馏
→
先用现成架构底模做小实验
→
基线对照、评测、复盘
学习地图
认识模型
语言 / 扩散
→
理解结构
参数 / 注意力 / 层
→
理解训练
发展史 / 预训练
→
学会后训练
SFT / 偏好 / RL
→
构建能力迁移
蒸馏
→
做成项目
评测 / 部署
你会解决的核心问题
- 扩散模型和语言模型分别怎么生成内容?
- 参数量中的 B 是什么,为什么它不是模型能力排行榜?
- 注意力、头、层、架构、模型类型分别是什么?
- 预训练、继续预训练、SFT、偏好优化、强化学习和蒸馏有什么区别?
- 怎么从目标定义走到数据、训练、评测和部署?
课程依据与时效说明
两份指定材料用于贯穿案例:TRL 文档(在线 main 文档,Trainer 状态可能变化);MiniCPM5-2B 中文模型卡(模型参数、架构与训练流程描述以发布方页面为准)。课程也链接了基础论文,方便追溯原始概念。
建议先读的原始资料
开始顺序建议:先读第 1–5 章建立心智模型;第 6–9 章比较训练机制;第 10–12 章形成工程化训练习惯。最先动手应是“底模评测 + 小规模 SFT”,不要一开始就预训练大模型或跑复杂 RL。