LLM TRAINING FIELD GUIDE · 第 5 章
第 5 章|从 0 到 1:大语言模型发展史与预训练
先看技术路线怎样一步步变成今天的基础模型,再理解训练到底在做什么。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
发展史:不是突然出现的聊天机器人
统计语言模型
按历史词频猜下一个词
→
神经网络与词向量
用向量表示语言规律
→
RNN/LSTM
逐步读序列,记忆有局限
→
Transformer
注意力并行处理上下文
预训练 + 微调
先学通用,再适配任务
→
规模化与 GPT
更多数据、参数、算力
→
指令微调 / RLHF
更会遵循人类意图
→
开源、高效与推理
LoRA、量化、DPO、RL等
几次关键转折
- 2017 Transformer:《Attention Is All You Need》提出以注意力为核心的架构,训练并行效率成为重要优势。
- 2018 前后预训练范式普及:先在大规模文本上预训练,再为下游任务微调,迁移学习成为主流路线。
- 2020 GPT-3 与规模化:展示大规模自回归模型在提示中给例子也能做任务(in-context learning);这不是参数更新式微调。
- 2022 指令对齐:指令数据与人类偏好训练让模型更能按要求回答;InstructGPT 是 RLHF 路线的重要示例。
- 2023 起更便宜的适配:LoRA/QLoRA 等参数高效微调,DPO 等偏好优化降低了小团队尝试门槛。
- 近年后训练更多样:推理训练、在线 RL、合成数据与蒸馏等组合使用。版本迭代很快,具体配方因模型而异。
从字符到 token:Tokenizer 在模型之前
人看到的是字词,模型实际接收的是 token ID。Tokenizer 把文本按词表切块;英文常见子词片段,中文可能是单字、词片段或字节回退,具体由 tokenizer 训练和词表决定。“一个 token”不等于一个汉字、一个英文单词或一个固定字节数。Token 数影响上下文预算、训练计算和推理成本。
更换 tokenizer 不只是换个切词器:同一个 ID 对应的 token 含义会变,Embedding/LM Head 的词表维度和权重也必须匹配。因此微调时通常沿用底模 tokenizer。
从 2017 到今天:训练方式怎样演进
| 阶段 | 关键变化 | 带来的训练问题 |
|---|
| 统计语言模型与神经 NLP | 从词频/短窗口到向量表示和序列网络 | 长距离依赖与规模化计算受限 |
| Transformer 与预训练 | 注意力便于并行,先学通用语言再迁移 | 数据质量、模型规模、计算预算成为核心 |
| 规模化基础模型 | 大模型展现 few-shot / in-context 能力 | 如何控制成本、数据污染与能力评估 |
| 指令对齐与偏好 | 用示范和人类偏好让模型更好用 | 如何表达偏好、避免奖励投机 |
| 开放模型与高效训练 | LoRA、量化、开源生态降低试验门槛 | 复现、模型许可、异构实现兼容 |
| 推理与在线优化 | 更多测试时计算、可验证奖励、蒸馏组合 | 评测过程是否真实有效,而非只变长/变会迎合 |
预训练到底在学什么?
常见因果语言模型会把文本切成 token,然后不断做“根据前文预测下一个 token”的练习。训练数据不是问答对也可以:书、网页、代码、文档等,经清理、去重、过滤、切分后形成训练样本。
一个训练样本如何变成梯度更新(不写公式)
- 把文本 token 化,组成固定长度或打包后的 token 序列。
- 模型并行读取序列中各个位置;因果遮罩确保位置 i 不能读到 i 之后。
- LM Head 对各位置给出下一 token 的候选分数;标签通常是右移一格的真实 token。
- 交叉熵损失衡量“真实 token 被模型排得有多靠前”;padding、用户提示部分等可按任务需要屏蔽。
- 反向传播计算每个可训练参数对误差的影响,优化器按学习率更新参数。
- 重复很多批次;定期验证、保存 checkpoint,监测 loss、梯度、吞吐与异常。
训练阶段可在一张序列里同时预测很多位置,这让 GPU 能并行工作;但逻辑目标仍是“每个位置预测下一个 token”。
从随机初始化到可用基础模型:关键工程决策
| 决策 | 为什么重要 | 入门者怎么理解 |
|---|
| Tokenizer / 词表 | 决定文本如何变成 ID,影响序列长度与词表投影规模 | 先沿用成熟 tokenizer;只有新语言/领域需要才做证据充分的改造 |
| 模型规模与结构 | 决定容量、计算、内存与推理成本 | 从预算反推规模,不按参数量盲目追大 |
| 数据质量与配比 | 模型所学内容主要受样本分布驱动 | 定义来源、去重、过滤、隐私、许可与不同域的比例 |
| 训练 token 数与学习率 | 太少会欠训练,过激可能不稳定 | 监测训练和验证趋势,先做小规模缩放实验 |
| 并行策略 | 模型/数据无法塞进单卡时分片计算与状态 | 数据并行复制模型;张量/流水线并行拆模型;ZeRO/FSDP 分片状态(细节后续实践) |
完整预训练还要做数据治理、模型初始化、优化器/学习率调度、混合精度、检查点、断点恢复、评测和安全审查。常规微调者通常继承底模的架构与大部分配方,不从头重选所有层。
工程师视角:训练流水线
采集/授权数据
→
清洗、去重、过滤
→
Tokenizer 编码
→
训练批次
→
评测、保存、复盘
训练循环可理解为:向前计算得到预测 → 计算“预测离目标多远” → 反向传播得到参数该往哪边调 → 优化器小步更新 → 重复。无需先会推导公式,但要会观测 loss、吞吐、梯度异常、显存和验证集效果。
“从 0 训练”有两种意思:从随机初始化预训练一个基础模型,或从现成基础模型开始做后训练/微调。前者需要海量数据与算力;个人学习通常先从可复现的微调实验开始。
一个可行学习路线
- 理解 token、模型卡、Transformer、训练/推理区别。
- 跑通一个小模型 SFT,掌握数据格式与评测。
- 对比全量微调、LoRA、QLoRA 的资源与效果。
- 加入偏好数据,实践 DPO;再了解奖励模型与 RL。
- 学习蒸馏、量化、部署与持续评测。
- 做一个有边界、可重复、可对照的垂直任务项目。
时间线参考:Transformer · GPT-3 · InstructGPT · DPO。