LLM TRAINING FIELD GUIDE · 第 5 章

第 5 章|从 0 到 1:大语言模型发展史与预训练

先看技术路线怎样一步步变成今天的基础模型,再理解训练到底在做什么。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

发展史:不是突然出现的聊天机器人

统计语言模型
按历史词频猜下一个词
→
神经网络与词向量
用向量表示语言规律
→
RNN/LSTM
逐步读序列,记忆有局限
→
Transformer
注意力并行处理上下文
预训练 + 微调
先学通用,再适配任务
→
规模化与 GPT
更多数据、参数、算力
→
指令微调 / RLHF
更会遵循人类意图
→
开源、高效与推理
LoRA、量化、DPO、RL等

几次关键转折

从字符到 token:Tokenizer 在模型之前

人看到的是字词,模型实际接收的是 token ID。Tokenizer 把文本按词表切块;英文常见子词片段,中文可能是单字、词片段或字节回退,具体由 tokenizer 训练和词表决定。“一个 token”不等于一个汉字、一个英文单词或一个固定字节数。Token 数影响上下文预算、训练计算和推理成本。

更换 tokenizer 不只是换个切词器:同一个 ID 对应的 token 含义会变,Embedding/LM Head 的词表维度和权重也必须匹配。因此微调时通常沿用底模 tokenizer。

从 2017 到今天:训练方式怎样演进

阶段关键变化带来的训练问题
统计语言模型与神经 NLP从词频/短窗口到向量表示和序列网络长距离依赖与规模化计算受限
Transformer 与预训练注意力便于并行,先学通用语言再迁移数据质量、模型规模、计算预算成为核心
规模化基础模型大模型展现 few-shot / in-context 能力如何控制成本、数据污染与能力评估
指令对齐与偏好用示范和人类偏好让模型更好用如何表达偏好、避免奖励投机
开放模型与高效训练LoRA、量化、开源生态降低试验门槛复现、模型许可、异构实现兼容
推理与在线优化更多测试时计算、可验证奖励、蒸馏组合评测过程是否真实有效,而非只变长/变会迎合

预训练到底在学什么?

常见因果语言模型会把文本切成 token,然后不断做“根据前文预测下一个 token”的练习。训练数据不是问答对也可以:书、网页、代码、文档等,经清理、去重、过滤、切分后形成训练样本。

一个训练样本如何变成梯度更新(不写公式)

  1. 把文本 token 化,组成固定长度或打包后的 token 序列。
  2. 模型并行读取序列中各个位置;因果遮罩确保位置 i 不能读到 i 之后。
  3. LM Head 对各位置给出下一 token 的候选分数;标签通常是右移一格的真实 token。
  4. 交叉熵损失衡量“真实 token 被模型排得有多靠前”;padding、用户提示部分等可按任务需要屏蔽。
  5. 反向传播计算每个可训练参数对误差的影响,优化器按学习率更新参数。
  6. 重复很多批次;定期验证、保存 checkpoint,监测 loss、梯度、吞吐与异常。

训练阶段可在一张序列里同时预测很多位置,这让 GPU 能并行工作;但逻辑目标仍是“每个位置预测下一个 token”。

从随机初始化到可用基础模型:关键工程决策

决策为什么重要入门者怎么理解
Tokenizer / 词表决定文本如何变成 ID,影响序列长度与词表投影规模先沿用成熟 tokenizer;只有新语言/领域需要才做证据充分的改造
模型规模与结构决定容量、计算、内存与推理成本从预算反推规模,不按参数量盲目追大
数据质量与配比模型所学内容主要受样本分布驱动定义来源、去重、过滤、隐私、许可与不同域的比例
训练 token 数与学习率太少会欠训练,过激可能不稳定监测训练和验证趋势,先做小规模缩放实验
并行策略模型/数据无法塞进单卡时分片计算与状态数据并行复制模型;张量/流水线并行拆模型;ZeRO/FSDP 分片状态(细节后续实践)

完整预训练还要做数据治理、模型初始化、优化器/学习率调度、混合精度、检查点、断点恢复、评测和安全审查。常规微调者通常继承底模的架构与大部分配方,不从头重选所有层。

今天 天气 很→适合模型预测与训练文本中的正确下一 token 比较,再更新参数

工程师视角:训练流水线

采集/授权数据
→
清洗、去重、过滤
→
Tokenizer 编码
→
训练批次
→
评测、保存、复盘

训练循环可理解为:向前计算得到预测 → 计算“预测离目标多远” → 反向传播得到参数该往哪边调 → 优化器小步更新 → 重复。无需先会推导公式,但要会观测 loss、吞吐、梯度异常、显存和验证集效果。

“从 0 训练”有两种意思:从随机初始化预训练一个基础模型,或从现成基础模型开始做后训练/微调。前者需要海量数据与算力;个人学习通常先从可复现的微调实验开始。

一个可行学习路线

  1. 理解 token、模型卡、Transformer、训练/推理区别。
  2. 跑通一个小模型 SFT,掌握数据格式与评测。
  3. 对比全量微调、LoRA、QLoRA 的资源与效果。
  4. 加入偏好数据,实践 DPO;再了解奖励模型与 RL。
  5. 学习蒸馏、量化、部署与持续评测。
  6. 做一个有边界、可重复、可对照的垂直任务项目。

时间线参考:Transformer · GPT-3 · InstructGPT · DPO。