LLM TRAINING FIELD GUIDE · 第 10 章

第 10 章|数据、评测与安全:训练师的基本功

模型训练师的日常不是只调参数;数据质量、评测可信度和实验记录决定结论是否站得住。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

数据集的五个检查点

任务覆盖

真实输入有哪些长度、语气、边界案例?别只收集简单理想样本。

正确性

答案由谁验证?代码是否运行?事实来源是否可靠?

重复与污染

去重,避免同一案例跨训练/测试;注意公开基准答案泄漏。

许可与隐私

确认数据可用于训练;最小化个人数据,落实删除/访问规则。

数据从哪里来?怎样清洗而不误删?

数据可来自经授权的业务记录、公开许可语料、人工编写示例、合成数据或教师生成数据。不同来源偏差不同,应保留来源、许可、时间、清理规则和版本。清洗不等于“删得越多越干净”:过度过滤可能删除少数语言、专业术语、反例和合法的对话格式。

推荐的数据质检流水线

  1. 解析与规范化:编码、空行、异常格式、损坏样本。
  2. 隐私和许可筛查:按用途过滤/脱敏,保留处理记录。
  3. 精确及近似去重:避免大量重复样本主导训练;注意模板重复不一定等于内容完全重复。
  4. 质量筛选:检查答案可读性、事实、标签一致性、长度异常和语言分布。
  5. 分层抽检:按来源、任务、长度、难度、标签抽样人工检查。
  6. 切分并版本化:固定随机种子与切分依据,记录样本 ID 和哈希。

训练数据切分

至少保留训练集、验证集与独立测试集。验证集用来选择配置;测试集尽量只在决策节点使用,避免一边看分数一边反复改到“记住考题”。按用户、时间、项目或来源切分,通常比完全随机切分更能发现泄漏。

评测不要只看一个分数

维度例子可以问
任务质量准确率、通过率、字段 F1、代码测试真实任务完成了吗?
行为遵循格式、拒答、工具调用成功能否按接口契约工作?
可靠性重复运行、不同提示、长上下文结果稳定吗?
安全越权、隐私泄漏、危险请求边界边界情景下会怎样?
成本延迟、吞吐、显存、每请求费用业务能负担吗?

实验记录模板

实验ID / 日期:
底模与 revision:
Tokenizer / chat template:
数据版本 / 切分方式:
训练方法(SFT / DPO / ...):
LoRA 配置 / 精度 / batch / sequence length:
学习率 / steps / seed:
硬件 / 框架版本:
验证集指标 / 盲测结果:
失败案例与回归:
产物路径 / 复现命令:
好的结论是可复现的比较:同一测试集、同一推理配置,底模与候选模型并排评估;报告差异、置信程度与失败案例。

常见数据问题