模型训练师的日常不是只调参数;数据质量、评测可信度和实验记录决定结论是否站得住。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
真实输入有哪些长度、语气、边界案例?别只收集简单理想样本。
答案由谁验证?代码是否运行?事实来源是否可靠?
去重,避免同一案例跨训练/测试;注意公开基准答案泄漏。
确认数据可用于训练;最小化个人数据,落实删除/访问规则。
数据可来自经授权的业务记录、公开许可语料、人工编写示例、合成数据或教师生成数据。不同来源偏差不同,应保留来源、许可、时间、清理规则和版本。清洗不等于“删得越多越干净”:过度过滤可能删除少数语言、专业术语、反例和合法的对话格式。
至少保留训练集、验证集与独立测试集。验证集用来选择配置;测试集尽量只在决策节点使用,避免一边看分数一边反复改到“记住考题”。按用户、时间、项目或来源切分,通常比完全随机切分更能发现泄漏。
| 维度 | 例子 | 可以问 |
|---|---|---|
| 任务质量 | 准确率、通过率、字段 F1、代码测试 | 真实任务完成了吗? |
| 行为 | 遵循格式、拒答、工具调用成功 | 能否按接口契约工作? |
| 可靠性 | 重复运行、不同提示、长上下文 | 结果稳定吗? |
| 安全 | 越权、隐私泄漏、危险请求边界 | 边界情景下会怎样? |
| 成本 | 延迟、吞吐、显存、每请求费用 | 业务能负担吗? |
实验ID / 日期: 底模与 revision: Tokenizer / chat template: 数据版本 / 切分方式: 训练方法(SFT / DPO / ...): LoRA 配置 / 精度 / batch / sequence length: 学习率 / steps / seed: 硬件 / 框架版本: 验证集指标 / 盲测结果: 失败案例与回归: 产物路径 / 复现命令: