训练出来只是开始;还要证明它能正确加载、足够快,并在真实接口下保持质量。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
训练需要前向、反向、梯度与优化器状态;推理主要是加载权重并逐步生成。推理时长上下文会消耗 KV cache,批量并发也会改变显存与吞吐。训练能放进某张卡,不代表同样配置能高并发服务。
底模的参数整体变化,部署时通常加载完整权重。
单独保存适配器,部署时与匹配底模组合;需记录底模 revision 和 adapter 配置。
较低位宽表示权重/计算以减少资源占用。需测质量与硬件支持。
Transformers、GGUF、MLX、GPTQ 等适配不同运行栈;转换后需重新评测。
浮点权重可用较低位宽表示,减少模型文件和内存带宽需求。量化可以是推理后量化(PTQ),也可以在训练/校准中感知量化误差(如 QAT)。GPTQ、AWQ、GGUF 等是不同生态/算法或格式家族,不是一个完全统一的“4bit开关”。
Decoder-only 生成每步都需要历史 token 的 Key/Value,缓存能避免重复算历史。上下文越长,缓存越大;同时服务多个请求时,各请求缓存叠加。GQA、缓存量化、分页管理和连续批处理是减少成本/提升吞吐的工程选择,但要在目标硬件、上下文长度和请求分布下测试。
Greedy 每步选分最高 token;temperature 调整分布随机性;top-p/top-k 限制候选集合;重复惩罚改变重复 token 的相对倾向。它们不更新模型权重,却会显著影响输出风格和评测结果。比较模型时必须固定 prompt template 和解码配置;温度高低不是“模型训练质量”的指标。
先排查模板/分词/截断与停止 token,再检查 adapter 是否加载、精度与量化是否正确,然后比较底模和微调模型的固定测试集表现。不要一看到输出变差就立即重新训练。