LLM TRAINING FIELD GUIDE · 第 1 章

第 1 章|先认清模型地图

扩散模型、语言模型与多模态模型:它们解决的问题不同,不能只按“会生成”归为一类。

适合:会编程、会使用大模型,但还没有系统训练经验的学习者

一眼看懂:模型是在学习什么任务?

语言模型(LM)

读入一串 token,根据训练目标预测、补全或变换 token。聊天模型通常一步一步生成下一个 token。

类比:接着写句子的自动补全文员。

扩散模型(Diffusion)

训练时学习怎样把被逐渐加噪的图像还原;生成时从噪声开始,反复去噪,得到图像或音频。

类比:从雪花屏里多轮修复出一幅画。

多模态模型

让文本、图像、音频、视频等信号能被共同输入或输出。内部可以组合多个编码器、生成器或统一模型。

类比:会读文字,也会看图听声音的系统。

语言模型提示词→逐个预测下一个 token文本通常按序生成扩散模型噪声→多轮去噪→图像条件可由文字提示提供

核心区别

比较项语言模型(常见因果 LM)扩散模型(常见图像生成)
典型输入文本 token,也可能含图像/音频编码随机噪声 + 条件提示
训练直觉根据上下文练习预测目标 token学习从扰动后的样本中恢复信号
生成直觉按序续写 token反复去噪得到整体样本
常见输出文本、代码、结构化调用图像、音频、视频等
别混淆:“扩散模型”不是“大语言模型的一种”。有些系统会把语言模型和图像扩散模型接起来,让前者理解指令、后者画图。

对训练师有什么用?

先确认目标:要改变回答风格、领域知识或指令遵循,通常从语言模型后训练开始;要训练文生图能力,涉及扩散模型训练;要做看图问答、语音助手,则还需要理解多模态组件与数据对齐。

扩散模型再深入一点:为什么要反复去噪?

训练时,先对真实图像逐步加噪,记录噪声程度(时间步)和条件(如文字提示),再让神经网络学习当前噪声状态下应如何去噪。生成时从随机噪声开始,按多个时间步反复调用去噪网络。可以把它想成“教模型识别不同程度的污染,并逐步修复”。

多模态模型:模型“看见”图像的路径

图像通常先被切成 patch 或压缩成视觉 token,由视觉编码器转成向量;再通过投影层接入语言模型的表示空间。语言模型随后可以对这些视觉 token 做注意力,并用文字回答。视频常再加帧采样/时间信息,音频则可走声学编码器或离散音频 token 路线。

多模态微调不仅是加几张图片:还要保证图像预处理、分辨率/切块方式、视觉 token 占位符、对话模板和训练标签完全兼容底模。通常先用原模型仓库提供的数据格式和 processor,不自行改视觉塔架构。

扩散与语言模型:训练目标不同,系统可组合

两者都可以用神经网络、Transformer 组件和大规模数据,但预测对象不同:因果 LM 常预测下一个离散 token;扩散网络常预测当前噪声/去噪方向。文生图产品可以让语言模型解析提示、扩散模型画图;这不意味着扩散模型本身就是语言模型。

自测:“模型从随机噪声逐步生成海报”主要是哪类生成范式?
看答案扩散生成。注意实际产品也可能在扩散前后使用语言模型、图像编码器或其他模块。