扩散模型、语言模型与多模态模型:它们解决的问题不同,不能只按“会生成”归为一类。
适合:会编程、会使用大模型,但还没有系统训练经验的学习者
读入一串 token,根据训练目标预测、补全或变换 token。聊天模型通常一步一步生成下一个 token。
类比:接着写句子的自动补全文员。
训练时学习怎样把被逐渐加噪的图像还原;生成时从噪声开始,反复去噪,得到图像或音频。
类比:从雪花屏里多轮修复出一幅画。
让文本、图像、音频、视频等信号能被共同输入或输出。内部可以组合多个编码器、生成器或统一模型。
类比:会读文字,也会看图听声音的系统。
| 比较项 | 语言模型(常见因果 LM) | 扩散模型(常见图像生成) |
|---|---|---|
| 典型输入 | 文本 token,也可能含图像/音频编码 | 随机噪声 + 条件提示 |
| 训练直觉 | 根据上下文练习预测目标 token | 学习从扰动后的样本中恢复信号 |
| 生成直觉 | 按序续写 token | 反复去噪得到整体样本 |
| 常见输出 | 文本、代码、结构化调用 | 图像、音频、视频等 |
先确认目标:要改变回答风格、领域知识或指令遵循,通常从语言模型后训练开始;要训练文生图能力,涉及扩散模型训练;要做看图问答、语音助手,则还需要理解多模态组件与数据对齐。
训练时,先对真实图像逐步加噪,记录噪声程度(时间步)和条件(如文字提示),再让神经网络学习当前噪声状态下应如何去噪。生成时从随机噪声开始,按多个时间步反复调用去噪网络。可以把它想成“教模型识别不同程度的污染,并逐步修复”。
图像通常先被切成 patch 或压缩成视觉 token,由视觉编码器转成向量;再通过投影层接入语言模型的表示空间。语言模型随后可以对这些视觉 token 做注意力,并用文字回答。视频常再加帧采样/时间信息,音频则可走声学编码器或离散音频 token 路线。
两者都可以用神经网络、Transformer 组件和大规模数据,但预测对象不同:因果 LM 常预测下一个离散 token;扩散网络常预测当前噪声/去噪方向。文生图产品可以让语言模型解析提示、扩散模型画图;这不意味着扩散模型本身就是语言模型。