一、基础架构三大Transformer

1. Encoder-only（双向注意力）

• 作用：理解、提取特征、全局双向信息
• 代表：BERT、ViT（图像编码器）
• 特点：不能自回归生成，只做编码理解
• 理解图片但不能生成图片，核心是全程无掩码双向注意力。

为什么双向注意力可以理解图片，因为图片是完整静态空间信息，需要每一个图像Patch能实时看见整张图所有其他Patch，双向互通建模全局空间关系（物体位置、关联、轮廓、语义）；

2. Decoder-only（单向掩码注意力）

• 作用：自回归生成文本（核心大模型主干）
• 代表：GPT、Claude、Llama、Qwen文本模型
• Decoder-only 不是只能输入文本，它只是「生成方式是单向自回归」，输入可以是文本 + 图像伪token。

3. Encoder-Decoder

• 编码理解 + 解码生成
• 代表：T5、Whisper（语音）

二、图像Patch、ViT与文本Transformer关系

1. 图像Patch是什么？

把一张图片切成无数个固定大小的小方块（patch），每个小方块拉直成向量 → 图像Token。

等价关系：文本拆单词 = 图像切Patch

2. ViT 和 文本Transformer 一样吗？

底层数学结构完全一样（多头注意力+MLP）。

唯一区别：

• ViT：Encoder双向，用于图像理解
• LLM文本：Decoder单向，用于文本生成

三、多模态两大架构

1. 拼接式多模态（工业主流：LLaVA、Qwen-VL、GPT4V） 结构：独立视觉分支 + 独立文本分支 + 共享Decoder主干

• 视觉分支：ViT Encoder 提取图像特征
• 适配器/Projector（关键）：把图像向量 映射对齐到文本Embedding空间，变成「图像伪Token」
• 文本分支：文本Embedding生成文本Token
• 主干：图文Token拼接，送入同一个 Decoder-only LLM

重点答疑：是否路由选择？ ❌ 不是路由！不是二选一！ ✅ 有图就走视觉分支，无图只走文本分支，最后合并序列进同一个主干。

2. 原生统一多模态（Gemini、GPT4o）

• 无任何独立分支、无ViT、无单独文本Encoder
• 图片Patch、文本Token、音频Token → 统一格式Token → 送入同一套共享Transformer
• 靠动态注意力掩码切换双向理解 / 单向生成。

四、图像生成、扩散模型与主干模型关系

多模态LLM（无论拼接/统一）能干啥？ ✅ 看图、理解图、OCR、图文推理、输出文字 ❌ 不能直接生成图片

要生成图片，有两个方案：

1. 扩散模型（DALL·E/SD/Flux）定位

100%独立外挂模型，和LLM主干完全分离、无权重共享 完整链路： 用户指令 → 多模态主干（思考、优化绘图Prompt） → 扩散模型（独立） → 输出图片

2. 自回归图像Token生成（Parti/MagViT）

图片编码成离散图像Token，Transformer直接预测图像Token。 缺点：画质差、分辨率低、工业不用。

五、文本/图像/视频/语音 模态核心区别

• 文本：一维语义Token序列，纯Decoder建模
• 图像：2D空间，切Patch空间Token，建模空间关系
• 语音：1D时序波形 → 转频谱 → 时间方向Audio Token
• 视频：多帧图像 + 新增时间维度注意力，同时建模空间+运动

六、框架/概念极简汇总

• NLP：AI分支，处理人类自然语言
• RL：强化学习，试错最大化奖励；LLM用于RLHF/DPO对齐
• SOTA：当前任务最优结果，只看指标，不看工程落地
• Mamba/RWKV：Transformer替代线性架构，长序列更快，推理省显存
• Megatron：英伟达超大模型预训练并行框架（底座训练）
• DeepSpeed：微软ZeRO显存优化，微调标配
• Swift：阿里一站式微调/对齐/部署上层框架，封装DeepSpeed/Megatron