土法炼钢 · 系统与基础设施

【Transformer 与注意力机制】46｜多模态融合：CLIP、Flamingo、LLaVA、SAM

2026-08-06 | transformer | #transformer #multimodal #clip #flamingo #llava #sam

CLIP 靠 batch 负样本和温度做对比学习，不是拼 caption；projector、Flamingo cross-attention、LLaVA 指令微调三种接法各有幻觉、OCR、分辨率失败模式；SAM 的 promptable segmentation 与聊天 VLM 是两条产品线。