【Transformer 与注意力机制】01|为什么要从这里开始:系列大纲、学习方法与第一张全局地图
作为系统级 Transformer 系列文章的开篇地图,说明架构规模化统治力背后的数学与并行原理、全系列大纲与 6 条学习路径、符号约定,以及第一道序列并行深度与两两关联规模热身题。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 3 篇文章 · 返回首页
作为系统级 Transformer 系列文章的开篇地图,说明架构规模化统治力背后的数学与并行原理、全系列大纲与 6 条学习路径、符号约定,以及第一道序列并行深度与两两关联规模热身题。
从线性代数几何直觉与《Attention Is All You Need》出发,把注意力机制、原论文精读、训练范式、模型变体、推理工程、可解释性与后 Transformer 串成 62 篇系列文章(含逐篇纸笔手算、代码验证、课后作业与五套递进考卷)。
把时序深度学习放回量化系统里讨论:TCN 的因果卷积/扩张/残差三件套、Transformer 在金融上的位置编码与稀疏注意力改造、IC loss 与分位数损失、训练-推理偏移与多种子集成、与传统因子的残差融合、ONNX/TorchScript 部署与延迟监控。给出可直接套用的 PyTorch 代码与 vectorb…