Linux / 存储
从 fsync、无锁到 io_uring:系统层踩坑入口
从 fsync 失败语义、内存屏障、Zero Copy 到 Direct I/O、文件锁与分配器擂台;也可以按工程问题反查。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
第一次访问时先按主题切入,比直接沿着时间线翻文章更快。
Linux / 存储
从 fsync 失败语义、内存屏障、Zero Copy 到 Direct I/O、文件锁与分配器擂台;也可以按工程问题反查。
大模型基础设施
把训练、推理、量化与服务化串成一条工程主线;先建立 GPU 心智模型,再看全景地图与互联,再进入推理。
量化交易
从数据底盘、因子、组合、风险到回测、执行、做市、高频与合规。先读 01 全景建立链路,再用 16 风险模型 / 25 做市进入深水区。
系统架构
限流与过载、混沌实验、多租户、Cloudflare/Discord 案例,以及 AI 原生架构。
与上方主线不重复的四个深挖入口,减少在 1848 篇文章里盲找的成本。
按最近更新时间排序;如果你想系统性阅读一个主题,优先回到上面的专题入口。
本站所有系列专题的总目录。按大模型基础设施、Transformer、量化交易与金融科技、数据与数据库、分布式与存储、密码学与安全、操作系统与底层、网络与 I/O、算法与可观测等方向分类整理,每个系列均给出简介与入口链接。
作为系统级 Transformer 系列文章的开篇地图,说明架构规模化统治力背后的数学与并行原理、全系列大纲与 6 条学习路径、符号约定,以及第一道序列并行深度与两两关联规模热身题。
从二维平面箭头出发,用余弦定理严格证明点积代数与几何定义等价,推导 Cauchy-Schwarz 与三角不等式,系统讲透一维正交投影矩阵与高维几何,最后用 NumPy 落到成对相似度表 QK^T。
用线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
以矩阵乘法的四种等价视角(点积、列线性组合、行线性组合、秩-1 外积之和)拆解 C = AB,手算 2×3 乘 3×2 全四种视角,打通矩阵秩上界、批量张量连续性、einsum 与 GPU 算术强度。
从中学函数 y=f(x) 出发,结合线性与仿射超平面切分几何,推导多层线性为什么会塌缩、ReLU 如何折叠出非线性空间、完成 2x3->2 两层网络手算与 XOR 实证训练,并映射到 Transformer FFN。
拆解激活函数为什么必须是逐元素非线性、ReLU 如何以 O(2^n) 折叠输入空间、Sigmoid/Tanh/SiLU/GELU 精确求导与梯度消失机理,并推导 SwiGLU 的 8/3 d 隐藏维等价公式与手算数值验证。
从 1 维标量链式法则与梯度下降直觉起步,经计算图自动微分、矩阵 VJP 秩一外积规则与 2→2→1 手算,再回扣第 03.5 篇二次型 SPD 条件数讲透动量与 AdamW 优化几何。
从最大熵原理推导出 Softmax,严格证明其平移不变性与 LogSumExp 数值稳定性、雅可比矩阵的零空间与半正定性,并手算验证交叉熵化简梯度与温度熵增。
作为第 02–08 篇的综合串联实战(Part 1 Capstone),把 Embedding 查表、MLP 非线性、Softmax 交叉熵与秩一外积反传拼成端到端可训练网络,含标量手算与纯 NumPy 闭环。
用矩阵列视角解释查表映射与权重绑定,推导 Word2Vec 隐式分解移位 PMI 矩阵与 SVD 截断的等价性,解析 Transformer 嵌入缩放 √d_model 与高维几何。
从固定窗口 MLP 的位置共享缺陷出发,用状态空间视角推导 Elman RNN 展开与 3 步 BPTT 链式法则,完成逐项数值手算与 NumPy 验证,并拆解 LSTM 常数误差传送带、GRU 凸组合门控与 Seq2Seq 上下文瓶颈。
以特征值分解与奇异值上界严格证明 RNN 梯度消失/爆炸的指数机制,完成 A^10 手算与 λ=0.5/1.0/1.5 数值实验,并拆解定长隐藏状态容量墙、GPU 串行瓶颈与 Mamba/RWKV 循环复兴的边界。
从人类阅读眼动与翻译对齐出发,把注意力拆解为可微内容寻址;用矩阵列向量视角说明输出必落在 Value 凸包内,推导 Softmax 雅可比与 O(1) 旁路梯度,并完成 3 词软字典手算与 NumPy 验证。
逐项拆解 Bahdanau 2015(RNNsearch)加性注意力与分块矩阵等价性,严格对比 Luong 2015 乘性变体的参数量与 FLOPs 账本,完成 d=2、2 词条手算与 NumPy 验证,并定位它为何仍受制于解码串行瓶颈。