Linux / 存储
从 fsync、无锁到 io_uring:系统层踩坑入口
从 fsync 失败语义、内存屏障、Zero Copy 到 Direct I/O、文件锁与分配器擂台;也可以按工程问题反查。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
第一次访问时先按主题切入,比直接沿着时间线翻文章更快。
Linux / 存储
从 fsync 失败语义、内存屏障、Zero Copy 到 Direct I/O、文件锁与分配器擂台;也可以按工程问题反查。
大模型基础设施
把训练、推理、量化与服务化串成一条工程主线;先建立 GPU 心智模型,再看全景地图与互联,再进入推理。
量化交易
从数据底盘、因子、组合、风险到回测、执行、做市、高频与合规。先读 01 全景建立链路,再用 16 风险模型 / 25 做市进入深水区。
系统架构
限流与过载、混沌实验、多租户、Cloudflare/Discord 案例,以及 AI 原生架构。
与上方主线不重复的四个深挖入口,减少在 1842 篇文章里盲找的成本。
按最近更新时间排序;如果你想系统性阅读一个主题,优先回到上面的专题入口。
本站所有系列专题的总目录。按大模型基础设施、Transformer、量化交易与金融科技、数据与数据库、分布式与存储、密码学与安全、操作系统与底层、网络与 I/O、算法与可观测等方向分类整理,每个系列均给出简介与入口链接。
作为系统级 Transformer 课程的开篇地图,说明架构规模化统治力背后的数学与并行原理、全系列课程大纲与 6 条学习路径、符号约定,以及第一道张量形状与参数量热身题。
从二维平面箭头出发,用余弦定理严格证明点积代数与几何定义等价,推导 Cauchy-Schwarz 与三角不等式,系统讲透 Gilbert Strang 一维正交投影矩阵与高维几何,最后用 NumPy 落到注意力打分矩阵 QK^T。
用 MIT 18.06/18.065 线性代数核心地图贯通 Transformer:从四个基本子空间与 QK^T 低秩瓶颈,到正交投影与 LayerNorm、正交旋转与 RoPE、特征值与 SPD 病态曲率,再到 SVD 与 LoRA/MLA。
以 Gilbert Strang 矩阵乘法的四种等价视角(点积、列线性组合、行线性组合、秩 1 外积之和)拆解 C = AB,手算 2×3 乘 3×2 全四种视角,并直接映射到 QK^T、attn·V、LoRA 低秩、多头注意力秩瓶颈与 GPU 算术强度。
从中学函数 y=f(x) 出发,结合 Strang 18.065 线性与仿射超平面切分几何,推导多层线性为什么会塌缩、ReLU 如何折叠出非线性空间、完成 2x3->2 两层网络手算与 XOR 实证训练,并映射到 Transformer FFN。
拆解激活函数为什么必须是逐元素非线性、ReLU 如何以 O(2^n) 折叠输入空间、Sigmoid/Tanh/SiLU/GELU 精确求导与梯度消失机理,并推导 SwiGLU 的 8/3 d 隐藏维等价公式与手算数值验证。
从 Gilbert Strang 的二次型特征值与条件数几何出发,推导梯度下降最大稳定步长与锯齿振荡根源,再推导出矩阵微积分 VJP 的秩一外积规则,并用 2→2→1 网络手算与 Python 梯度检验打通从 SGD 到 AdamW 的优化器逻辑。
从最大熵原理推导出 Softmax,严格证明其平移不变性与 LogSumExp 数值稳定性、雅可比矩阵的零空间与半正定性,并手算验证交叉熵化简梯度与温度熵增。
把可微训练闭环压回可手算的标量网络与批量两层 MLP:用 Strang 秩一外积求和视角推透矩阵反向传播,对照 NumPy 与 PyTorch 训练曲线,最后指明固定窗口 MLP 为何卡在序列任务。
用 Gilbert Strang 列视角解释查表映射与权重绑定,推导 Word2Vec 隐式分解移位 PMI 矩阵与 SVD 截断的等价性,解析 Transformer 嵌入缩放 √d_model 与高维几何。
从固定窗口 MLP 的位置共享缺陷出发,用状态空间视角推导 Elman RNN 展开与 3 步 BPTT 链式法则,完成逐项数值手算与 NumPy 验证,并拆解 LSTM 常数误差传送带、GRU 凸组合门控与 Seq2Seq 上下文瓶颈。
以 Gilbert Strang 特征值分解与奇异值上界严格证明 RNN 梯度消失/爆炸的指数机制,完成 A^10 手算与 λ=0.5/1.0/1.5 数值实验,并拆解定长隐藏状态容量墙、GPU 串行瓶颈与 Mamba/RWKV 循环复兴的边界。
从人类阅读眼动与翻译对齐出发,把注意力拆解为可微内容寻址;用 Gilbert Strang 列向量视角说明输出必落在 Value 凸包内,推导 Softmax 雅可比与 O(1) 旁路梯度,并完成 3 词软字典手算与 NumPy 验证。
逐项拆解 Bahdanau 2015(RNNsearch)加性注意力与分块矩阵等价性,严格对比 Luong 2015 乘性变体的参数量与 FLOPs 账本,完成 d=2、2 词条手算与 NumPy 验证,并定位它为何仍受制于解码串行瓶颈。