Linux / 存储
从 fsync、无锁到 io_uring:系统层踩坑入口
从 fsync 失败语义、内存屏障、Zero Copy 到 Direct I/O、文件锁与分配器擂台;也可以按工程问题反查。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
第一次访问时先按主题切入,比直接沿着时间线翻文章更快。
Linux / 存储
从 fsync 失败语义、内存屏障、Zero Copy 到 Direct I/O、文件锁与分配器擂台;也可以按工程问题反查。
大模型基础设施
把训练、推理、量化与服务化串成一条工程主线;先建立 GPU 心智模型,再看全景地图与互联,再进入推理。
量化交易
从数据底盘、因子、组合、风险到回测、执行、做市、高频与合规。先读 01 全景建立链路,再用 16 风险模型 / 25 做市进入深水区。
系统架构
限流与过载、混沌实验、多租户、Cloudflare/Discord 案例,以及 AI 原生架构。
与上方主线不重复的四个深挖入口,减少在 1842 篇文章里盲找的成本。
按最近更新时间排序;如果你想系统性阅读一个主题,优先回到上面的专题入口。
作为系统级 Transformer 系列文章的开篇地图,说明架构规模化统治力背后的数学与并行原理、全系列大纲与 6 条学习路径、符号约定,以及第一道序列并行深度与两两关联规模热身题。
区分 Plausibility 与 Faithfulness:从 Softmax 与 V 的左零空间推导注意力非唯一性,推导并手算 Attention Rollout 矩阵链及 Integrated Gradients 完备性,剖析探针 Selectivity 与 RLHF 后 CoT 忠实度瓶颈。
以 Gilbert Strang 子空间与秩-1 乘积视角拆解 Elhage 电路框架:推导 QK/OV 双线性分解与特征值复制机制,手算 d=4 诱导头前向传播,剖析 Activation Patching 幻觉、Superposition 与 SAE 扩展边界。
解析涌现能力之争:推导 Schaeffer 等人 p^K 非线性指标阈值跳跃与 von Oswald 线性注意力隐式梯度下降等价公式,并从 TC^0 电路复杂度解释 CoT 串行计算跃迁。
区分工程瓶颈与架构下界:解析 FlashAttention I/O 最优性与 SETH 二次复杂度下界,论证固定深度 Transformer 的 TC^0 局限与 Parity 坍缩,梳理长上下文及数据效率约束。
从连续 LTI 常微分方程推导 ZOH 离散化与卷积—递归对偶,解析 HiPPO 正交多项式投影与 S4 DPLR 稳定化,手算 4 步 Blelloch 并行扫描验证结合律,并剖析 Mamba 的复制上界。
以 Gilbert Strang 矩阵乘法结合律拆解线性注意力、RetNet 与 RWKV/DeltaNet:推导秩-1 外积状态递推与正交擦写规则,手算 3-token 等价性,剖析 MQAR 下界与 I/O 内核差距。
分析后 Transformer 架构演进:整合 Jamba/MiniMax-01 混合架构、MLA/NSA 稀疏注意力与 Test-Time Compute,手算 128K 上下文下 Dense/GQA/Hybrid/Mamba 的 KV 显存账本与召回边界。
拆解死循环、乱码与语义兜圈三类推理退化:推导 Softmax 注意力正反馈与秩坍塌、温度陷阱与掩码/FP16 污染,附 4-token 熵坍塌手算与 NumPy 验证及四层防线。
用正交旋转矩阵 Q^T Q=I 严格推导 RoPE 相对位置不变性与保范性质,定量计算高频绕圈与 YaRN/NTK 波长缩放,拆解 ALiBi 斜率衰减与有效上下文评测边界。
用 HBM/SRAM Roofline 模型推导 FlashAttention 的 Theta(N^2 d^2/M) IO 复杂度,完整证明 Online Softmax 增量等价性并完成 N=4 分块手算与 NumPy 实测,对比 FA1/FA2/FA3 演进边界。
用邻接矩阵 A 与图直径形式化 Sparse Transformer、Longformer、BigBird 与 NSA 稀疏拓扑,证明窗口/膨胀/全局图直径与感受野演化,完成 N=8, w=2, g=1 边数与 FLOPs 削减手算及 NumPy 验证。
严格推导 MoE Top-k 门控梯度流与 Switch 辅助损失 Cauchy-Schwarz 极小值条件,完成 2-Token 4-Expert Top-2 手算与 NumPy 验证,拆解 DeepSeek 无辅助损失路由、All-to-All 通信墙与小 Batch 推理瓶颈。
从 2D Patchify 线性投影与 Conv2d 等价性出发,用 Gilbert Strang 子空间秩分析视觉信息损失,推演 ViT-B/16 注意力代价链、DeiT 信号密度与 Swin 窗口架构,附手算与 NumPy 验算。
推导 CLIP 对称 InfoNCE 损失梯度与 SigLIP 逐对 Sigmoid 替代方案,比较 LLaVA MLP/AnyRes、Flamingo Perceiver/Q-Former 压缩与 SAM 边界,附 3×3 手算与 NumPy 验算。