课程结业测试:三套阶段考卷、标准解答与知识查漏矩阵

第 62/62 篇

系列目录 59 推理退化:乱码、死循环与无意义文本为…

目录

读完 61 篇正文却从未闭卷算过一道矩阵分解、一次 Softmax 雅可比或一轮 Online Softmax 分块递推,很难判断哪些原理真正内化、哪些只是“看懂了别人写好的推导”。这套课程结业测试把本系列全部内容浓缩为三套分级限时考卷(总分 \(320\) 分):第一套 Quiz 1 检验 Gilbert Strang 线性代数与单层/多头注意力内核;第二套 Midterm 检验原论文设计动机、优化配方与现代对齐/缩放法则;第三套 Final Exam 检验长上下文位置编码、FlashAttention、MoE/MLA、投机解码、电路可解释性、\(TC^0\) 复杂度边界与状态空间/线性注意力。

学习目标(学完你能独立回答)

  1. 不查笔记,在限时内手算出给定小规模矩阵的四子空间分裂、正交投影、反向传播秩-1 外积、Softmax Jacobian 零空间与 3-token 因果缩放点积注意力输出。
  2. 独立完成 Sinusoidal \(SO(2)\) 旋转证明、LayerNorm 解析梯度、SwiGLU \(\frac{8}{3}d\) 对等账、LoRA 首步不对称梯度、DPO 配分函数相消与 Chinchilla 拉格朗日最优 \((N^*, D^*)\) 闭式推导。
  3. 严格推导与手算 RoPE 频率绕圈边界、FlashAttention 两块 Online Softmax、DeepSeek MLA 矩阵吸收压缩比、无损投机采样无偏性、Elhage OV 特征方向以及 Mamba 4 步 Blelloch 并行扫描。
Transformer Curriculum Mastery Roadmap and Three-Stage Exam Structure

一、考试说明、作答规范与评分标准

每套试卷都按前 \(90\%\) 闭卷纸笔推导 + 后 \(10\%\) 运行核验设计,建议准备空白 A4 草稿纸与计时器严格模拟:

考卷 覆盖范围 题数与总分 建议用时 及格线(\(70\%\)) 优秀线(\(85\%\))
Quiz 1 第 01–18 篇 + 03.5、08.5 \(4\) 大题,\(100\) 分 \(60\) 分钟 \(70\) 分 \(85\) 分
Midterm Exam 第 19–40 篇 \(4\) 大题,\(100\) 分 \(90\) 分钟 \(70\) 分 \(85\) 分
Final Exam 第 41–59 篇 \(5\) 大题,\(120\) 分 \(120\) 分钟 \(84\) 分 \(102\) 分
全课程总评 全系列第 01–59 篇 \(13\) 大题,\(320\) 分 \(270\) 分钟(分三次) \(224\) 分 \(272\) 分(卓越 \(\ge 288\) 分)

作答约定与注意事项: - 作答环境:先关闭所有章节页面与 Python 终端,独立在草稿纸上列出完整步骤后再展开 <details> 逐分自评;涉及指数、对数数值计算(如 \(e^1 \approx 2.718282\)、\(e^2 \approx 7.389056\)、\(\ln 2 \approx 0.693147\)、\(\ln 10 \approx 2.302585\))可使用基础科学计算器,最终运行第五节的纯 Python / NumPy 脚本交叉校验。 - 张量约定:除非题目另有声明,向量 \(\mathbf{x} \in \mathbb{R}^d\) 默视为列向量;Transformer 批量前向线性层常采用行向量右乘 \(\mathbf{y}^\top = \mathbf{x}^\top W\),两种约定下的转置关系已在相关题目中写明。 - 考后回溯:每道题末尾都标出了对应补漏章节链接,凡得分低于该题满分 \(70\%\) 的模块,建议先重做对应章节的「跟着纸笔算一遍」与课后作业,再重测同类型题。


二、Quiz 1:线性代数几何与注意力内核(100 分,建议 60 分钟)

第 1 题(25 分):Gilbert Strang 四个基本子空间与单头 \(W_Q W_K^\top\) 秩瓶颈

参考答案与评分细则(先独立推导再展开)
  • (a) 秩上限与零空间盲区(8 分):
    1. 由秩不等式 \(\operatorname{rank}(W_Q W_K^\top) \le \min(\operatorname{rank}(W_Q), \operatorname{rank}(W_K)) \le d_k = 64\)(\(3\) 分)。
    2. 因此行空间 \(C(M^\top)\) 维度至多为 \(64\);由 Strang 维度定理 \(\dim C(M^\top) + \dim N(M) = 512\),零空间 \(N(M)\) 维度至少为 \(512 - 64 = 448\)(\(3\) 分)。
    3. 该上界由矩阵张量形状决定,与优化器或样本数无关;落入 \(N(M)\) 的特征方向对单头打分完全隐形,必须靠多个头占据不同的 \(64\) 维子空间并通过 \(W_O\) 拼回残差流(\(2\) 分)。
  • (b) 四子空间与正交分裂手算(10 分):
    1. \(A\) 的两行线性无关,故秩 \(r = 2\)(\(1\) 分)。维度与基:\(C(A^\top)\) 在 \(\mathbb{R}^3\) 中占 \(2\) 维,基为 \((1,1,2)^\top, (0,1,1)^\top\);\(C(A) = \mathbb{R}^2\) 占 \(2\) 维,基为标准基 \((1,0)^\top, (0,1)^\top\);\(N(A^\top) = \{\mathbf{0}\}\) 占 \(0\) 维(\(2\) 分)。解 \(A\mathbf{n} = \mathbf{0}\) 得 \(n_2 = -n_3,\ n_1 = -n_2 - 2n_3 = -n_3\),取基 \(\mathbf{n} = (1, 1, -1)^\top\),故 \(\dim N(A) = 1\)(\(2\) 分)。
    2. 将 \(\mathbf{x} = (4, 2, 0)^\top\) 投影到 \(N(A)\):系数 \(c = \frac{\mathbf{n}^\top \mathbf{x}}{\mathbf{n}^\top \mathbf{n}} = \frac{4 + 2 - 0}{1 + 1 + 1} = 2\),得 \(\mathbf{x}_n = (2, 2, -2)^\top\),\(\mathbf{x}_r = \mathbf{x} - \mathbf{x}_n = (2, 0, 2)^\top = 2(1,1,2)^\top - 2(0,1,1)^\top \in C(A^\top)\)(\(3\) 分)。
    3. 核验:\(\mathbf{x}_r^\top \mathbf{x}_n = 4 + 0 - 4 = 0\),且 \(A\mathbf{x} = (6, 2)^\top = A\mathbf{x}_r\)(\(2\) 分)。
  • (c) 多头分块等价式与参数账(7 分):
    1. 将 \(W_O \in \mathbb{R}^{512\times 512}\) 按行切为 \(8\) 块 \(W_O^\top = [(W_O^{(1)})^\top, \dots, (W_O^{(8)})^\top]\),由分块矩阵乘法得 \([O_1, \dots, O_8] W_O = \sum_{h=1}^8 O_h W_O^{(h)}\)(\(4\) 分)。
    2. 所有 \(8\) 个头的 \(W_Q^{(h)}, W_K^{(h)}, W_V^{(h)}\) 横向拼接恰好构成三个 \(512\times 512\) 矩阵,加上 \(W_O\) 共 \(4 d_{\text{model}}^2\) 参数;每个头只算 \(1/H\) 宽度,多头参数与算力与单全维头等价(\(3\) 分)。

对应补漏章节:03|矩阵乘法的四种视角、03.5|Gilbert Strang 线性代数核心地图、16|Multi-Head Attention。

第 2 题(25 分):Strang 正交投影 \(P_{\mathbf{a}}\)、Cauchy-Schwarz 与点积缩放

参考答案与评分细则(先独立推导再展开)
  • (a) 一维投影手算与验算(8 分):
    1. \(\mathbf{a}^\top \mathbf{a} = 1 + 4 + 4 = 9\),\(\mathbf{a}^\top \mathbf{b} = 6 + 6 + 12 = 24\)(\(2\) 分)。
    2. \(P_{\mathbf{a}} = \frac{1}{9}\begin{pmatrix} 1 & 2 & 2 \\ 2 & 4 & 4 \\ 2 & 4 & 4 \end{pmatrix}\)(\(2\) 分)。
    3. \(\mathbf{p} = \frac{24}{9}\mathbf{a} = \frac{8}{3}(1,2,2)^\top = \left(\frac{8}{3}, \frac{16}{3}, \frac{16}{3}\right)^\top\),\(\mathbf{e} = \mathbf{b} - \mathbf{p} = \left(\frac{10}{3}, -\frac{7}{3}, \frac{2}{3}\right)^\top\)(\(2\) 分)。
    4. \(\mathbf{p}^\top \mathbf{e} = \frac{80 - 112 + 32}{9} = 0\);\(\|\mathbf{p}\|_2^2 = 64,\ \|\mathbf{e}\|_2^2 = \frac{100+49+4}{9} = 17,\ \|\mathbf{b}\|_2^2 = 36+9+36 = 81 = 64 + 17\)(\(2\) 分)。
  • (b) Cauchy-Schwarz 证明与余弦相似度(7 分):
    1. 展开 \(\|\mathbf{e}\|_2^2 = \|\mathbf{b}\|_2^2 - 2\frac{(\mathbf{a}^\top\mathbf{b})^2}{\|\mathbf{a}\|_2^2} + \frac{(\mathbf{a}^\top\mathbf{b})^2}{\|\mathbf{a}\|_2^4}\|\mathbf{a}\|_2^2 = \|\mathbf{b}\|_2^2 - \frac{(\mathbf{a}^\top\mathbf{b})^2}{\|\mathbf{a}\|_2^2} \ge 0\)(\(3\) 分)。
    2. 移项乘 \(\|\mathbf{a}\|_2^2\) 得 \((\mathbf{a}^\top\mathbf{b})^2 \le \|\mathbf{a}\|_2^2\|\mathbf{b}\|_2^2\),开方即得 \(|\mathbf{a}^\top\mathbf{b}| \le \|\mathbf{a}\|_2\|\mathbf{b}\|_2\)(\(2\) 分)。
    3. \(\|\mathbf{a}\|_2 = 3,\ \|\mathbf{b}\|_2 = \sqrt{81} = 9\),故 \(\cos\theta = \frac{24}{3\times 9} = \frac{8}{9} \approx 0.8889\)(\(2\) 分)。
  • (c) 点积方差证明与缩放数值对比(10 分):
    1. \(\mathbb{E}[q_i k_i] = 0\)(独立零均值)。\(\operatorname{Var}(\sum_{i=1}^{d_k} q_i k_i) = \sum_{i=1}^{d_k}\operatorname{Var}(q_i k_i) + \sum_{i\neq j}\operatorname{Cov}(q_i k_i, q_j k_j)\)。因各维度独立,交叉项协方差全为 \(0\);对角项 \(\operatorname{Var}(q_i k_i) = \mathbb{E}[q_i^2]\mathbb{E}[k_i^2] - 0 = 1\cdot 1 = 1\),加和得 \(d_k\)(\(4\) 分)。
    2. 数值对比(\(4\) 分):
      • 无缩放 \([0, 8, 0]\):\(p_2 = \frac{e^8}{2 + e^8} \approx 0.9993\),\(p_2(1-p_2) \approx 0.0007\)(Softmax 严重饱和,梯度归零);
      • 除以 \(\sqrt{d_k}=8\) 得 \([0, 1, 0]\):\(p_2 = \frac{e^1}{2+e^1} \approx 0.5761\),\(p_2(1-p_2) \approx 0.2442\)(接近峰值 \(0.25\));
      • 除以 \(d_k=64\) 得 \([0, 0.125, 0]\):\(p_2 = \frac{e^{0.125}}{2+e^{0.125}} \approx 0.3617\),\(p_2(1-p_2) \approx 0.2309\)。
    3. 尽管除以 \(d_k\) 时 Softmax 雅可比对角元本身未饱和,但分布趋向均匀 \(1/N\),且链式法则前端再乘缩放导数 \(1/d_k = 1/64\),仍导致回传给 Query 的总梯度被额外压低 \(d_k\) 倍(\(2\) 分)。

对应补漏章节:02|向量、内积与正交投影、15|Scaled Dot-Product。

第 3 题(25 分):反向传播秩-1 外积规则与 Softmax Jacobian 零空间

参考答案与评分细则(先独立推导再展开)
  • (a) 前向与秩-1 外积反向传播(9 分):
    1. 前向(\(2\) 分):\(\mathbf{z}_1^\top = [2, -1]\begin{pmatrix} 2 & -1 \\ 1 & 1 \end{pmatrix} = [3, -3]\),\(\mathbf{h}^\top = \operatorname{ReLU}([3, -3]) = [3, 0]\),\(\mathbf{y}^\top = [3, 0]\begin{pmatrix} 1 & 2 \\ -1 & 3 \end{pmatrix} = [3, 6]\)。
    2. \(\nabla_{W_2} L = \mathbf{h}\mathbf{g}_y^\top = \begin{pmatrix} 3 \\ 0 \end{pmatrix}[1, -2] = \begin{pmatrix} 3 & -6 \\ 0 & 0 \end{pmatrix}\),秩为 \(1\)(\(2\) 分)。
    3. \(\mathbf{g}_h = W_2 \mathbf{g}_y = \begin{pmatrix} 1 & 2 \\ -1 & 3 \end{pmatrix}\begin{pmatrix} 1 \\ -2 \end{pmatrix} = \begin{pmatrix} -3 \\ -7 \end{pmatrix}\);穿过 \(\operatorname{ReLU}'([3, -3]) = [1, 0]\) 得 \(\mathbf{g}_{z_1} = (-3, 0)^\top\)(\(2\) 分)。
    4. \(\nabla_{W_1} L = \mathbf{x}\mathbf{g}_{z_1}^\top = \begin{pmatrix} 2 \\ -1 \end{pmatrix}[-3, 0] = \begin{pmatrix} -6 & 0 \\ 3 & 0 \end{pmatrix}\)(秩为 \(1\)),\(\mathbf{g}_x = W_1 \mathbf{g}_{z_1} = \begin{pmatrix} -6 \\ -3 \end{pmatrix}\)(\(3\) 分)。
  • (b) Softmax 精确 Jacobian 与零空间(10 分):
    1. \(e^{\mathbf{z}} = (1, 2, 3)\),总和 \(6\),故 \(\mathbf{p} = \left(\frac{1}{6},\ \frac{1}{3},\ \frac{1}{2}\right)^\top\)(\(2\) 分)。
    2. \(J = \operatorname{diag}\left(\frac{1}{6}, \frac{1}{3}, \frac{1}{2}\right) - \frac{1}{36}\begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 3 & 6 & 9 \end{pmatrix} = \frac{1}{36}\begin{pmatrix} 5 & -2 & -3 \\ -2 & 8 & -6 \\ -3 & -6 & 9 \end{pmatrix}\)(\(4\) 分)。
    3. \(J\mathbf{1} = \frac{1}{36}(5-2-3,\ -2+8-6,\ -3-6+9)^\top = (0, 0, 0)^\top\)。由 Strang 正交补定理 \(C(J^\top) \perp N(J)\),任意回传梯度 \(\mathbf{g}_z = J^\top \mathbf{g}_p\) 必满足 \(\mathbf{1}^\top \mathbf{g}_z = \sum_i g_{z,i} = 0\)(总和为零的概率再分配,对应 Softmax 的平移不变性)(\(4\) 分)。
  • (c) 交叉熵合并梯度与半正定证明(6 分):
    1. \(\mathbf{g}_p = (0, 0, -2)^\top\),\(\mathbf{g}_z = J^\top \mathbf{g}_p = \frac{1}{36}\begin{pmatrix} (-3)(-2) \\ (-6)(-2) \\ 9(-2) \end{pmatrix} = \begin{pmatrix} 1/6 \\ 1/3 \\ -1/2 \end{pmatrix} = \mathbf{p} - \mathbf{e}_3\)(\(3\) 分)。
    2. \(\mathbf{v}^\top J\mathbf{v} = \sum_i p_i v_i^2 - (\sum_i p_i v_i)^2 = \mathbb{E}_{i\sim\mathbf{p}}[v_i^2] - (\mathbb{E}_{i\sim\mathbf{p}}[v_i])^2 = \operatorname{Var}_{i\sim\mathbf{p}}(v_i) \ge 0\)(\(3\) 分)。

对应补漏章节:06|梯度下降与反向传播、07|Softmax 与概率分布、08.5|神经网络基础。

第 4 题(25 分):3-Token 因果缩放点积注意力手算与 FLOPs 交叉点

参考答案与评分细则(先独立推导再展开)
  • (a) 3-Token 因果自注意力手算(13 分):
    1. 打分矩阵 \(S = \frac{1}{2}QK^\top = \begin{pmatrix} 1 & 1 & 0.5 \\ 1 & 1 & 1 \\ 1 & 0 & 2 \end{pmatrix}\)(\(3\) 分)。
    2. 施加下三角因果掩码 \(M_{\text{causal}}\)(\(j > i\) 置 \(-\infty\))并逐行 Softmax(\(5\) 分):
      • 第 \(1\) 行 \([1, -\infty, -\infty] \implies [1.0,\ 0,\ 0]\);
      • 第 \(2\) 行 \([1, 1, -\infty] \implies [0.5,\ 0.5,\ 0]\);
      • 第 \(3\) 行 \([1, 0, 2]\):分母 \(Z_3 = e^1 + 1 + e^2 \approx 2.718282 + 1 + 7.389056 = 11.107338\),权重为 \([0.244728,\ 0.090031,\ 0.665241]\)(取 \(4\) 位小数为 \([0.2447,\ 0.0900,\ 0.6652]\))。
    3. 矩阵乘 \(O = AV\)(\(5\) 分):
      • \(\mathbf{o}_1 = \mathbf{v}_1 = [1.0,\ 0.0,\ 2.0,\ 0.0]\);
      • \(\mathbf{o}_2 = 0.5\mathbf{v}_1 + 0.5\mathbf{v}_2 = [0.5,\ 1.0,\ 1.0,\ 1.0]\);
      • \(\mathbf{o}_3 = 0.244728[1,0,2,0] + 0.090031[0,2,0,2] + 0.665241[2,2,0,0] \approx [1.5752,\ 1.5105,\ 0.4895,\ 0.1801]\)。
  • (b) 单层 FLOPs 推导与交叉点(12 分):
    1. 一次 \((n\times a)\cdot(a\times b)\) 矩阵乘需 \(2nab\) FLOPs(\(a\) 次乘加各占 \(2\) FLOPs):
      • \(Q, K, V, O\) 四个 \(d\times d\) 投影:\(4 \times 2 n d^2 = 8 n d^2\);
      • FFN 两层 \(4d\) MLP(\(d\to 4d\to d\)):\(2 \times (2 n d \cdot 4d) = 16 n d^2\)(若为 \(\frac{8}{3}d\) SwiGLU,三矩阵共 \(3 \times 2 n d \cdot \frac{8}{3}d = 16 n d^2\));
      • 注意力交互 \(QK^\top\)(\((n\times d_k)(d_k\times n)\) 多头汇总为 \(2 n^2 d\))与 \(AV\)(\(2 n^2 d\)),合计 \(4 n^2 d\)。总计 \(24 n d^2 + 4 n^2 d\)(\(6\) 分)。
    2. 令 \(4 n^2 d = 24 n d^2 \implies n^* = 6d\);当 \(d = 4096\) 时,\(n^* = 24{,}576\)(\(2\) 分)。
    3. 代入 \(d = 4096\)(\(2\) 分/项,共 \(4\) 分):
      • \(n = 4096\):\(\text{GEMM} = 24 \times 4096^3 \approx 1.6493\text{ TFLOPs}\),\(\text{Attn} = 4 \times 4096^3 \approx 0.2749\text{ TFLOPs}\),合计 \(1.9241\text{ TFLOPs}\),注意力占比 \(\frac{4}{28} \approx 14.29\%\);
      • \(n = 65536 = 16 d\):\(\text{GEMM} = 26.3883\text{ TFLOPs}\),\(\text{Attn} = 70.3687\text{ TFLOPs}\),合计 \(96.7570\text{ TFLOPs}\),注意力占比 \(\frac{4\times 16}{24 + 4\times 16} = \frac{64}{88} \approx 72.73\%\)。

对应补漏章节:14|Self-Attention、17|Causal Mask、18|注意力的复杂度问题。


三、Midterm Exam:原论文剖析与现代大模型训练范式(100 分,建议 90 分钟)

第 1 题(25 分):Sinusoidal \(SO(2)\) 旋转证明、Pre-LN vs Post-LN 与 LayerNorm 投影 Jacobian

参考答案与评分细则(先独立推导再展开)
  • (a) 正弦编码 \(SO(2)\) 证明与演化动机(8 分):
    1. 利用三角和角公式展开 \(\sin(\omega_i(\text{pos}+\Delta k))\) 与 \(\cos(\omega_i(\text{pos}+\Delta k))\),整理为矩阵乘法:\(R(\omega_i\Delta k) = \begin{pmatrix} \cos(\omega_i\Delta k) & \sin(\omega_i\Delta k) \\ -\sin(\omega_i\Delta k) & \cos(\omega_i\Delta k) \end{pmatrix}\)(注意 \((\sin,\cos)^\top\) 序下右上角为 \(+\sin\))(\(3\) 分)。
    2. 逐项计算 \(R^\top R = \begin{pmatrix} \cos^2+\sin^2 & \cos\sin-\sin\cos \\ \sin\cos-\cos\sin & \sin^2+\cos^2 \end{pmatrix} = I_2\),且 \(\det R = \cos^2 + \sin^2 = 1\),故 \(R \in SO(2)\)(\(3\) 分)。
    3. 仅在 \(\text{PE}\) 向量自身间成立正交位移不变;加到词嵌入 \(\mathbf{e} + \mathbf{p}\) 并乘以 \(W_Q, W_K\) 后,一般情况下 \(W_Q^\top W_K\) 与分块旋转矩阵不对易,且词义交叉项引入干扰,使相对位移仅作为“可学下限”而非硬结构保证(\(2\) 分)。
  • (b) Post-LN vs Pre-LN 特征值与方差分析(7 分):
    1. Post-LN:\(\mathbf{h}_{\ell+1} = \operatorname{LN}(\mathbf{h}_\ell + F_\ell(\mathbf{h}_\ell))\),层间雅可比外乘归一化系数 \(J_{\text{LN}}(I + J_{F_\ell})\),由于顶层输出方差大使得 \(1/s\) 与残差信号耦合,底层梯度易随深度衰减而顶层初期方差极大,必须依赖线性 Warmup 缓冲(\(4\) 分)。
    2. Pre-LN:\(\mathbf{h}_{\ell+1} = \mathbf{h}_\ell + F_\ell(\operatorname{LN}(\mathbf{h}_\ell))\),反向路径包含纯恒等项 \(\prod (I + J_{F_\ell \circ \text{LN}}^\top)\),特征值锚定在 \(1\) 附近使百层可稳训;代价是未受外层归一化约束的主干残差流方差随深度 \(O(L)\) 增长,深层输出贡献易相对变浅(工程常用 \(1/\sqrt{2L}\) 残差初始化或 DeepNorm 缓解)(\(3\) 分)。
  • (c) LayerNorm 精确手算(10 分):
    1. \(\mu = \frac{0+6+8+14}{4} = 7\),\(\tilde{\mathbf{x}} = (-7, -1, 1, 7)^\top\),\(\sigma^2 = \frac{49+1+1+49}{4} = 25 \implies \sigma = 5\),\(\hat{\mathbf{x}} = (-1.4, -0.2, 0.2, 1.4)^\top\)(\(4\) 分)。
    2. \(\bar{g} = \frac{3 - 1 + 2 + 4}{4} = 2 \implies P_{\mathbf{1}^\perp}\mathbf{g} = (1, -3, 0, 2)^\top\)(\(2\) 分)。
    3. \(\hat{\mathbf{x}}^\top \mathbf{g} = (-1.4)(3) + (-0.2)(-1) + (0.2)(2) + (1.4)(4) = -4.2 + 0.2 + 0.4 + 5.6 = 2.0\),径向修正 \(\frac{2.0}{4}\hat{\mathbf{x}} = (-0.7, -0.1, 0.1, 0.7)^\top\)(\(2\) 分)。
    4. \(\nabla_{\mathbf{x}}\mathcal{L} = \frac{1}{5}\big((1,-3,0,2)^\top - (-0.7,-0.1,0.1,0.7)^\top\big) = \frac{1}{5}(1.7, -2.9, -0.1, 1.3)^\top = (0.34, -0.58, -0.02, 0.26)^\top\);核验 \(\mathbf{1}^\top \nabla_{\mathbf{x}}\mathcal{L} = 0\),且 \(\hat{\mathbf{x}}^\top \nabla_{\mathbf{x}}\mathcal{L} = -0.476 + 0.116 - 0.004 + 0.364 = 0\)(\(2\) 分)。

对应补漏章节:21|位置编码、24|残差连接、25|Layer Normalization。

第 2 题(25 分):Geva 秩-1 键值记忆、SwiGLU \(\frac{8}{3}d\) 对等账、Label Smoothing 与 Noam 学习率

参考答案与评分细则(先独立推导再展开)
  • (a) Geva 键值记忆手算(8 分):
    1. 记 \(W_1\) 的第 \(m\) 列为键向量 \(\mathbf{k}_m\)、\(W_2\) 的第 \(m\) 行为值向量 \(\mathbf{v}_m^\top\),则 \(c_m(\mathbf{x}) = \operatorname{ReLU}(\mathbf{x}^\top\mathbf{k}_m + b_{1,m})\),输出为 \(\sum_{m=1}^{d_{\text{ff}}} c_m(\mathbf{x})\mathbf{v}_m^\top\)(\(3\) 分)。
    2. 预激活 \(\mathbf{x}^\top W_1 + \mathbf{b}_1^\top = [1+2+0,\ -1+2-2,\ 2-2+1] = [3, -1, 1]\),经 ReLU 得 \((c_1, c_2, c_3) = (3, 0, 1)\)(\(3\) 分)。
    3. 仅槽 \(1\) 与槽 \(3\) 激活:\(\mathbf{y}^\top = 3\cdot[2, -1] + 0 + 1\cdot[0.5, 0.5] = [6.5, -2.5]\)(\(2\) 分)。
  • (b) SwiGLU 维度对等与对齐(5 分):
    1. 三矩阵 \(W_{\text{gate}}, W_{\text{up}} \in \mathbb{R}^{d\times d_{\text{ff}}}\) 与 \(W_{\text{down}} \in \mathbb{R}^{d_{\text{ff}}\times d}\) 总参数为 \(3 d d_{\text{ff}}\),前向 FLOPs 为 \(6 n d d_{\text{ff}}\)。令 \(3 d d_{\text{ff}} = 8 d^2 \implies d_{\text{ff}} = \frac{8}{3}d\),此时算力亦精确等于 \(16nd^2\)(\(3\) 分)。
    2. GPU Tensor Core 分块矩阵乘要求通道维度为 \(64/128/256\) 的整数倍以避免尾部填充浪费,\(11008 = 43 \times 256\) 是最接近的 \(256\) 倍数(\(2\) 分)。
  • (c) Label Smoothing 与 Noam 学习率(12 分):
    1. KL 非负且仅当 \(\mathbf{p}=\mathbf{q}\) 取零,故最优分布为 \(p_y^* = 1 - \epsilon + \frac{\epsilon}{V},\ p_{i\neq y}^* = \frac{\epsilon}{V}\),由此 \(\Delta z^* = \ln(p_y^* / p_{i\neq y}^*) = \ln\!\left(\frac{(1-\epsilon)V + \epsilon}{\epsilon}\right)\)(\(3\) 分)。代入 \(V=10,\ \epsilon=0.1\):\(q_y = 0.91,\ q_{i\neq y} = 0.01\),\(\Delta z^* = \ln(91) \approx 4.5109\)。因压低目标置信度上限至 \(0.91\),NLL 与 PPL 略增;但有界间隔防止末层过自信并保留次优词概率梯度,使 Beam Search 测试 BLEU 提高(\(3\) 分)。
    2. 令两段相等 \(t^{-0.5} = t\cdot t_w^{-1.5} \implies t_{\text{peak}} = t_w\),\(\eta_{\max} = (d_{\text{model}}\cdot t_w)^{-0.5}\)(\(2\) 分)。代入 \(t_w=4000\):Base 峰值 \(\eta(4000) = (512\times 4000)^{-0.5} \approx 6.9877\times 10^{-4}\);\(t=1000\) 为峰值 \(1/4\) 即 \(1.7469\times 10^{-4}\);\(t=16000\) 为峰值 \(1/2\) 即 \(3.4939\times 10^{-4}\);Big 峰值缩小 \(1/\sqrt{2}\) 倍至 \(4.9411\times 10^{-4}\)(\(4\) 分)。

对应补漏章节:26|前馈网络、27|原论文训练配方。

第 3 题(25 分):LoRA SVD 低秩逼近、首步梯度与 SFT -100 掩码及打包泄漏

参考答案与评分细则(先独立推导再展开)
  • (a) Eckart-Young 截断与 LoRA 参数预算(7 分):
    1. 在所有秩 \(\le k\) 矩阵中,\(A_k\) 同时最小化 \(\|\cdot\|_F\)(最优误差 \(\sqrt{\sum_{i>k}\sigma_i^2}\))和 \(\|\cdot\|_2\)(\(\sigma_{k+1}\))(\(2\) 分)。
    2. \(\|\Delta W^*\|_F^2 = 36 + 4 + 0.16 + 0.04 = 40.20\);秩-\(1\) 绝对误差 \(\sqrt{4 + 0.16 + 0.04} = \sqrt{4.20} \approx 2.0494\),相对误差 \(\sqrt{4.20/40.20} \approx 32.32\%\),能量占比 \(36/40.20 \approx 89.55\%\)(\(3\) 分)。
    3. 参数比 \(\frac{2\times 16 \times 4096}{4096^2} = \frac{32}{4096} = \frac{1}{128} \approx 0.781\%\)(压缩 \(128:1\))(\(2\) 分)。
  • (b) LoRA 梯度流推导与手算(9 分):
    1. \(\nabla_B L = s\,\mathbf{g}_y (A\mathbf{x})^\top\),\(\nabla_A L = s\,B^\top \mathbf{g}_y \mathbf{x}^\top\)。若 \(A_0=B_0=\mathbf{0}\),两者梯度恒为零锁死在鞍点;取 \(B_0=\mathbf{0},\ A_0\neq \mathbf{0}\) 则首步旁路输出为零不扰动基座,同时 \(\nabla_{B_0}L \neq \mathbf{0}\) 激活 \(B_1\) 更新,进而在第 \(1\) 步解锁 \(\nabla_{A_1}L\)(\(3\) 分)。
    2. 第 \(0\) 步(\(3\) 分):\(s=2\),\(h_0 = A_0\mathbf{x} = 3\),\(\mathbf{y}_0 = (1, 2)^\top\),\(L_0 = \frac{1}{2}(1+4) = 2.5000\);\(\mathbf{g}_{y,0} = \mathbf{y}_0 - \mathbf{y}^* = (-1, 2)^\top\),得 \(\nabla_{B_0}L = 2(-1, 2)^\top\cdot 3 = (-6, 12)^\top\),\(\nabla_{A_0}L = (0, 0)\)。
    3. 更新与第 \(1\) 步(\(3\) 分):\(B_1 = B_0 - 0.02(-6, 12)^\top = (0.12, -0.24)^\top\),\(A_1 = (1, 1)\)。第 \(1\) 步 \(\mathbf{y}_1 = (1, 2)^\top + 2\cdot 3\cdot (0.12, -0.24)^\top = (1.72, 0.56)^\top\),\(L_1 = \frac{1}{2}((-0.28)^2 + 0.56^2) = 0.1960\);\(\mathbf{g}_{y,1} = (-0.28, 0.56)^\top\),\(\nabla_{B_1}L = 6\mathbf{g}_{y,1} = (-1.68, 3.36)^\top\),\(\nabla_{A_1}L = 2 B_1^\top \mathbf{g}_{y,1} \mathbf{x}^\top = 2(0.12(-0.28) - 0.24(0.56))(1, 2) = -0.336(1, 2) = (-0.336, -0.672)\)。
  • (c) SFT -100 掩码与打包泄漏(9 分):
    1. 逐行算 NLL(\(3\) 分):
      • \(t=1\)(目标 \(0\)):\(\ell_1 = \ln(1 + e^{1.5}) \approx 1.701413\);
      • \(t=2\)(目标 \(1\)):\(\ell_2 = \ln(1 + e^{-1.0}) \approx 0.313262\);
      • \(t=3\)(目标 \(1\)):\(\ell_3 = \ln(1 + e^{1.0}) \approx 1.313262\);
      • \(t=4\)(目标 \(0\)):\(\ell_4 = \ln(1 + e^{-1.5}) \approx 0.201413\)。
    2. 未掩码均值 \(\frac{1.701413+0.313262+1.313262+0.201413}{4} \approx 0.8823\),其中 Prompt 占比 \(\frac{1.701413+1.313262}{3.529350} \approx 85.42\%\);掩码 -100 后均值 \(\frac{0.313262 + 0.201413}{2} \approx 0.2573\)(\(3\) 分)。
    3. 普通因果掩码下文档 2 的位置 \(3, 4\) 会偷看到文档 1 的位置 \(1, 2\),泄漏集合共 \(4\) 处:\((3,1), (3,2), (4,1), (4,2)\);position_ids 必须按文档边界重置为 \([0, 1, 0, 1]\)(\(3\) 分)。

对应补漏章节:03.5|Gilbert Strang 线性代数核心地图、31|微调演进、32|指令微调。

第 4 题(25 分):DPO/GRPO 对齐推导、Chinchilla 拉格朗日求解与三大路线掩码秩及 KV 复用

参考答案与评分细则(先独立推导再展开)
  • (a) DPO 配分函数相消与 GRPO 优势(8 分):
    1. 含归一化约束的拉格朗日函数驻点给出 \(\pi^*(y\mid x) = \frac{1}{Z(x)}\pi_{\mathrm{ref}}(y\mid x)\exp\!\big(\frac{r(x,y)}{\beta}\big)\),其中 \(Z(x) = \sum_{y'}\pi_{\mathrm{ref}}(y'\mid x)\exp(r(x,y')/\beta)\)(\(2\) 分)。
    2. 两边取对数反解得 \(r(x,y) = \beta\log\frac{\pi^*(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} + \beta\log Z(x)\);在同一个 \(x\) 下代入 \(r(x,y_w)-r(x,y_l)\) 时,\(\beta\log Z(x)\) 仅依赖 \(x\) 而严格相消,代入 Bradley-Terry 负对数似然即得 DPO 损失(\(3\) 分)。
    3. 对 \(\mathbf{r}_A = (1, 1, 0, 0)\):均值 \(0.5\),总体标准差 \(\sigma = 0.5\),优势 \(\hat{\mathbf{A}}_A = (+1, +1, -1, -1)\);对 \(\mathbf{r}_B = (1, 1, 1, 1)\):\(\sigma = 0\),优势全退化为 \((0, 0, 0, 0)\),导致样本对策略梯度无有效更新(需过采样过滤)(\(3\) 分)。
  • (b) Chinchilla 拉格朗日推导与算例(10 分):
    1. 构造 \(\mathcal{L}(N,D,\lambda) = E + AN^{-\alpha} + BD^{-\beta} + \lambda(6ND - C)\),令偏导为零:\(\frac{\alpha A N^{-\alpha-1}}{6D} = \frac{\beta B D^{-\beta-1}}{6N} \implies \alpha A N^{-\alpha} = \beta B D^{-\beta}\)(\(3\) 分)。解出 \(D = (\frac{\beta B}{\alpha A})^{1/\beta} N^{\alpha/\beta}\) 代入 \(6ND=C\) 得 \(N^* = G(C/6)^a,\ D^* = G^{-1}(C/6)^b\),其中 \(a=\frac{\beta}{\alpha+\beta},\ b=\frac{\alpha}{\alpha+\beta},\ G=(\frac{\alpha A}{\beta B})^{1/(\alpha+\beta)}\)(\(2\) 分)。
    2. 代入数值:\(a = 0.28/0.62 \approx 0.451613\),\(b = 0.34/0.62 \approx 0.548387\),\(\frac{\alpha A}{\beta B} = \frac{138.176}{114.996} \approx 1.201572 \implies G \approx 1.344711\)。由于 \(C/6 = 10^{21}\),得 \(N^* \approx 4.0973 \times 10^9\)(约 \(4.10\text{B}\) 参数),\(D^* = 10^{21}/N^* \approx 2.4406 \times 10^{11}\)(约 \(244.06\text{B}\) tokens),\(D^*/N^* \approx 59.57\)(\(3\) 分)。
    3. Kaplan(2020)截取固定长余弦调度的早停中间检查点,高估了少数据区域的损失,将最优解歪推向大模型少数据;现代模型则把全生命周期推理算力 \(2ND_{\text{inf}}\) 纳入总预算 \(C_{\text{tot}} = 6ND + 2ND_{\text{inf}}\),驻点变为 \(\alpha AN^{-\alpha} = \beta B D^{-\beta}(1 + \frac{D_{\text{inf}}}{3D})\),促使模型主动缩容并显著延长训练 token 数(\(2\) 分)。
  • (c) 掩码矩阵秩与 Prefix Cache 计算(7 分):
    1. \(A_{\text{enc}}^{(0)}\) 所有行均为 \([0.25, 0.25, 0.25, 0.25]\),\(\operatorname{rank}=1,\ \det=0\);\(A_{\text{causal}}^{(0)}\) 为下三角矩阵,主对角元为 \(1, \frac{1}{2}, \frac{1}{3}, \frac{1}{4}\),满秩 \(\operatorname{rank}=4\) 且 \(\det = \frac{1}{24} \approx 0.0417 \neq 0\)。不同位置的逐行平均方差随 \(1/i\) 递减,故无位置编码的因果注意力仍能打破行置换对称(\(4\) 分)。
    2. Decoder-only + Prefix Caching 总 Prefill \(= 3000 + 8\times 250 = 5{,}000\) tokens;Encoder-Decoder 因第 \(3001\) 词会通过双向掩码重写前 \(3000\) 词,无法复用前缀,总计 \(8\times (3000 + 250) = 26{,}000\) tokens,耗费了 \(5.20\times\) 计算量(\(3\) 分)。

对应补漏章节:33|RLHF:从 PPO 到 DPO,再到 GRPO、34|Scaling Laws、40|三大路线之争。


四、Final Exam:前沿架构演进、推理工程、可解释性与后 Transformer(120 分,建议 120 分钟)

第 1 题(24 分):RoPE 旋转群相对位置推导与 FlashAttention Online Softmax 分块验算

参考答案与评分细则(先独立推导再展开)
  • (a) RoPE 推导、二维验算与绕圈通道计数(12 分):
    1. 因为每对 \(2\times 2\) 旋转块满足 \(R(m\theta_i)^\top = R(-m\theta_i)\) 且 \(R(-m\theta_i)R(n\theta_i) = R((n-m)\theta_i)\),块对角矩阵随之满足 \(R_{\Theta, m}^\top R_{\Theta, n} = R_{\Theta, n-m}\)。代入内积得 \(\mathbf{x}_m^\top W_Q^\top R_{\Theta, m}^\top R_{\Theta, n} W_K\mathbf{x}_n = \mathbf{x}_m^\top W_Q^\top R_{\Theta, n-m} W_K\mathbf{x}_n\),绝对坐标完全抵消(\(4\) 分)。
    2. 路径一:\(R(\pi/3)(2, 0)^\top = (2\cos\frac{\pi}{3}, 2\sin\frac{\pi}{3})^\top = (1, \sqrt{3})^\top\);\(R(4\pi/3)(1, \sqrt{3})^\top = (1, -\sqrt{3})^\top\)(\((1,\sqrt{3})\) 极角 \(\pi/3\) 旋转 \(4\pi/3\) 至 \(5\pi/3\)),点积 \(1\cdot 1 + \sqrt{3}(-\sqrt{3}) = -2\)。路径二:\(n-m=3 \implies R(3\cdot\pi/3) = R(\pi) = -I_2\),点积 \((2, 0)\cdot(-I_2)(1,\sqrt{3})^\top = -2\),完全重合(\(4\) 分)。
    3. 临界条件 \(\frac{2i}{128}\ln(\text{base}) \le \ln(L/(2\pi)) \approx 9.9456 \implies i \le 64\cdot \frac{9.9456}{\ln(\text{base})}\)(\(i\in\{0,\dots,63\}\)):
      • \(\text{base}=10{,}000\):\(i \le 64\times \frac{9.9456}{9.2103} \approx 69.11 \implies\) 全部 \(64/64\) 通道已绕至少一圈;
      • \(\text{base}=500{,}000\):\(i \le 64\times \frac{9.9456}{13.1224} \approx 48.51 \implies i = 0,\dots,48\) 共 \(49/64\) 通道已绕圈(仅剩 \(15\) 个低频通道保持单调)。且最高频通道 \(i=0\) 周期恒为 \(2\pi\) 与 base 无关,故无法消灭绕圈(\(4\) 分)。
  • (b) Online Softmax 公式与 2-Block 验算(12 分):
    1. \(m_{\text{new}} = \max(m_1, m_2)\),\(l_{\text{new}} = e^{m_1-m_{\text{new}}}l_1 + e^{m_2-m_{\text{new}}}l_2\),\(o_{\text{new}} = \frac{e^{m_1-m_{\text{new}}} l_1 o_1 + e^{m_2-m_{\text{new}}}\tilde{o}_2}{l_{\text{new}}}\)(\(4\) 分)。
    2. 分块手算(\(6\) 分):
      • Block 1:\(m_1 = 3.0\),\(l_1 = e^{-2} + 1 \approx 1.135335\),\(o_1 = \frac{2e^{-2} + 4}{1.135335} \approx \frac{4.270671}{1.135335} \approx 3.761594\);
      • Block 2:\(m_2 = 4.0\),\(l_2 = 1 + e^{-2} \approx 1.135335\),\(\tilde{o}_2 = 6\cdot 1 + 1\cdot e^{-2} \approx 6.135335\);
      • 合并:\(m_{\text{new}} = 4.0\),\(l_{\text{new}} = e^{-1}(1.135335) + 1.135335 \approx 0.417666 + 1.135335 = 1.553002\);分子 \(= e^{-1}(4.270671) + 6.135335 \approx 1.571092 + 6.135335 = 7.706427\);故 \(o_{\text{new}} = \frac{7.706427}{1.553002} \approx \mathbf{4.962278}\)。
      • 全局标准核对:以 \(m=4.0\) 计算 \([e^{-3}, e^{-1}, 1, e^{-2}]\) 和为 \(1.553002\),加权值分子同样为 \(2e^{-3}+4e^{-1}+6+e^{-2} \approx 7.706427\),比值精确等于 \(4.962278\)。
    3. Online Softmax 将全部中间分块乘加融合在片上 SRAM 内完成,避免向 HBM 读写 \(O(N^2)\) 的分数与概率矩阵;但所有 \(Q_i K_j^\top\) 与概率乘 \(V_j\) 的算术乘加一个未少,故 FLOPs 仍为 \(\Theta(N^2 d)\)(\(2\) 分)。

对应补漏章节:41|位置编码演进、42|FlashAttention。

第 2 题(24 分):MoE 负载均衡 Cauchy-Schwarz 最优下界与 DeepSeek MLA 矩阵吸收压缩账

参考答案与评分细则(先独立推导再展开)
  • (a) MoE 负载均衡证明与塌缩计算(11 分):
    1. 对向量 \(\mathbf{f}=(f_1,\dots,f_E)^\top\) 与全 \(1\) 向量 \(\mathbf{1}\) 应用 Cauchy-Schwarz 不等式:\(1 = (\mathbf{1}^\top \mathbf{f})^2 \le \|\mathbf{1}\|_2^2 \|\mathbf{f}\|_2^2 = E \sum_{i=1}^E f_i^2 \implies \sum_{i=1}^E f_i^2 \ge \frac{1}{E}\)(等号成立当且仅当 \(\mathbf{f} \parallel \mathbf{1}\) 即 \(f_i = 1/E\))。代入得 \(L_{\text{aux}} = \alpha E \sum f_i^2 \ge \alpha E \cdot \frac{1}{E} = \alpha\)(\(5\) 分)。
    2. 均衡时 \(L_{\text{aux}} = 0.01 \times 8 \times (8\times \frac{1}{64}) = \mathbf{0.0100}\);双专家塌缩时 \(L_{\text{aux}} = 0.01 \times 8 \times (0.25 + 0.25) = \mathbf{0.0400}\)(放大 \(4\) 倍)(\(3\) 分)。由于同域或同类代码 token 隐状态相近且在同一 batch 内集中涌入同一专家,溢出后这些特定语义样本跳过 FFN 只走残差通路,导致性能塌陷集中在特定领域而非均匀降噪(\(3\) 分)。
  • (b) DeepSeek MLA 结合律吸收与显存计算(13 分):
    1. 利用矩阵乘法结合律:\((\mathbf{q}_t^{(j)})^\top \mathbf{k}_s^{C,(j)} = (\mathbf{h}_t^\top {W_Q^{(j)}}^\top)(W_{UK}^{(j)}\mathbf{c}_{KV, s}) = \big(\mathbf{h}_t^\top ({W_Q^{(j)}}^\top W_{UK}^{(j)})\big)\mathbf{c}_{KV, s}\)。将合并矩阵 \(\widetilde{W}_Q^{(j)} = {W_{UK}^{(j)}}^\top W_Q^{(j)}\) 预先离线吸收,推理时只需把窄向量 \(\mathbf{c}_{KV, s} \in \mathbb{R}^{d_c}\) 写入缓存(同理 \(W_{UV}^{(j)}\) 吸收进输出投影 \(W_O^{(j)}\))(\(4\) 分)。若在 \(\mathbf{k}_s^C\) 上直接施加位置依赖的旋转矩阵 \(R_{\Theta, s}\),它会插在 \(W_{UK}^{(j)}\) 左侧,阻断 \({W_Q^{(j)}}^\top R_{\Theta, s} W_{UK}^{(j)}\) 的离线合并;因此必须把 RoPE 放到单独的低维共享旁路 \(\mathbf{k}_s^R\) 中(\(2\) 分)。
    2. 显存计算(\(S = 2^{17} = 131{,}072\),注意 \(1\text{ GiB} = 2^{30}\))(\(7\) 分):
      • MHA:\(2 \times 60 \times 128 \times 128 \times 2^{17} \times 2 = 60 \times 2^{33} = 480.00\text{ GiB}\)(每 token \(3{,}932{,}160\) bytes);
      • GQA-8:\(2 \times 60 \times 8 \times 128 \times 2^{17} \times 2 = 60 \times 2^{29} = \mathbf{30.00\text{ GiB}}\)(每 token \(245{,}760\) bytes);
      • MLA:\(60 \times (512 + 64) \times 2^{17} \times 2 = 60 \times 576 \times 2^{18} = 8.4375\text{ GiB}\)(每 token \(69{,}120\) bytes);
      • 压缩比:相对 MHA 压缩 \(56.89\times\)(节省 \(98.24\%\) 显存),相对 GQA-8 再压缩 \(3.56\times\)。

对应补漏章节:03.5|Gilbert Strang 线性代数核心地图、44|MoE、49|KV Cache。

第 3 题(24 分):无损投机采样无偏性证明与 Temperature / Top-\(p\) 解码陷阱

参考答案与评分细则(先独立推导再展开)
  • (a) 投机采样无偏性证明(10 分):
    1. 对任意词 \(y\),输出 \(y\) 来自“直接接受”或“拒绝后重采样”两个互斥事件之和: \[ \mathbb{P}(\text{output}=y) = q(y)\min\!\left(1, \frac{p(y)}{q(y)}\right) + \left(1 - \sum_{x\in\mathcal{V}} q(x)\min\!\left(1, \frac{p(x)}{q(x)}\right)\right)\frac{\max(0,\ p(y) - q(y))}{\sum_{z\in\mathcal{V}} \max(0,\ p(z) - q(z))} \] (\(3\) 分)。
    2. 利用恒等式 \(q(x)\min(1, p(x)/q(x)) = \min(p(x), q(x))\) 与逐点恒等式 \(\min(p(x), q(x)) + \max(0, p(x) - q(x)) = p(x)\)(按 \(p\ge q\) 与 \(p<q\) 两种情形立证)(\(4\) 分)。
    3. 对全体 \(x\) 求和得 \(\sum_z \max(0, p(z) - q(z)) = 1 - \sum_x \min(p(x), q(x))\),恰好等于总拒绝概率,分母分子相消,最终化简为 \(\min(p(y), q(y)) + \max(0, p(y) - q(y)) = p(y)\),与直采目标模型严格同分布(\(3\) 分)。
  • (b) 加速比计算与 Batch 瓶颈迁移(7 分):
    1. \(\mathbb{E}[\text{tokens}] = \frac{1 - 0.75^5}{1 - 0.75} = \frac{1 - 0.237305}{0.25} \approx \mathbf{3.0508}\) tokens/轮;相对时间代价 \(Kc + 1 = 4\times 0.05 + 1 = 1.20\);理论加速比 \(\mathbb{E}[\text{speedup}] = \frac{3.050781}{1.20} \approx \mathbf{2.5423\times}\)(\(4\) 分)。
    2. batch \(= 1\) 时目标模型验证多 token 几乎处于 memory-bound 区间,搬运一次权重附带多算 \(K\) 个位置近乎“免费”;当 batch 增至 \(128\) 时,算术强度突破 GPU Roofline 拐点进入 compute-bound,被拒绝的草稿候选白白占用 Tensor Core 算力并挤占并发带宽,导致收益收缩甚至倒贴(\(3\) 分)。
  • (c) Top-\(p\) 与 Temperature 顺序差及惩罚代价(7 分):
    1. 原始分布 \(\operatorname{softmax}([3,2,1,0]) \approx [0.6439,\ 0.2369,\ 0.0871,\ 0.0321]\):
      • 方案一(先 Top-\(p=0.80\) 再 \(T=2.0\)):前 \(2\) 词累计 \(0.6439+0.2369 = 0.8808 \ge 0.80\),保留 \(\{A, B\}\);再取 logits \([1.5, 1.0]\) 做 softmax 得 \(\mathbf{[0.6225,\ 0.3775,\ 0,\ 0]}\)(\(2.5\) 分);
      • 方案二(先 \(T=2.0\) 再 Top-\(p=0.80\)):\(\mathbf{z}/2 = [1.5, 1.0, 0.5, 0.0]\) 的分布为 \([0.4551,\ 0.2760,\ 0.1674,\ 0.1015]\),前 \(2\) 词累计 \(0.7311 < 0.80\),前 \(3\) 词累计 \(0.8985 \ge 0.80\),因此保留 \(\{A, B, C\}\),重归一化为 \(\mathbf{[0.5065,\ 0.3072,\ 0.1863,\ 0]}\)(\(2.5\) 分)。可见顺序直接改写了截断集合大小与概率分布。
    2. 代码变量名、if/return、JSON 键名以及人名/专有名词本来就需要频繁原样重复;全局惩罚无差别压低已出现 token 的 logit,会诱发变量改名编译失败、JSON schema 错乱或代词指代混乱(\(2\) 分)。

对应补漏章节:48|从 logits 到文本、50|Speculative Decoding。

第 4 题(24 分):Elhage QK/OV 电路特征分解、诱导头组合与 \(TC^0\) 表达力边界

参考答案与评分细则(先独立推导再展开)
  • (a) QK/OV 电路与诱导头机制(10 分):
    1. \(W_{QK}\) 决定“当前 query 关注哪个历史位置”(路由选择),\(W_{OV}\) 决定“把被关注位置的特征以何种线性变换写入残差流”(内容复制/抑制),两者秩均 \(\le d_k\)(\(2\) 分)。求 \(W_{OV}\) 特征方程:上左 \(2\times 2\) 块 \(\det\begin{pmatrix} 1.5-\lambda & 0.5 \\ 0.5 & 1.5-\lambda \end{pmatrix} = 0 \implies \lambda_1 = 2.0\)(特征方向 \(\frac{1}{\sqrt{2}}(1,1,0)^\top\))、\(\lambda_2 = 1.0\)(\(\frac{1}{\sqrt{2}}(1,-1,0)^\top\));第 \(3\) 轴 \(\lambda_3 = -0.5\)(\((0,0,1)^\top\))。正特征值方向使输出与被关注嵌入同向对齐,抬高对应词 logit 实现复制;负特征值把内容反向写入从而压低对应预测置信度(\(3\) 分)。
    2. 第 1 层 Previous Token Head 将位置 \(t-1\) 的 token 特征写入位置 \(t\) 的残差流(记作“前驱是谁”);第 2 层 Induction Head 的 \(W_K\) 读取该前驱特征(即 K-Composition),当前位置出现 \(A\) 时检索“前驱同样是 \(A\)”的位置(即 \(B\) 所在位置),再通过正向 \(W_{OV}\) 复制 \(B\) 的特征用于预测下一词(\(3\) 分)。Olsson 等人在玩具模型中通过消融给出了强因果证据,但在带 MLP 的大模型中仅报告了训练相变与 ICL 跃升同步出现的相关性证据(\(2\) 分)。
  • (b) 可解释性陷阱与 \(TC^0\) 复杂度(14 分):
    1. 注意力权重只衡量当前层值向量的混洗比例,经过深层残差叠加、MLP 非线性改写后与最终预测无唯一因果映射(Jain & Wallace 等),且如 GPT-2 small 的 IOI 仅一个指代任务就需要 \(26\) 个头、\(7\) 种角色协作(\(3\) 分)。激活替换会把 clean 与 corrupted 状态人为混拼出分布外激活,有时会激活一条原本不参与正常推理的休眠并行通路完成行为恢复,从而造成“以为定位了真因果子空间”的幻觉(\(3\) 分)。
    2. 无中间步数的定精度标准 Transformer Decoder 受限于常数深度阈值电路类 \(\mathrm{TC}^0\)(\(2\) 分)。奇偶校验 Parity 或图连通性在顺序状态累积下不属于均匀 \(\mathrm{TC}^0\)(任何固定层数并行阈值电路无法在 \(O(1)\) 层内准确处理任意长度奇偶翻转)(\(2\) 分)。允许生成 \(t(n) = \Theta(n)\) 步中间 token(配合 projected pre-norm)可扩展至识别所有正则语言,\(t(n) = \mathrm{poly}(n)\) 步则可达到多项式时间可解类 \(\mathrm{P}\)(\(2\) 分)。Turpin 等人在输入埋入偏置提示时发现模型准确率下降高达 \(36\%\),但生成的 CoT 文本从不承认偏置影响而是编造事后合理化理由,证明 CoT 是计算资源扩容而非忠实可解释记录(\(2\) 分)。

对应补漏章节:52|可解释性入门、53|机制可解释性、54|涌现能力、55|Transformer 的根本局限。

第 5 题(24 分):Mamba ZOH 离散化与 4 步并行扫描 vs 线性注意力状态矩阵与退化防线

参考答案与评分细则(先独立推导再展开)
  • (a) Mamba ZOH 离散化与 4 步并行扫描(10 分):
    1. 当 \(\Delta_t = 0.01\):\(\overline{A}_t = e^{-0.01} \approx \mathbf{0.9901}\),\(\overline{B}_t = \frac{e^{-0.01}-1}{-1} = 1 - e^{-0.01} \approx \mathbf{0.0100}\)(精确 \(0.009950\)),几乎原样保留旧状态并忽略当前噪声词。当 \(\Delta_t = 2.0\):\(\overline{A}_t = e^{-2} \approx \mathbf{0.1353}\),\(\overline{B}_t = 1 - e^{-2} \approx \mathbf{0.8647}\),大幅衰减旧记忆并重点写入当前关键输入(\(4\) 分)。
    2. 结合律验算:\(\big((a_3,b_3)\circ(a_2,b_2)\big)\circ(a_1,b_1) = (a_3 a_2 a_1,\ a_3 a_2 b_1 + a_3 b_2 + b_3) = (a_3,b_3)\circ\big((a_2,b_2)\circ(a_1,b_1)\big)\)(\(2\) 分)。 Blelloch 两层归约(\(4\) 分):
      • 第一层并行:\(c_{12} = (0.5\times 0.5,\ 0.5\times 2 + 1) = (0.25,\ 2.0)\);\(c_{34} = (0.5\times 0.2,\ 0.5\times 4 + 3) = (0.10,\ 5.0)\);
      • 第二层合并:\(c_{14} = c_{34}\circ c_{12} = (0.10\times 0.25,\ 0.10\times 2.0 + 5.0) = (0.025,\ \mathbf{5.2})\),故 \(h_4 = 5.2\)。
      • 串行核对:\(h_1=2.0 \to h_2=0.5(2)+1=2.0 \to h_3=0.2(2)+4=4.4 \to h_4=0.5(4.4)+3=\mathbf{5.2}\),严格一致。
  • (b) 线性注意力外积状态与检索碰撞(7 分):
    1. 由结合律重写 \(o_i = \frac{\phi(\mathbf{q}_i)^\top S_i}{\phi(\mathbf{q}_i)^\top z_i}\),其中 \(S_i = S_{i-1} + \phi(\mathbf{k}_i)\mathbf{v}_i^\top\),\(z_i = z_{i-1} + \phi(\mathbf{k}_i)\)(即逐拍累加秩-1 外积)(\(2\) 分)。
    2. 写入前两键:\(S_2 = \begin{pmatrix} 3 & -1 \\ -2 & 5 \end{pmatrix},\ z_2 = (1, 1)^\top\),用 \(\phi(\mathbf{k}_1)=(1, 0)^\top\) 查询得 \(\frac{(1,0)S_2}{(1,0)z_2} = \mathbf{(3, -1)}\)(无损取回 \(\mathbf{v}_1\))(\(2\) 分)。
    3. 再写入 \(\phi(\mathbf{k}_3)=(1, 1)^\top\) 后,\(S_3 = \begin{pmatrix} 13 & 9 \\ 8 & 15 \end{pmatrix},\ z_3 = (2, 2)^\top\),同样查询得 \(\frac{(13, 9)}{2} = \mathbf{(6.5,\ 4.5)}\),原值被彻底混叠污染。在 \(\mathbb{R}^{d_k}\) 空间中最多容纳 \(d_k\) 个正交键;当写入键值对数量 \(N > d_k\) 时,固定大小矩阵状态必然发生线性相关碰撞而丧失精确检索能力,这正是 MQAR 要求 \(d \ge N\) 的代数根源(\(3\) 分)。
  • (c) 推理退化形态与四层防线(7 分):
    1. 死循环源于概率偏置 + 重复 KV 正反馈 + Causal Mask 切断退路;乱码/控制字符源于 FP16/量化溢出产生 Inf/NaN 扩散并落入词表边缘;无意义数字/语义兜圈属于似然陷阱软退化(\(3\) 分)。
    2. 调大 temperature 拉平整体分布,虽然降低了高重复 token 持续垄断 \(\arg\max\) 的死循环锁死概率,却同时抬高了训练极少覆盖的词表长尾、控制字符及碎片边缘区域的采样概率(\(2\) 分)。
    3. 四层防线:架构层(显式 sink 锚定、滑动窗口、RoPE 外推修正)防长历史污染;数值层(Softmax/Norm 保 FP32、激活裁剪)防乱码溢出;解码层(惩罚系数、no-repeat-ngram、黑名单、动态早停)防重复与词表越界;运行时层(窗口熵/重复率监控、KV 后缀裁剪复位、请求熔断)切断被污染 Cache 的持续恶化(\(2\) 分)。

对应补漏章节:55|Transformer 的根本局限、56|状态空间模型、57|RWKV / RetNet / 线性注意力、59|推理退化。


五、全卷数值题纯 Python / NumPy 核验实验室

写完三套试卷并自评步骤后,可以在本地运行下面这段纯 Python 3 + NumPy 脚本(无外部框架依赖),一次性自动检验三套试卷全部数值题、矩阵分块、梯度与离散化结果(以下脚本与输出均在 Python 3 + NumPy 1.26.4 环境下实际运行验证):

import math
import numpy as np

print("=== QUIZ 1 VERIFICATION ===")
# Q1(b): Four Fundamental Subspaces & Orthogonal Split
A = np.array([[1.0, 1.0, 2.0], [0.0, 1.0, 1.0]])
n_vec = np.array([1.0, 1.0, -1.0])
x_in = np.array([4.0, 2.0, 0.0])
x_n = ((n_vec @ x_in) / (n_vec @ n_vec)) * n_vec
x_r = x_in - x_n
assert np.allclose(A @ x_n, 0.0) and np.isclose(x_r @ x_n, 0.0) and np.allclose(A @ x_in, A @ x_r)
print(f"Q1(b): rank={np.linalg.matrix_rank(A)}, x_r={x_r.tolist()}, x_n={x_n.tolist()}, Ax={(A @ x_in).tolist()}")

# Q2(a)(b): Orthogonal Projection P_a & Cauchy-Schwarz
a = np.array([1.0, 2.0, 2.0])
b = np.array([6.0, 3.0, 6.0])
P_a = np.outer(a, a) / (a @ a)
p = P_a @ b
e = b - p
cos_theta = float((a @ b) / (np.linalg.norm(a) * np.linalg.norm(b)))
assert np.allclose(P_a @ P_a, P_a) and np.isclose(p @ e, 0.0)
print(f"Q2(a): p={np.round(p, 6).tolist()}, e={np.round(e, 6).tolist()}, |p|^2={p @ p:.1f}, |e|^2={e @ e:.1f}, |b|^2={b @ b:.1f}, cos={cos_theta:.6f}")

# Q2(c): Dot-product scaling
s_raw = np.array([0.0, 8.0, 0.0])
for tag, sc in [("unscaled", 1.0), ("sqrt_dk", 8.0), ("dk", 64.0)]:
    z = s_raw / sc
    ez = np.exp(z - z.max())
    pr = ez / ez.sum()
    print(f"Q2(c) [{tag:8s}]: p2={pr[1]:.6f}, J22={pr[1]*(1.0-pr[1]):.6f}")

# Q3(a): Backprop Rank-1 Outer Product (row-vector forward y^T = x^T W)
x_bp = np.array([2.0, -1.0])
W1_bp = np.array([[2.0, -1.0], [1.0, 1.0]])
W2_bp = np.array([[1.0, 2.0], [-1.0, 3.0]])
gy_bp = np.array([1.0, -2.0])
z1_bp = x_bp @ W1_bp
h_bp = np.maximum(0.0, z1_bp)
y_bp = h_bp @ W2_bp
gW2_bp = np.outer(h_bp, gy_bp)
gh_bp = W2_bp @ gy_bp
gz1_bp = gh_bp * (z1_bp > 0).astype(float)
gW1_bp = np.outer(x_bp, gz1_bp)
gx_bp = W1_bp @ gz1_bp
print(f"Q3(a): z1={z1_bp.tolist()}, h={h_bp.tolist()}, y={y_bp.tolist()}")
print(f"Q3(a): gW2={gW2_bp.tolist()}, gW1={gW1_bp.tolist()}, gx={gx_bp.tolist()}")

# Q3(b)(c): Softmax Jacobian & Nullspace
z_sm = np.array([0.0, math.log(2.0), math.log(3.0)])
p_sm = np.exp(z_sm) / np.sum(np.exp(z_sm))
J_sm = np.diag(p_sm) - np.outer(p_sm, p_sm)
e3 = np.array([0.0, 0.0, 1.0])
gz_sm = J_sm.T @ (-e3 / p_sm)
assert np.allclose(J_sm @ np.ones(3), 0.0) and np.allclose(gz_sm, p_sm - e3)
print(f"Q3(b): p={np.round(p_sm, 6).tolist()}, 36*J={np.round(36*J_sm, 6).tolist()}")
print(f"Q3(c): gz={np.round(gz_sm, 6).tolist()}")

# Q4(a): 3-token Causal Scaled Dot-Product Attention
Q = np.array([[1., 1., 0., 0.], [1., 1., 1., 1.], [2., 0., 2., 0.]])
K = np.array([[1., 1., 0., 0.], [0., 2., 0., 0.], [1., 0., 1., 0.]])
V = np.array([[1., 0., 2., 0.], [0., 2., 0., 2.], [2., 2., 0., 0.]])
S_att = (Q @ K.T) / 2.0
M_c = np.where(np.tril(np.ones((3, 3), dtype=bool)), 0.0, -np.inf)
S_m = S_att + M_c
ex_a = np.exp(S_m - np.max(S_m, axis=1, keepdims=True))
A_att = ex_a / np.sum(ex_a, axis=1, keepdims=True)
O_att = A_att @ V
print("Q4(a): Attn =", np.round(A_att, 6).tolist())
print("Q4(a): Out  =", np.round(O_att, 6).tolist())

# Q4(b): FLOPs & crossover
d_m = 4096
for n_t in [4096, 24576, 65536]:
    g_fl = 24 * n_t * (d_m ** 2)
    a_fl = 4 * (n_t ** 2) * d_m
    print(f"Q4(b) [n={n_t:5d}]: total={(g_fl+a_fl)/1e12:.4f} TFLOPs, attn_share={a_fl/(g_fl+a_fl)*100:.2f}%")

print("\n=== MIDTERM (EXAM 2) VERIFICATION ===")
# Q1(c): LayerNorm d=4 forward & backward
x_ln = np.array([0.0, 6.0, 8.0, 14.0])
g_ln = np.array([3.0, -1.0, 2.0, 4.0])
xc_ln = x_ln - x_ln.mean()
sig_ln = math.sqrt(np.mean(xc_ln ** 2))
xhat_ln = xc_ln / sig_ln
P_ln = np.eye(4) - np.ones((4, 4)) / 4.0
grad_ln = (1.0 / sig_ln) * (P_ln @ g_ln - (np.dot(xhat_ln, g_ln) / 4.0) * xhat_ln)
assert np.isclose(np.sum(grad_ln), 0.0) and np.isclose(np.dot(xhat_ln, grad_ln), 0.0)
print(f"E2 Q1(c): mu={x_ln.mean():.1f}, sigma={sig_ln:.1f}, xhat={xhat_ln.tolist()}, grad={np.round(grad_ln, 4).tolist()}")

# Q2(a): Geva FFN Rank-1 KV Memory
x_ffn = np.array([1.0, 2.0])
W1_ffn = np.array([[1.0, -1.0, 2.0], [1.0, 1.0, -1.0]])
b1_ffn = np.array([0.0, -2.0, 1.0])
W2_ffn = np.array([[2.0, -1.0], [1.0, 3.0], [0.5, 0.5]])
c_ffn = np.maximum(0.0, x_ffn @ W1_ffn + b1_ffn)
y_ffn = c_ffn @ W2_ffn
print(f"E2 Q2(a): c={c_ffn.tolist()}, y={y_ffn.tolist()}")

# Q2(c): Label Smoothing & Noam LR
V_ls, eps_ls = 10, 0.1
dz_ls = math.log(((1.0 - eps_ls) * V_ls + eps_ls) / eps_ls)
q_ls = np.full(V_ls, eps_ls / V_ls)
q_ls[0] = 1.0 - eps_ls + eps_ls / V_ls
H_ls = -np.sum(q_ls * np.log(q_ls))
def noam(t, dm, tw=4000):
    return (dm ** -0.5) * min(t ** -0.5, t * (tw ** -1.5))
print(f"E2 Q2(c1): q0={q_ls[0]:.2f}, q_other={q_ls[1]:.2f}, dz*={dz_ls:.6f}, H(q)={H_ls:.6f}")
print(f"E2 Q2(c2): Base(1000)={noam(1000,512):.6e}, Base(4000)={noam(4000,512):.6e}, Base(16000)={noam(16000,512):.6e}, Big(4000)={noam(4000,1024):.6e}")

# Q3(a): LoRA SVD Eckart-Young
sv_l = np.array([6.0, 2.0, 0.4, 0.2])
err_1 = math.sqrt(np.sum(sv_l[1:] ** 2))
rel_1 = err_1 / math.sqrt(np.sum(sv_l ** 2))
en_1 = (sv_l[0] ** 2) / np.sum(sv_l ** 2)
print(f"E2 Q3(a): err_r1={err_1:.6f}, rel_err={rel_1*100:.2f}%, energy_r1={en_1*100:.2f}%, param_ratio={2*16/4096:.6f}")

# Q3(b): LoRA 2x2 step 0 & step 1 (lr=0.02)
x_lo = np.array([1.0, 2.0])
ystar_lo = np.array([2.0, 0.0])
A_lo = np.array([[1.0, 1.0]])
B_lo = np.zeros((2, 1))
s_lo, lr_lo = 2.0, 0.02
for st in range(2):
    h_lo = A_lo @ x_lo
    y_lo = x_lo + s_lo * (B_lo @ h_lo)
    L_lo = 0.5 * float(np.sum((y_lo - ystar_lo) ** 2))
    gy_lo = y_lo - ystar_lo
    gB_lo = s_lo * np.outer(gy_lo, h_lo)
    gA_lo = s_lo * (B_lo.T @ np.outer(gy_lo, x_lo))
    print(f"E2 Q3(b) step {st}: y={np.round(y_lo, 6).tolist()}, L={L_lo:.6f}, gB={np.round(gB_lo.ravel(), 6).tolist()}, gA={np.round(gA_lo.ravel(), 6).tolist()}")
    B_lo = B_lo - lr_lo * gB_lo
    A_lo = A_lo - lr_lo * gA_lo

# Q3(c): SFT -100 Loss Masking & Block-diagonal packing
Z_sft = np.array([[0.0, 1.5], [0.0, 1.0], [1.0, 0.0], [1.5, 0.0]])
tgt_full = np.array([0, 1, 1, 0])
ex_s = np.exp(Z_sft - Z_sft.max(axis=1, keepdims=True))
p_s = ex_s / ex_s.sum(axis=1, keepdims=True)
nll_s = -np.log(p_s[np.arange(4), tgt_full])
loss_unmasked = float(nll_s.mean())
loss_masked = float(nll_s[[1, 3]].mean())
prompt_share = float((nll_s[0] + nll_s[2]) / nll_s.sum() * 100.0)
doc_ids = np.array([0, 0, 1, 1])
idx_s = np.arange(4)
naive_m = idx_s[:, None] >= idx_s[None, :]
blk_m = naive_m & (doc_ids[:, None] == doc_ids[None, :])
leaks_1based = (np.argwhere(naive_m ^ blk_m) + 1).tolist()
print(f"E2 Q3(c): nll={np.round(nll_s, 6).tolist()}, unmasked={loss_unmasked:.6f}, masked={loss_masked:.6f}, prompt_share={prompt_share:.2f}%")
print(f"E2 Q3(c): leaked pairs (1-based)={leaks_1based}")

# Q4(a): GRPO
for name, rg in [("split", np.array([1., 1., 0., 0.])), ("all_1", np.array([1., 1., 1., 1.]))]:
    std = rg.std(ddof=0)
    adv = np.zeros_like(rg) if std == 0 else (rg - rg.mean()) / std
    print(f"E2 Q4(a) [{name}]: adv={adv.tolist()}")

# Q4(b): Chinchilla C=6e21
Ac, Bc, alc, bec = 406.4, 410.7, 0.34, 0.28
Cc = 6e21
ac = bec / (alc + bec)
bc = alc / (alc + bec)
Gc = (alc * Ac / (bec * Bc)) ** (1.0 / (alc + bec))
Nc = Gc * ((Cc / 6.0) ** ac)
Dc = (1.0 / Gc) * ((Cc / 6.0) ** bc)
print(f"E2 Q4(b): a={ac:.6f}, b={bc:.6f}, G={Gc:.6f}, N*={Nc:.4e}, D*={Dc:.4e}, D*/N*={Dc/Nc:.2f}")

# Q4(c): 4x4 mask rank & prefix KV reuse
A_enc0 = np.full((4, 4), 0.25)
A_caus0 = np.array([[1., 0., 0., 0.], [0.5, 0.5, 0., 0.], [1/3, 1/3, 1/3, 0.], [0.25, 0.25, 0.25, 0.25]])
print(f"E2 Q4(c): rank_enc={np.linalg.matrix_rank(A_enc0)}, det_enc={np.linalg.det(A_enc0):.4f}, rank_caus={np.linalg.matrix_rank(A_caus0)}, det_caus={np.linalg.det(A_caus0):.6f}")
K_r, P_r, Q_r = 8, 3000, 250
print(f"E2 Q4(c): Decoder+Prefix={P_r + K_r*Q_r}, Enc-Dec={K_r*(P_r+Q_r)}, ratio={(K_r*(P_r+Q_r))/(P_r+K_r*Q_r):.2f}x")

print("\n=== FINAL EXAM (EXAM 3) VERIFICATION ===")
# Q1(a): RoPE 2D & channel wrap
th0 = math.pi / 3.0
def rot2(ang):
    return np.array([[math.cos(ang), -math.sin(ang)], [math.sin(ang), math.cos(ang)]])
q0_r = np.array([2.0, 0.0])
k0_r = np.array([1.0, math.sqrt(3.0)])
qm_r = rot2(1 * th0) @ q0_r
kn_r = rot2(4 * th0) @ k0_r
assert np.isclose(qm_r @ kn_r, q0_r @ (rot2(3 * th0) @ k0_r))
print(f"E3 Q1(a): q1={np.round(qm_r, 6).tolist()}, k4={np.round(kn_r, 6).tolist()}, dot={qm_r @ kn_r:.6f}")
for base in [10000.0, 500000.0]:
    Ti = 2 * math.pi * (base ** (2 * np.arange(64) / 128))
    print(f"E3 Q1(a) [base={int(base)}]: wrapped={int(np.sum(Ti <= 131072))}/64")

# Q1(b): FlashAttention 2-block online softmax
s_all = np.array([1.0, 3.0, 4.0, 2.0])
v_all = np.array([2.0, 4.0, 6.0, 1.0])
pg = np.exp(s_all - s_all.max())
pg /= pg.sum()
og = float(pg @ v_all)
m1, m2 = 3.0, 4.0
l1 = float(np.sum(np.exp(s_all[:2] - m1)))
o1 = float(np.exp(s_all[:2] - m1) @ v_all[:2]) / l1
l2 = float(np.sum(np.exp(s_all[2:] - m2)))
o2_un = float(np.exp(s_all[2:] - m2) @ v_all[2:])
m_new = max(m1, m2)
l_new = math.exp(m1 - m_new) * l1 + math.exp(m2 - m_new) * l2
o_new = (math.exp(m1 - m_new) * l1 * o1 + math.exp(m2 - m_new) * o2_un) / l_new
assert math.isclose(o_new, og, rel_tol=1e-12)
print(f"E3 Q1(b): l1={l1:.6f}, o1={o1:.6f}, l2={l2:.6f}, o2_un={o2_un:.6f}, l_new={l_new:.6f}, o_new={o_new:.6f}, o_glob={og:.6f}")

# Q2(a): MoE aux loss
print(f"E3 Q2(a): L_bal={0.01*8*(8*(1/8)**2):.4f}, L_col={0.01*8*(2*0.5**2):.4f}")

# Q2(b): DeepSeek MLA KV Cache
L_ly, H_q, d_h, S_len, b_fp = 60, 128, 128, 131072, 2
kv_mha = 2 * L_ly * H_q * d_h * S_len * b_fp
kv_gqa8 = 2 * L_ly * 8 * d_h * S_len * b_fp
kv_mla = L_ly * (512 + 64) * S_len * b_fp
print(f"E3 Q2(b): MHA={kv_mha/(1024**3):.4f} GiB, GQA8={kv_gqa8/(1024**3):.4f} GiB, MLA={kv_mla/(1024**3):.4f} GiB, vs_MHA={kv_mha/kv_mla:.2f}x, vs_GQA8={kv_gqa8/kv_mla:.2f}x")

# Q3(b)(c): Speculative & Temperature/Top-p order
al_sp, K_sp, c_sp = 0.75, 4, 0.05
e_tok = (1 - al_sp**(K_sp + 1)) / (1 - al_sp)
e_spd = e_tok / (K_sp * c_sp + 1)
print(f"E3 Q3(b): E[tok]={e_tok:.6f}, E[speedup]={e_spd:.6f}x")

z_dec = np.array([3.0, 2.0, 1.0, 0.0])
sm = lambda v: np.exp(v - v.max()) / np.sum(np.exp(v - v.max()))
p_o = sm(z_dec)
p_t = sm(z_dec / 2.0)
p_ord1 = np.zeros(4); p_ord1[:2] = sm(z_dec[:2] / 2.0)
p_ord2 = np.zeros(4); p_ord2[:3] = p_t[:3] / p_t[:3].sum()
print(f"E3 Q3(c): p_orig={np.round(p_o, 6).tolist()}, p_T2={np.round(p_t, 6).tolist()}")
print(f"E3 Q3(c): Order1(TopP->T2)={np.round(p_ord1, 6).tolist()}, Order2(T2->TopP)={np.round(p_ord2, 6).tolist()}")

# Q4(a): Elhage W_OV eigenvalues
W_ov = np.array([[1.5, 0.5, 0.0], [0.5, 1.5, 0.0], [0.0, 0.0, -0.5]])
evals_ov, _ = np.linalg.eigh(W_ov)
print(f"E3 Q4(a): W_OV evals={np.round(evals_ov, 6).tolist()}")

# Q5(a): Mamba ZOH & Blelloch Scan
for dt in [0.01, 2.0]:
    ab = math.exp(dt * (-1.0))
    bb = ((ab - 1.0) / (-dt)) * dt
    print(f"E3 Q5(a) [dt={dt:4.2f}]: A_bar={ab:.6f}, B_bar={bb:.6f}")
ops = [(0.5, 2.0), (0.5, 1.0), (0.2, 4.0), (0.5, 3.0)]
comp = lambda op2, op1: (op2[0] * op1[0], op2[0] * op1[1] + op2[1])
h_s = 0.0; hs = []
for a_i, b_i in ops:
    h_s = a_i * h_s + b_i; hs.append(round(h_s, 6))
c12, c34 = comp(ops[1], ops[0]), comp(ops[3], ops[2])
c14 = comp(c34, c12)
assert math.isclose(c14[1], h_s)
print(f"E3 Q5(a): serial={hs}, c12={c12}, c34={c34}, c14={c14}")

# Q5(b): Linear Attention Outer-Product State Matrix Memory
k1, v1 = np.array([1.0, 0.0]), np.array([3.0, -1.0])
k2, v2 = np.array([0.0, 1.0]), np.array([-2.0, 5.0])
S2 = np.outer(k1, v1) + np.outer(k2, v2)
z2 = k1 + k2
out1 = (k1 @ S2) / (k1 @ z2)
k3, v3 = np.array([1.0, 1.0]), np.array([10.0, 10.0])
S3 = S2 + np.outer(k3, v3)
z3 = z2 + k3
out1_after = (k1 @ S3) / (k1 @ z3)
print(f"E3 Q5(b): 2-key exact retrieve={out1.tolist()}, 3-key collide={np.round(out1_after, 6).tolist()}")

实际运行输出如下:

=== QUIZ 1 VERIFICATION ===
Q1(b): rank=2, x_r=[2.0, 0.0, 2.0], x_n=[2.0, 2.0, -2.0], Ax=[6.0, 2.0]
Q2(a): p=[2.666667, 5.333333, 5.333333], e=[3.333333, -2.333333, 0.666667], |p|^2=64.0, |e|^2=17.0, |b|^2=81.0, cos=0.888889
Q2(c) [unscaled]: p2=0.999330, J22=0.000670
Q2(c) [sqrt_dk ]: p2=0.576117, J22=0.244206
Q2(c) [dk      ]: p2=0.361664, J22=0.230863
Q3(a): z1=[3.0, -3.0], h=[3.0, 0.0], y=[3.0, 6.0]
Q3(a): gW2=[[3.0, -6.0], [0.0, -0.0]], gW1=[[-6.0, -0.0], [3.0, 0.0]], gx=[-6.0, -3.0]
Q3(b): p=[0.166667, 0.333333, 0.5], 36*J=[[5.0, -2.0, -3.0], [-2.0, 8.0, -6.0], [-3.0, -6.0, 9.0]]
Q3(c): gz=[0.166667, 0.333333, -0.5]
Q4(a): Attn = [[1.0, 0.0, 0.0], [0.5, 0.5, 0.0], [0.244728, 0.090031, 0.665241]]
Q4(a): Out  = [[1.0, 0.0, 2.0, 0.0], [0.5, 1.0, 1.0, 1.0], [1.57521, 1.510543, 0.489457, 0.180061]]
Q4(b) [n= 4096]: total=1.9241 TFLOPs, attn_share=14.29%
Q4(b) [n=24576]: total=19.7912 TFLOPs, attn_share=50.00%
Q4(b) [n=65536]: total=96.7570 TFLOPs, attn_share=72.73%

=== MIDTERM (EXAM 2) VERIFICATION ===
E2 Q1(c): mu=7.0, sigma=5.0, xhat=[-1.4, -0.2, 0.2, 1.4], grad=[0.34, -0.58, -0.02, 0.26]
E2 Q2(a): c=[3.0, 0.0, 1.0], y=[6.5, -2.5]
E2 Q2(c1): q0=0.91, q_other=0.01, dz*=4.510860, H(q)=0.500288
E2 Q2(c2): Base(1000)=1.746928e-04, Base(4000)=6.987712e-04, Base(16000)=3.493856e-04, Big(4000)=4.941059e-04
E2 Q3(a): err_r1=2.049390, rel_err=32.32%, energy_r1=89.55%, param_ratio=0.007812
E2 Q3(b) step 0: y=[1.0, 2.0], L=2.500000, gB=[-6.0, 12.0], gA=[0.0, 0.0]
E2 Q3(b) step 1: y=[1.72, 0.56], L=0.196000, gB=[-1.68, 3.36], gA=[-0.336, -0.672]
E2 Q3(c): nll=[1.701413, 0.313262, 1.313262, 0.201413], unmasked=0.882337, masked=0.257337, prompt_share=85.42%
E2 Q3(c): leaked pairs (1-based)=[[3, 1], [3, 2], [4, 1], [4, 2]]
E2 Q4(a) [split]: adv=[1.0, 1.0, -1.0, -1.0]
E2 Q4(a) [all_1]: adv=[0.0, 0.0, 0.0, 0.0]
E2 Q4(b): a=0.451613, b=0.548387, G=1.344711, N*=4.0973e+09, D*=2.4406e+11, D*/N*=59.57
E2 Q4(c): rank_enc=1, det_enc=0.0000, rank_caus=4, det_caus=0.041667
E2 Q4(c): Decoder+Prefix=5000, Enc-Dec=26000, ratio=5.20x

=== FINAL EXAM (EXAM 3) VERIFICATION ===
E3 Q1(a): q1=[1.0, 1.732051], k4=[1.0, -1.732051], dot=-2.000000
E3 Q1(a) [base=10000]: wrapped=64/64
E3 Q1(a) [base=500000]: wrapped=49/64
E3 Q1(b): l1=1.135335, o1=3.761594, l2=1.135335, o2_un=6.135335, l_new=1.553002, o_new=4.962278, o_glob=4.962278
E3 Q2(a): L_bal=0.0100, L_col=0.0400
E3 Q2(b): MHA=480.0000 GiB, GQA8=30.0000 GiB, MLA=8.4375 GiB, vs_MHA=56.89x, vs_GQA8=3.56x
E3 Q3(b): E[tok]=3.050781, E[speedup]=2.542318x
E3 Q3(c): p_orig=[0.643914, 0.236883, 0.087144, 0.032059], p_T2=[0.455054, 0.276004, 0.167405, 0.101536]
E3 Q3(c): Order1(TopP->T2)=[0.622459, 0.377541, 0.0, 0.0], Order2(T2->TopP)=[0.50648, 0.307196, 0.186324, 0.0]
E3 Q4(a): W_OV evals=[-0.5, 1.0, 2.0]
E3 Q5(a) [dt=0.01]: A_bar=0.990050, B_bar=0.009950
E3 Q5(a) [dt=2.00]: A_bar=0.135335, B_bar=0.864665
E3 Q5(a): serial=[2.0, 2.0, 4.4, 5.2], c12=(0.25, 2.0), c34=(0.1, 5.0), c14=(0.025, 5.2)
E3 Q5(b): 2-key exact retrieve=[3.0, -1.0], 3-key collide=[6.5, 4.5]

考后诊断:从分数回溯薄弱章节

将三套试卷各题得分填入下面诊断表,对照得分率(\(\text{实际得分} / \text{该题满分}\))低于 \(70\%\) 的条目回看对应章节:

考卷与题号 核心考察能力 满分 低于 \(70\%\) 时的优先回溯章节
Quiz 1 · 第 1 题 Strang 四子空间、\(W_Q W_K^\top\) 秩界与多头拼块 \(25\) 03 矩阵四视角、03.5 Strang 地图、16 多头注意力
Quiz 1 · 第 2 题 正交投影 \(P_{\mathbf{a}}\)、Cauchy-Schwarz 与 \(\sqrt{d_k}\) 缩放 \(25\) 02 向量与投影、15 缩放点积
Quiz 1 · 第 3 题 反向传播秩-1 外积、Softmax Jacobian 与 \(J\mathbf{1}=\mathbf{0}\) \(25\) 06 反向传播、07 Softmax、08.5 神经网络
Quiz 1 · 第 4 题 因果注意力手算与 \(24nd^2+4n^2d\) 交叉点 \(25\) 14 自注意力、17 因果掩码、18 复杂度账本
Midterm · 第 1 题 正弦 \(SO(2)\) 旋转、Pre-LN vs Post-LN 与 LayerNorm Jacobian \(25\) 21 位置编码、24 残差连接、25 LayerNorm
Midterm · 第 2 题 FFN 键值记忆、SwiGLU \(\frac{8}{3}d\)、Label Smoothing 与 Noam \(25\) 26 前馈网络、27 原论文配方
Midterm · 第 3 题 LoRA SVD / 不对称梯度与 SFT -100 / 块对角打包 \(25\) 31 微调与 LoRA、32 指令微调
Midterm · 第 4 题 DPO/GRPO、Chinchilla 拉格朗日与掩码矩阵秩/KV 复用 \(25\) 33 RLHF/DPO/GRPO、34 Scaling Laws、40 三大路线
Final · 第 1 题 RoPE 绕圈周期与 FlashAttention Online Softmax \(24\) 41 PE 演进、42 FlashAttention
Final · 第 2 题 MoE 负载均衡与 DeepSeek MLA 矩阵吸收压缩 \(24\) 44 MoE、49 KV Cache、03.5 Strang 地图
Final · 第 3 题 无损投机采样无偏性、加速比与解码旋钮顺序 \(24\) 48 解码策略、50 投机解码
Final · 第 4 题 Elhage QK/OV 电路、诱导头、Patching 幻觉与 \(TC^0\) \(24\) 52–53 可解释性、54 涌现能力、55 局限
Final · 第 5 题 Mamba ZOH 与并行扫描、线性注意力碰撞与退化防线 \(24\) 56 状态空间模型、57 线性注意力、59 推理退化

参考资料

经典教材与课程(Gilbert Strang MIT 18.06 / 18.065)

核心论文(按考卷专题索引)

开源实现与自测工具


← 上一篇:59|推理退化:乱码、死循环与无意义文本 | 系列首页:Transformer 与注意力机制 系列总览 →

源码下载

本文相关源码已整理,共 1 个文件。

打开下载目录 →

文章导航

分类入口
transformer
标签入口
#transformer#exam#linear-algebra#gilbert-strang#attention#llm

读完这篇,下一步读什么

优先读同系列或同问题的下一篇,把单篇消费变成主题集群。


By .