complexity 标签归档

共 3 篇文章 · 返回首页

【Transformer 与注意力机制】18｜注意力的复杂度问题

为什么 attention 是 O(n²)，O(n²) 到底贵在哪里，5 类降复杂度方案的优劣，FlashAttention 不是 O(n) 这件事，长上下文是怎么把架构师逼疯的。

系统复杂性是架构腐化的根源——本文从 Brooks 的本质复杂性与偶然复杂性划分出发，结合认知负荷理论与 Parnas 的信息隐藏原则，系统阐述复杂性的来源、度量与控制手段，并给出可操作的架构策略

顺序算法用时间复杂度和空间复杂度就能衡量好坏。分布式算法多了消息复杂度、轮次复杂度和容错数量三个维度，三者之间存在不可调和的 trade-off。本文从选主、共识、广播三个典型问题出发，梳理这些度量指标的定义、下界和工程影响。