一致性哈希:不要相信教科书版本
你在教科书上学到的一致性哈希——哈希环加虚拟节点——在生产环境中其实很糟糕。内存爆炸、负载不均、rebalance 元数据传播慢。Google 早在 2014 年就用 Jump Consistent Hash 干掉了它,2016 年又用 Maglev Hash 统治了网络负载均衡。是时候更新你的知识库了。
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 11 篇文章 · 返回首页
你在教科书上学到的一致性哈希——哈希环加虚拟节点——在生产环境中其实很糟糕。内存爆炸、负载不均、rebalance 元数据传播慢。Google 早在 2014 年就用 Jump Consistent Hash 干掉了它,2016 年又用 Maglev Hash 统治了网络负载均衡。是时候更新你的知识库了。
Raft 保证强一致,但 Leader 一挂全卡。CRDT 不需要共识也能合并——代价是元数据膨胀、只能单调、最终一致。G-Counter、LWW-Register、OR-Set 的 Go 实现,正确性验证,以及什么时候该用 Raft、什么时候该用 CRDT。
分布式系统里最难的问题之一:如何定义事件的先后?物理时钟对不齐,逻辑时钟丢信息,向量时钟太重。HLC 用物理时间 + 逻辑计数器找到了平衡点。从 Lamport 时钟一路推导到 CockroachDB 的工程实现。
Raft 论文 18 页,etcd raft 库 ~15000 行 Go。中间的差距不是代码量,是论文没提的工程 edge case:PreVote、流水线复制、ReadIndex、joint consensus。
从 Raft 共识到 CRDT 无冲突复制、分布式事务、混合时钟——分布式系统的核心机制逐个拆解。
Paxos 被引用了几千次,能正确实现它的人不超过几十个。Raft 用可理解性换工程落地,它的 Leader Election、Log Replication 和 Safety 三板斧,撑起了 etcd、TiKV 和大半个云原生基础设施。
一致性哈希算法原理与应用:分布式系统负载均衡与数据分片的核心技术
蒙特卡洛模拟显示:在 5-20 个节点的常见部署规模下,一致性哈希环的负载均衡效果远不如 Jump Consistent Hash、Rendezvous Hash 等替代方案。附完整模拟数据和选型决策框架。
深入探讨一致性哈希在实际应用中的溢出概率问题,通过交互式可视化展示为什么集群容量规划比你想象的更复杂
深度剖析 SLA "几个9"背后的统计陷阱:独立性假设、级联故障、关联故障如何让你的可用性数字沦为一厢情愿的幻觉
服务架构演化实践:从单体到微服务,系统扩展性设计与优化历程