【存储工程】数据分片策略
系统剖析分布式存储中的数据分片——哈希分片与范围分片的工程权衡、一致性哈希与虚拟节点、跳跃一致性哈希,以及分片策略在实际系统中的应用
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 2 篇文章 · 返回首页
系统剖析分布式存储中的数据分片——哈希分片与范围分片的工程权衡、一致性哈希与虚拟节点、跳跃一致性哈希,以及分片策略在实际系统中的应用
你在教科书上学到的一致性哈希——哈希环加虚拟节点——在生产环境中其实很糟糕。内存爆炸、负载不均、rebalance 元数据传播慢。Google 早在 2014 年就用 Jump Consistent Hash 干掉了它,2016 年又用 Maglev Hash 统治了网络负载均衡。是时候更新你的知识库了。