【分布式系统百科】Dynamo 论文精读:最终一致性的工业级范本
2007 年,Amazon 在 SOSP 会议上发表了《Dynamo: Amazon's Highly Available Key-value Store》论文,这篇论文彻底改变了分布式存储系统的设计思路。与追求强一致性的传统数据库不同,Dynamo 选择了一条完全不同的道路:牺牲一致性,换取可用性和分区容错性。这个设…
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 8 篇文章 · 返回首页
2007 年,Amazon 在 SOSP 会议上发表了《Dynamo: Amazon's Highly Available Key-value Store》论文,这篇论文彻底改变了分布式存储系统的设计思路。与追求强一致性的传统数据库不同,Dynamo 选择了一条完全不同的道路:牺牲一致性,换取可用性和分区容错性。这个设…
精选 8 个真实大规模分布式系统故障案例,逐一分析根因、传播路径、恢复过程与事后改进,提炼分布式系统可靠性设计的共性教训。
Jay Kreps 在 2013 年的博客文章"The Log: What every software engineer should know about real-time data's unifying abstraction"中提出了日志(Log)作为分布式系统基础抽象的思想。日志不是应用程序的调试日志,而是…
一个 RPC 调用耗时 500 微秒,其中网络往返占了 490 微秒。一次分布式事务需要两轮 RPC,总耗时超过 1 毫秒。为了掩盖这个延迟,工程师不得不引入批处理、异步流水线、预取缓存——系统复杂度因此翻了好几倍。过去三十年,几乎所有分布式系统的设计都建立在一个核心假设之上:网络比本地内存慢三到四个数量级。Share…
深入探讨分布式数据库中二级索引的实现策略,对比本地索引和全局索引的设计权衡,分析 DynamoDB GSI 和 Elasticsearch 的实现细节。
在上一篇文章中,我们讨论了分布式系统中的二级索引问题。本文将深入探讨数据再平衡(Rebalancing)的核心策略和实现细节。当分布式系统运行一段时间后,数据分布可能会变得不均匀,节点可能会加入或离开集群,这时就需要再平衡机制来重新分配数据,保证系统的负载均衡和高可用性。
Google 在 2003 年 SOSP 上发表的 GFS 论文,定义了现代分布式文件系统的基本架构模式。十几年过去,GFS 的设计思想深刻影响了开源世界的 HDFS、工业界的后继者 Colossus,以及我们对分布式存储的理解。本文深入分析 GFS 的核心设计决策,特别是单 Master 架构的利弊权衡;探讨 HDF…
两个数据中心几乎同一时刻修改了同一个用户的购物车:北京的节点把商品 A 的数量从 1 改成 3,新加坡的节点删除了商品 B。合并的时候,系统该保留哪个版本?还是两个都保留?