【数据湖与开放表格式】选型、迁移与运维
把前面 19 篇的机制落到工程决策:从 Hive 表迁移到 Iceberg 的三条路径与风险、湖仓 benchmark 的口径陷阱、生产里最常见的故障模式(孤儿文件、元数据膨胀、提交冲突风暴、快照过期误删、catalog 单点),以及一份可执行的运维清单。
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 11 篇文章 · 返回首页
把前面 19 篇的机制落到工程决策:从 Hive 表迁移到 Iceberg 的三条路径与风险、湖仓 benchmark 的口径陷阱、生产里最常见的故障模式(孤儿文件、元数据膨胀、提交冲突风暴、快照过期误删、catalog 单点),以及一份可执行的运维清单。
IdP + Policy Engine + Agent Gateway + MCP Host 参考架构,Keycloak/OPA/Envoy 能力边界,以及从用户 token 直连到 Gateway 代签的迁移路径。
自建 LGTM 与托管 SaaS 不是二选一。给出 TCO 假设模型、规模临界点、混合迁移与五维决策矩阵,交叉引用存储成本篇与中国厂商篇,不列会过期的厂商报价表。
拆解 pg_upgrade 的三种模式(--link 硬链接零拷贝、--clone CoW 快照、--copy 物理复制)的执行流程、内部机制和不可回滚的根本原因;逻辑复制跨版本迁移的低停机方案及序列/large object/DDL 三大盲区;四种常见坑的根因与应对;附带迁移方案决策树,从小库到大库选哪种方案一次说清。
Google 的 BeyondCorp 是最早把零信任从概念推到全公司规模的工程实践。从 2014 年第一篇论文到 2018 年第六篇,这六篇论文记录了每一次架构决策的动机、执行过程和后果。本文不是要点复述,而是把六篇论文当工程复盘来读。
零信任最重要的工程问题不是'采购什么产品',而是'怎么迁移'。已有 500 个遗留系统、数十个无法停机的关键业务、几千台未被管理的设备——本文拆解四种遗留系统升级策略、渐进式切流的流量控制与回滚条件,以及迁移中的人力成本和组织阻力。
2016 年,英国某大型零售商投入 3 年、耗资数亿英镑试图用"大爆炸"方式重写其核心电商系统,最终项目被彻底取消,旧系统继续运行。这并非孤例——Netscape 6 的全面重写导致公司丧失浏览器市场主导地位,而 Friendster 的重写则直接加速了公司的消亡。大爆炸重写(Big Bang Rewrite)的失败率…
2020 年末 Red Hat 宣布 CentOS 8 提前 EOL,将 CentOS 转向滚动发布的 CentOS Stream。本文梳理 Rocky Linux、AlmaLinux 的诞生,2023 年 Red Hat 关闭 RHEL 公开源码后的生态应对,以及中国线索:openEuler、龙蜥 Anolis OS、TencentOS、UOS Server 的路线选择与企业迁移决策框架。
云环境和虚拟化里,CPU 可以运行时上下线。本文讲 CPUHP 状态机、cpu_up/cpu_down 路径、RCU 和定时器迁移、锁竞争、nohz_full 与热插拔的陷阱、回归事故案例。
从 Hybrid 模式到证书链迁移,从 NIST ML-KEM/ML-DSA 到国密 SM2 的量子威胁,一份面向工程落地的后量子密码迁移指南。
不是功能矩阵,而是基于真实场景和性能实测的 CNI 选型决策指南