【列存引擎内核】监控与系统表
ClickHouse system.parts、merges、replicas、query_log 与 replication_queue 的字段语义；parts 数、merge 延迟、内存 tracking 的可观测性基线与告警思路。
observability 分类归档
共 27 篇文章 · 返回首页
【可观测性工程】埋点哲学：粒度、采样、基数爆炸与成本模型
埋点不是多加几行日志，而是一整套关于什么该记、什么该采样、什么该丢弃的工程决策体系。从信号分层、基数控制、采样策略到落地规范与工程坑点，给出可操作的埋点治理框架。
【可观测性工程】数据模型：时间序列、日志、Span、Profile 的内部表达
拆解 Metrics、Logs、Traces、Profiles、Events 五大支柱在磁盘和内存中的内部数据模型。字段级对照 Prometheus TSDB block、Loki chunk、Tempo block，给出带假设的存储成本估算公式，并解释索引策略如何决定账单与查询延迟。
【可观测性工程】日志管道：Fluent Bit、Vector、Logstash、Cribl 的取舍
日志 Agent 与管道决定数据能否采得上来、送得到、不丢不炸。对比 Fluent Bit、Vector、Logstash、Cribl 的架构与可靠性，给出 K8s DaemonSet、背压处理与带假设的性能对比模型。
【可观测性工程】Traces 栈与采样：Jaeger、Tempo、Zipkin、SkyWalking
拆解 Jaeger、Tempo、SkyWalking 架构差异与采样策略（头部/尾部/自适应），给出 W3C TraceContext 传播、OpenTelemetry tail_sampling 配置与选型框架。
【可观测性工程】内核追踪：ftrace、kprobe、uprobe、tracepoint 生产实战
当用户态观测工具无法定位问题时，深入 Linux 内核追踪层。拆解 ftrace、tracepoint、kprobe、uprobe、bpftrace 的适用场景、WSL/生产复现步骤、安全边界，以及与 eBPF 全景和 linux-net 系列的阅读边界。
【可观测性工程】SLO 工程：错误预算、Burn Rate、多窗口多燃烧率告警
SLO 不是定几个 99.9% 的数字，而是连接业务需求与工程决策的治理机制。从 SLI 定义、错误预算计算到 Google SRE 多窗口多燃烧率 PromQL 规则，并说明 DB 层 SLI 如何映射到服务 SLO。
【可观测性工程】告警体系：Alertmanager、PagerDuty、OnCall 与分级抑制
建一套不让人崩溃的告警体系。从 Prometheus Alertmanager 的分组/抑制/静默三元组，到 PagerDuty 排班与升级策略，到分级告警的设计模板与告警质量持续治理。
【可观测性工程】存储与成本：采样、下采样、冷热分层、对象存储
可观测性数据量持续增长，存储成本常超过计算成本。拆解四大支柱的成本结构、采样与保留期策略、冷热分层架构，以及带显式假设的成本估算 worksheet。
【可观测性工程】多租户与安全：数据隔离、标签治理、PII 清洗
可观测性平台全公司共享时，查询隔离、写入限流、标签治理、PII 清洗与成本分摊的工程实现。以 Grafana Mimir/Loki/Tempo 的 X-Scope-OrgID 为主线，给出 Collector 配置与合规检查清单。
【可观测性工程】混沌工程：ChaosBlade、Chaos Mesh 与可观测性闭环
混沌工程验证可观测性与告警是否发现故障：稳态假设、ChaosBlade/Chaos Mesh/LitmusChaos 对比、爆炸半径控制、SLO 判定与 Reliability Backlog 闭环。
【可观测性工程】中国可观测性厂商对比：阿里 ARMS、腾讯 APM、华为 AOM、观测云、夜莺、DeepFlow
中国可观测性市场三条技术路线拆解：云托管、创业 SaaS、开源自建。对照本系列开源栈深度篇，给出场景匹配、锁定风险、信创约束与 TCO 假设模型，不做厂商排名或报价表。
【可观测性工程】真实事故复盘剧本：从指标抖动到根因的全链路追查
虚构但可复现的 checkout 服务事故全链路：SLO Burn Rate 告警后按 Golden Minute→Metrics→Traces→Logs→Profile→Events 五阶递进排障，含 PromQL/LogQL/kubectl 命令与三条分级剧本，交叉引用系列 01–22。
【可观测性工程】自建 vs 托管：OpenTelemetry 自建栈与 SaaS 的选型决策
自建 LGTM 与托管 SaaS 不是二选一。给出 TCO 假设模型、规模临界点、混合迁移与五维决策矩阵，交叉引用存储成本篇与中国厂商篇，不列会过期的厂商报价表。
可观测性工程
从 Metrics、Logs、Traces 到 Profiling、eBPF、OpenTelemetry 与 SLO 治理，面向中国工程团队的可观测性系统化手册。全 25 篇。
【可观测性工程】网络可观测性：Cilium Hubble、Pixie、DeepFlow、Tetragon
从 L3/L4/L7 三层观测视角出发，讲 eBPF socket filter / tc / XDP 数据采集与 Cilium Hubble 流日志、Tetragon 安全可观测、Pixie 协议自动解析、DeepFlow 架构；展开 bpftrace + kfree_skb_reason 的内核丢包定位、TLS 解密、HTTP/2 解析与服务拓扑自动发现。
【可观测性工程】指标体系设计：USE、RED、Golden Signals 与业务 KPI
USE 方法论适用于资源，RED 方法论适用于请求，Golden Signals 适用于服务——三套方法论各有其适用对象。本文从 Brendan Gregg、Tom Wilkie、Google SRE 的原始定义出发，构建覆盖资源→服务→业务的完整指标体系，并给出 Prometheus 命名规范、基数治理策略与可抄的指标清单。
【可观测性工程】Metrics：Prometheus、VictoriaMetrics、Thanos、Mimir、M3
从 Prometheus 架构与数据模型出发，系统梳理 Remote Write、PromQL 进阶、Thanos 全局聚合、Mimir 多租户、VictoriaMetrics 性能、M3DB 原理，以及五者在大规模生产场景下的对比矩阵与迁移实践。
【可观测性工程】Logs：Loki、ClickHouse、Elasticsearch、OpenObserve 的取舍
从日志场景分类出发，深入对比 Elasticsearch/OpenSearch、Grafana Loki、ClickHouse、OpenObserve 四大方案在全文检索、写入吞吐、存储成本、多租户和运维复杂度上的本质差异，结合 B 站、知乎 ClickHouse 日志平台实践，给出选型决策矩阵与工程坑点。
【可观测性工程】OpenTelemetry 深入：SDK、Collector、语义约定与版本演进
从 OpenTracing 与 OpenCensus 合并到今天的 OTel v1 稳定版，梳理 SDK 生命周期、Collector 流水线、OTLP 协议与 Semantic Conventions 的工程意义，并结合阿里 ARMS、观测云、夜莺等国内实践，给出多租户与尾采样的落地建议。
持续性能分析（Continuous Profiling）：Parca、Pyroscope、Grafana Beyla
深入剖析持续性能分析（Continuous Profiling）的原理、架构与落地实践，覆盖 Parca、Pyroscope、Grafana Beyla 三大主流方案，包含 eBPF 采样、符号解析、火焰图、差异分析以及字节跳动、美团的生产案例与工程坑点。
【可观测性工程】可观测性全景：Metrics、Logs、Traces、Profiles、Events 五大支柱
从控制论到云原生：拆解可观测性的五大信号支柱，对比监控与可观测性的本质区别，梳理开源/商业/SaaS 分类，以及国内互联网公司三大支柱落地现状与典型工程坑点。
【可观测性工程】可观测性 vs 监控：从 Zabbix/Nagios 到 OpenTelemetry 的二十年
监控与可观测性不是新旧迭代，而是认知模型的根本转换。本文梳理从 1999 年 Nagios 到 2019 年 OpenTelemetry 的二十年演进时间线，对比 push/pull 模型、数据模型差异，以及国内从 Zabbix 到 Prometheus 再到 OTel 的典型迁移路径与工程坑点。
【可观测性工程】时序数据库内核：TSM、TSI、倒排索引与 Gorilla 压缩
深入时序数据库的存储内核：Prometheus TSDB 的 WAL 与块管理、InfluxDB 的 TSM 引擎与 TSI 倒排索引、Gorilla 压缩算法的数学原理、VictoriaMetrics mergeset 架构、ClickHouse MergeTree 作为 metrics 后端，以及国内大厂在 series churn 和 compaction 风暴上踩过的坑。
【可观测性工程】持续性能分析（Profiling）：pprof、Pyroscope、Parca、async-profiler、JFR
从 CPU/heap/goroutine/lock/off-CPU 等 Profiling 种类出发，比较采样与插桩两类 profiler 的工作原理，深入 Go pprof、Java async-profiler/JFR、Python py-spy、Pyroscope、Parca eBPF Profiling，以及 OpenTelemetry Profiles 的最新进展，给出国内字节美团的真实落地经验与工程坑点。
【可观测性工程】Events 与变更关联：CloudEvents、发布打点、K8s 事件
把 Events 作为可观测性第四/五支柱来讲：变更事件、K8s Events、业务事件的数据模型，CloudEvents CNCF 规范，Kubernetes Event Exporter，Grafana Annotations，Argo Events，以及如何把发布打点与 Traces/Metrics 关联，实现\"变更即根因\"的故障响应方法论。
【可观测性工程】eBPF 可观测性全景：bcc、bpftrace、libbpf 的工程路径
eBPF 如何实现零侵入、内核级、低开销的可观测性：从 kprobe/uprobe/tracepoint/fentry 钩子机制，到 bcc 工具集、bpftrace 脚本语言、libbpf+CO-RE 可移植编程，再到 Pixie、DeepFlow、Grafana Beyla 等商业化工具，结合内核版本兼容性与生产部署实战。