【可观测性工程】日志管道:Fluent Bit、Vector、Logstash、Cribl 的取舍
日志 Agent 与管道决定数据能否采得上来、送得到、不丢不炸。对比 Fluent Bit、Vector、Logstash、Cribl 的架构与可靠性,给出 K8s DaemonSet、背压处理与带假设的性能对比模型。
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 2 篇文章 · 返回首页
日志 Agent 与管道决定数据能否采得上来、送得到、不丢不炸。对比 Fluent Bit、Vector、Logstash、Cribl 的架构与可靠性,给出 K8s DaemonSet、背压处理与带假设的性能对比模型。
非结构化日志在分布式系统中几乎无用——你无法用 grep 在 500 个 Pod 的输出里定位一个跨服务的超时问题。本文从结构化日志的设计规范讲起,拆解 ELK 和 Loki 两大日志栈的架构差异与成本模型,深入讨论日志采样、动态日志级别、日志管道的流量控制与安全合规,结合 Uber 和 Cloudflare 的工程实践,给出可落地的日志架构设计方案。