【系统架构设计】管道与过滤器是什么:Unix 哲学的架构表达
管道与过滤器(Pipe-and-Filter)是什么:把处理拆成可组合的无状态阶段,经标准化通道传数据——从 Unix 管道到 ETL 与 Apache Beam 的架构原理。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 2 篇文章 · 返回首页
管道与过滤器(Pipe-and-Filter)是什么:把处理拆成可组合的无状态阶段,经标准化通道传数据——从 Unix 管道到 ETL 与 Apache Beam 的架构原理。
把量化系统里最容易藏雷的数据层从 tick 写到因子库走一遍:行情源接入与质量评估、tick 到 dollar bar 的 de Prado 式重采样、Parquet/Arrow/DuckDB/ClickHouse 列存选型、增量回填与断点续传、公司行动与前后复权、PIT 因子库与版本化查询、缺失监控与漂移检测;附 polars + pyarrow + duckdb 的可运行实现。