【TiKV / HTAP 内核】Coprocessor:DAG 下推与向量化边界
拆解 TiKV Coprocessor 如何接收 TiDB 下发的 DAG 请求、在 Region snapshot 上跑批量执行器;划清行存下推与 query-engine 系列 MPP 向量化的边界,不重讲 MPP。
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 3 篇文章 · 返回首页
拆解 TiKV Coprocessor 如何接收 TiDB 下发的 DAG 请求、在 Region snapshot 上跑批量执行器;划清行存下推与 query-engine 系列 MPP 向量化的边界,不重讲 MPP。
拆解 PostgreSQL 扩展系统的两种核心机制:全局 hook 机制全景(planner_hook、ExecutorStart_hook、ProcessUtility_hook 等覆盖七个子系统)和 FDW(Foreign Data Wrapper)的 FdwRoutine 回调接口。重点分析 postgres_fdw 的 pushdown 机制——哪些 WHERE/ORDER BY/LIMIT 能推到远端执行、哪些被留在本地——以及扩展如何通过 GetForeignRelSize→GetForeignPaths→GetForeignPlan 三个回调影响 planner 的代价估算和路径选择。
从近数据处理(NDP)的基本动机出发,梳理 Samsung SmartSSD、ScaleFlux、Eideticom 等 computational storage 产品,SNIA 计算存储标准,BlueField DPU 对存储路径的改造,以及 YourSQL、POLARDB-NDP 等学术/工业工作;下半给出过滤、解压、CRC、加密这四类当前能真正落地的下推场景,并借 PostgreSQL FDW 的类比说明'下推'到底在下推什么。