数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎 / Redis 缓存内核 / 全文检索引擎，以及 LSM-Tree 从零实现实验。
milvus 标签归档
共 25 篇文章 · 返回首页
【向量检索引擎】向量引擎全景：算法、RAG 与专用引擎之间的一层
定位专用向量检索引擎相对 ANN 算法、RAG 应用与湖仓格式的分工；以 Milvus 2.6.x 四层架构与 insert/search 最小故事建立坐标系，并交代从 SIGMOD 2021 到 Streaming 演进的谱系与常见误解。
【向量检索引擎】ANN 算法工程接口：从 HNSW/IVF 到 Knowhere 契约
把 HNSW、IVF、DiskANN、Flat 收成引擎侧 Train/Build/Load/Search 契约与构建期/查询期参数面；用生命周期图与召回–QPS–内存三角说明索引如何贴着 Segment，并与 db-frontier/08、第 8 篇 Knowhere 分工。
【向量检索引擎】Collection · Partition · Segment · Channel：Growing 到 Sealed 的状态机
用最小故事钉住 Milvus 2.6.x 数据模型：Collection/Partition、vchannel/pchannel 与 Streaming Node 绑定，Growing/Sealed、flush 与 handoff 状态机，并纠正「一个 Collection 一张大图」等常见误解。
【向量检索引擎】Proxy 与 Coordinator：接入面、TSO 与集群大脑
以一次 collection 生命周期里的 DDL/DML/DQL 请求为线索，拆解 Milvus 2.6.x 无状态 Proxy 的路由与 MPP 归并，单活跃 Coordinator 的 TSO/timetick 全序机制与任务调度，并对照 Spanner/TiDB 的时间戳设计说明工程取舍。
【向量检索引擎】Streaming Node 与 Woodpecker WAL：实时可搜的日志层
以一条 insert 从 SDK 到「立刻能被搜到」的最小故事为线索，拆解 Milvus 2.6.x Streaming Service 三件套、Message/TSO 写顺序、Woodpecker 零本地盘 WAL 的 MemoryBuffer/QuorumBuffer 模式，并标明官方吞吐数字的引用边界。
【向量检索引擎】对象存储上的 Segment 布局：快照、索引与寻址代价
以 flush 后去对象存储里查看文件为线索，拆解 Milvus 2.6.x 的对象路径结构（insert_log/delta_log/stats_log/index_files）、V1 按字段拆分与 V2 按段整合 Parquet 的寻址代价差异，并给出官方文档中可核对的 API 调用量级引用。
【向量检索引擎】Query Node 与 Segcore：段级 search 如何执行
按 Milvus 2.6.x Data Processing 与 Architecture 拆解 Query Node 对 Sealed 的加载与段级检索，说明 Streaming Node 上 Growing 路径与 Query Delegator 如何拼成一次 search，用最小故事与常见误解钉住 Segcore 与 Knowhere 的层次边界。
【向量检索引擎】Knowhere：向量索引执行引擎与插件契约
按官方 Knowhere 文档说明其在 Milvus 中的位置、相对 Faiss 的扩展（bitset、SIMD 选择、二进制度量）、VecIndex 类层次与 IDMAP/IVF/HNSW 等类型，用插件注册、CPU/GPU 分发与 bitset 进查询三张图钉住工程契约，并与 db-frontier/08 的算法细节分工。
【向量检索引擎】分布式 search 归并：Delegator、多级 reduce 与 GuaranteeTs
按 Milvus 2.6.x Data Processing 与 Architecture 拆解 search 的多级归并树：Proxy → Streaming Node Delegator → Query Node 段级结果；用最小故事、GuaranteeTs 等待时序图与常见误解说明一致性级别如何变成排队等待。
【向量检索引擎】Data Node：compaction 与 index build
说明 Milvus 2.6.x 中 Data Node 作为离线 Worker 如何承接 Coordinator 下发的建索引与 compaction，输入输出如何进出对象存储；用最小故事、常见误解与队列积压图说明索引堆积如何拖垮查询新鲜度与资源争用。
【向量检索引擎】混合检索与标量过滤：表达式、bitset 与选择度打穿归并
按 Milvus 2.6.x Bitset、Filter Templating 文档拆解表达式如何变成 bitset 再喂给 Knowhere；用最小故事、bitset 取反细节与选择度打穿 Top-k 归并的示意图，说明为何过滤会改变延迟而不只是改变结果数量；对读 db-frontier/09 的 ACORN、Filtered-DiskANN 争论。
【向量检索引擎】一致性模型：四级 GuaranteeTs 与 PACELC 的延迟账
按官方 Consistency Level 与 Timestamp 文档拆解 Strong/Bounded/Session/Eventually 如何映射到 GuaranteeTs，用最小故事、四级时间轴与 Strong 等待时序图说明「一致性」在 Milvus 里首先是一笔延迟账；对照 Abadi PACELC 定理与 Bailis PBS，说明 Bounded 是定性旋钮而非概率保证。
【向量检索引擎】Delete · Upsert · TTL：软删生命周期与覆盖写的两条路径
按 2.6.x Delete/Upsert/TTL 文档拆解软删 bitset 从逻辑不可见到 compaction 物理回收的完整生命周期，用官方 override/merge 内部步骤的时序图区分两种 upsert，并与 FreshDiskANN 的图索引删除模型对照，说明 Milvus 用「整段重建」而非「增量合并」处理删除。
【向量检索引擎】副本、负载与故障恢复：读缓存式副本与 WAL 单所有者
按官方 In-Memory Replica 与 Streaming Service 文档拆解副本组、shard leader、Proxy 缓存 failover 与 WAL Wait for Ready；用多副本拓扑图与迁移时序图说明 Milvus 的读副本更接近只读缓存池而非共识复制，并与 Chain Replication、PacificA 对照。
【向量检索引擎】Qdrant 对照：单库路径、payload 过滤与分片副本
对照 Qdrant 与本系列 Milvus 主线：Segment 内的向量/payload/id mapper 三件套、WAL+序号版本化、后台 optimizer 四类任务，以及 Raft 只管拓扑不管点操作的分布式模型；说明何时单进程/小集群更合适。
【向量检索引擎】Lance / LanceDB 对照：格式还是服务
承接 lakehouse/21 的 Lance vs Parquet 实测口径，用官方 Table Format 规范拆开 fragment/manifest/version 与 Milvus Segment/WAL 的边界；对照两边索引异步构建的共性，并给出湖侧 snapshot 与在线引擎可见性水位的对齐方式。
【向量检索引擎】生产排障：召回、延迟、堆积、OOM
用症状到机制的决策树覆盖召回/延迟/堆积/OOM 四类故障，按可见性、段状态、过滤选择度、离线队列、对象存储与副本拓扑逐层定位；用一个跨软删广播与副本改派的最小故事说明为什么同一查询会得到不稳定结果，不含未跑的集群数字。
【向量检索引擎】选型与阅读地图：决策树、RAG 回链与开放问题
扩展选型决策树：从单机原型到十亿级多租户，逐层加入湖上格式、SQL 同进程、存算分离运维、多一致性级别四个判断轴；用一个团队规模演进的最小故事串起决策点，并回链 llm-infra RAG 与本系列全部核心论文谱系。
【向量检索引擎】Milvus · Segcore · Knowhere · Qdrant · Lance
补齐 ANN 算法与 RAG 应用之间的生产级向量引擎层：以 Milvus 2.6.x 为主线拆解 Segment、WAL、Segcore、Knowhere、混合过滤与一致性，并用 Qdrant、LanceDB 对照选型。
【大模型基础设施工程】18：向量库与图 RAG
从 HNSW、IVF-PQ、DiskANN 到 Milvus、Qdrant、pgvector；从稠密稀疏混合到 Microsoft GraphRAG 的工程实操。
【数据库前沿】【数据库研究前沿】向量索引深度：HNSW、DiskANN、SPANN 原理对比
系统拆解 HNSW、DiskANN/Vamana、SPANN 三类主流 ANN 索引的原理、构建算法、查询流程与工程参数，并覆盖 IVF-PQ、ScaNN 的位置，最后给出 FAISS/Milvus/pgvector/Qdrant 的选型与一份 200 行 numpy HNSW 复现。
【数据库前沿】【数据库研究前沿】向量与标量的混合过滤检索：ACORN、Milvus、pgvector 的算法权衡
系统拆解 ANN 混合过滤检索（filtered vector search）里的 pre-filter、post-filter、in-filter 三种策略，覆盖 ACORN（SIGMOD 2024）的预测路由、Milvus/Qdrant 的 partition / pinned filter，以及 pgvector 的实际查询写法和 EXPLAIN 观察方法。
【存储工程】向量存储与 ANN 索引
给定一条 768 维的文本嵌入向量（Embedding），要从一亿条同维度向量中找出最相似的 10 条。暴力计算需要对每条向量做 768 次乘法和一次求和——一亿条就是 768 亿次浮点运算，单核 CPU 跑完需要几十秒。如果这个操作发生在每一次用户搜索请求中，系统根本无法响应。
HNSW：图索引如何击败树索引
HNSW 是当前向量检索的事实标准算法。