数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎 / Redis 缓存内核 / 全文检索引擎，以及 LSM-Tree 从零实现实验。
lucene 标签归档
共 17 篇文章 · 返回首页
【全文检索引擎】全文引擎全景：架构叙事与 Lucene 内核之间的一层
定位 Lucene 9.x/10.x 库内核与 Elasticsearch 8.x 服务层相对 architecture/42、storage/29、向量引擎与 PG GIN 的分工；以最小索引故事建立坐标系，交代倒排索引学术谱系与 18 篇路线图。
【全文检索引擎】Lucene 文档模型：Field、docID 与正排/倒排
拆解 Lucene Index/Document/Field 与段内 docID 分配；说明 indexed、stored、docValues 三组正交开关；对照正排与倒排访问路径，为 Analyzer 与 postings 篇奠基。
【全文检索引擎】分析链 Analyzer：从文本到 TokenStream
拆解 Lucene Analyzer 的 CharFilter→Tokenizer→TokenFilter 管线与 TokenStream 契约；说明分词如何影响写放大与词典规模；中文分词只谈接口与运维代价，不展开 NLP 算法教程。
【全文检索引擎】词项词典 FST：前缀压缩与 TermsEnum
说明 Lucene 段内 Terms 词典如何用 FST 做前缀共享与内存映射；介绍 TermsEnum seek 与字段迭代；与 PostgreSQL GIN Entry Tree 对照一句，为 postings 定位奠基。
【全文检索引擎】Postings 与 codec：freqs、positions、skip 与 impacts
拆解 Lucene PostingsFormat 中 freqs/positions/offsets/payloads 各层语义；说明块编码、skip list 与 impacts 如何服务相交剪枝；解释短语查询为何依赖 positions。
【全文检索引擎】BM25 与 Similarity：公式如何落到 Lucene
从 Robertson & Zaragoza (2009) 的 BM25 公式出发，拆解 Lucene BM25Similarity 如何把 TF 饱和、文档长度归一与 IDF 落到 postings 与 norms；对照 TF-IDF 工程差异，并划定与学习排序的生产边界。
【全文检索引擎】IndexWriter 与 NRT：从缓冲到可打开的 Reader
拆解 Lucene IndexWriter 的 RAM 缓冲、flush 出段与 DirectoryReader.open(IndexWriter) 近实时语义；说明 Searcher 刷新与「刚写入即可搜」在库层与 ES refresh 层各自保证什么。
【全文检索引擎】MergePolicy 与删除：段合并与 liveDocs
说明 Lucene TieredMergePolicy 如何把多段收成更少大段、软删除如何通过 liveDocs 维持可见性并延迟空间回收，以及 force merge 在 Elasticsearch 中的代价与适用边界。
【全文检索引擎】查询执行：BooleanScorer、两阶段与 Collector
从 BooleanQuery 的 SHOULD/MUST 语义出发，拆解 Lucene BooleanScorer、两阶段迭代（近似+验证）、Collector 与 TopDocs 截断，以及 galloping 相交与 postings impacts 跳跃剪枝的关系。
【全文检索引擎】DocValues 与 stored fields：排序聚合为何不走倒排
说明 Lucene DocValues 的列式访问模型如何服务排序、聚合与脚本，stored fields 的随机取原文代价，以及 Elasticsearch 聚合管线对 DocValues 的依赖——为第 14 篇预埋。
【全文检索引擎】Index · Shard · Replica：路由与 cluster state
在 Lucene 段模型之上拆解 Elasticsearch 8.x 的 Index、主分片哈希路由、副本读写分工，以及 cluster state 元数据膨胀如何成为 master 瓶颈；与 architecture/42 分片陷阱对读，不复述全文。
【全文检索引擎】refresh · flush · translog：近实时与持久化边界
用保证矩阵拆解 Elasticsearch 8.x 的 refresh、flush、translog 各自承诺什么：可搜窗口、磁盘持久化、崩溃恢复；对照 refresh_interval 与 wait_for，并在单节点 8.15 上实测写入可见性。
【全文检索引擎】混合检索边界：BM25 与 dense_vector
只谈 Elasticsearch 8.x / Lucene 上 BM25 与 kNN 的组合接口与段内共存代价，ANN 算法与专用向量引擎细节外链 vector-engine 与 db-frontier/08；指出倒排与向量同 Segment 生命周期尚未统一的开放问题。
【全文检索引擎】OpenSearch 与 Solr：分叉与同源
对照 Elasticsearch 8.x 与 OpenSearch 的许可与发行分叉，说明二者与 Solr 如何共享 Lucene 段模型；Solr 仅作边界一句，内核机制仍回链本系列 01–15 篇。
【全文检索引擎】生产排障：breaker、refresh、分片、慢查询
用症状到机制的决策树覆盖 circuit breaker、refresh 过频、大字段、分片过多与慢查询 explain，逐条回链本系列 Lucene 段与 ES NRT 篇章；不含未跑集群 benchmark。
【全文检索引擎】Lucene · BM25 · Segment · Elasticsearch NRT
补齐搜索架构叙事与 RAG/向量引擎之间的全文检索内核层：以 Lucene 9.x/10.x 拆解 Analyzer、FST、postings、BM25 与 IndexWriter，并以 Elasticsearch 8.x 拆解分片、refresh/translog 与查询路径；OpenSearch 对照与选型收束。