【SQLite 内核】SQL 编译管线：从文本到 VDBE 程序
拆开 sqlite3_prepare_v2 内部如何把 SQL 文本经词法、语法、名字解析、查询规划变成第 5 篇执行的 bytecode；用本机 3.53.2 的 EXPLAIN QUERY PLAN 钉住三种访问路径形态，并交代 schema cookie 触发 reprepare 的机制，规划算法细节留给第 11 篇。
tokenizer 标签归档
共 3 篇文章 · 返回首页
【全文检索引擎】分析链 Analyzer：从文本到 TokenStream
拆解 Lucene Analyzer 的 CharFilter→Tokenizer→TokenFilter 管线与 TokenStream 契约；说明分词如何影响写放大与词典规模；中文分词只谈接口与运维代价，不展开 NLP 算法教程。
【大模型基础设施工程】05：训练全景：Pre-train、SFT、RLHF、DPO、蒸馏
以工程视角串联现代 LLM 的四阶段训练栈——预训练、中训、SFT 与对齐——覆盖数据、Tokenizer、优化器、精度、Scaling Law 与代表性训练框架。