【全文检索引擎】分析链 Analyzer：从文本到 TokenStream
拆解 Lucene Analyzer 的 CharFilter→Tokenizer→TokenFilter 管线与 TokenStream 契约；说明分词如何影响写放大与词典规模；中文分词只谈接口与运维代价，不展开 NLP 算法教程。
chinese-segmentation 标签归档
共 1 篇文章 · 返回首页
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 1 篇文章 · 返回首页
拆解 Lucene Analyzer 的 CharFilter→Tokenizer→TokenFilter 管线与 TokenStream 契约；说明分词如何影响写放大与词典规模；中文分词只谈接口与运维代价，不展开 NLP 算法教程。