【全文检索引擎】BM25 与 Similarity：公式如何落到 Lucene
从 Robertson & Zaragoza (2009) 的 BM25 公式出发，拆解 Lucene BM25Similarity 如何把 TF 饱和、文档长度归一与 IDF 落到 postings 与 norms；对照 TF-IDF 工程差异，并划定与学习排序的生产边界。
similarity 标签归档
共 2 篇文章 · 返回首页
MinHash 与 SimHash：海量文本相似度检测
在数十亿网页中找出近似重复的内容，逐对比较需要天文数字的计算量。MinHash 和 SimHash 用概率方法将复杂度从 O(n^2) 降到近线性。