MinHash 与 SimHash:近重复检测的相似度草图与候选生成
从 Broder 的 shingling 与 min-wise 哈希、Charikar 的随机超平面出发,实测 MinHash 估计误差、banding 的 S 曲线和 SimHash 汉明阈值对应的余弦区间,对照 Manku 2007 的置换表与 datasketch 2.0.0 的实现。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 1 篇文章 · 返回首页
从 Broder 的 shingling 与 min-wise 哈希、Charikar 的随机超平面出发,实测 MinHash 估计误差、banding 的 S 曲线和 SimHash 汉明阈值对应的余弦区间,对照 Manku 2007 的置换表与 datasketch 2.0.0 的实现。