【向量检索引擎】Lance / LanceDB 对照:格式还是服务
承接 lakehouse/21 的 Lance vs Parquet 实测口径,划清湖原生向量格式与 Milvus 专用引擎的边界:随机 take、ANN 随数据集管理、版本化,以及何时不必上向量集群。
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 5 篇文章 · 返回首页
承接 lakehouse/21 的 Lance vs Parquet 实测口径,划清湖原生向量格式与 Milvus 专用引擎的边界:随机 take、ANN 随数据集管理、版本化,以及何时不必上向量集群。
用决策树收束 Milvus、Qdrant、Lance/pgvector 的适用边界;回链 llm-infra RAG 与 db-frontier ANN;列出 GPU 索引、多向量、稀疏+稠密等开放问题,完成本系列阅读地图。
补齐 ANN 算法与 RAG 应用之间的生产级向量引擎层:以 Milvus 2.6.x 为主线拆解 Segment、WAL、Segcore、Knowhere、混合过滤与一致性,并用 Qdrant、LanceDB 对照选型。
湖仓如何承接 AI 负载:embedding/特征/训练样本存湖、按 snapshot 固定数据版本做可复现训练,以及 Parquet 在随机访问和向量检索上的短板。用本机实测对比 Lance 与 Parquet 的顺序扫描与按行随机 take,讲清 Lance 为何为随机访问与向量而生,并划清湖侧存储与专用向量引擎的边界。
系统梳理 LanceDB、Chroma、Weaviate、SurrealDB 等多模态数据库的架构差异;列存格式(Lance、Parquet)如何支持张量;给出多模态一体化的选型矩阵,并与仓库的 Parquet/Arrow 文章互链。