并非所有向量数据库都生来平等 - 找到属于你的向量数据库 _向量数据库

谁也没想到，向量数据库会发展得这样快！
时间回到 2018 年，FAIss 项目刚刚开源，Milvus 才写下它的第一行代码。我们也只预见到向量数据库和嵌入式技术将会成为非结构化数据领域的关键研究工具。
很快，LLM 时代到来，从 BERT 到 GPT3，再到 GPT4 以及开源大模型 LLaMa，大模型能力日渐增强，生态逐步开发开放，加上向量提取技术的快速进步，人们越来越认识到高维向量在信息检索和生成中的重要地位。生成型 AI 大模型通常需要使用相似性搜索和匹配的结果作为 Prompt，以便提供精准的回复、推荐或匹配结果，这种方法我们称之为“检索增强生成” 。传统的基于关键词的搜索可能无法满足复杂的语义和上下文需求，而随着图像、语音等多模态大模型的涌现，向量数据库已经成为了大模型数据存储的事实标准。
忽如一夜春风来，千树万树梨花开。大型模型的爆发使得大模型数据存储成为构建未来AI系统的关键环节，同时也催生了众多向量数据库的出现。除了较早诞生的向量数据库 Milvus 和云服务 Zilliz Cloud，我们还看到了 Pinecone、Weaviate、Qdrant、Chroma 等形态各异的向量数据库和云服务的涌现。与此同时，一些传统数据库厂商也纷纷加入向量处理能力的提供之列，如 PGVector、ElasticSearch、MongoDB 等都推出了对向量的支持（Lucene 对 Dense Vector 的支持进一步推动了这一趋势）。
然而，随着向量数据库如雨后春笋般涌现，如何科学地评价和选择一个优秀的向量数据库，成为了一个备受讨论和争议的话题。
正如我们在评估大模型时会考虑其准确性、多样性、泛化能力、推理性能等诸多指标一样，本文也将尝试从多个角度分析向量数据库的异同，并为每种产品赋予独特的价值定位。实际上，当我们拨开表面的迷雾，聚焦向量数据库本质的时候，就会发现在向量数据库的概念外壳下包含着各式各样的内在要素。向量数据库作为一个独特的产品类别，其存在必然包含着特殊的价值，且一定会进化并分化出具有各自特点的产品。
01
向量数据库- Just Another WrApper for Faiss？
根据微软的定义，“向量数据库是一种将数据存储为高维向量的数据库，高维向量是特征或属性的数学表示。”拆解来看，向量数据库有两个关键要素，一是面向高维向量数据的处理能力，二是具备一个数据库的基本能力，因此以下几个因素是向量数据库必须要具备的：
1）支持向量数据的增删改查
2）高性能的向量检索
3）支持数据的持久化
4）支持一种易用的查询语言
除了上述的基本需求，我们还可以从许多角度来评估向量数据库：系统的扩展性、弹性、可用性，所采用的向量检索算法，是否支持标量过滤、混合查询、多向量等功能，是否开源，是否提供云服务，以及是否有完善的生态支持等等。“并非所有的向量数据库都天生平等”，在研究和选择向量数据库时，这些都是我们必须要考虑的因素。
Chroma 曾是一个建立在著名的实时 OLAP 数据库 ClickHouse 之上的向量数据库，尽管因此被批评为“只是在ClickHouse 上加了一个轻量级的封装”，但这个刚成立一年的初创公司还是凭借其向量搜索功能获得了 1800 万美元的种子轮融资。Chroma 在底层深度依赖 ClickHouse 和 HNSWlib，只是在向量检索上增加了一层 Python/ target=_blank class=infotextkey>Python 封装。这种依赖第三方构建复杂软件和服务的方法虽然快速，但会引发严重的性能问题，也会使得软件迭代变得非常困难。
事实上，仅仅数月后，Chroma 就决定放弃对 ClickHouse 的依赖，转而基于 SQLite 重建其查询引擎。Chroma 的经历证明，向量数据库绝不是简简单单的功能组合，做好向量数据库同样需要良好的设计和大量的工程实践。

文章插图
0
2
传统数据库- 向量数据库的终极选择？
除了专属向量数据库，传统数据库也纷纷支持了向量检索能力，包括 PostgreSQL、ElasticSearch 和 redis 等在内的数据库厂商纷纷加入这一赛道。那么，向量数据库是否会像很多 NoSQL 数据库一样，慢慢被关系型数据库所取代呢？

文章插图
尽管传统数据库已经扩展其功能以支持向量搜索，专门的向量数据库在许多方面仍具有突出优势。首先，向量数据库在易用性方面表现得更为优秀。虽然对于许多开发者而言 SQL 的学习成本相对较低，但传统数据库对 SQL 语法的兼容实际上成为了其功能迭代的包袱。相反，向量数据库往往提供了更易于迭代和拓展的 Python、JAVA 和Restful API 接口，从而可以更方便地增加新的功能和语法。这使得向量数据库能够适应 AI 和大数据领域日新月异的变化，更符合开发者的需求。