概述偶然间看到嵌入式向量数据库秃然对这个主题产生兴趣于是产出此文。说到嵌入式数据库不严谨地说大抵有两种形式要么内存要么文件。一般而言几乎所有嵌入数据库都支持这两种形式。因为内存易失性所以需要文件作为持久化存储备份也因为文件读写速度慢所以需要内存提供性能。对嵌入式关系型数据库感兴趣可移步内存数据库Apache Derby、H2。Zvec官网阿里开源GitHub14.8K Star924 Fork类SQLite的轻量级嵌入式向量数据库专为终端侧设计具备开箱即用、资源可配置、极致性能以及多样化向量能力四大核心优势。旨在为开发者提供从原型验证到端侧生产部署的一站式解决方案。官方文档。设计宗旨嵌入式纯本地运行无需网络或独立服务零配置迅速启动运行时资源如内存可控接口设计简洁并易于集成和扩展可无缝嵌入终端应用、CLI工具、AI框架或数据库系统向量原生全栈面向向量工作负载设计提供丰富的高质量索引与量化能力满足不同资源约束下的需求并深度适配各类硬件平台支持丰富的向量检索模式覆盖RAG、多模态搜索等应用需求生产就绪以稳定性为核心通过持久化存储、线程安全访问与崩溃自动恢复等机制确保在手机、CLI、车载等无运维终端环境中长期可靠运行避免因异常退出导致数据丢失或状态不一致。能力总览类别能力支持详情SDK/平台支持PythonSDK3.10~3.12操作系统Linux、MacOS数据操作CRUD操作Insert,Update,Upsert,Delete,DeleteByFilter,Fetch查询方式单向量、多向量融合、条件过滤、标量-向量混合查询、RNN/暴力检索/调整索引检索参数Schema变更列操作支持Column的ADD/DROP/ALTER索引操作支持Index的CREATE/DROP持久化崩溃恢复WALCheckpoint溃后数据零丢失场景扩展RAG扩展提供Embedding/Rerank等能力并支持扩展向量/量化类型DenseFP32,FP16,INT8SparseSPARSE_FP32,SPARSE_FP16量化FP16,INT8,INT4支持Refine/ScaleFactor精度补偿索引算法FLATDense/SparseHNSWDense/SparseIVF仅支持Dense数据类型标量类型STR,BOOL,INT32/64,UINT32/64,FLOAT,DOUBLE,ARRAY过滤条件参考Filter支持资源控制内存控制分块写入mmap内存强管控并发控制索引构建全局查询并发极致性能满足端侧实时交互需求基于阿里巴巴通义实验室自研的高性能向量引擎Proxima通过深度优化包括多线程并发内存布局优化SIMD加速CPU预取等技术优化策略显著提高索引构建与查询流程的计算效率实现低延迟、高吞吐的向量检索能力端侧资源受限场景下也能做到实时交互。在VectorDBBench的典型场景Cohere 10M数据集中在相当硬件配置以及对齐Recall水平的前提下检索吞吐超过8k QPS是此前榜单首位ZillizCloud的2倍以上同时构建延迟大幅缩短展现出全面领先的性能优势。官方Benchmark性能测试。资源可控适配CLI、移动端等资源受限环境在移动端、Serverless函数或CLI工具等资源受限环境中向量系统必须对内存与CPU使用具备明确边界否则极易因资源超限导致应用崩溃或系统干预如Linux OOM Killer或Android ANR。从架构层面内置资源约束机制确保在有限资源下稳定运行。内存控制向量索引适配有限内存避免OOMHNSW等图索引在构建或查询阶段可能瞬时占用数倍于原始数据的内存。为避免此类不可控行为提供三层内存管理机制流式分块写入写入默认采用64MB分块流式处理避免全量数据驻留内存兼顾写入效率和内存占用mmap按需加载支持通过enable_mmaptrue启用内存映射模式。在此模式下向量与索引数据由操作系统按需换入物理内存即使总数据量超过可用RAM亦可避免OOM强内存管控实验性功能当未启用mmap时进入强内存管控管控模式Zvec会维护一个隔离的、进程级的内存池可通过memory_limit_mb参数显式限定该内存池的预算上限。并发控制避免线程资源侵占保障主线程响应性在GUI应用中无约束的向量计算可能启动大量线程耗尽CPU资源导致UI卡顿或调度器惩罚。提供细粒度并发调控能力索引构建并发控制所有索引创建接口均支持concurrency参数用于指定构建阶段的并行线程数可通过全局optimize_threads参数限制进程内最大构建并发防止后台任务抢占前台资源查询并发控制通过query_threads全局参数可限定查询阶段的最大并发线程数。应用就绪RAG场景下能力全覆盖动态知识库管理提供完整CRUD能力允许用户实时更新私有知识满足知识动态更新需求支持Schema变更便于根据元数据演进或查询模式动态选择最优索引策略。多路召回与融合原生支持多向量联合查询轻松实现多路语义以及语义关键词召回内置默认重排序器支持加权融合与RRF等策略自动完成多路结果融合与排序无需应用层手动合并。标量-向量混合查询支持标量过滤条件下推至向量索引执行层避免高维空间中的全量扫描显著提升混合查询效率标量字段可选建倒排索引加速等值/范围过滤进一步优化混合检索性能。聚焦四个方向持续迭代开发体验优化完善CLI工具和多语言SDK、LangChain集成面向典型场景完善扩展能力纵向扩展持续增强索引能力打造分组查询等向量特色能力并持续跟进主流性能榜单生态协同共建推进DuckDB、PG向量扩展集成、外表Parquet/CSV支持参与生态共建场景闭环验证与ISV、硬件厂商合作打磨端侧真实交付案例。对比类别能力ZvecFaissDuckDB(vss)Milvus(Lite)LanceDBPG Vector部署形态嵌入式✅✅✅✅✅❌单机(服务化)❌❌✅✅❌✅分布式❌❌❌✅❌❌资源控制内存✅❌❌❌✅✅线程✅❌❌❌✅✅向量索引✅✅(HNSWonly)(FLAT/IVF_FLATonly)✅✅向量能力稠密向量✅✅(FP32only)✅✅✅稀疏向量✅❌❌✅✅✅量化✅✅❌✅✅✅混合检索(向量标量)✅❌✅✅✅✅数据操作多向量检索✅❌❌✅✅❌完整的CRUD✅❌✅✅✅✅可靠性崩溃恢复✅❌✅✅✅✅注仅供参考不一定完全正确。实战安装pip install zvecSDK集成importzvec schemazvec.CollectionSchema(namedemo,vectorszvec.VectorSchema(embedding,zvec.DataType.VECTOR_FP32,4),)collectionzvec.create_and_open(path./zvec_example,schemaschema,)collection.insert([zvec.Doc(iddoc_1,vectors{embedding:[0.1,0.2,0.3,0.4]}),zvec.Doc(iddoc_2,vectors{embedding:[0.2,0.3,0.4,0.1]}),])resultscollection.query(zvec.VectorQuery(embedding,vector[0.4,0.3,0.3,0.1]),topk10)print(results)ObjectBox官网基于JVM的开源GitHub4.6K Star307 Fork跨平台包括Android和iOS高性能设备端向量数据库专为移动设备、物联网和其他受限硬件设计。提供简单易用的API使开发人员能够快速存储和检索数据。与SQLite相比ObjectBox的速度快10倍。优势高性能快速存储和检索数据易于使用提供简单易用的API数据同步支持在多个设备之间同步数据数据安全提供数据加密和身份验证功能核心架构Engine层魔法引擎用C实现的高性能存储引擎直接操作二进制文件比SQLite快10倍Core层魔法指挥中心Java/Kotlin API层负责管理事务、生成代码、与Engine通信Extensions层魔法扩展包支持RxJava、LiveData等扩展功能编译时自动生成MyObjectBox、User_等类避免运行时反射提升性能。数据以B-Tree结构存储在.db文件中通过多级分叉快速定位数据。每个操作默认在事务中执行保证原子性。实战对于Gradle项目添加依赖implementationio.objectbox:objectbox-android:latest.versionannotationProcessorio.objectbox:objectbox-processor:latest.version实体类定义EntitypublicclassStudent{Idprivatelongid;IndexprivateStringname;TransientprivateinttempUsageCount;// 用于表字段与代码字段不一致场景NameInDb(USERNAME)privateStringname;// 一对一关联privateToOneClassclassToOne;privateintage;}若新建或修改实体都需要重新Make Project来生成新的实体操作对象。其他注解Backlink表示反向关联UID数据操作BoxStudentstuBoxBaseApp.getInstence().getBoxStore().boxFor(Student.class);StudentstudentnewStudent();student.nameJay;stuBox.put(student);StudentjayStudentstuBox.query().equal(Student_.name,Jay).build().find();stuBox.remove(student);SQLite-Vector官网SQLite官方推出的开源GitHub1K Star43 Fork嵌入式向量数据库。特性无需虚拟表直接将向量作为BLOB存储在普通表中极速经过优化的C实现支持SIMD加速支持TurboQuant使用qtypeTURBO进行SIMD 2/3/4位量化扫描低内存占用默认仅需30MB RAM无需预建索引无需漫长的预处理或索引构建阶段离线可用非常适合端侧、隐私保护的AI工作负载即插即用以最小工作量集成到现有SQLite工作流中跨平台开箱即用支持所有主流操作系统实战-- 常规建表CREATETABLEimages(idINTEGERPRIMARYKEY,embeddingBLOB,-- store Float32/UInt8/etc.labelTEXT);-- Insert a BLOB vector (Float32, 384 dimensions) using bindingsINSERTINTOimages(embedding,label)VALUES(?,cat);-- Insert a JSON vector (Float32, 384 dimensions)INSERTINTOimages(embedding,label)VALUES(vector_as_f32([0.3, 1.0, 0.9, 3.2, 1.4,...]),dog);-- Initialize the vector. By default, the distance function is L2.-- To use a different metric, specify one of the following options:-- distanceL1, distanceCOSINE, distanceDOT, distanceSQUARED_L2, or distanceHAMMING.SELECTvector_init(images,embedding,typeFLOAT32,dimension384);-- Quantize vectorSELECTvector_quantize(images,embedding);-- Or use TurboQuant for compact 2/3/4-bit quantizationSELECTvector_quantize(images,embedding,qtypeTURBO,qbits4);-- Optional preload quantized version in memory (for a 4x/5x speedup)SELECTvector_quantize_preload(images,embedding);-- Run a nearest neighbor query on the quantized version (returns top 20 closest vectors)SELECTe.id,v.distanceFROMimagesASeJOINvector_quantize_scan(images,embedding,?,20)ASvONe.idv.rowid;-- Streaming mode: omit k to get rows progressively, use SQL to filter and limitSELECTe.id,v.distanceFROMimagesASeJOINvector_quantize_scan(images,embedding,?)ASvONe.idv.rowidWHEREe.labelcatLIMIT10;Python SDK安装pip install sqliteai-vectorPython示例SatoriDB官网基于Rust轻量、嵌入式、高性能的开源GitHub242 Star19 Fork向量数据库支持十亿级向量数据集的近似最近邻ANN搜索能在普通服务器上实现95%召回率与可预测延迟。目前主流向量数据库大多是C-S架构需单独部署服务进程通过gRPC/HTTP通信。很适合大规模生产环境不足之处部署复杂需管理额外服务、网络配置、认证授权等资源开销大常驻内存占用高不适合低配机器处理不当容易直接卡死延迟不可控网络往返增加查询延迟离线场景不适用无法用于无网络环境如车载、工控设备、以及私人部署。类似于SQLite以库的形式直接链接到程序中实现零外部依赖、零运维成本、零网络开销。启动即用关闭即停数据持久化在本地磁盘。适用场景边缘设备、桌面应用、单机原型或资源受限环境。架构灵感部分源自论文SPFresh不追求将全部向量塞进内存而是通过智能路由仅加载必要部分实现按需加载。第一层热索引——内存中的导航图巧妙的将整个向量空间划分为若干桶Buckets每个桶由一组相似向量组成。系统对每个桶计算一个质心Centroid并将所有质心再构建为一个HNSW图。关键优化点在于质心被标量量化Scalar Quantization。将32位浮点数f32的质心坐标压缩为8位无符号整数u8。使HNSW索引直接体积缩小至原来的1/4从而实现数十万甚至上百万个桶的路由索引轻松驻留内存。接收到查询请求时系统在HNSW上快速找到与查询向量最接近的Top-K个桶通常K10~100只有这些桶会被后续扫描而非全量数据。第二层冷存储Cold Tier——磁盘上的向量仓库那些被查找到的的桶其原始向量数据存储在磁盘上的。使用两个底层引擎协同工作Walrus基于io_uring的高性能追加日志存储按桶组织topic支持高吞吐写入RocksDB用于元数据索引支持按ID快速查找、去重等操作。在查询阶段系统会启动多个CPU-pinned Glommio工作线程每个绑定到特定CPU核心并行读取选中的桶数据。确保每个worker拥有独立的io_uring异步I/O环、LRU缓存每个worker默认缓存64个桶最多64MB、预分配堆内存。这种无共享Shared-Nothing的设计模式彻底避免跨核同步产生的开销极大提升并发效率。性能加速SIMDio_uring自动调优在计算密集型操作上全面启用SIMD指令集AVX2/AVX-512向量距离计算L2、点积标量反量化u8→f32K-Means聚类分配。在AVX-512支持的CPU上单核每秒可完成数百万次距离计算。此外系统具备很强的自适应能力自动聚类实现新向量插入后通过K-Means分配到最近桶自动分裂当桶内向量数超过阈值默认2000后台rebalancer会自动将其分裂为两个新桶确保查询负载均衡HNSW重建每插入一定数量向量默认1000热索引会增量重建保持搜索精度。这些机制共同保障即使在十亿级数据下查询延迟依然稳定可预测。实战API设计极其简单支持同步、异步两种模式usesatoridb::SatoriDb;fnmain()-anyhow::Result(){letdbSatoriDb::builder(my_app).workers(4)// 工作线程数.fsync_ms(100)// 持久化间隔.data_dir(/tmp/mydb).build()?;db.insert(1,vec![0.1,0.2,0.3])?;db.insert(2,vec![0.2,0.3,0.4])?;db.insert(3,vec![0.9,0.8,0.7])?;letresultsdb.query(vec![0.15,0.25,0.35],10)?;for(id,distance)inresults{println!(id{} distance{},id,distance);}Ok(())}// 自动 shutdown官方还提供BigANN十亿级数据集的基准测试脚本在普通NVMe SSD服务器上能在数小时内完成十亿向量导入并在毫秒级返回Top-10结果召回率超95%。参考Zvec开箱即用、高性能的嵌入式向量数据库