hudi系列-索引机制
1. 索引机制hudi的索引机制是为了加速upsert/delete操作,它维护着(分区 + key)- fileID之间的映射关系,所以可以减少对非必要base文件的合并key是指索引key,可以是表的任意字段,在全局索引中常用主键key作为索引1.1 索引类型当前hudi支持以下类型的索引:INMEMORY:基于内存hashmap,为全局索引HBASE:基于外部存储hbase做索引,天然是全局索引SIMPLE, GLOBAL_SIMPLE:简单索引,将更新的key与base文件提取的key值进行join,分为全局和非全局BLOOM, GLOBAL_BLOOM:基于布隆过滤器,存在假阳性问题,分为全局和非全局BUCKET:由字节跳动为了弥补bloom不足而贡献的分桶索引,非全局FLINK_STATE:基于flink状态的全局索引1.2 全局与非全局索引全局索引:必需存在表级别的唯一的索引key,每个索引key在所有分区中都只能唯一对应一条记录(一般可以采用hoodie record key,即主键)。update/delete时查找索引的复杂度是O(表记录数),所以