前言做大数据、机器学习特征工程、位图索引的同学应该都遇到过布尔数组内存爆炸的问题- 1亿个用户标记用Python list存要800MBGC直接卡爆- 用numpy bool数组也要100MB数据量再大一点还是顶不住- 用普通位数组内存是省了但读写性能拉胯API还反人类今天给大家开源我刚写的bool-hybrid-array完美解决这个痛点✅ 内存占用1亿布尔值仅需8-15MB比numpy省85%-92%✅ 性能随机读写比numpy快30%顺序读写快2倍✅ 易用性100%兼容Python list API零学习成本✅ 序列化C级IO流读写文件比numpy快5-10倍## 技术原理核心创新点是分割点动态规划算法1. 自动识别布尔序列中的连续段和稀疏段2. 连续相同值用RLE压缩存储只存起止位置3. 随机分布段用位图存储1bit存一个布尔值4. DP算法全局最优分割保证存储效率和读写性能平衡5. 核心逻辑用Cython实现开启-O3和CPU原生指令集优化## 快速上手pythonfrom bool_hybrid_array import BoolHybridArray# 直接替换listarr BoolHybridArray()for i in range(100_000_000): arr.append(i % 2 0)# 支持所有list操作print(arr[1000]) # 索引print(arr[100:200]) # 切片print(len(arr)) # 长度arr[500] True # 赋值# 高性能序列化arr.save(big_bool_arr.bin) # 1亿个值不到10MB写入只需0.2秒arr2 BoolHybridArray.load(big_bool_arr.bin)## 性能实测| 指标 | Python list | numpy bool | bitarray | bool-hybrid ||----------------|------------|-----------|----------|-------------|| 1亿值内存 | 812MB | 95.4MB | 12.5MB | 9.7MB || 随机读QPS | 12.6M/s | 29.1M/s | 8.7M/s | 39.2M/s || 顺序写QPS | 8.3M/s | 15.2M/s | 4.1M/s | 30.8M/s || 1亿值序列化时间 | 12.8s | 2.1s | 1.7s | 0.19s |## 项目地址https://gitee.com/BKsell/bool-hybrid-array完全开源免费MIT协议商用也没问题欢迎star、fork、提issue有优化建议一起交流