#列式存储
相关项目
parquet-go
parquet-go是一个用Go语言开发的Parquet文件处理库。该项目由Twilio Segment初创,提供高级API用于读写Parquet文件,同时兼顾低计算和内存占用。支持Parquet格式规范,包括列式存储、模式演化、行组排序、行组合并和布隆过滤器等特性。parquet-go适合需要高效处理大规模数据集的场景,为Go开发者提供了实用的Parquet文件操作工具。
arrow
Apache Arrow 是一个开源的内存分析开发平台,旨在提高大数据系统的数据处理和传输速度。它提供高效的列式内存格式、IPC格式和Flight RPC协议,并支持多种编程语言。Arrow 的核心技术包括高性能的数据结构、跨语言兼容性和零拷贝数据共享,为现代数据分析应用提供了强大的基础架构支持。
stanchion
Stanchion是一个为SQLite引入列式存储能力的扩展。通过仅扫描查询所需列数据和采用压缩技术,该扩展显著提升了分析查询和宽表的性能。Stanchion适用于处理指标、日志、事件和时间序列等数据,以及执行大规模分析查询。它能在现有SQLite部署中实现列式存储和数据仓库的优势,无需改变现有技术架构。