#Parquet

lance

Lance是为机器学习工作流程优化的现代列式数据格式，提供比Parquet快100倍的随机访问性能，支持矢量索引和数据版本控制。兼容pandas、DuckDB、Polars和pyarrow，适用于搜索引擎、大规模机器学习训练以及复杂数据的存储和查询，如机器人数据和大型图像。更多集成支持即将推出。

arrow-rs

arrow-rs是Apache Arrow和Apache Parquet的Rust原生实现,提供高效的列式内存格式和数据处理功能。项目包含Arrow核心数据结构、Flight IPC协议、对象存储、Parquet文件格式等组件。每月发布更新,支持高性能数据分析和处理,适用于构建各类大数据应用。

pystore

PyStore是专为Pandas时间序列数据设计的快速存储库。它利用Pandas、Numpy、Dask和Parquet技术，实现高效的数据存储和查询。支持本地文件系统，每秒可处理数百万行数据。PyStore提供集合管理、快照和元数据查询功能，适合大规模时间序列数据的存储和分析。