热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Parquet
lance
Lance是为机器学习工作流程优化的现代列式数据格式,提供比Parquet快100倍的随机访问性能,支持矢量索引和数据版本控制。兼容pandas、DuckDB、Polars和pyarrow,适用于搜索引擎、大规模机器学习训练以及复杂数据的存储和查询,如机器人数据和大型图像。更多集成支持即将推出。
arrow-rs
arrow-rs是Apache Arrow和Apache Parquet的Rust原生实现,提供高效的列式内存格式和数据处理功能。项目包含Arrow核心数据结构、Flight IPC协议、对象存储、Parquet文件格式等组件。每月发布更新,支持高性能数据分析和处理,适用于构建各类大数据应用。
pystore
PyStore是专为Pandas时间序列数据设计的快速存储库。它利用Pandas、Numpy、Dask和Parquet技术,实现高效的数据存储和查询。支持本地文件系统,每秒可处理数百万行数据。PyStore提供集合管理、快照和元数据查询功能,适合大规模时间序列数据的存储和分析。
相关文章
Lance: 为机器学习优化的现代列式数据格式
1 个月前
Lance入门学习资料汇总 - 超高性能的机器学习数据格式
18 天前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号