petastorm
Petastorm是一个开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据。该库兼容Tensorflow、PyTorch和PySpark等主流Python机器学习框架，也可用于纯Python代码。Petastorm支持多种数据压缩格式，提供方便的API用于数据生成和读取，并支持列选择、并行读取、行过滤等功能。用户可以轻松在单机或Spark集群上生成数据集，是构建高效机器学习管道的理想工具。
