safetensors
safetensors是一种新的张量存储格式,旨在安全高效地保存机器学习模型。与pickle相比,它提供了更好的安全性,同时通过零拷贝技术保持高性能。该库支持Python和Rust,提供简单的API用于张量的存储和加载。safetensors支持延迟加载、布局控制和多种数据类型,适用于大规模模型的存储和分发。在加载速度和内存效率方面表现优异,尤其适合分布式环境。