#集群计算

submitit

Submitit是一个轻量级Python工具，用于在Slurm集群中提交函数进行计算。它封装了提交过程，提供结果和日志访问，支持Slurm和本地执行切换，以及超时和分区设置。Submitit适用于Python 3.8+，具备日志读取、错误处理、并发和多任务功能，简化了集群计算任务，方便从Python内部启动Slurm作业。该工具旨在为研究人员提供便捷的集群计算解决方案。

cloudpickle

cloudpickle是一个扩展Python序列化功能的库，可序列化标准pickle模块不支持的Python构造。它在集群计算环境中尤为有用，能够通过网络将Python代码发送到远程主机执行。支持序列化lambda函数、交互式定义的函数和类等。cloudpickle提供pickle_by_value API，允许用户指定按值序列化的模块，提高分布式环境中的灵活性。需注意，cloudpickle仅适用于相同Python版本环境间传输对象，不支持长期对象存储。