modelstore
modelstore
是一个Python库,它允许你对机器学习模型进行版本控制、导出、保存和下载,并且可以选择存储类型。
💭 请通过完成此调查来给我们反馈: https://forms.gle/XShU3zrZcnLRWsk36
modelstore 是一个开源模型注册表
✅ 不需要跟踪服务器
- 可以将模型存储在本地文件系统或存储桶中
- 支持多个云存储(AWS、GCP、Azure)
✅ 上传和版本控制你的所有模型
- 每次上传时模型都会有版本记录
- 替换你保存模型所需的所有样板代码
✅ 根据域和状态管理模型
- 列出域中的模型
- 创建模型状态并管理模型的状态
✅ 直接下载或加载到内存中
- 通过ID下载模型
- 直接从存储加载模型到内存中
✅ 作为命令行工具使用
- 从命令行下载模型
有关更多详细信息,请参考文档。
modelstore 正在开发过程中
💬 请在 MLOps 社区Slack的 #oss-modelstore
频道中找到我们。
安装
pip install modelstore
支持的存储类型
支持的机器学习库
- Annoy
- Catboost
- CausalML
- Fast.AI
- Gensim
- Keras
- LightGBM
- Mxnet
- Onnx
- Prophet
- PyTorch
- PyTorch Lightning
- Scikit Learn
- Skorch
- Shap
- Spark ML Lib
- Tensorflow
- Transformers - several examples in this directory
- XGBoost
是否缺少某个机器学习框架?
阅读更多关于 modelstore 的信息
- 35 隐藏的Python库绝对是宝藏,2023年3月
- Evidently.AI 与 Neal Lathia 的 AMA,2023年1月
- MLOps 模型存储:定义、功能、工具评审,2023年1月
- Monzo 的机器学习堆栈,2022年4月
- 数据谈俱乐部迷你:模型存储,2021年7月
- 模型Artifact: 战争故事,2020年9月
示例用法
Colab 笔记本
在这个 Colab 笔记本中有一个完整的示例。
Python 脚本
from modelstore import ModelStore
# 以及其他导入
# 训练你的模型
clf = RandomForestClassifier(n_estimators=10)
clf = clf.fit(X, Y)
# 创建一个使用某种存储选项的模型存储
# 在这个示例中,模型存储是使用GCP存储桶创建的
model_store = ModelStore.from_gcloud(
project_name="my-project",
bucket_name="my-bucket",
)
# 上传存档到你的模型存储
domain = "example-model"
meta_data = model_store.upload(domain, model=clf)
# 打印模型的元数据
print(json.dumps(meta_data, indent=4))
# 加载模型回来!
clf = model_store.load(domain=domain, model_id=meta_data["model"]["model_id"])
许可证
版权所有 © 2020 Neal Lathia
根据 Apache License, 版本 2.0 ("许可证") 授权; 除非符合许可证,否则你不能使用该文件。 你可以在以下网址获得许可证副本:
http://www.apache.org/licenses/LICENSE-2.0
除非适用法律要求或书面同意,按照许可证分发的软件以“原样”方式提供, 不附带任何明示或暗示的担保或条件。 请参阅许可证以了解管理权限和限制的具体语言。