Hopsworks 项目介绍
Hopsworks 是一个专为机器学习(ML)设计的数据平台,以以 Python 为中心的特点商店和 MLOps 能力见长。它是一个模块化的平台,可以独立作为特点商店使用,用于管理、治理和提供模型服务,还可以用于开发和操作特征流水线和训练流水线。Hopsworks 为 ML 团队提供了一个安全的协作平台,用于开发、管理和共享 ML 资产,包括特征、模型、训练数据、批量评分数据、日志等等。
快速入门
APP - 无服务器 (beta)
用户可以通过无服务器应用方式访问 Hopsworks,只需前往 app.hopsworks.ai 并使用 Gmail 或 Github 账户注册即可。在这里,用户可以进行平台教程或直接尝试使用 Hopsworks。这种方式特别适合初次体验平台功能而不需深入安装和配置。
云端服务:Azure、AWS 和 GCP
Hopsworks 也可以通过其云管理平台在 Azure、AWS 和 GCP 环境中运行,直接集成用户现有的云环境,还可以无缝连接第三方平台如 Databricks、SageMaker 和 KubeFlow。
- 在这些云环境中安装 Hopsworks 的具体步骤请参考以下指南:
- AWS 指南
- Azure 指南
- GCP 指南
本地安装
用户可选择将 Hopsworks 安装在本地硬件设施中,这意味着公司可以在其自有基础设施上运行机器学习工作负载,不依赖于云服务,提供更大的灵活性、控制权和成本节约。
主要特性
基于项目的多租户和团队协作
Hopsworks 提供了一个安全的项目沙箱,供团队协作和共享 ML 资产。独特的多租户项目模型允许在共享集群中存储敏感数据,同时提供细粒度的跨项目资产共享能力。
开发与操作
Hopsworks 提供了多种数据科学开发工具,包括用于 Python 的 conda 环境、Jupyter 笔记本等,帮助用户创建生产流水线。用户可以在带有 GPU 的机群中训练模型,并在用户之间轻松共享,还支持在云端动态添加或删除工作节点的弹性工人。
多平台可用性
Hopsworks 可用作 AWS、Azure 和 GCP 云端的管理平台,也可在任何 Linux 虚拟机上安装,适用于需要完全隔离的中心数据环境。此外,它也提供了无服务器平台,能自动管理和提供特征和模型服务。
社区和协作
贡献与参与
Hopsworks 的开发是一个持续与开放的过程,欢迎所有人参与改进。用户可以通过报告问题或建议新特性来支持开发。
加入我们的社区
- 在 Hopsworks 社区中提问和反馈
- 加入我们的 Slack 频道
- 关注我们的 Twitter
开源
Hopsworks 在 AGPL-V3 许可证 下发布,允许用户自由使用并构建商业服务对其进行修改,前提是需要将任何修改或基于该系统构建的系统在此许可下发布。
通过这些功能和设计,Hopsworks 为企业和开发者提供了一款灵活、高效、安全的 AI/ML 平台,助力团队在快速发展的数据科学领域保持领先。