超越笔记本 - 无服务器机器学习
用 Python 构建批量和实时预测服务
概述
您不需要是 Kubernetes 或云计算方面的专家,就可以构建一个端到端的服务,通过 ML 模型做出智能决策。无服务器机器学习 (ML) 使得使用 ML 模型进行预测的系统构建变得容易。
通过无服务器 ML,您无需安装、升级或操作任何系统。您只需要编写可以按计划运行的 Python 程序。您的管道生成的特性和模型由无服务器特性存储/模型注册表管理。我们还会向您展示如何通过编写 Python 和一些 HTML 来构建预测服务的 UI。
阅读 本文 以了解无服务器机器学习的概述。
先决条件: Python - Pandas - Github
模块
-
模块 00 - 介绍和可选内容
-
模块 01 - Pandas 和 Python 中的 ML 管道。编写您的第一个无服务器应用。
-
模块 02 - 数据建模与特性存储。信用卡欺诈预测服务。
-
模块 03 - 训练管道、推理管道和模型注册表。
-
模块 04 - 为机器学习系统构建无服务器用户界面。
-
模块 05 - MLOps 的原则与实践
-
模块 06 - 运营机器学习系统:实时机器学习。
学习成果:
- 学习在无服务器基础设施上开发和操作 AI 启用的(预测)服务
- 开发并运行无服务器特性管道
- 将特性和模型部署到无服务器基础设施
- 训练模型并运行批处理/推理管道
- 为您的预测服务开发无服务器 UI
- 学习 MLOps 基础知识:版本控制、测试、数据验证和操作
- 开发和运行实时无服务器机器学习系统
课程内容:
- 使用Python进行Pandas和机器学习管道。编写您的第一个无服务器应用程序。
- 机器学习的特征存储。为信用卡欺诈无服务器应用程序进行特征工程。
- 培训管道和推断管道
- 通过用户界面将预测服务付诸实际(Gradio, Github Pages, Streamlit)
- 特征和模型的自动化测试和版本控制
- 实时无服务器机器学习系统。项目展示。
目标受众是谁?
您已经参加过机器学习(ML)课程,并且可以使用Python编程。您希望超越在笔记本上的静态数据集训练模型的下一步。您希望能够围绕您的模型构建预测服务。也许您在企业工作,希望向利益相关者展示您的模型价值,并且使用利益相关者的语言进行演示。也许您希望将机器学习纳入现有的应用程序或系统中。
这门课程有什么不同?
除了使用GitHub和编写Python代码外,您不需要任何操作经验。您将学习MLOps的基本知识:版本控制工件、测试工件、验证工件以及监控和升级正在运行的系统。您将处理原始和实时数据 - 您需要在管道中进行特征工程。您将学习如何选择、提取、计算和转换特征。
这门课程需要花钱吗?
不需要。您将成为一名无服务器机器学习工程师,而无需支付运行无服务器管道或管理特征/模型/用户界面的费用。我们将使用具有慷慨的无时间限制免费层的Github Actions和Hopsworks。
现在注册 无服务器机器学习课程
时间表
自定进度
要求
- Python 环境,包括一个笔记本(Jupyter或Colaboratory)
- https://github.com 账户
- https://hopsworks.ai 账户
关键技术
开发环境
您可以在某些Python IDE中编写、测试、调试和训练您的模型。我们将重点关注笔记本和Python程序。您可以使用Jupyter笔记本或Colaboratory。
Github
使用Github管理您的代码,使用GitHub Actions运行您的工作流,使用Github Pages为您的非互动应用程序创建用户界面。GitHub Actions提供了500 MB和2,000分钟的免费层次来运行您的管道。 https://docs.github.com/en/billing/managing-billing-for-github-actions/about-billing-for-github-actions
Hopsworks
Hopsworks.ai 提供10 GB存储的免费层。
有用的资源
名称 | 描述 | 链接 |
---|---|---|
Awesome MLOps | MLOps的链接和资源集合 | https://github.com/visenger/awesome-mlops |
Machine Learning Ops | 如何使用GitHub促进机器学习Ops的资源集合。 | https://mlops.githubapp.com/ |
MLOps Toys | MLOps项目的精选列表。 | https://mlops.toys/ |
MLOps Zoomcamp | 教授将ML服务推向生产的实际方面。 | https://github.com/DataTalksClub/mlops-zoomcamp |
PYSLACKERS | 一个大型的Python编程爱好者开放社区。 | https://pyslackers.com/web |
Feature Store Org | 一个关于一切特征存储的开放社区。 | https://www.featurestore.org |
其他MLOps课程
名称 | 描述 | 链接 |
---|---|---|
MlOps Zoomcamp | 需要Python和Docker作为前提条件的DevOps风格课程。 | https://github.com/DataTalksClub/mlops-zoomcamp |
Full Stack Deep Learning | 该课程分享了全栈的最佳实践;话题从问题选择到数据集管理到监控。 | https://fullstackdeeplearning.com/ |
MLOps课程 | 一系列教授如何应用机器学习以构建生产级产品的课程(由Goku Mohandas)。 | https://github.com/GokuMohandas/mlops-course |
定义
- 大语言模型的上下文窗口
- 组合AI系统
- 特征存储
- 特征监控
- 特征数据
- 闪速注意力
- 使用大语言模型进行函数调用
- 梯度累积
- 上下文学习(ICL)
- KServe
- 机器学习日志
- 机器学习基础设施
- 机器学习可观察性
- 机器学习管道
- 机器学习系统
- 模型部署
- 模型监控
- 模型注册表
- 模型服务
- 分页注意力
- 提示存储
- 检索增强生成(RAG)大语言模型
- RoPE缩放
- 样本打包
- 相似性搜索