Data on EKS (DoEKS):优化的 Amazon EKS 数据和 AI 解决方案
Data on EKS (DoEKS) 是一个由 AWS 开发的开源项目,旨在简化和加速在 Amazon Elastic Kubernetes Service (EKS) 上构建、部署和扩展数据和 AI/ML 工作负载的过程。DoEKS 为用户提供了一套全面的 Terraform 蓝图,包含了部署稳健解决方案的最佳实践,并配备了先进的日志记录和可 observable 性功能。
项目概述
DoEKS 的目标是帮助用户充分利用 Amazon EKS 的强大功能,同时简化复杂的数据和 AI 工作负载管理。该项目提供了一系列实用的示例和模式,涵盖了从数据处理到机器学习的广泛应用场景。
上图展示了 DoEKS 使用的各种开源数据工具、Kubernetes 操作符和框架,以及它们与 AWS 数据分析托管服务的无缝集成。
主要特性
DoEKS 解决方案主要聚焦于以下几个领域:
- 数据分析:提供在 EKS 上运行高效数据处理和分析的蓝图。
- AI/ML:支持在 EKS 上部署和扩展 AI 和机器学习工作负载。
- 流处理平台:为实时数据流处理提供解决方案。
- 调度器工作流平台:优化 EKS 上的作业调度。
- 分布式数据库和查询引擎:支持在 EKS 上构建高性能、可扩展的分布式数据库和查询引擎。
技术栈
DoEKS 集成了多种先进的技术和框架,包括但不限于:
- 数据处理: Apache Spark、Apache Flink
- 消息队列: Apache Kafka
- 工作流编排: Apache Airflow
- 分布式计算: Ray
- 机器学习服务: NVIDIA Triton Server、vLLM、TensorRT-LLM
- 硬件加速: NVIDIA GPUs、AWS Trainium、AWS Inferentia
部署蓝图
DoEKS 提供了多种部署蓝图,以满足不同的数据和 AI 需求:
- Trainium-Inferentia on EKS: 用于在 AWS Neuron 加速器上运行生成式 AI 模型。
- JARK-Stack on EKS: 部署 JARK 堆栈,用于 NVIDIA GPU 上的 AI 工作负载。
- JupyterHub on EKS: 在 EKS 上部署自管理的 JupyterHub,并集成 Amazon Cognito 认证。
- EMR-on-EKS with Karpenter: 部署 EMR on EKS 集群,并使用 Karpenter 自动扩展 Spark 作业。
- Spark Operator with Apache YuniKorn on EKS: 使用 Spark Operator 和 Apache YuniKorn 运行自管理的 Spark 作业。
- Self-managed Airflow on EKS: 在 EKS 集群上设置自管理的 Apache Airflow。
- Argo Workflows on EKS: 在 EKS 集群上设置自管理的 Argo Workflow。
- Kafka on EKS: 使用流行的 Strimzi Kafka 操作符在 EKS 上部署自管理的 Kafka。
部署和使用
要开始使用 DoEKS,用户可以按照以下步骤操作:
-
克隆 DoEKS GitHub 仓库:
git clone https://github.com/awslabs/data-on-eks.git -
选择所需的部署蓝图,进入相应目录。
-
按照蓝图文档中的说明进行部署和配置。
-
利用 DoEKS 提供的最佳实践和工具,开始在 EKS 上构建和优化数据和 AI 工作负载。
社区和支持
DoEKS 是一个由 AWS 解决方案架构师维护的开源项目。虽然它不是 AWS 的官方服务,但社区提供了最大努力的支持。用户可以通过以下方式获取帮助和参与项目:
- 在 GitHub 仓库的 Issues 部分提出问题或报告 bug
- 贡献代码或文档
- 分享使用经验和最佳实践
结语
Data on EKS (DoEKS) 为希望在 Amazon EKS 上构建和扩展数据和 AI 工作负载的组织提供了强大的工具和最佳实践。通过简化复杂的部署流程,提供优化的蓝图,以及集成先进的监控和可 observable 性功能,DoEKS 使得在 Kubernetes 上运行数据密集型应用变得更加容易和高效。无论是构建实时数据处理管道,还是部署大规模机器学习模型,DoEKS 都能为您的项目提供坚实的基础和清晰的指导。
随着项目的不断发展和社区的积极参与,我们可以期待 DoEKS 在未来会提供更多创新功能和优化方案,进一步推动 Kubernetes 生态系统在数据和 AI 领域的应用。对于那些希望充分利用 Amazon EKS 强大功能的组织来说,DoEKS 无疑是一个值得关注和尝试的项目。
