Data on EKS (DoEKS): 优化的 Amazon EKS 数据和 AI 解决方案

Data on EKS (DoEKS):优化的 Amazon EKS 数据和 AI 解决方案

Data on EKS (DoEKS) 是一个由 AWS 开发的开源项目,旨在简化和加速在 Amazon Elastic Kubernetes Service (EKS) 上构建、部署和扩展数据和 AI/ML 工作负载的过程。DoEKS 为用户提供了一套全面的 Terraform 蓝图,包含了部署稳健解决方案的最佳实践,并配备了先进的日志记录和可 observable 性功能。

项目概述

DoEKS 的目标是帮助用户充分利用 Amazon EKS 的强大功能,同时简化复杂的数据和 AI 工作负载管理。该项目提供了一系列实用的示例和模式,涵盖了从数据处理到机器学习的广泛应用场景。

上图展示了 DoEKS 使用的各种开源数据工具、Kubernetes 操作符和框架,以及它们与 AWS 数据分析托管服务的无缝集成。

主要特性

DoEKS 解决方案主要聚焦于以下几个领域:

1. 数据分析:提供在 EKS 上运行高效数据处理和分析的蓝图。
2. AI/ML:支持在 EKS 上部署和扩展 AI 和机器学习工作负载。
3. 流处理平台:为实时数据流处理提供解决方案。
4. 调度器工作流平台:优化 EKS 上的作业调度。
5. 分布式数据库和查询引擎:支持在 EKS 上构建高性能、可扩展的分布式数据库和查询引擎。

技术栈

DoEKS 集成了多种先进的技术和框架,包括但不限于:

• 数据处理: Apache Spark、Apache Flink
• 消息队列: Apache Kafka
• 工作流编排: Apache Airflow
• 分布式计算: Ray
• 机器学习服务: NVIDIA Triton Server、vLLM、TensorRT-LLM
• 硬件加速: NVIDIA GPUs、AWS Trainium、AWS Inferentia

部署蓝图

DoEKS 提供了多种部署蓝图,以满足不同的数据和 AI 需求:

1. Trainium-Inferentia on EKS: 用于在 AWS Neuron 加速器上运行生成式 AI 模型。
2. JARK-Stack on EKS: 部署 JARK 堆栈,用于 NVIDIA GPU 上的 AI 工作负载。
3. JupyterHub on EKS: 在 EKS 上部署自管理的 JupyterHub,并集成 Amazon Cognito 认证。
4. EMR-on-EKS with Karpenter: 部署 EMR on EKS 集群,并使用 Karpenter 自动扩展 Spark 作业。
5. Spark Operator with Apache YuniKorn on EKS: 使用 Spark Operator 和 Apache YuniKorn 运行自管理的 Spark 作业。
6. Self-managed Airflow on EKS: 在 EKS 集群上设置自管理的 Apache Airflow。
7. Argo Workflows on EKS: 在 EKS 集群上设置自管理的 Argo Workflow。
8. Kafka on EKS: 使用流行的 Strimzi Kafka 操作符在 EKS 上部署自管理的 Kafka。

部署和使用

要开始使用 DoEKS,用户可以按照以下步骤操作:

1. 克隆 DoEKS GitHub 仓库:

   git clone https://github.com/awslabs/data-on-eks.git
   

2. 选择所需的部署蓝图,进入相应目录。

3. 按照蓝图文档中的说明进行部署和配置。

4. 利用 DoEKS 提供的最佳实践和工具,开始在 EKS 上构建和优化数据和 AI 工作负载。

社区和支持

DoEKS 是一个由 AWS 解决方案架构师维护的开源项目。虽然它不是 AWS 的官方服务,但社区提供了最大努力的支持。用户可以通过以下方式获取帮助和参与项目:

• 在 GitHub 仓库的 Issues 部分提出问题或报告 bug
• 贡献代码或文档
• 分享使用经验和最佳实践

结语

Data on EKS (DoEKS) 为希望在 Amazon EKS 上构建和扩展数据和 AI 工作负载的组织提供了强大的工具和最佳实践。通过简化复杂的部署流程,提供优化的蓝图,以及集成先进的监控和可 observable 性功能,DoEKS 使得在 Kubernetes 上运行数据密集型应用变得更加容易和高效。无论是构建实时数据处理管道,还是部署大规模机器学习模型,DoEKS 都能为您的项目提供坚实的基础和清晰的指导。

随着项目的不断发展和社区的积极参与,我们可以期待 DoEKS 在未来会提供更多创新功能和优化方案,进一步推动 Kubernetes 生态系统在数据和 AI 领域的应用。对于那些希望充分利用 Amazon EKS 强大功能的组织来说,DoEKS 无疑是一个值得关注和尝试的项目。