Project Icon

volcano

基于Kubernetes的高性能批处理调度系统

Volcano是基于Kubernetes构建的批处理系统,为机器学习、深度学习和生物信息学等高性能计算工作负载提供通用机制。它集成TensorFlow、Spark等主流框架,融合了大规模运行高性能工作负载的丰富经验。Volcano支持高效调度和资源管理,适用于大数据分析、人工智能训练等场景,能显著提升集群资源利用率和作业处理效率。Volcano在多个行业广泛应用,获得开源社区积极贡献。作为CNCF孵化项目,Volcano为云原生生态系统提供强大的批处理能力。


构建状态 Go 报告卡 仓库大小 发布 许可证 CII 最佳实践 OpenSSF 记分卡

Volcano 是一个基于 Kubernetes 构建的批处理系统。它提供了一套机制,满足了许多类型的批处理和弹性工作负载的常见需求,包括机器学习/深度学习、生物信息学/基因组学和其他"大数据"应用。这些类型的应用通常在通用领域框架上运行,如 TensorFlow、Spark、Ray、PyTorch、MPI 等,Volcano 与这些框架进行了集成。

Volcano 建立在十五年来使用多个系统和平台大规模运行各种高性能工作负载的经验之上,结合了开源社区的最佳创意和实践。

截至 2021 年 6 月,Volcano 已在全球各行各业广泛使用,如互联网/云计算/金融/制造/医疗等。超过 20 家公司或机构不仅是最终用户,还是活跃的贡献者。数百名贡献者积极参与代码提交/PR 审查/问题讨论/文档更新和设计提供。我们期待您的参与。

注意:调度器基于 kube-batch 构建; 更多详情请参考 #241#288

cncf_logo

Volcano 是 云原生计算基金会(CNCF)的孵化项目。如果您是一个希望在支持云原生生态系统的增长和发展中发挥积极作用的组织,请考虑加入 CNCF。

总体架构

volcano

演讲

生态系统

快速入门指南

先决条件

  • Kubernetes 1.12+ 并支持 CRD

您可以通过以下两种方式之一尝试 Volcano。

注意:

  • 对于 Kubernetes v1.17+ 版本,使用 config/crd/bases 下的 CRD(推荐)
  • 对于 Kubernetes v1.16 以下版本,使用 config/crd/v1beta1 下的 CRD(已弃用)

使用 YAML 文件安装

在现有的 Kubernetes 集群上安装 Volcano。这种方式适用于 x86_64 和 arm64 架构。

kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/master/installer/volcano-development.yaml

尽情享用!Volcano 将在 volcano-system 命名空间中创建以下资源。

NAME                                       READY   STATUS      RESTARTS   AGE
pod/volcano-admission-5bd5756f79-dnr4l     1/1     Running     0          96s
pod/volcano-admission-init-4hjpx           0/1     Completed   0          96s
pod/volcano-controllers-687948d9c8-nw4b4   1/1     Running     0          96s
pod/volcano-scheduler-94998fc64-4z8kh      1/1     Running     0          96s

NAME                                TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
service/volcano-admission-service   ClusterIP   10.98.152.108   <none>        443/TCP   96s

NAME                                  READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/volcano-admission     1/1     1            1           96s
deployment.apps/volcano-controllers   1/1     1            1           96s
deployment.apps/volcano-scheduler     1/1     1            1           96s

NAME                                             DESIRED   CURRENT   READY   AGE
replicaset.apps/volcano-admission-5bd5756f79     1         1         1       96s
replicaset.apps/volcano-controllers-687948d9c8   1         1         1       96s
replicaset.apps/volcano-scheduler-94998fc64      1         1         1       96s

NAME                               COMPLETIONS   DURATION   AGE
job.batch/volcano-admission-init   1/1           48s        96s

通过 helm 安装

要安装官方发布版本,请访问 helm-charts 获取详细信息。

helm repo add volcano-sh https://volcano-sh.github.io/helm-charts
helm install volcano volcano-sh/volcano -n volcano-system --create-namespace

从源代码安装(适用于开发者):

helm install volcano installer/helm/chart/volcano --namespace volcano-system --create-namespace

# 列出 helm 发布
helm list -n volcano-system

从代码安装

如果您没有 Kubernetes 集群,可以尝试从代码库一键安装:

./hack/local-up-volcano.sh

此方法暂时仅适用于 x86_64 架构。

安装监控系统

如果您希望在安装 Volcano 后获得 Prometheus 和 Grafana Volcano 仪表板,请尝试以下命令:

make TAG=latest generate-yaml
kubectl create -f _output/release/volcano-monitoring-latest.yaml

Kubernetes 兼容性

Kubernetes 1.17Kubernetes 1.18Kubernetes 1.19Kubernetes 1.20Kubernetes 1.21Kubernetes 1.22Kubernetes 1.23Kubernetes 1.24Kubernetes 1.25Kubernetes 1.26Kubernetes 1.27Kubernetes 1.28Kubernetes 1.29Kubernetes 1.30
Volcano v1.6-------
Volcano v1.7---_
Volcano v1.8----
Volcano v1.9-----
Volcano HEAD (master)----

图例:

  • Volcano 与该 Kubernetes 版本完全兼容。
  • + Volcano 具有可能不存在于该 Kubernetes 版本中的功能或 API 对象。
  • - 该 Kubernetes 版本具有 Volcano 无法使用的功能或 API 对象。

会议

亚洲社区每周会议:星期五 15:00 - 16:00(UTC+8)。(转换为您的时区。

美洲社区两周一次会议:星期四 08:30 - 09:30(UTC-8)。(转换为您的时区。

欧洲社区会议目前按需进行。如果您有想法或话题要讨论,请在 Slack 中留言。维护者将与您联系并安排一次公开会议。

资源:

联系方式

如果您有任何问题,欢迎通过以下方式与我们联系:

Volcano Slack 频道 | 加入

邮件列表

微信:添加微信账号 k8s2222(华为云小助手2号),让她将您拉入群组。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号