Logo
Project Icon

airflow

可编程的工作流自动化平台

Apache Airflow工作流调度DAGPythonGithub开源项目

Apache Airflow是一个开源的工作流自动化平台,支持以Python代码定义工作流。它采用有向无环图(DAG)结构组织任务,提供了可视化界面和命令行工具来管理和监控工作流。Airflow具有动态生成管道、灵活扩展和处理复杂依赖关系的能力,适用于各类数据处理和批处理任务。该平台简化了工作流的版本控制、测试和协作,特别适合处理相对稳定的长期运行工作流。

访问官网访问官网GithubGithub文档文档
介绍相关项目
redun - 以高效表达和增量计算为核心的多功能工作流引擎
GithubPythonredun后端工作流引擎开源项目数据处理
redun是一个用Python实现的高效工作流框架，它通过惰性表达式定义工作流，在自动并行化、缓存和数据追溯方面表现出色。支持多种计算后端，包括线程、进程、AWS批处理和Spark作业，适用于生物信息学、化学信息学和Web数据提取等领域。其主要特性包括动态DAG创建、数据和代码变化的增量计算、缓存重用和数据追溯日志，保障了工作流的灵活性和可扩展性。
dask - 开源灵活的并行计算库 助力大规模数据分析
DaskGithubPython库并行计算开源开源项目数据分析
Dask是一个开源的灵活并行计算库，专为大规模数据分析设计。它支持多种数据结构和算法，与NumPy、Pandas等Python数据科学工具无缝集成。Dask提供高效的并行计算能力，能处理超出单机内存的大型数据集，适用于数据科学、机器学习等领域。活跃的社区支持进一步增强了其在数据分析中的应用价值。
camunda-bpm-platform - 开源BPMN工作流和流程自动化平台
BPMNCamunda Platform 7Github工作流自动化开源开源项目流程引擎
Camunda Platform 7作为开源BPM平台，集成了原生BPMN 2.0引擎。可嵌入Java应用和容器，涵盖流程全生命周期管理。提供Spring集成、REST API和Web工具，方便开发者打造个性化工作流方案。其灵活性和可扩展性使其成为理想的企业级流程自动化选择。
awesome-workflow-automation - 精选自动化工作流程工具提升效率和生产力
Github任务自动化工作流自动化开源项目流程优化生产力工具项目管理
该项目汇集了工作流程自动化领域的精选软件、工具和资源。包含Zapier、IFTTT等主流工具介绍，以及相关书籍和文章推荐。通过自动化重复任务，旨在提高个人和团队的工作效率。项目为需要优化工作流程的专业人士提供了全面的参考资料。
awx - 开源Ansible自动化管理平台 提供Web界面和REST API
AWXAnsibleGithubWeb界面开源项目自动化平台
AWX是基于Ansible构建的开源自动化管理平台，提供Web界面、REST API和任务引擎。该平台实现了Ansible playbooks的集中管理和执行，具备权限控制和作业调度等功能。作为Red Hat Ansible Automation Platform的上游项目，AWX适合需要自行部署和定制Ansible自动化方案的团队。该项目鼓励社区参与，并遵循Ansible社区准则。
pachyderm - 自动化数据处理与版本控制平台
GithubKubernetesPachyderm开源项目数据版本控制数据管道数据血统
Pachyderm是一个开源的数据工程平台，提供自动化的数据处理流水线和版本控制功能。该平台支持复杂的数据转换，并具备数据血缘跟踪能力。基于Kubernetes构建，Pachyderm实现了自动扩展和并行处理，可部署在主流云平台和本地环境。它为数据工程团队提供了一个高效的CI/CD引擎，适用于各类数据处理场景。
datajoint-python - 基于关系原则的科学工作流管理框架 DataJoint
DataJointGithubPython框架关系数据模型开源项目数据管理科学工作流管理
DataJoint for Python作为开源科学工作流管理框架，基于关系数据模型设计。框架提供一致的数据组织、计算和查询方法，适用于处理大规模实验数据。项目始于2009年，现已被多个实验室采用。DataJoint支持简便安装，提供完善的文档和教程资源，并包含针对神经科学的示例管道。该框架致力于优化数据处理流程，提高科研工作效率。
Flowtrail AI - 智能数据分析平台 实现自动化可视化
AI工具AI驱动Flowtrail AI数据分析数据可视化数据源连接
Flowtrail AI是一款智能大数据分析工具，将复杂数据转化为可操作洞察。支持多种数据源，提供AI驱动的查询和商业智能可视化功能。用户通过自然语言交互获得即时分析结果。注重数据安全和自助服务，非技术人员也能轻松生成报告。为企业提供全面的数据分析和商业智能解决方案。
hopsworks - 基于Python的机器学习特征库和MLOps平台
GithubHopsworksMLOpsML平台云服务开源项目特征存储
Hopsworks 是一个安全且可治理的数据平台，适用于机器学习资产的开发、管理和共享功能。支持特征库和模型管理，以及特征和训练管道的开发及运行。可作为独立特征库，支持云环境和本地部署，并无缝集成 AWS、Azure 和 GCP 等第三方平台。提供丰富的文档和教程以优化使用体验。
dataplane - 高效灵活的开源数据管道构建平台
DataplaneDockerGithubGolang工作流程开源项目数据管道
Dataplane是一款开源的高性能数据管道构建平台。该项目采用Golang开发，具有拖拽式界面、Python编辑器、权限管理等功能。它支持多时区调度、分布式计算和资源监控，适合不同规模的团队使用。Dataplane注重性能、可扩展性和安全性，能有效简化数据处理和自动化工作流程。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号