Logo
Project Icon

airflow

可编程的工作流自动化平台

Apache Airflow工作流调度DAGPythonGithub开源项目

Apache Airflow是一个开源的工作流自动化平台,支持以Python代码定义工作流。它采用有向无环图(DAG)结构组织任务,提供了可视化界面和命令行工具来管理和监控工作流。Airflow具有动态生成管道、灵活扩展和处理复杂依赖关系的能力,适用于各类数据处理和批处理任务。该平台简化了工作流的版本控制、测试和协作,特别适合处理相对稳定的长期运行工作流。

访问官网访问官网GithubGithub文档文档
介绍相关项目
craftgen - 开源AI平台，支持直观工作流、丰富模型和实时监控
AI平台Craftgen.aiGithub实时监控工作流开源项目模型管理
Craftgen.ai 是针对技术和非技术用户的开源AI平台，基于图形和事件驱动架构，用户可以自定义AI组件。平台支持多种模型的无缝集成，具备强大的工作流构建和测试功能，以及基于LLM功能的代理能力。无论是开发自定义AI解决方案，还是自动化日常任务，Craftgen.ai都能为用户提供灵活、安全且直观的体验，使AI技术融入日常问题解决和创新之中。
datachain - 帮助机器学习和AI工程师进行数据分析的数据框架库
AIDataChainGithubPython元数据开源项目数据处理
DataChain是一个为AI特定场景设计的数据框架库。它通过在非结构化文件上构建的元数据层，帮助机器学习和AI工程师进行数据分析。支持处理各种存储中的原始文件并实现数据集版本控制。用户可以使用Python接口进行数据转换和元数据丰富。项目特色包括功能链式数据处理方法和数据版本控制，并区分CPU和GPU负载, 适用于分布式计算。
snorkel - 通过编程自动化构建和管理训练数据的新方法
AI应用GithubSnorkelSnorkel Flow开源项目弱监督建模机器学习
Snorkel项目由斯坦福大学发起，致力于通过编程自动化标注、构建和管理训练数据，重塑机器学习项目的成功要素。该项目不仅实现了其研究目标，还与Google、Intel等领先机构合作，支持生产部署，并发表了大量相关论文。Snorkel现已发展为Snorkel Flow，一个简化AI应用开发的端到端平台。
bytewax - Python流处理框架 简化数据流和事件处理
BytewaxGithubPython框架事件处理开源项目数据流处理流处理
Bytewax是一个Python流处理框架，融合了主流流处理工具的优势和Python的易用性。该框架支持数据源连接、状态转换和下游系统写入，并可使用现有Python库。Bytewax适用于多种场景，从数据传输到在线机器学习，支持本地开发和分布式部署，可轻松扩展至多节点或多进程环境。
dagger - 现代化API和跨语言脚本引擎 助力简化项目工作流
CI/CDDaggerGithub工作流管理开源项目自动化工具跨语言脚本
Dagger是一款现代化API和跨语言脚本引擎，用于替代软件项目中的手工脚本。该工具将项目任务和工作流程封装为简单函数，并转化为自定义GraphQL API。Dagger支持CLI、语言解释器和HTTP客户端等多种运行方式，实现模块化开发和社区共享。它有效降低项目复杂度，提升开发效率，确保开发和CI环境一致性，并增强团队协作。对平台团队而言，Dagger可减少CI锁定，加速CI运行，并提供灵活的平台策略。
common-workflow-language - Common Workflow Language 标准化数据分析工作流
Common Workflow LanguageGithub开源标准开源项目数据分析工作流科学计算跨平台
Common Workflow Language (CWL)是一个开源的工作流描述标准，旨在提高数据密集型科学领域的工作流可移植性和可扩展性。CWL支持多种计算环境，适用于生物信息学、医学影像等领域。该项目由多方共同维护，提供用户指南和最佳实践，为研究人员提供标准化的工作流管理方案。
superset - 现代化企业级数据可视化和探索平台
GithubSuperset商业智能开源软件开源项目数据分析数据可视化
Superset是一个现代化的企业级数据探索和可视化平台。它提供无代码图表构建界面、SQL编辑器、轻量级语义层和广泛的数据库支持。平台具备丰富的可视化类型、可配置缓存、可扩展安全角色和身份验证,以及用于定制的API。其云原生架构支持大规模部署,可作为替代或增强专有商业智能工具的选择。
logging-flume - 分布式大规模日志收集与传输系统
Apache FlumeGithub分布式系统开源软件开源项目数据聚合日志收集
Apache Flume是一个专门用于大规模日志数据收集、聚合和传输的分布式系统。它采用基于流数据的架构，具有简单灵活、可靠高效的特点。Flume提供强大的容错能力和可调节的可靠性机制，支持集中管理和智能动态管理。其简单可扩展的数据模型支持在线分析应用。作为Apache软件基金会项目，Flume拥有完善的文档和活跃的社区支持。
ragflow - 基于深度文档理解的高效RAG工作流引擎
GithubLLMRAGFlow兼容异构数据源开源项目深度文档理解自动化RAG工作流程
RAGFlow是一个基于深度文档理解的开源RAG引擎，适用于各种规模的企业。结合大型语言模型，它提供可靠的问答功能和可信的引用。RAGFlow支持多种数据格式，包括文本、图片和音频文件，并且兼容本地和远程LLM，提供自动化、无缝集成的RAG工作流，便于通过直观的API进行业务整合。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号