dataplane

高效灵活的开源数据管道构建平台

Dataplane 数据管道工作流程 Golang Docker Github 开源项目

Dataplane是一款开源的高性能数据管道构建平台。该项目采用Golang开发，具有拖拽式界面、Python编辑器、权限管理等功能。它支持多时区调度、分布式计算和资源监控，适合不同规模的团队使用。Dataplane注重性能、可扩展性和安全性，能有效简化数据处理和自动化工作流程。

GithubGolangJSON接口YAO App Engine低代码平台开源项目流程编程热门

YAO是一个开源的应用引擎，使用Golang编写，通过命令行工具形式提供，适用于开发商业系统、网站/APP API、管理面板和自建低代码平台。它采用基于流的编程模型，通过编写YAO DSL或使用JavaScript实现各种功能。YAO的设计理念基于流程驱动，极大地提高了开发效率和代码重用性，比传统编程语言的应用性能和资源比率更优。

mage-ai - 现代化的数据管道工具，替代传统工作流程控制系统

Airflow替代GithubMage开源项目数据可视化数据管道数据集成热门

Mage 提供了一种现代化的数据管道工具，旨在替代 Airflow，简化开发体验，支持 Python、SQL 和 R，实现数据的实时和批量处理。Mage 让您的数据团队可以在不牺牲监控和可观测性的情况下，轻松构建、预览和启动数据管道，甚至在小团队中也能高效管理数千个管道。

river - 为Go和Postgres打造的高性能任务队列

GithubGoPostgresRiver任务处理系统开源项目数据库事务

River是基于Go和Postgres的任务队列系统，特点是高性能和事务性入队。它提供多队列管理、定期任务、批量插入等功能，并包含Web UI用于监控。系统设计简化了任务定义和执行，适用于需要可靠后台处理的应用。River有效解决了常见的分布式系统问题。

databend - 高性能云数据仓库，基于 Rust 构建，适合大规模数据分析与人工智能

AI分析DatabendGithub云数据仓库开源项目性能基准测试数据格式热门

Databend 是一个开源、高性能的云数据仓库，使用 Rust 构建，专为复杂的数据分析设计。它整合了 AWS S3、Azure Blob 等服务，支持 ACID 事务、版本控制和无模式的数据存储，确保数据完整性与灵活性。Databend 支持多种数据格式，如 JSON、CSV、Parquet 等，提供高速查询执行与数据摄入，是成本效益高的 Snowflake 替代方案。此外，Databend 的 AI 功能支持高级分析，提供社区驱动的用户友好体验，适合企业和开发者快速部署和使用。

nextflow - 基于数据流模型的可扩展工作流系统支持多平台部署

GithubNextflow可扩展性工作流系统并行计算开源项目数据流编程

Nextflow是一个基于数据流编程模型的工作流系统，用于创建可扩展、可移植和可重现的工作流。它简化了并行和分布式计算管道的编写过程，支持多种执行平台和依赖管理方式。Nextflow适用于本地机器、HPC集群、云平台和Kubernetes等环境，广泛应用于生物信息学等计算密集型领域。该项目拥有活跃的社区和完善的文档支持。

gomplate - 多数据源支持的Go语言模板渲染工具

GithubGo模板语法gomplate命令行工具开源项目数据源模板渲染器

gomplate是一个基于Go语言的模板渲染工具，支持JSON、YAML、AWS EC2元数据、Consul和Vault等多种数据源。它采用Go模板语法，提供众多实用函数，可处理环境变量、执行数学运算和数据转换。gomplate常用于配置管理和自动化脚本，能够简化数据处理流程。该工具支持文件、URL和标准输入等多种输入方式，在DevOps工作流中具有广泛应用。

go-carbon - Golang实现的高性能Graphite服务器

GithubGraphitego-carbon开源项目性能优化指标处理配置管理

go-carbon项目采用Golang重新实现了Graphite服务器，保留了Agent、Cache、Persister的经典架构。该项目支持通过TCP、UDP、HTTP和Kafka等多种协议接收指标数据，并提供存储模式配置、数据聚合、缓存管理和多核心持久化等核心功能。测试表明，go-carbon在处理性能上全面超越了默认的carbon实现，能够有效应对大规模指标数据的处理需求。其优化的设计使其能够高效处理每分钟数十万计的指标数据。

hop - 开源数据和元数据编排平台

Apache HopGithubJava开源软件开源项目数据处理数据编排平台

Apache Hop是一个开源的数据和元数据编排平台，致力于简化数据处理任务。该平台提供直观界面和丰富功能，包括数据转换、工作流编排和元数据管理。Hop支持多种数据源和插件，适用于数据集成和ETL场景。项目由活跃的社区维护，持续进行开发和改进。

quackpipe - 无服务器OLAP API实现DuckDB与ClickHouse HTTP接口兼容

APIClickHouseDuckDBGithubOLAP云存储开源项目

QuackPipe是基于DuckDB构建的无服务器OLAP API，模拟并兼容ClickHouse的HTTP API。用户可通过熟悉的接口使用DuckDB SQL和云存储，保持现有习惯和集成。该项目支持云存储操作、文件模式、STDIN快速查询和ClickHouse可执行UDF等功能。QuackPipe还提供简洁的在线playground，方便用户尝试示例查询。

carbon-relay-ng - Go语言开发的高性能碳数据流中继和路由系统

Githubcarbon-relay-ng开源项目性能优化数据流中继聚合功能路由表

carbon-relay-ng是一个高性能的碳数据流中继和路由系统。它支持每秒处理大量指标，提供实时路由调整、数据聚合、多种输出格式和灵活路由策略。系统具备输入验证、数据重写和多种输入支持，可用于构建大规模指标处理平台，实现数据分发、负载均衡和冗余备份。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com