brooklin

高可靠性多源异构数据流处理系统

Brooklin 数据流系统分布式系统多租户 Kafka集群镜像 Github 开源项目

Brooklin是一个分布式系统，用于在异构源系统和目标系统之间进行高可靠、高吞吐量的大规模数据流传输。它支持多租户，能同时处理数百个跨系统数据管道，并易于扩展以适配新的数据源和目标。Brooklin具备优秀的可扩展性和易操作性，支持变更数据捕获和数据引导功能。该系统已在Kafka集群镜像等实际场景中得到大规模验证。

访问官网

Github

介绍相关项目

rust-rdkafka - 基于Rust的高性能异步Kafka客户端库

Apache KafkaGithubRustlibrdkafkarust-rdkafka开源项目异步

rust-rdkafka是基于librdkafka的Apache Kafka异步客户端库，为Rust提供了安全高效的接口。该库支持消息消费和生产、自动再平衡、主题管理等功能，可处理每秒百万级消息。它实现了至少一次和精确一次语义，并与Tokio无缝集成，适合异步数据处理场景。

secretflow - 统一隐私保护数据分析与机器学习框架

GithubSecretFlow密码学协议开源项目数据智能机器学习隐私计算

SecretFlow框架集成了多个隐私计算项目，包括Kuscia、SCQL和SPU等。它通过抽象设备层、设备流层、算法层和工作流层的设计，实现了对水平和垂直分区数据的高效分析。这一开源项目为隐私保护数据分析和机器学习提供了全面的技术支持，推动了隐私计算领域的发展。

databend - 高性能云数据仓库，基于 Rust 构建，适合大规模数据分析与人工智能

AI分析DatabendGithub云数据仓库开源项目性能基准测试数据格式热门

Databend 是一个开源、高性能的云数据仓库，使用 Rust 构建，专为复杂的数据分析设计。它整合了 AWS S3、Azure Blob 等服务，支持 ACID 事务、版本控制和无模式的数据存储，确保数据完整性与灵活性。Databend 支持多种数据格式，如 JSON、CSV、Parquet 等，提供高速查询执行与数据摄入，是成本效益高的 Snowflake 替代方案。此外，Databend 的 AI 功能支持高级分析，提供社区驱动的用户友好体验，适合企业和开发者快速部署和使用。

Store - 多平台数据流式存储库

GithubKotlinStore5多平台开源项目数据存储移动开发

Store5是一个多平台数据存储库，支持流式数据处理和CRUD操作。它通过SourceOfTruth、Fetcher等组件实现灵活数据管理，适用于本地和网络资源。Store5支持Android及多平台开发(Common、JVM、Native、JS)，简化数据处理流程，提升应用性能。

fastflow - 基于Go语言的轻量级分布式工作流框架

DAGFastflowGithubgolang分布式工作流框架开源项目

Fastflow是基于Go语言的轻量级工作流框架，提供分布式高性能解决方案。采用DAG模型定义工作流，支持高并发任务执行和水平扩展。框架具备完善的API和可观测性，适用于离线任务、集群管理等复杂场景，可高效处理海量任务。Fastflow保持轻量级特性，易于集成到现有项目中。基于协程的任务执行和Leader-Worker架构，进一步提升了框架的性能和可扩展性。

Schedulis - 基于Azkaban的高性能工作流调度系统支持多租户资源隔离

DataSphere StudioGithubLinkisSchedulis任务调度工作流开源项目

Schedulis是基于Azkaban开发的工作流调度系统，具备高性能、高可用和多租户资源隔离特性。支持大数据任务和数据检查任务，与DataSphere Studio和Linkis集成。提供告警机制、执行策略和简洁界面。在高可用性、资源管理和功能特色上优于其他调度系统。

vflow - 多协议支持的高性能网络流量收集器

GithubIPFIXNetflowsFlowvFlow开源项目数据收集器

vflow是一个高性能的网络流量收集器，支持IPFIX、sFlow和Netflow协议。它可解码sFlow原始头部信息，将数据输出至多种消息队列系统，并支持流量复制。vflow适用于Linux和Windows平台，提供Prometheus和RESTful API监控，是网络流量分析的有力工具。

dataplane - 高效灵活的开源数据管道构建平台

DataplaneDockerGithubGolang工作流程开源项目数据管道

Dataplane是一款开源的高性能数据管道构建平台。该项目采用Golang开发，具有拖拽式界面、Python编辑器、权限管理等功能。它支持多时区调度、分布式计算和资源监控，适合不同规模的团队使用。Dataplane注重性能、可扩展性和安全性，能有效简化数据处理和自动化工作流程。

kafka-go - Go语言开发的高性能Kafka客户端库

GithubGoKafkakafka-go分布式系统开源项目消息队列

kafka-go是一款Go语言开发的高性能Kafka客户端库，提供低级和高级API与Kafka交互。该库实现Go标准库接口，易于使用和集成，支持生产者、消费者和消费者组功能。它具备自动重试、重连和偏移量管理等特性，适用于Kafka 0.10.1.0至2.7.1版本，需要Go 1.15或更高版本。

kafka-docker-playground - Apache Kafka 和 Confluent 技术栈的自动化 Docker 示例集合

Apache KafkaConfluentDockerGithub开源项目自动化测试连接器

kafka-docker-playground 是一个综合性的 Apache Kafka 和 Confluent 技术栈示例集合。该项目包含大量连接器示例、安全环境配置和云服务演示。支持多版本运行和远程开发，提供命令行界面简化操作。适用于学习、测试和构建自定义复现模型，是 Kafka 生态系统探索的理想工具。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号