Project Icon

transfer

实时数据复制工具 支持OLTP和OLAP数据库

Artie Transfer是一个开源的实时数据复制工具,专注于OLTP和OLAP数据库之间的数据同步。它采用变更数据捕获(CDC)和流处理技术,实现数据延迟低于1分钟。该工具具有自动表创建、模式检测、高可靠性和可扩展性等特点,支持多种消息队列和数据库系统,能够处理1GB至100+TB的数据量。Artie Transfer为企业提供了一个高效的大数据同步解决方案。

dozer - 实时多源数据同步工具 支持CDC技术和多目标存储
CDCDozerGithub实时数据移动开源项目数据仓库数据转换
Dozer是一款实时数据同步工具,利用CDC技术从多种数据源同步到多个目标存储。该工具性能优于Debezium+Kafka组合,支持无状态转换。Dozer主要用于数据仓库同步,如Clickhouse,并可用于构建数据API和LLM集成。通过单一配置文件运行,Dozer支持Postgres、MySQL、Snowflake等多种数据源和目标存储,为数据同步提供灵活高效的解决方案。
arctic - Arctic项目开发工作迁移至ArcticDB仓库
ArcticDBGitHub仓库Github开源项目数据库迁移项目维护
Arctic项目已进入维护模式,开发工作迁移至ArcticDB GitHub仓库。原Arctic仓库的设置、安装和使用说明已移至README-arctic.md文件。新仓库提供最新的项目更新和社区支持。
airbyte - 多源数据集成平台 支持300+连接器的ELT工具
AirbyteELT管道Github开源开源项目数据集成连接器
Airbyte作为开源数据集成平台,专注于构建ELT数据管道。平台支持多种数据源和目标间的传输,包括API、数据库、文件、数据仓库和数据湖。提供超过300个连接器,覆盖广泛的数据源和目标。平台特色包括无代码连接器构建器和低代码CDK,方便快速创建自定义连接器。支持与Airflow、Prefect等工具集成,实现数据同步的自动化编排。Airbyte为数据工程师提供了灵活且可定制的数据移动方案。
skyplane - 快速跨云平台数据传输工具
GithubSkyplane云存储数据传输多云支持开源项目高速传输
Skyplane是一款高效的云存储数据传输工具,支持主流云平台如AWS、Azure、IBM和GCP。通过并行传输、压缩和带宽分层技术,Skyplane实现了比传统方法快110倍、节省75%成本的数据传输。该工具适用于云内、跨云和本地到云的数据迁移场景,提供快速、经济、通用的数据传输解决方案。
litestream - SQLite的轻量级灾难恢复和实时复制工具
GithubLitestreamSQLite开源项目数据复制数据库备份灾难恢复
Litestream是一款开源的SQLite灾难恢复和实时复制工具。它在后台运行,将数据库变更安全地增量复制到其他文件或S3云存储。通过SQLite API通信,Litestream确保数据完整性。这个轻量级工具为需要高可靠性的SQLite应用提供了简单易用的灾难恢复和备份方案。
TDengine - 高性能时序数据库助力工业物联网数据管理
GithubTDengine大数据实时数据处理开源项目时序数据库物联网
TDengine是为工业物联网设计的高性能时序数据库,每天可处理PB级传感器数据。它提供实时数据摄取、存储、分析和分发功能,支持高效SQL查询、时间窗口查询和集群部署。TDengine为主流编程语言提供客户端库,适用于从独立开发者到大型企业的各类用户,助力传统行业数字化转型,充分挖掘数据价值。
pg_replicate - 基于Rust的PostgreSQL数据复制框架
GithubPostgreSQLRustpg_replicate开源项目数据复制数据管道
pg_replicate是一个基于Rust的PostgreSQL数据复制框架。它利用PostgreSQL的逻辑流复制协议,提供数据管道抽象,简化复制过程。支持BigQuery、DuckDB等多种数据接收器,适用于将PostgreSQL数据持续复制到其他系统的场景。该框架抽象了底层细节,为开发者提供高效的数据复制工具。
Exchangis - 异构数据源间的高效数据同步平台
ExchangisGithubLinkis开源项目异构数据源插件框架数据交换
Exchangis是一个开源的数据同步平台,支持异构数据源间结构化和非结构化数据的传输。它提供统一的数据源和同步作业定义插件,基于Linkis计算中间件实现高并发、高可用、多租户隔离和资源控制。Exchangis具备轻量级数据源管理、实时任务监控功能,并可集成到DSS工作流中,为大数据开发提供全面的数据交换解决方案。
teable - 快速实时的专业级Postgres数据库应用平台
GithubSQL支持Teable多视图实时协作开源项目无代码数据库
Teable是基于Postgres构建的高性能无代码数据库平台。它提供电子表格式界面,便于创建企业级数据库应用。Teable支持百万级数据处理、实时协作和全功能SQL,同时保障数据安全和可扩展性。该平台计划推出扩展功能、自动化流程和AI集成,进一步提升开发效率。
tigerbeetle - 专为OLTP设计的金融交易数据库
GithubTigerBeetle开源项目数据库账户管理金融交易高性能
TigerBeetle是一款专注于金融交易的数据库,为OLTP应用提供高性能和可靠性。它支持快速部署、多节点集群和多语言客户端,实现高效的账户管理和转账操作。TigerBeetle的设计优先考虑性能和数据安全,适合需要高吞吐量和严格一致性的金融系统。该数据库旨在满足未来几十年金融交易的需求,为关键任务提供稳定支持。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号