Project Icon

transfer

实时数据复制工具 支持OLTP和OLAP数据库

Artie Transfer是一个开源的实时数据复制工具,专注于OLTP和OLAP数据库之间的数据同步。它采用变更数据捕获(CDC)和流处理技术,实现数据延迟低于1分钟。该工具具有自动表创建、模式检测、高可靠性和可扩展性等特点,支持多种消息队列和数据库系统,能够处理1GB至100+TB的数据量。Artie Transfer为企业提供了一个高效的大数据同步解决方案。

RedisShake - Redis数据处理与迁移工具 支持多版本和云服务
GithubRedisShakeRedis数据迁移云服务兼容开源项目数据处理工具
RedisShake是一个开源的Redis数据处理和迁移工具,支持Redis 2.8至7.2版本。它兼容多种部署方式,包括独立、主从、哨兵和集群模式,以及主流云服务提供商的Redis兼容数据库。RedisShake提供PSync、RDB和Scan等导出模式,支持数据过滤和转换,并兼容TairString、TairZSet和TairHash模块。这个工具可用于多种Redis数据迁移和处理场景。
dtm - 分布式事务框架DTM支持多模式跨语言应用
DTMGithub分布式事务工作流开源项目微服务数据一致性
DTM是一个开源分布式事务框架,提供跨服务的数据一致性解决方案。支持saga、tcc、xa等多种模式,兼容多种编程语言和存储引擎。具有高可用性和水平扩展能力,适用于缓存管理、库存扣减、订单系统等场景。已在腾讯、字节跳动等公司得到应用。
AGEIPort - 阿里巴巴开源的高性能数据导入导出框架
AGEIPortGithub事件驱动开源项目性能优化数据导入导出集群执行
AGEIPort是阿里巴巴开源的数据导入导出框架,采用事件驱动架构设计。它支持集群和单机执行模式,提供实时任务进度反馈,并针对toB业务场景提供灵活定制。该框架在阿里巴巴集团内部广泛应用,月处理数据量达300-400亿条。AGEIPort通过标准化流程和接口设计,提高了开发效率和代码可维护性,适用于各类数据处理需求。
datacap - 多源数据管理与分析可视化平台
DataCapGithub开源项目数据可视化数据库连接器数据转换数据集成
DataCap是一个开源的数据管理与分析平台,支持多种数据源和数据库类型。该平台集成了数据转换、集成和可视化功能,能够高效处理大数据、关系型和NoSQL数据库。DataCap提供丰富的数据库连接器,包括ClickHouse、MySQL和PostgreSQL等主流数据库,方便用户进行多源数据管理、转换、图表制作和监控。
talaria - 分布式高可用时序数据库与事件摄取平台
GithubTalaria事件摄取大数据实时查询开源项目数据库
Talaria是为大数据系统设计的分布式时序数据库。它既可作为事件摄取平台,又可用作热数据存储,每小时可查询2-3TB数据,具有低延迟和低成本特点。Talaria支持SQL查询,兼容多种工具生态系统,并提供多种存储接口。通过Presto Thrift连接器,可与Presto无缝集成。作为开源项目,Talaria为用户提供了灵活的部署选项和自定义可能性,特别适合需要快速处理和查询大量时序数据的场景。
dagster - 全生命周期数据管道编排工具 支持云原生部署
DagsterGithubPython开源开源项目数据管道编排资产管理
Dagster是一款支持云原生部署的数据管道编排工具,覆盖全生命周期开发。该工具集成了数据血缘追踪和可观察性功能,采用声明式编程模型,并提供出色的可测试性。Dagster能够帮助开发和维护各类数据资产,包括数据表、数据集、机器学习模型和报告等。开发者可通过Python函数声明数据资产的构建方式,Dagster会自动管理函数执行时机并保持资产更新。这一工具适用于从本地开发到生产环境的全过程,并与现代数据技术栈广泛集成。
Evolve - 多数据库支持的自动化迁移工具 简化版本控制
EvolveGithubSQL脚本开源项目持续集成数据库迁移
Evolve是一个跨平台数据库迁移工具,支持多种主流数据库。它使用纯SQL脚本实现数据库变更自动化和同步,适用于持续集成/交付环境。Evolve强调简单易用,每次运行时自动更新数据库至最新状态。提供.NET库、工具和独立CLI,方便开发者选择合适的使用方式。该工具有助于简化数据库版本控制和变更管理流程。
delta-sharing - 开放协议实现跨平台大规模数据实时共享
Delta SharingGithub云存储开放协议开源项目数据交换数据共享
Delta Sharing是一个开放协议,用于安全实时交换大型数据集。它支持跨平台实时数据共享,使用REST API安全共享云数据集,通过S3、ADLS或GCS等云存储系统传输数据。用户可直接使用pandas、Tableau、Apache Spark等工具访问共享数据,无需部署特定计算平台。该协议简化了数据提供和使用流程,使数据共享更加高效便捷。
transfer.sh - 命令行文件分享工具 快速高效
Githubtransfer.sh云存储命令行工具开源项目文件共享
transfer.sh是一款开源的命令行文件分享工具,支持Amazon S3、Google Drive等多种存储方式。它提供简单的curl命令实现文件上传下载,具备加密和下载限制等功能。该项目开源了完整服务器代码,便于用户自建实例。transfer.sh主要面向开发者和技术人员,满足快速文件分享需求。
apitable - 强大灵活的开源实时协作数据库平台
APIAPITableGithub协作开源开源项目数据库
APITable是一个开源协作数据库平台,具备实时协作、自动表单生成和API优先设计等特性。它支持多种视图类型,如网格、画廊和看板,并提供强大的权限控制和嵌入功能。适用于项目管理、CRM和BI等场景,APITable可作为可视化数据库基础设施集成到其他软件中。平台采用先进技术栈,支持大规模数据处理和全面API访问。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号