Project Icon

transfer

实时数据复制工具 支持OLTP和OLAP数据库

Artie Transfer是一个开源的实时数据复制工具,专注于OLTP和OLAP数据库之间的数据同步。它采用变更数据捕获(CDC)和流处理技术,实现数据延迟低于1分钟。该工具具有自动表创建、模式检测、高可靠性和可扩展性等特点,支持多种消息队列和数据库系统,能够处理1GB至100+TB的数据量。Artie Transfer为企业提供了一个高效的大数据同步解决方案。

awesome-opensource-data-engineering - 全面的数据工程开源项目资源库
Github开源开源项目数据分析数据处理数据工程数据管理
该资源库汇集了数据工程领域的开源项目,覆盖数据分析、业务智能、数据湖和数据治理等方面。包含Apache Spark、Flink等分析工具,Debezium、Kafka等数据捕获和消息系统,以及各种数据格式、集成工具和工作流管理系统。为数据工程实践提供了全面的开源解决方案参考。
readyset - 针对Postgres和MySQL的自动同步透明数据库缓存解决方案
GithubReadySetSQL优化开源项目性能提升数据同步数据库缓存
ReadySet是一个为Postgres和MySQL设计的透明数据库缓存工具。它提供内存键值存储级别的性能和扩展性,无需修改应用代码或手动管理缓存。通过位于应用和数据库之间,ReadySet能将复杂SQL查询转化为高速查找。它利用数据库复制流自动同步缓存数据,兼容现有ORM和数据库客户端,为数据库查询提供显著的性能提升。
dbeaver - 多平台数据库管理工具 支持各类JDBC数据库
DBeaverGithubSQL编辑器多平台开源软件开源项目数据库工具
DBeaver是一个开源的多平台数据库管理工具,适用于开发人员、SQL程序员、数据库管理员和分析师。该工具支持所有具有JDBC驱动程序的数据库,提供元数据编辑、SQL编辑、数据编辑、ERD绘制、数据导出导入迁移以及SQL执行计划等功能。DBeaver基于Eclipse平台开发,采用插件架构,为MySQL、PostgreSQL、Oracle等数据库提供扩展功能。此外,其商业版本还支持MongoDB、Cassandra等非JDBC数据源。
mtail - 高效日志数据提取与时序数据库集成工具
Githubmtail应用程序日志开源项目指标提取日志监控时间序列数据库
mtail是一款开源的日志数据提取工具,专为系统运营者设计。它能从应用程序日志中提取指标数据,并将其导出至时序数据库或分析工具,用于监控和警报。mtail通过简单的程序定义提取规则,无需修改原应用即可实现监控。支持JSON和Prometheus等多种数据格式,可与collectd、StatsD和Graphite等系统无缝集成。mtail为监控需求提供了灵活高效的解决方案,弥补了应用程序自身缺乏内部状态导出功能的空白。
awesome-data-engineering - 数据工程全面技术资源指南
Github大数据开源项目数据处理数据存储数据工程数据库
本资源列表全面覆盖数据工程领域,包括数据库、数据摄取、文件系统和序列化格式等核心技术。汇集Kafka、Hadoop、Spark等主流开源项目和创新解决方案,为数据工程实践提供系统性参考。内容涵盖从基础设施到前沿技术,是数据工程师深入学习和技术选型的重要指南。
tortoise-orm - 异步ORM框架Tortoise 支持多数据库的高性能解决方案
GithubORMPythonTortoise ORM开源项目异步数据库
Tortoise ORM是一款受Django启发的异步ORM框架,专为关系型数据设计。它支持SQLite、MySQL、PostgreSQL等多种数据库,提供简洁API和高性能查询能力。框架支持复杂查询、关系管理和预加载功能,性能优异。适用于Python 3.8+环境,Tortoise ORM还支持数据迁移工具Aerich,为开发者提供了从同步到异步编程的平滑过渡方案和全面的异步应用开发解决方案。
transmart - Transmart:支持大文件处理及多平台的AI自动翻译工具
ChatGPTGithubNodeJSTransmarti18n开源项目翻译工具
Transmart是一款开源的开发工具,利用ChatGPT自动化i18n翻译,支持大文件处理和多种语言。适用于i18next和Chrome.i18n,支持自定义OpenAI模型和API端点。通过设置baseLocale和locales参数生成i18n语言文件,基于NodeJS,安装与使用简便,适合各种国际化项目。
TSDB - 高效便捷的时间序列数据集加载库
GithubPyPOTSTSDB开源工具开源项目数据挖掘时间序列数据集
TSDB是一个时间序列数据集加载库,支持172个公开数据集的一键加载。该工具简化了研究人员和工程师的数据获取流程,使他们能专注于数据处理。TSDB具备数据下载、加载和缓存管理功能,并支持缓存目录迁移。作为PyPOTS工具箱的组成部分,TSDB为时间序列数据挖掘提供了基础支持。
venice - 全球工作负载的衍生数据存储平台
GithubVenice低延迟多租户多集群支持开源项目高吞吐量
Venice是一个衍生数据存储平台,提供高吞吐量的批处理和流处理数据异步摄取,低延迟的在线读取,基于CRDT的区域间主动主动复制,多集群支持和多租户水平伸缩能力。适用于Feathr等特征存储,支持离线、近线和在线工作负载的多种写操作和读取API,具有分片感知和本地缓存功能的客户端模式,满足不同性能和成本需求。
awesome-business-intelligence - 优化商业智能工具的权威资源列表
ETL工具Github开源项目数据可视化数据平台数据建模数据集成
本项目汇集了商业智能领域的顶级工具,涵盖数据分析全流程。包括数据监控、可视化、集成、建模、血缘分析、ETL等关键环节的SaaS及开源方案。为数据从业者和企业提供了全面的工具参考,助力选择最适合的数据解决方案。该项目收录了商业智能生态中的核心工具,覆盖从数据采集到分析呈现的完整链路。包含数据监控、分析客户端、可视化、集成、建模、血缘分析、可观察性、ETL编排等18个关键领域的SaaS和开源解决方案。为数据团队和企业提供了全面的工具参考,有助于构建高效的数据栈。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号