LakeSoul

在云存储上为 BI 和 AI 应用程序提供快速数据摄取、并发更新和增量数据分析的Lakehouse框架

LakeSoul 元数据管理 ACID事务增量更新多计算引擎支持 Github 开源项目

LakeSoul是一个云原生的Lakehouse框架，提供灵活高效的Upsert操作、模式演化和统一的流与批处理。支持包括Spark、Flink、Presto和PyTorch在内的多种计算引擎，以及如HDFS和S3的存储系统。具备高写入吞吐量和优化的数据读取性能，支持并发更新和增量插入。拥有自动压缩、数据清理和权限隔离等功能。该项目由DMetaSoul公司创建，并捐赠给Linux Foundation AI & Data作为沙盒项目。

访问官网

Github

介绍相关项目

Peaka - 多源数据实时集成和查询平台

AI工具API查询Peaka数据源整合数据集成平台无ETL

Peaka数据集成平台实现关系型数据库、NoSQL数据库、SaaS工具和API的无缝整合。用户可将多个数据源作为单一来源进行实时查询，简化数据管理和分析流程。平台采用零ETL方案，提升企业数据资产利用效率，为决策提供数据支持。

OpenSQL - 智能平台实现自然语言到SQL查询的无缝转换

AI工具API集成OpenSQLSQL查询数据分析自然语言处理

OpenSQL是一个创新型在线平台，将自然语言问题转换为SQL查询语句。该工具适用于数据库管理员、软件开发人员、数据分析师和学生。平台提供直观的界面，支持SQL文件上传和原始查询生成。OpenSQL还提供API集成功能，便于企业将SQL查询功能整合到产品中。平台高度重视数据安全，不使用客户数据训练模型，确保交互的私密性和安全性。无论是教育还是商业用途，OpenSQL都是一个高效、经济且灵活的SQL查询解决方案。

bigflow - 简化GCP数据流水线开发的高效Python框架

BigFlowGCPGithubPython框架开源项目数据处理部署

BigFlow是一个专为Google Cloud Platform (GCP)设计的数据处理框架。该框架提供Docker化部署、CLI工具、自动化构建与部署、统一项目结构，并支持GCP主要数据处理技术。BigFlow优化了数据工程流程，支持Dataflow和BigQuery，适用于不同规模的数据处理项目。框架还包含项目启动器，帮助快速搭建工程环境。

minio - 高性能对象存储与云服务兼容解决方案

Erasure CodingGithubMinIOMinIO控制台亚马逊S3兼容对象存储开源项目热门

MinIO提供了一个高性能的对象存储系统，兼容Amazon S3云存储服务。它适用于机器学习、数据分析和应用数据工作负载的基础设施建设。MinIO支持容器化部署和多种操作系统，提供了从硬件到Kubernetes环境的全方位部署选项。此外，MinIO通过纠删码技术，提供了数据的高可用性和安全性，适合早期开发和评估到生产环境的扩展应用。

awesome-data-engineering - 数据工程全面技术资源指南

Github大数据开源项目数据处理数据存储数据工程数据库

本资源列表全面覆盖数据工程领域,包括数据库、数据摄取、文件系统和序列化格式等核心技术。汇集Kafka、Hadoop、Spark等主流开源项目和创新解决方案,为数据工程实践提供系统性参考。内容涵盖从基础设施到前沿技术,是数据工程师深入学习和技术选型的重要指南。

StreamDeploy - 为AI和LLM应用提供高效部署和DevSecOps解决方案

AI工具AI应用DevSecOpsGPTDockerfile生成器StreamDeploy敏捷开发

StreamDeploy专注于AI和LLM应用的部署服务，集成DevSecOpsGPT功能支持敏捷开发。平台提供免费Dockerfile生成器，简化软件容器化过程。目前处于封闭测试阶段，持续优化功能以确保用户体验。StreamDeploy应用LLM开发最佳实践，旨在成为AI应用开发的理想选择。

superduper - 将人工智能集成到您的数据库中，提升数据处理与分析能力

Githubsuperduper.io人工智能向量搜索开源项目数据库集成模型训练热门

superduper.io 是一个强大的Python框架，专门为现有数据库直接集成人工智能模型、API 和向量搜索引擎而设计。此平台支持实时数据处理、可扩展的模型训练和简化的Python接口，使得 AI 集成变得简单高效。无需重复数据迁移，即可在您信赖的数据库中进行多模态向量搜索，以及存储和管理AI模型的输入输出。探索如何通过少量代码实现高级AI功能，并通过社区支持和丰富的文档资源加速您的AI项目。

MindsDB - AI开发云平台助力快速构建定制化智能系统

AI工具AI开发MindsDB数据集成机器学习自动化

MindsDB是一个流行的AI开发云平台,为开发者提供快速构建和部署定制AI系统的能力。平台集成200多种数据源,提供模型管理、自动化工作流和可观测性等功能,助力开发者高效创建安全的AI解决方案。MindsDB基于云原生架构,具备良好扩展性和数据安全性。作为开源项目,MindsDB拥有活跃的全球贡献者社区,支持各行业AI应用开发。

superset - 现代化企业级数据可视化和探索平台

GithubSuperset商业智能开源软件开源项目数据分析数据可视化

Superset是一个现代化的企业级数据探索和可视化平台。它提供无代码图表构建界面、SQL编辑器、轻量级语义层和广泛的数据库支持。平台具备丰富的可视化类型、可配置缓存、可扩展安全角色和身份验证,以及用于定制的API。其云原生架构支持大规模部署,可作为替代或增强专有商业智能工具的选择。

SynapseML - 简化大规模机器学习管道的开源工具

Apache SparkGithubSynapseML开源项目异常检测文本分析机器学习

SynapseML是一个开源库，旨在简化大规模机器学习管道的创建。它提供简单、可组合和分布式的API，支持文本分析、视觉处理、异常检测等多种任务。基于Apache Spark，SynapseML与SparkML/MLLib共享相同的API，能够无缝集成到现有的Spark工作流中。该库支持Python、R、Scala、Java和.NET，适用于各种数据库和云数据存储，助力构建智能系统。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号