Project Icon

LakeSoul

在云存储上为 BI 和 AI 应用程序提供快速数据摄取、并发更新和增量数据分析的Lakehouse框架

LakeSoul是一个云原生的Lakehouse框架,提供灵活高效的Upsert操作、模式演化和统一的流与批处理。支持包括Spark、Flink、Presto和PyTorch在内的多种计算引擎,以及如HDFS和S3的存储系统。具备高写入吞吐量和优化的数据读取性能,支持并发更新和增量插入。拥有自动压缩、数据清理和权限隔离等功能。该项目由DMetaSoul公司创建,并捐赠给Linux Foundation AI & Data作为沙盒项目。

Flyte - 灵活高效的数据和机器学习工作流编排解决方案
AI工具Flyte可扩展性工作流编排数据科学机器学习
Flyte是一个高度可扩展和灵活的工作流编排平台,可无缝整合数据、机器学习和分析工具链。它支持数据科学家和工程师轻松构建和管理生产级工作流,实现从本地开发到大规模部署的流畅过渡。Flyte提供强大的扩展性、数据血缘追踪和缓存机制,能处理从简单ETL到复杂机器学习训练等多样化工作流。该平台致力于简化工作流开发,使用户能专注于核心业务逻辑。
bitsail - ByteDance开源的分布式数据集成引擎
BitSailGithub分布式架构字节跳动开源开源项目数据集成
BitSail是一个开源的分布式数据集成引擎,支持多种异构数据源间的同步。该引擎提供批处理、流处理和增量场景的数据集成解决方案,采用分布式和云原生架构,具备高性能和可靠性。BitSail在ByteDance多个业务线中得到应用,每日处理海量数据,展现了其强大的数据集成能力。
alluxio - 跨计算框架的高效虚拟存储系统
AlluxioDockerGithub分布式存储系统开源项目数据管理社区
Alluxio是一个虚拟分布式存储系统,用于在计算框架与多个存储系统之间搭建桥梁,使计算应用能够通过统一接口访问各种存储资源。凭借其出色的数据管理能力,Alluxio已被众多知名企业采用,管理数PB的数据,部署规模可达3000个节点以上,同时提供多个社区互动渠道如Slack和社区会议。
aistore - 分布式存储系统 专为AI与PB级深度学习优化
AIStoreGithub分布式系统对象存储系统开源项目数据管理深度学习
AIStore是专为AI应用设计的轻量级存储系统,具备线性扩展能力和运行时节点弹性。支持从单机到大规模集群部署,提供统一命名空间、ETL卸载和文件数据集等功能。AIStore与PyTorch集成,采用REST API和S3兼容接口,支持多种后端存储,适用于AI和深度学习工作负载。
skyplane - 快速跨云平台数据传输工具
GithubSkyplane云存储数据传输多云支持开源项目高速传输
Skyplane是一款高效的云存储数据传输工具,支持主流云平台如AWS、Azure、IBM和GCP。通过并行传输、压缩和带宽分层技术,Skyplane实现了比传统方法快110倍、节省75%成本的数据传输。该工具适用于云内、跨云和本地到云的数据迁移场景,提供快速、经济、通用的数据传输解决方案。
Liquid-Application-Framework - 多云原生微服务框架,简化开发实现跨平台应用
AvanadeGithubLiquid云原生微服务多云开源项目框架
Liquid Application Framework 是一个多云框架,旨在加速云原生微服务开发并避免代码依赖特定云供应商。通过抽象大部分样板代码,使开发者能专注于业务逻辑。支持Azure、AWS和Google Cloud等云服务,提供模板工具来快速生成项目结构,节省开发时间。2021年4月发布了重大的新版本,进行了架构重构。旧版本停止更新,但保留历史存档供参考及维护。
litdata - 优化数据处理和流式传输工具 提升AI模型训练效率
GithubLitData云存储开源项目数据优化数据处理模型训练
LitData是一个开源的数据处理和优化工具,专注于提升AI模型训练效率。它提供并行数据处理、向量嵌入创建、分布式推理和大规模网站抓取功能。LitData优化数据集以加速模型训练,支持云端大规模数据流式传输,并实现远程数据的无本地加载使用。这些特性使LitData成为提高数据处理效率和AI模型训练速度的有力工具。
DataSphereStudio - 全流程数据应用开发管理门户
DataSphere StudioGithub工作流开源项目微众银行数据应用开发集成框架
DataSphere Studio是一个集成多种数据应用工具的开发管理门户。支持数据导入、清洗、分析、挖掘到可视化的全流程开发。采用插件化框架设计和Linkis计算中间件,可整合各类数据应用系统,简化开发流程。具备高并发、高可用、多租户隔离等特性,提供全面的数据应用开发生命周期管理。
milvus - 支持嵌入相似性搜索与AI应用的开源的云原生向量数据库
AI应用GithubMilvus向量数据库嵌入相似搜索开放源代码开源项目
Milvus是一个开源向量数据库,专为提高嵌入相似性搜索和AI应用的效率。2.0版本采用云原生设计,支持存储与计算分离,全无状态组件提升弹性与灵活性。主要功能包括毫秒级查询、简化非结构化数据管理、高可靠性、强扩展性和混合搜索等。已有超过1000家企业用户和27000+ GitHub星标,并受到活跃的开源社区支持。
sparkling-water - Apache Spark与H2O-3的机器学习集成框架
Apache SparkGithubH2O-3Sparkling Water开源项目数据集成机器学习
Sparkling Water是一个开源项目,将H2O-3机器学习引擎与Apache Spark集成。它提供了Spark和H2O数据结构间的转换工具,支持使用Spark数据作为H2O算法输入,并提供构建机器学习应用的基础模块。项目还包含PySparkling接口,支持从PySpark直接使用。Sparkling Water支持Spark Shell集成、Spark Submit应用、以及通过Maven包使用。它提供多种后端部署模式,适应不同使用场景。项目致力于简化大规模数据处理和机器学习任务的开发流程,在Spark环境中优化机器学习解决方案的开发和部署过程。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号