Project Icon

feast

旨在为机器学习平台团队提供可靠的特征管理工具的开源的特征存储系统

Feast是一个开源的特征存储系统,旨在为机器学习平台团队提供可靠的特征管理工具。它通过管理离线存储和低延迟的在线存储,确保特征在训练和服务中的一致性,避免数据泄漏。Feast提供了一个单一的数据访问层,将特征存储与特征检索分离,使模型在不同数据基础设施之间保持可移植性。用户可以通过详细的文档和指南,轻松上手并运行Feast。

seaweedfs - 分布式文件系统 高效存储海量小文件
GithubS3兼容SeaweedFS分布式文件系统对象存储开源项目
SeaweedFS是一个可扩展的分布式文件系统,专为存储和服务海量小文件设计。它具有轻量级元数据、快速读取、多副本、纠删码等特性。SeaweedFS提供S3兼容API、POSIX文件系统、HDFS接口,支持云存储集成,是一个多功能的对象存储和文件系统解决方案。
aistore - 分布式存储系统 专为AI与PB级深度学习优化
AIStoreGithub分布式系统对象存储系统开源项目数据管理深度学习
AIStore是专为AI应用设计的轻量级存储系统,具备线性扩展能力和运行时节点弹性。支持从单机到大规模集群部署,提供统一命名空间、ETL卸载和文件数据集等功能。AIStore与PyTorch集成,采用REST API和S3兼容接口,支持多种后端存储,适用于AI和深度学习工作负载。
awesome-data-engineering - 数据工程全面技术资源指南
Github大数据开源项目数据处理数据存储数据工程数据库
本资源列表全面覆盖数据工程领域,包括数据库、数据摄取、文件系统和序列化格式等核心技术。汇集Kafka、Hadoop、Spark等主流开源项目和创新解决方案,为数据工程实践提供系统性参考。内容涵盖从基础设施到前沿技术,是数据工程师深入学习和技术选型的重要指南。
Feishu-Vector-Knowledge-Management - Feishu Vector Knowledge Management:企业知识管理的新助力
CSV数据导入Feishu Vector Knowledge ManagementFeishu-OpenAIGithubQdrant开源项目知识库管理
Feishu Vector Knowledge Management结合Feishu-OpenAI与私有知识库,具备知识库问答、CSV数据导入创建、网页与文件数据管理及记录查询功能。利用Embeddings和Qdrant技术,降低token成本,提高知识管理查询效率。通过docker-compose轻松部署,适用于企业日常知识管理需求。
Dflux - 整合数据科学工具 实现快速分析洞察
AI工具Dflux数据分析数据工程数据科学平台机器学习
Dflux整合了数据连接、工程处理、模型开发和可视化分析等功能于一体的数据科学平台。它提供端到端的数据处理和智能分析解决方案,支持无代码机器学习,适合各类用户高效进行数据分析和洞察挖掘。平台还具备交互式仪表板和自动化决策功能,有助于企业实现客户留存和业务增长。
bisheng - 开源大模型应用开发平台
BishengGithub大模型应用开源开源项目数据治理智能应用热门
Bisheng是一款开源大模型应用开发平台,旨在加速大模型技术在多种业务场景下的应用落地,通过提供灵活、可靠的开发组件和流程编排能力,支持包括文档摘要、知识库问答和对话等智能应用的构建。平台强调实用功能和数据治理,专为高并发和企业级应用设计。于2023年8月底正式开源,提供全面的开发者文档和社区支持。
awesome-opensource-data-engineering - 全面的数据工程开源项目资源库
Github开源开源项目数据分析数据处理数据工程数据管理
该资源库汇集了数据工程领域的开源项目,覆盖数据分析、业务智能、数据湖和数据治理等方面。包含Apache Spark、Flink等分析工具,Debezium、Kafka等数据捕获和消息系统,以及各种数据格式、集成工具和工作流管理系统。为数据工程实践提供了全面的开源解决方案参考。
mleap - 快速部署机器学习流水线与算法的实用工具包
GithubMLeapScikit-learnSpark开源项目性能机器学习数据管道
MLeap提供高性能、便携、易于集成的生产库,支持将Spark和Scikit-learn的机器学习流水线导出为便携格式并执行。通过其执行引擎和序列化格式,数据科学家和工程师可以无需依赖Spark或Scikit-learn环境,将数据流水线和算法轻松部署到生产环境中。MLeap支持多种序列化格式(如JSON、Protobuf),并与现有技术高度集成,提供用户灵活定制数据类型和转换器的能力。
feathers - 实时API和全栈应用开发框架
FeathersGithubJavaScriptTypeScriptWeb API实时应用开源项目
Feathers是一个全栈框架,用于创建Web API和实时应用。支持TypeScript和JavaScript,兼容多种后端技术和数据库。可与React、VueJS等前端框架集成。框架提供快速项目搭建,适用于包括移动端在内的多种应用场景。官方网站和指南提供深入学习资源。
geesefs - Go语言实现的高性能S3文件系统
GeeseFSGithubPOSIX兼容S3文件系统并行处理开源项目高性能
GeeseFS是一款Go语言开发的S3文件系统,可将S3存储桶挂载为本地文件系统。它通过并行和异步处理提高了小文件和元数据操作性能。支持Yandex、Amazon等多种S3兼容存储,具备并行预读、多部分上传等性能优化特性。GeeseFS通过了大部分适用的xfstests测试,展现出良好的稳定性和POSIX兼容性。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号