Daft

Rust实现的分布式数据处理引擎支持多模态分析

Daft是一个Rust实现的分布式查询引擎，为Python提供大规模数据处理能力。它提供交互式API、查询优化、数据目录集成、多模态类型系统和Apache Arrow兼容性。Daft可处理图像、嵌入向量等复杂数据，支持交互式和分布式计算，适用于多种数据分析场景。其云优化设计带来高效I/O性能。

访问官网

文档

cake - 框架实现分布式大模型推理充分利用闲置设备

AI民主化CakeGithub分布式推理大型模型开源项目异构集群

Cake是基于Candle的Rust框架，通过整合iOS、Android、macOS、Linux和Windows设备为异构集群，实现大型模型(70B+)的分布式推理。该框架将transformer块分片到多设备上，突破单设备GPU内存限制，有效利用闲置硬件资源，降低AI应用门槛。

awesome-opensource-data-engineering - 全面的数据工程开源项目资源库

Github开源开源项目数据分析数据处理数据工程数据管理

该资源库汇集了数据工程领域的开源项目，覆盖数据分析、业务智能、数据湖和数据治理等方面。包含Apache Spark、Flink等分析工具，Debezium、Kafka等数据捕获和消息系统，以及各种数据格式、集成工具和工作流管理系统。为数据工程实践提供了全面的开源解决方案参考。

datasketch - Python概率数据结构库实现大规模数据高效处理

Githubdatasketch大数据处理开源项目数据草图概率数据结构相似度估计

datasketch是一个用于处理和搜索大规模数据的Python库，提供多种概率数据结构如MinHash和HyperLogLog，用于估计Jaccard相似度和基数。该库包含MinHash LSH和HNSW等索引结构，实现亚线性查询时间。支持Python 3.7+版本，兼容Redis和Cassandra存储层，为大数据分析提供高效解决方案。

streamdal - 基于WebAssembly的高效实时数据处理框架

GithubStreamdalWebAssembly实时处理开源开源项目数据隐私

Streamdal是一个开源的代码原生数据处理框架，可直接在应用程序中执行数据任务。该框架利用WebAssembly技术在客户端运行，相比传统数据管道具有显著的性能、成本和易用性优势。Streamdal提供实时个人身份信息检测与屏蔽、数据模式推断与验证、数据提取与截断等功能。它无需额外的数据管道基础设施和专门团队，支持多种编程语言SDK，易于集成，适用于各类需要高效实时数据处理的应用场景。

feast - 旨在为机器学习平台团队提供可靠的特征管理工具的开源的特征存储系统

FeastGithub开源项目数据基础设施机器学习模型训练特征存储

Feast是一个开源的特征存储系统，旨在为机器学习平台团队提供可靠的特征管理工具。它通过管理离线存储和低延迟的在线存储，确保特征在训练和服务中的一致性，避免数据泄漏。Feast提供了一个单一的数据访问层，将特征存储与特征检索分离，使模型在不同数据基础设施之间保持可移植性。用户可以通过详细的文档和指南，轻松上手并运行Feast。

doris - MPP架构实时分析数据库提供亿级数据秒级响应

Apache DorisGithubMPP架构SQL查询分析性能开源项目数据库

Apache Doris是基于MPP架构的开源实时分析数据库，可在海量数据下实现亚秒级响应。它支持高并发点查询和复杂分析，适用于报表分析、即席查询、统一数据仓库和数据湖查询加速等场景。Doris采用列式存储引擎，结合多种存储模型和索引结构，通过向量化查询引擎和自适应执行技术提升性能。该系统兼容MySQL协议，使用标准SQL，便于部署和扩展。

datatrove - 用于大规模文本数据处理和去重的开源Python库

DataTroveGithub大规模开源项目数据处理文本去重管道

DataTrove是一个开源Python库，专门用于处理、过滤和去重大规模文本数据。它提供预构建的常用处理模块和自定义功能支持。该库的处理流程可在本地或Slurm集群上运行，具有低内存消耗和多步骤设计，适合处理大型语言模型训练数据等大规模工作负载。DataTrove支持多种文件系统，为数据处理提供灵活解决方案。

aquila - 高效构建神经信息检索应用的工具

Aquila DBGithubJSON MetadataLatent VectorsNeural Search Enginek-NN Retrieval开源项目

Aquila DB 是一个高效的神经搜索引擎，专为机器学习应用的数据存储和检索设计。它能够索引机器学习模型生成的潜在向量和 JSON 元数据，并进行 k-NN 检索。Aquila DB 适合数据科学家和机器学习工程师，以便快速构建神经信息检索应用，且依赖性低。支持多种编程语言和 Docker 部署，集成简便。目前处于 alpha 版本，并已在生产环境中使用。

risingwave - 兼容PostgreSQL的实时流处理SQL引擎

GithubRisingWaveSQL引擎实时数据开源项目流处理物化视图

RisingWave是一款兼容PostgreSQL的SQL引擎，专门用于处理、分析和管理实时事件流数据。它每秒可处理数百万事件，实时连接数据流与历史表格，并支持即时查询。该系统适用于流分析、事件驱动应用、实时ETL和特征存储等场景，具备高效性、易用性和完善的数据库功能。RisingWave提供了成本效益高的解决方案，简化了实时数据处理流程。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com