Daft

Rust实现的分布式数据处理引擎支持多模态分析

Daft是一个Rust实现的分布式查询引擎，为Python提供大规模数据处理能力。它提供交互式API、查询优化、数据目录集成、多模态类型系统和Apache Arrow兼容性。Daft可处理图像、嵌入向量等复杂数据，支持交互式和分布式计算，适用于多种数据分析场景。其云优化设计带来高效I/O性能。

访问官网

文档

raft - 异步C语言Raft共识算法实现

GithubRaftdqlitelibraft共识协议分布式系统开源项目

raft是一个C语言实现的Raft共识协议库，为分布式系统提供高效可靠的共识机制。它采用模块化设计，核心部分实现Raft算法逻辑，并提供可插拔的I/O接口。该库支持领导者选举、日志复制、日志压缩和成员变更等基本功能，还包含性能优化选项。raft使用libuv提供默认I/O实现，并支持LZ4压缩，适用于构建各类分布式应用。raft库特别适用于需要强一致性的分布式系统，如分布式数据库、配置管理系统等。其异步设计和优化选项使其在高并发场景下表现出色。

tikv - 开源分布式事务型键值数据库支持ACID特性

GithubRaft算法TiKV事务处理分布式数据库开源项目键值存储

TiKV是开源分布式事务型键值数据库，提供传统键值API和ACID事务API。采用Rust编写，使用Raft算法保证数据一致性。具备地理复制、水平扩展、一致性分布式事务等特性，可扩展至百TB级数据规模。TiKV可与TiDB配合，实现高可扩展性，同时支持关系型和NoSQL数据库设计模式。

awadb - AI原生向量数据库实时高效易用

AIAwaDBGithub向量数据库实时搜索嵌入向量开源项目

AwaDB是一款为AI应用优化的向量数据库，无需复杂设置即可使用。它支持毫秒级实时搜索，基于多年生产经验打造，稳定可靠。AwaDB可本地运行或Docker部署，提供Python SDK和RESTful API，轻松处理文本、图像等非结构化数据的向量嵌入和检索。适用于各类AI应用场景，简化向量数据管理和检索流程。

heavydb - 开源关系型列式数据库引擎支持CPU和GPU高性能计算

GPU加速GithubHeavyDBSQL大数据处理开源项目数据库引擎

HeavyDB是一款开源的SQL关系型列式数据库引擎，利用CPU和GPU的并行计算能力，可在毫秒级查询数十亿行数据，无需索引或预处理。支持混合CPU/GPU及纯CPU系统，采用多级缓存和即时查询编译技术优化性能。适用于大规模数据分析场景，提供高效的查询处理能力。

linfa - Rust语言的综合机器学习工具库

GithubLinfaRust开源项目数据处理机器学习算法库

Linfa是一个用Rust语言开发的开源机器学习工具库，为常见ML任务提供全面解决方案。它实现了多种算法，包括聚类、降维、回归和分类等，并具备数据预处理功能。Linfa支持多种BLAS/LAPACK后端，可满足不同性能需求。这个项目旨在为Rust生态系统构建一个活跃的机器学习社区。

spark - 实时监控和优化Apache Spark应用性能的开源解决方案

Apache SparkDataFlintGithub开源工具开源项目性能监控数据工程

DataFlint是专为Apache Spark开发的开源数据应用性能监控(D-APM)工具。它提供实时查询和集群状态监控、性能热图、应用运行摘要等功能，并能发出性能警报和优化建议。DataFlint可快速安装，基于Spark UI基础设施运行，旨在帮助大数据工程师高效解决性能问题和调试故障，为Spark应用带来类似传统APM解决方案的使用体验。

litdata - 优化数据处理和流式传输工具提升AI模型训练效率

GithubLitData云存储开源项目数据优化数据处理模型训练

LitData是一个开源的数据处理和优化工具，专注于提升AI模型训练效率。它提供并行数据处理、向量嵌入创建、分布式推理和大规模网站抓取功能。LitData优化数据集以加速模型训练，支持云端大规模数据流式传输，并实现远程数据的无本地加载使用。这些特性使LitData成为提高数据处理效率和AI模型训练速度的有力工具。

qdrant - 面向AI应用的向量相似性搜索引擎和数据库

AI应用GithubQdrant向量搜索引擎开源项目热门神经网络语义搜索

Qdrant是一个面向AI应用的向量相似性搜索引擎和数据库，提供了一个便捷的API用于存储、搜索和管理数据点。它支持扩展筛选，可用于各种基于神经网络或语义匹配的应用，如分面搜索等。Qdrant支持完全托管的云服务，包括免费层。具备高性能和可扩展性，适用于各种规模的部署。

awesome-data-engineering - 数据工程全面技术资源指南

Github大数据开源项目数据处理数据存储数据工程数据库

本资源列表全面覆盖数据工程领域,包括数据库、数据摄取、文件系统和序列化格式等核心技术。汇集Kafka、Hadoop、Spark等主流开源项目和创新解决方案,为数据工程实践提供系统性参考。内容涵盖从基础设施到前沿技术,是数据工程师深入学习和技术选型的重要指南。

quackpipe - 无服务器OLAP API实现DuckDB与ClickHouse HTTP接口兼容

APIClickHouseDuckDBGithubOLAP云存储开源项目

QuackPipe是基于DuckDB构建的无服务器OLAP API，模拟并兼容ClickHouse的HTTP API。用户可通过熟悉的接口使用DuckDB SQL和云存储，保持现有习惯和集成。该项目支持云存储操作、文件模式、STDIN快速查询和ClickHouse可执行UDF等功能。QuackPipe还提供简洁的在线playground，方便用户尝试示例查询。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com