Daft

Rust实现的分布式数据处理引擎支持多模态分析

Daft是一个Rust实现的分布式查询引擎，为Python提供大规模数据处理能力。它提供交互式API、查询优化、数据目录集成、多模态类型系统和Apache Arrow兼容性。Daft可处理图像、嵌入向量等复杂数据，支持交互式和分布式计算，适用于多种数据分析场景。其云优化设计带来高效I/O性能。

访问官网

文档

streaming - 面向大规模机器学习的高效数据流式加载工具

GithubPyTorchStreamingDataset云存储大规模训练开源项目数据流

streaming是一款针对大规模分布式机器学习训练优化的数据加载工具。它支持从主流云存储平台流式读取图像、文本、视频等多种数据类型。该工具具备确定性、快速恢复、高吞吐等特点,可轻松集成到PyTorch训练流程中。streaming还提供数据混合、随机访问等功能,适用于大规模机器学习训练场景。

Coerce-rs - Rust异步Actor框架助力构建可扩展分布式系统

ActorCoerce-rsGithubRust分布式系统开源项目异步

Coerce-rs为Rust开发者提供异步Actor运行时和分布式系统框架。它支持Actor模型、分布式分片、持久化和发布订阅等核心功能。框架设计简洁高效，便于构建可扩展和容错的Actor驱动应用。内置HTTP API和全面指标，满足多样化的分布式系统开发需求。

lance - 优化机器学习工作流程的高性能列式数据格式

GithubLanceParquet开源项目数据格式机器学习矢量搜索

Lance是为机器学习工作流程优化的现代列式数据格式，提供比Parquet快100倍的随机访问性能，支持矢量索引和数据版本控制。兼容pandas、DuckDB、Polars和pyarrow，适用于搜索引擎、大规模机器学习训练以及复杂数据的存储和查询，如机器人数据和大型图像。更多集成支持即将推出。

MyScaleDB - 优化大规模AI应用的部署与管理流程

AI应用ClickHouseGithubMyScaleDBSQL vector database向量搜索开源项目

MyScaleDB是一个基于ClickHouse改进的SQL向量数据库，专为开发者设计，提供亲和的SQL操作界面，协助构建高度可扩展的AI应用。这个数据库完全兼容SQL，且具备出色的执行效率和可扩展性，能处理结构化数据、文本、向量、JSON以及地理空间数据等多种数据类型，轻松应对从小型到亿级规模的数据管理需求。

yata - Rust实现的全面技术分析库提供丰富指标和方法

GithubRustYATA开源项目技术分析指标移动平均线

YATA是用Rust开发的技术分析库,实现了常用的分析方法和指标。提供多种移动平均线、时间序列转换和指标,如布林带、MACD等。支持自定义指标,性能优异且灵活。适用于金融分析、算法交易和量化研究等领域。

datavines - 多功能数据质量管理平台

DatavinesGithub多种执行模式开源项目插件设计数据目录数据质量

Datavines是一个开源的数据质量管理平台，提供数据目录、质量检查和数据剖析功能。它支持27种内置检查规则，4种检查类型，并采用插件化设计以扩展数据源和执行引擎。Datavines支持多种数据源，包括MySQL、Impala、StarRocks、Doris等，能满足不同企业的数据管理需求。该平台易于部署，支持高可用性，是企业DataOps的重要工具。

flyte - 开源数据和机器学习流程编排工具

FlyteGithub云服务开源项目数据流水线机器学习编程语言

Flyte是一个开源的数据与机器学习工作流编排器，支持在Kubernetes平台上扩展和重复使用。它使用户能够使用Python SDK开发并在多种环境下部署，简化了分布式计算和资源管理。

FalkorDB - 为大语言模型优化的高性能知识图谱数据库

FalkorDBGithubOpenCypherRedis图数据库开源项目知识图谱

FalkorDB是一款专为大型语言模型设计的知识图谱数据库。它采用稀疏矩阵和线性代数技术实现低延迟图查询,支持属性图模型和OpenCypher查询语言。FalkorDB提供多种编程语言的客户端库,可轻松集成到Redis中,为AI应用提供高效的知识检索能力。

questdb - 开源高性能时序数据库支持快速数据摄入和SQL查询

GithubQuestDBSQL开源开源项目时序数据库高性能

QuestDB是一款开源时序数据库，采用列式存储和并行化执行等技术实现高性能。它支持ANSI SQL及时序扩展，适用于金融、物联网和实时分析等场景。QuestDB可替代InfluxDB，并与Kafka、Grafana等工具集成。其特点是高吞吐量数据摄入和快速SQL查询，为用户提供高效的时序数据处理能力。

hatchet - 高性能分布式任务队列和工作流编排系统

GithubHatchet任务队列分布式系统容错工作流编排开源项目

Hatchet是一款开源的分布式任务队列系统，旨在替代传统队列和发布/订阅模型。它具备高并发处理能力，支持公平调度和速率限制，同时保证超低延迟和高吞吐量。Hatchet提供任务可观察性、持久化执行和灵活调度等功能，适用于AI推理、大规模批处理和复杂工作流编排等场景。系统支持Python、TypeScript和Go语言SDK，便于与现有技术栈集成。Hatchet简化了任务队列管理，有效提升了系统可靠性和开发效率。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com