Project Icon

hatchet

高性能分布式任务队列和工作流编排系统

Hatchet是一款开源的分布式任务队列系统,旨在替代传统队列和发布/订阅模型。它具备高并发处理能力,支持公平调度和速率限制,同时保证超低延迟和高吞吐量。Hatchet提供任务可观察性、持久化执行和灵活调度等功能,适用于AI推理、大规模批处理和复杂工作流编排等场景。系统支持Python、TypeScript和Go语言SDK,便于与现有技术栈集成。Hatchet简化了任务队列管理,有效提升了系统可靠性和开发效率。

Hades - 基于eBPF技术的主机入侵检测系统
GithubHIDSHadeseBPF入侵检测开源项目
Hades是一款主机入侵检测系统(HIDS),基于eBPF和netlink技术开发。该系统提供21个eBPF钩子,监控系统调用、网络连接和文件操作等关键事件。Hades具备多种收集器功能,包括进程、定时任务、SSH配置等,并支持实时监控。目前项目处于积极开发阶段,旨在提供全面的主机安全监控和分析能力。
dagster - 全生命周期数据管道编排工具 支持云原生部署
DagsterGithubPython开源开源项目数据管道编排资产管理
Dagster是一款支持云原生部署的数据管道编排工具,覆盖全生命周期开发。该工具集成了数据血缘追踪和可观察性功能,采用声明式编程模型,并提供出色的可测试性。Dagster能够帮助开发和维护各类数据资产,包括数据表、数据集、机器学习模型和报告等。开发者可通过Python函数声明数据资产的构建方式,Dagster会自动管理函数执行时机并保持资产更新。这一工具适用于从本地开发到生产环境的全过程,并与现代数据技术栈广泛集成。
bullmq - 基于Redis的高性能分布式队列库
BullMQGithubNode.jsRedis分布式队列开源项目消息队列
BullMQ是一个专为Node.js环境设计的Redis分布式队列库,具有高性能和可靠性。它支持作业优先级、并发处理和延迟执行等功能,同时保证了稳定性和原子性。BullMQ适用于各种规模的项目,能够有效处理后台任务、消息队列和工作流程。其简单易用的特性使其成为处理分布式任务的理想选择。
jug - Python任务并行化和分布式计算框架
GithubJugPython框架任务并行化分布式计算开源项目文件系统通信
Jug是一个Python任务并行化和分布式计算框架,支持将代码拆分为多个任务并在不同处理器或机器上执行。该框架使用文件系统进行进程间通信,兼容NFS,实现了跨机器的任务协调。Jug采用纯Python实现,具有良好的跨平台兼容性,支持Python 3.5及以上版本。它提供任务生成、状态监控和结果检查等功能,适用于科学计算、数据处理等领域的并行化需求。
HawkFlow.ai - 综合监控平台 为技术领导者提供全局视野
AI工具HawkFlow.aiMLOps云成本技术问题监控平台
HawkFlow.ai为技术领导者提供一站式监控解决方案,整合数据、基础设施、应用、KPI和用户等关键指标。平台具备云成本和技术问题预警功能,简化监控流程,减少团队沟通成本。其易于集成的特性支持全方位监控,并通过问题分析功能指导改进方向。适用于不同规模企业,有效提升开发效率和系统稳定性。
dagu - 强大的工作流管理工具 简化复杂任务调度
DAGDaguGithubWeb界面工作流管理开源项目调度器
Dagu是一个开源的工作流管理工具,通过YAML格式定义任务依赖关系,形成有向无环图(DAG)。它提供Web界面实现可视化管理,支持Docker容器、HTTP请求和SSH命令执行。Dagu简化了复杂工作流的调度和监控,无需修改现有程序或额外数据库即可使用,是Cron的现代化替代方案。
kaskada - 开源事件处理引擎 简化时序数据分析
GithubKaskada事件处理开源项目时间序列查询语言流处理
Kaskada是开源统一事件处理引擎,提供高级声明式查询语言,支持批量和实时事件分析。基于SQL优化设计,具备状态聚合、自动连接和事件窗口等功能,简化复杂时序数据处理。采用Rust语言和Apache Arrow技术,高效执行各类分析任务。
statshouse - 高可用可扩展的多租户监控系统
GithubStatsHouse可扩展性多租户开源项目监控系统高可用性
StatsHouse是一款高性能的多租户监控系统,具有高可用性和可扩展性。它提供1秒高分辨率和5秒低延迟的数据处理能力,支持长期指标存储和自动降采样。系统易于操作,具有内置UI和Grafana插件,适用于大规模分布式环境的实时监控。StatsHouse在VK.com的生产环境中每秒处理12亿个指标,使用ClickHouse作为主要数据存储,并支持多种编程语言的客户端集成。
kaskade - Apache Kafka的文本用户界面管理和消费工具
Apache KafkaGithubKaskadeTUI开源项目数据流处理消息队列
Kaskade是一个基于Textual构建的Apache Kafka文本用户界面(TUI)工具。它提供主题管理、消费者操作、多种数据格式反序列化和Schema Registry支持等功能。Kaskade支持Linux和macOS系统,可进行SSL加密和Confluent Cloud配置,为Kafka开发和管理提供便利。
katana-skipper - 机器学习工作流引擎
DockerGithubKatana ML SkipperKubernetes开源项目微服务机器学习
Katana-skipper 是一个灵活的机器学习工作流引擎,它能够在多个微服务之间进行事件调度,并创建可执行的流程来处理请求。该引擎可配置以支持任何微服务,且具有通用的引擎和通信部分。示例服务使用波士顿房价数据进行数据处理和模型训练,支持多种编程语言的微服务容器,包括 Python 和 JavaScript。Skipper 可部署于任何支持 Kubernetes 或 Docker 的云服务商,并支持使用 Kubernetes 命令进行扩展。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号