Project Icon

hatchet

高性能分布式任务队列和工作流编排系统

Hatchet是一款开源的分布式任务队列系统,旨在替代传统队列和发布/订阅模型。它具备高并发处理能力,支持公平调度和速率限制,同时保证超低延迟和高吞吐量。Hatchet提供任务可观察性、持久化执行和灵活调度等功能,适用于AI推理、大规模批处理和复杂工作流编排等场景。系统支持Python、TypeScript和Go语言SDK,便于与现有技术栈集成。Hatchet简化了任务队列管理,有效提升了系统可靠性和开发效率。

taskiq - Python异步分布式任务队列 支持同步和异步函数执行
GithubPythonTaskiq分布式任务队列开源项目异步编程消息代理
taskiq是一个Python异步分布式任务队列框架,支持同步和异步函数的执行。该项目集成了FastAPI和AioHTTP等主流异步框架,并采用PEP-612标准提供代码自动提示。taskiq兼容NATS、Redis、RabbitMQ和Kafka等多种消息代理,具备简洁的任务声明语法和灵活的工作进程配置。此外,taskiq还提供热重载功能,并支持在任务中复用异步Web应用的依赖项,大大提高了开发效率。
PowerJob - 开源分布式任务调度和计算框架
GithubPowerJob任务调度分布式计算工作流开源项目灾难容错
PowerJob是一个开源分布式计算和任务调度框架,提供友好的UI界面、多样的定时策略和执行模式。支持工作流(DAG)、多语言处理器,具有容错能力和高可用性。适用于定时、广播、MapReduce和延迟任务等场景,支持水平扩展,是一个高性能、可靠的调度系统。
celery - 可靠分布式任务队列系统
CeleryGithubPython任务队列分布式系统开源项目消息中间件
Celery是一个分布式任务队列系统,用于在线程或机器间分配工作。支持多种消息代理和结果后端,具有高可用性和可扩展性。易于使用和维护,支持自定义功能。适用于Python 3.8+和PyPy3.9+环境,可与多种Web框架集成。Celery支持异步任务处理和定时任务调度,适用于各种规模的应用场景。
hbox - 高效的AI和大数据调度平台,支持多种深度学习框架
GithubHadoop YarnHbox人工智能大数据开源项目深度学习框架
Hbox是一个高效的调度平台,结合了大数据和人工智能技术。支持多种机器学习和深度学习框架,如TensorFlow、MXNet、PyTorch等,并运行在Hadoop Yarn上。平台支持GPU资源调度、Docker容器化和RESTful API接口管理,具备良好的扩展性和兼容性。Hbox还提供统一的数据管理和可视化界面,适用于分布式计算和模型训练。
river - 为Go和Postgres打造的高性能任务队列
GithubGoPostgresRiver任务处理系统开源项目数据库事务
River是基于Go和Postgres的任务队列系统,特点是高性能和事务性入队。它提供多队列管理、定期任务、批量插入等功能,并包含Web UI用于监控。系统设计简化了任务定义和执行,适用于需要可靠后台处理的应用。River有效解决了常见的分布式系统问题。
asynq - 高效可靠的Go语言分布式任务队列库
GithubGoRedis任务队列分布式系统开源项目异步处理
Asynq是基于Redis的Go语言分布式任务队列库,提供简单API创建和处理异步任务。支持任务调度、重试、优先级队列等功能,具有高可靠性和可扩展性。适用于需要异步处理大量任务的场景。项目配备Web UI和CLI工具便于监控管理。
ratus - 高效的RESTful异步任务队列服务器
GithubRESTful APIRatus任务队列分布式系统开源项目异步处理
Ratus是一个开源的异步任务队列服务器,提供RESTful API接口。它支持多种存储引擎,实现了至少一次执行保证、统一的调度模型、任务级超时控制和负载均衡等功能。Ratus易于部署和扩展,适用于需要可靠任务调度的分布式系统。其简洁强大的API可轻松集成到不同语言和框架中。
kafka - 开源分布式事件流平台
Apache KafkaGithubJavaScala分布式消息系统开源项目构建测试
Apache Kafka是一个开源的分布式事件流平台,为数据管道、流分析、数据集成和关键任务应用提供支持。它采用发布/订阅模式,具有高吞吐量、可扩展性和容错能力。Kafka支持多种编程语言,提供完整的开发工具链。开发者可在本地或集群环境中运行Kafka,进行各类测试。该项目致力于社区建设,欢迎各方贡献。
taskflow - 基于DAG的轻量级任务编排框架 简化业务流程
Githubtaskflow任务编排并行执行开源项目弱依赖有向无环图
Taskflow框架基于DAG模型,实现轻量级任务编排。核心功能包括组件复用、同步异步编排、条件判断和分支选择。其优势在于任务模块化、易调整和结构清晰,有助于降低开发维护成本。框架还支持通用能力封装和平台化构建,适用于多种业务场景的流程管理需求。
taskflow - 现代C++并行和异构任务编程库Taskflow
GPU加速GithubTaskflow任务图并行编程开源项目异步编程
Taskflow是一个C++任务编程库,专注于并行和异构计算。它通过简洁的API支持静态和动态任务图构建、条件执行和GPU加速。Taskflow提供可视化和分析工具,有助于程序优化。该库在性能和可扩展性方面表现优异,适用于各类并行计算场景,已在学术和工业项目中得到应用。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号